python pandas使用chunksize异步拆分固定行数的文件

import pandas as pd
import asyncio
from collections import defaultdict

collect = defaultdict(list)

#######创建处理一个对象的方法,并返回期物
async def dealone(chunk,sas):
	path=‘/data/chaifen/testphone_%d.txt‘%sas
	chunk.to_csv(path,index=False)
	return path

async def submitor(chunk,sas):
	future = await dealone(chunk,sas)
	collect[‘res‘].append(future)
	#print(future)

chunks = pd.read_csv(‘/data/testphone.txt‘,dtype=‘object‘,chunksize=3)

loop = asyncio.get_event_loop()
tasks = asyncio.wait([submitor(chunk,index) for index,chunk in enumerate(chunks,1)])
loop.run_until_complete(tasks)
print(collect[‘res‘])

  

原文地址:https://www.cnblogs.com/mahailuo/p/10268309.html

时间: 2024-10-13 16:20:41

python pandas使用chunksize异步拆分固定行数的文件的相关文章

润乾报表之序号、固定行数、统计

图一图二为例子,请结合自己的需求更改单元格 图一 图二 序号: 报表如果有需求要显示序号,类似图一第一列,在A11的位置赋值=&B11, 并且将单元格的左主格设为B11这样就可以添加序号了: 固定行数: 有时要求表格固定行数,例如图一固定位10行,就是说,如果只有三行数据, 要补上7行空格,生凑成10行:在A12的位置赋值=to(count(A11{})+1,10), 这样,在即使没有数据的情况下也会显示10个空行并且带有序号: 统计: 图一中有俩种类型的统计,一种是个数统计,另一个是内容求和.

Grid++Report设置显示固定行数

原文:Grid++Report设置显示固定行数 一.要实现的功能打印的报表显示固定的行数,并且设置字段的文字可以自动换行二.设置步骤1.鼠标左键单击"明细网格"栏,在右侧属性窗口中设置"追加空白行"属性值为:是:"追加空白行在后"属性值为:是.2.单击"内容行",设置"每页行数"属性值为一整数(比如7,每页固定显示7行,包括标题行):设置"调整行高"属性值为:否:3.单击"某一

txt文件分解为固定条数的文件

#-*- coding: UTF-8 -*- # import linecache # count = linecache.getline(filename,linenum) # 读取文件某一行的内容 # str = linecache.getlines(filename) # str为列表形式,每一行为列表中的一个元素 import sys import linecache reload(sys) sys.setdefaultencoding( "utf-8" ) # 分解一个txt

EditText 几种显示方式,固定行数,自适应行数

1.显示7行,超过7行自动向下补充行数 <EditText android:id="@+id/edt_content" android:layout_width="match_parent" android:layout_height="wrap_content" android:background="@color/white" android:gravity="left|top" android:

使用awk按照行数切割文件

最近在做一个事情,需要将一个文本文件按照行数进行切割,然后用了,awk的方法,感觉很好用, 记录一下. 脚本如下: #!/bin/bash ## 文件效果: 根据行数来切割文件 ## 参数1为要切割的文件名 ## 参数2为每个切割后文件的行数 filename=$1 fileline=$2 echo "filename=$filename" echo "fileline=$fileline" awk -v count=$fileline 'BEGIN{i=0} {

(转)Java按指定行数读取文件

package test import java.io.File; import java.io.FileReader; import java.io.IOException; import java.io.LineNumberReader; public class ReadSelectedLine{ // 读取文件指定行. static void readAppointedLineNumber(File sourceFile, int lineNumber) throws IOExcepti

固定行数输出

count = 1 for i in range(ord("!"), ord("~")+1): if count % 10 != 0: print(chr(i),end=" ") else: print(chr(i)) count += 1 原文地址:https://www.cnblogs.com/wang102030/p/9218982.html

Python学习教程:如何用python统计代码行数

Python学习教程:如何用python统计代码行数 改良后的代码可以对python和C系列的代码实行行数计算,包括代码.空行和注释行,用re抓取注释,传入一个目录自动对其下的文件进行读取计算 流程 首先判断传入参数是否为文件夹,不是则打印出提示,否则继续(无返回),获得目录后,yongos.listdir对路径下文件进行遍历,其中也包含文件夹,再次判断是否为文件夹,是的话则递归调用此函数,否则开始执行行数统计,这里用os.path.join将路径与文件名进行拼接,方便之后直接传给函数,逻辑很简

控制容器文字行数(pc和 移动端)

写在前面的话: 对于文字的单行以及多行显示,应该是经常用到的一个功能了,看下文吧~ pc 端: 1. 单行限制(兼容所有浏览器)   这里加了一个 鼠标移入时显示全部 的效果: .p2{ border: 1px solid #000; width: 206px; white-space:nowrap; overflow: hidden; text-overflow:ellipsis; } .p2:hover{ white-space: normal; overflow: visible; } <