网站首页 > 开源技术 正文
使用背景:使用python批量下载链接时,只有一个表格,有180万数据,下载太慢。将表格分割成多个表,开启多个脚本跑代码。原来一个脚本跑,跑了一天,才下了20万数据。现在20个脚本跑,2天不到就跑完了。
def cut_excel():
#表名
df = pd.read_excel('excek.xlsx')
rows, cols = df.shape
print(rows, cols)
print(len(df))
print(df.head())
#分割之后每张表有9万数据
split_num = 90000
value = math.floor(rows / split_num)
print(value)
rows_format = value * split_num
print(rows_format)
new_list = [[i, i+split_num] for i in range(0, rows_format, split_num)]
for i_j in new_list:
i, j = i_j
excel_small = df[i:j]
excel_small.to_excel('excel_{0}_{1}.xlsx'.format(i, j), index=False)
df[rows_format:].to_excel('excel_last.xlsx')
猜你喜欢
- 2024-10-31 Excel填充字母不会?学学这招吧(excel快速填充字母)
- 2024-10-31 vlookup函数傻瓜式的入门教程,每个人都可以学会
- 2024-10-31 共享数据资源,VBA代码导入已有文本数据文件的方法
- 2024-10-31 Excel中的换行符,这几种用法你会哪些?
- 2024-10-31 一文教你在Excel中利用VBA实现类似「邮件合并」的功能!
- 2024-10-31 【Excel】报表里,如何设置仅保留2位小数的万元自定义格式
- 2024-10-31 Xlookup真好用,同时查找多行多列,这个解决方法也太简单了!
- 2024-10-31 Excel问答:如何将分数转化为字母等级或中文等第(CHAR,MID,INT)
- 2024-10-31 Excel实用功能应用,多方式多条件实现数据查询,VBA代码详解
- 2024-10-31 vlookup查找数据,无法区分字母大小写咋办?这3种方法都能搞定
你 发表评论:
欢迎- 最近发表
- 标签列表
-
- jdk (81)
- putty (66)
- rufus (78)
- 内网穿透 (89)
- okhttp (70)
- powertoys (74)
- windowsterminal (81)
- netcat (65)
- ghostscript (65)
- veracrypt (65)
- asp.netcore (70)
- wrk (67)
- aspose.words (80)
- itk (80)
- ajaxfileupload.js (66)
- sqlhelper (67)
- express.js (67)
- phpmailer (67)
- xjar (70)
- redisclient (78)
- wakeonlan (66)
- tinygo (85)
- startbbs (72)
- webftp (82)
- vsvim (79)
本文暂时没有评论,来添加一个吧(●'◡'●)