pandas 处理过大数据时间太长或者没有响应
可以使用chunksize 将数据分段处理并拼接
import pandas as pd
df = pd.DataFrame()
for chunk in pd.read_csv('test.csv', usecold=[0,1], names=['times', 'data'], chunksize=2000000):
df = df.append(chunk)
chunksize 尽量不要超过1000w数据，超过1000w数据响应时间比200w拼接时间长好几倍
版权声明：本文为Hydra_Zhang原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接和本声明。