今天小编就为大家分享一篇python分块读取大数据,避免内存不足的方法,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧

如下所示:

def read_data(file_name):
 '''
 file_name:文件地址
 '''
 inputfile = open(file_name, 'rb') #可打开含有中文的地址
 data = pd.read_csv(inputfile, iterator=True)
 loop = True
 chunkSize = 1000 #一千行一块
 chunks = []
 while loop:
  try:
   chunk = dcs.get_chunk(chunkSize)
   chunks.append(chunk)
  except StopIteration:
   loop = False
   print("Iteration is stopped.")
 data = pd.concat(chunks, ignore_index=True)
 #print(train.head())
 return data

以上这篇python分块读取大数据,避免内存不足的方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持爱安网。

最新资讯
回港上市或“撞车” B站和百度谁更值得投资?

回港上市或“撞车” B

B站和百度,一个是成功破圈的“后浪”,手握“中视频”流
社区团购巨头大战,“团长”进击

社区团购巨头大战,“团

在外界的一片质疑声中,巨头们的社区团购推进依然坚决,越
人类的饥饿极限到底有多长?

人类的饥饿极限到底有

长时间不进食,我们的身体会发生什么?人体耐饥饿极限是多
广东省省长马兴瑞:强化反垄断和防止资本无序扩张

广东省省长马兴瑞:强化

广东省省长马兴瑞:积极防范化解经济领域重大风险。强化
新冠变异病毒能逃逸免疫反应,专家纷纷表示担忧

新冠变异病毒能逃逸免

有证据表明,南非发现的新冠病毒变异株或能减弱人体免疫
历史上让疫苗失效的突变,都带来了什么?

历史上让疫苗失效的突

在人类疫苗开发的历史上,对疫苗产生耐药性的病毒和其它
最新文章
在pycharm中为项目导入anacodna环境的操作方法

在pycharm中为项目导

这篇文章主要介绍了在pycharm中为项目导入anacodna环
tensorflow的ckpt及pb模型持久化方式及转化详解

tensorflow的ckpt及pb

今天小编就为大家分享一篇tensorflow的ckpt及pb模型持
PyTorch笔记之scatter()函数的使用

PyTorch笔记之scatter

这篇文章主要介绍了PyTorch笔记之scatter()函数的使用
python3实现网页版raspberry pi(树莓派)小车控制

python3实现网页版ras

这篇文章主要为大家详细介绍了python3实现网页版raspb
完美解决pycharm导入自己写的py文件爆红问题

完美解决pycharm导入

今天小编就为大家分享一篇完美解决pycharm导入自己写
pycharm内无法import已安装的模块问题解决

pycharm内无法import

今天小编就为大家分享一篇pycharm内无法import已安装