今天小编就为大家分享一篇python分块读取大数据,避免内存不足的方法,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧

如下所示:

def read_data(file_name):
 '''
 file_name:文件地址
 '''
 inputfile = open(file_name, 'rb') #可打开含有中文的地址
 data = pd.read_csv(inputfile, iterator=True)
 loop = True
 chunkSize = 1000 #一千行一块
 chunks = []
 while loop:
  try:
   chunk = dcs.get_chunk(chunkSize)
   chunks.append(chunk)
  except StopIteration:
   loop = False
   print("Iteration is stopped.")
 data = pd.concat(chunks, ignore_index=True)
 #print(train.head())
 return data

以上这篇python分块读取大数据,避免内存不足的方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持爱安网。

最新资讯
90后小伙缘何沦为电信诈骗“工具人”

90后小伙缘何沦为电信

根据案件情况,惠山区人民检察院对傅小宝的姐姐傅某、姐
做芯片不是捏泥丸,请做好长期“打工”的准备

做芯片不是捏泥丸,请做

所有努力都不会徒劳无益,哪怕日拱一卒,也是在默默催动生
美FCC投票决定维持废除“网络中立”规则的命令

美FCC投票决定维持废

国联邦通信委员会(FCC)周二以3比2的投票结果作出决定,维
iPhone活跃用户在2020年9月超过10亿

iPhone活跃用户在2020

一项新的估计声称目前自第一部iPhone上市以来不到5000
立讯精密前三季净利47亿 预计全年超70亿

立讯精密前三季净利47

后疫情时代消费电子需求的集中爆发,为产业链公司带来了
火热的“蚂蚁”:杠杆打新资金“供不应求”

火热的“蚂蚁”:杠杆打

蚂蚁将在A股发行不超过16.7亿股的新股,其中初始战略配
最新文章
在pycharm中为项目导入anacodna环境的操作方法

在pycharm中为项目导

这篇文章主要介绍了在pycharm中为项目导入anacodna环
tensorflow的ckpt及pb模型持久化方式及转化详解

tensorflow的ckpt及pb

今天小编就为大家分享一篇tensorflow的ckpt及pb模型持
PyTorch笔记之scatter()函数的使用

PyTorch笔记之scatter

这篇文章主要介绍了PyTorch笔记之scatter()函数的使用
python3实现网页版raspberry pi(树莓派)小车控制

python3实现网页版ras

这篇文章主要为大家详细介绍了python3实现网页版raspb
完美解决pycharm导入自己写的py文件爆红问题

完美解决pycharm导入

今天小编就为大家分享一篇完美解决pycharm导入自己写
pycharm内无法import已安装的模块问题解决

pycharm内无法import

今天小编就为大家分享一篇pycharm内无法import已安装