今天小编就为大家分享一篇对python中大文件的导入与导出方法详解,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧

1、csv文件的导入和导出

通过一个矩阵导出为csv文件,将csv文件导入为矩阵

将csv文件导入到一个矩阵中

import numpy 
my_matrix = numpy.loadtxt(open("c:\\1.csv","rb"),delimiter=",",skiprows=0) 

将矩阵导出到本地csv中

numpy.savetxt('new.csv', my_matrix, delimiter = ',') 

未完待续。。。

也可以使用pickle模块,保存的文件是序列化的

python的pickle模块实现了基本的数据序列和反序列化。通过pickle模块的序列化操作我们能够将程序中运行的对象信息保存到文件中去,永久存储;通过pickle模块的反序列化操作,我们能够从文件中创建上一次程序保存的对象。

pickle.dump(obj, file, [,protocol]) 

注解:将对象obj保存到文件file中去。

protocol为序列化使用的协议版本,0:ASCII协议,所序列化的对象使用可打印的ASCII码表示;1:老式的二进制协议;2:2.3版本引入的新二进制协议,较以前的更高效。其中协议0和1兼容老版本的python。protocol默认值为0。

file:对象保存到的类文件对象。file必须有write()接口, file可以是一个以'w'方式打开的文件或者一个StringIO对象或者其他任何实现write()接口的对象。如果protocol>=1,文件对象需要是二进制模式打开的。

pickle.load(file) 

注解:从file中读取一个字符串,并将它重构为原来的python对象。

file:类文件对象,有read()和readline()接口。

保存数据

tmpdatapath = "E:\\data\\u_i_matrix.csv" 
savefp = open(tmpdatapath,"w")
pickle.dump(u_i_mat,savefp)
savefp.close();

导入数据

fp_mat = open("E:\\data\\tmpdata\\u_i_matrix.csv","r")
rMat = pickle.load(fp_mat)
fp_mat.close()

追加:将内容通过print输入到文件中

str=”a string to print to file” 
f=open(‘out.txt','w') 
print >>f,str 
f.close()

以上这篇对python中大文件的导入与导出方法详解就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持爱安网。

最新资讯
富士康:疫情不会影响苹果订单的完成 已有后备方案

富士康:疫情不会影响苹

富士康周二表示,可以确认我们已经采取措施确保我们能够
浙大联合拼多多共同设立防控基金 规模达1亿元

浙大联合拼多多共同设

浙江大学宣布,联合上海寻梦信息技术有限公司成立浙江大
联想将继续驰援武汉雷神山医院所有IT设备

联想将继续驰援武汉雷

联想集团还将向正在兴建的武汉市第二所抗击肺炎应急医
寿命之谜:神经兴奋性高,个体寿命短?

寿命之谜:神经兴奋性高

神经系统发出的信号可以有效地调控寿命。现在看来,总神
疫情下的生鲜电商:半夜抢菜、订单增5倍、不计成本

疫情下的生鲜电商:半夜

对于生鲜平台来说,如何稳定供应链,并满足用户的即时需求
蔚来用户信托宣布设立抗击新型肺炎500万专项基金

蔚来用户信托宣布设立

面对新型肺炎疫情,蔚来用户信托宣布设立抗击新型肺炎50
最新文章
使用PyInstaller将Pygame库编写的小游戏程序打包为exe文件

使用PyInstaller将Pyg

这篇文章主要介绍了使用PyInstaller将Pygame库编写的
Python数学形态学实例分析

Python数学形态学实例

这篇文章主要介绍了Python数学形态学,结合实例形式分
Python scipy的二维图像卷积运算与图像模糊处理操作示例

Python scipy的二维图

这篇文章主要介绍了Python scipy的二维图像卷积运算与
python自动发微信监控报警

python自动发微信监控

这篇文章主要为大家详细介绍了python自动发微信监控报
修改 CentOS 6.x 上默认Python的方法

修改 CentOS 6.x 上默

这篇文章主要介绍了修改 CentOS 6.x 上默认Python的方
Python使用Slider组件实现调整曲线参数功能示例

Python使用Slider组件

这篇文章主要介绍了Python使用Slider组件实现调整曲线