今天小编就为大家分享一篇对pandas写入读取h5文件的方法详解,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧

1、引言

通过参考相关博客对hdf5格式简要介绍。

hdf5在存储的是支持压缩,使用的方式是blosc,这个是速度最快的也是pandas默认支持的。 使用压缩可以提磁盘利用率,节省空间。 开启压缩也没有什么劣势,只会慢一点点。 压缩在小数据量的时候优势不明显,数据量大了才有优势。 同时发现hdf读取文件的时候只能是一次写,写的时候可以append,可以put,但是写完成了之后关闭文件,就不能再写了, 会覆盖。

另外,为什么单独说pandas,主要因为本人目前对于h5py这个包的理解不是很深入,不知道如果使用该包存pd.DataFrame格式的文件,不像numpy格式文件可以直接存储,因此本人只能依赖pandas自带一些函数进行处理。

2、写入文件

使用函数:pd.HDFStore

import numpy as np
import pandas as pd
####生成9000,0000条数据,9千万条
a = np.random.standard_normal((90000000,4))
b = pd.DataFrame(a)
####普通格式存储:
h5 = pd.HDFStore('/data/stock/test_s.h5','w')
h5['data'] = b
h5.close()

####压缩格式存储
h5 = pd.HDFStore('/data/stock/test_c4.h5','w', complevel=4, complib='blosc')
h5['data'] = b
h5.close()

3、读取文件

使用函数:pd.read_hdf

参数:文件名,key

data=pd.read_hdf('/data/stock/test_c4.h5',key='data')

以上这篇对pandas写入读取h5文件的方法详解就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持爱安网。

最新资讯
自动续费扣钱没商量 电商法之下消费"黑洞"为何仍在?

自动续费扣钱没商量

今年1月1日起正式实施的电子商务法规定,电子商务经营者
港媒:马云仍然希望阿里巴巴能够在香港上市

港媒:马云仍然希望阿里

阿里巴巴可能还在考虑香港上市。
TCL:彩电在北美销量首次第一,超越三星

TCL:彩电在北美销量首

作为一家来自广东的家电制造商,曾在全球化遭短暂折戟的
诺基亚一季度运营亏损5900万欧元 预估盈利2.8亿欧元

诺基亚一季度运营亏损

诺基亚一季度经调整后运营亏损5900万欧元,预估为盈利2.
腾讯与迪信通战略合作 智慧零售版图继续扩张

腾讯与迪信通战略合作

双方约定将充分利用各自线上、线下不同领域的优势资源
微软高管解读第三财季财报:Azure增长保持强劲去世

微软高管解读第三财季

报告显示,微软第三财季营收为305.71亿美元,与去年同期的
最新文章
Python图像处理之图像的缩放、旋转与翻转实现方法示例

Python图像处理之图像

这篇文章主要介绍了Python图像处理之图像的缩放、旋转
详解Appium+Python之生成html测试报告

详解Appium+Python之

这篇文章主要介绍了详解Appium+Python之生成html测试
Python面向对象程序设计OOP入门教程【类,实例,继承,重载等】

Python面向对象程序设

这篇文章主要介绍了Python面向对象程序设计OOP入门教
在python中使用with打开多个文件的方法

在python中使用with打

今天小编就为大家分享一篇在python中使用with打开多个
对Python+opencv将图片生成视频的实例详解

对Python+opencv将图

今天小编就为大家分享一篇对Python+opencv将图片生成
python 同时运行多个程序的实例

python 同时运行多个

今天小编就为大家分享一篇python 同时运行多个程序的