在pandas中利用hdf5高效存储数据

一、简介

创新互联是专业的双城网站建设公司，双城接单;提供成都做网站、网站建设,网页设计,网站设计,建网站,PHP网站建设等专业做网站服务;采用PHP框架,可快速的进行双城网站开发网页制作和功能扩展;专业做搜索引擎喜爱的网站,专业的做网站团队,希望更多企业前来合作!

HDF5(Hierarchical Data Formal)是用于存储大规模数值数据的较为理想的存储格式。

其文件后缀名为h5，存储读取速度非常快，且可在文件内部按照明确的层次存储数据，同一个HDF5可以看做一个高度整合的文件夹，其内部可存放不同类型的数据。

在Python中操纵HDF5文件的方式主要有两种，一是利用pandas中内建的一系列HDF5文件操作相关的方法来将pandas中的数据结构保存在HDF5文件中，二是利用h5py模块来完成从Python原生数据结构向HDF5格式的保存。

本文就将针对pandas中读写HDF5文件的方法进行介绍。

图1

二、利用pandas操纵HDF5文件

1. 写出文件

pandas中的HDFStore()用于生成管理HDF5文件IO操作的对象，其主要参数如下：

  • 「path」：字符型输入，用于指定h5文件的名称(不在当前工作目录时需要带上完整路径信息)
  • 「mode」：用于指定IO操作的模式，与Python内建的open()中的参数一致，默认为'a'，即当指定文件已存在时不影响原有数据写入，指定文件不存在时则新建文件;'r'，只读模式;'w'，创建新文件(会覆盖同名旧文件);'r+'，与'a'作用相似，但要求文件必须已经存在;
  • 「complevel」：int型，用于控制h5文件的压缩水平，取值范围在0-9之间，越大则文件的压缩程度越大，占用的空间越小，但相对应的在读取文件时需要付出更多解压缩的时间成本，默认为0，代表不压缩

下面我们创建一个HDF5 IO对象store：

 
 
 
 
      
  
  
  
  1. import pandas as pd 
    2.   
  
  
  
  2.  
    3.   
  
  
  
  3. store = pd.HDFStore('demo.h5') 
    4.   
  
  
  
  4. '''查看store类型''' 
    5.   
  
  
  
  5. print(store) 
    6.

图2

可以看到store对象属于pandas的io类，通过上面的语句我们已经成功的初始化名为demo.h5的的文件，本地也相应的会出现对应文件。

接下来我们创建pandas中不同的两种对象，并将它们共同保存到store中，首先创建Series对象：

 
 
 
 
      
  
  
  
  1. import numpy as np 
    2.   
  
  
  
  2.  
    3.   
  
  
  
  3. #创建一个series对象 
    4.   
  
  
  
  4. s = pd.Series(np.random.randn(5), index=['a', 'b', 'c', 'd', 'e']) 
    5.   
  
  
  
  5. s 
    6.

图3

接着我们创建一个DataFrame对象：

 
 
 
 
      
  
  
  
  1. #创建一个dataframe对象 
    2.   
  
  
  
  2. df = pd.DataFrame(np.random.randn(8, 3), 
    3.   
  
  
  
  3.                  columns=['A', 'B', 'C']) 
    4.   
  
  
  
  4. df 
    5.

图4

第一种方式利用键值对将不同的数据存入store对象中：

 
 
 
 
      
  
  
  
  1. store['s'], store['df'] = s, df 
    2.

第二种方式利用store对象的put()方法，其主要参数如下：

  • 「key」：指定h5文件中待写入数据的key
  • 「value」：指定与key对应的待写入的数据
  • 「format」：字符型输入，用于指定写出的模式，'fixed'对应的模式速度快，但是不支持追加也不支持检索;'table'对应的模式以表格的模式写出，速度稍慢，但是支持直接通过store对象进行追加和表格查询操作

使用put()方法将数据存入store对象中：

 
 
 
 
      
  
  
  
  1. store.put(key='s', value=s);store.put(key='df', value=df) 
    2.

既然是键值对的格式，那么可以查看store的items属性(注意这里store对象只有items和keys属性，没有values属性)：

 
 
 
 
      
  
  
  
  1. store.items 
    2.

图5

调用store对象中的数据直接用对应的键名来索引即可：

 
 
 
 
      
  
  
  
  1. store['df'] 
    2.

图6

删除store对象中指定数据的方法有两种，一是使用remove()方法，传入要删除数据对应的键：

 
 
 
 
      
  
  
  
  1. store.remove('s') 
    2.

二是使用Python中的关键词del来删除指定数据：

 
 
 
 
      
  
  
  
  1. del store['s'] 
    2.

这时若想将当前的store对象持久化到本地，只需要利用close()方法关闭store对象即可，而除了通过定义一个确切的store对象的方式之外，还可以从pandas中的数据结构直接导出到本地h5文件中：

 
 
 
 
      
  
  
  
  1. #创建新的数据框 
    2.   
  
  
  
  2. df_ = pd.DataFrame(np.random.randn(5,5)) 
    3.   
  
  
  
  3. #导出到已存在的h5文件中，这里需要指定key 
    4.   
  
  
  
  4. df_.to_hdf(path_or_buf='demo.h5',key='df_') 
    5.   
  
  
  
  5. #创建于本地demo.h5进行IO连接的store对象 
    6.   
  
  
  
  6. store = pd.HDFStore('demo.h5') 
    7.   
  
  
  
  7. #查看指定h5对象中的所有键 
    8.   
  
  
  
  8. print(store.keys()) 
    9.

图7

2. 读入文件

在pandas中读入HDF5文件的方式主要有两种，一是通过上一节中类似的方式创建与本地h5文件连接的IO对象，接着使用键索引或者store对象的get()方法传入要提取数据的key来读入指定数据：

 
 
 
 
      
  
  
  
  1. store = pd.HDFStore('demo.h5') 
    2.   
  
  
  
  2. '''方式1''' 
    3.   
  
  
  
  3. df1 = store['df'] 
    4.   
  
  
  
  4. '''方式2''' 
    5.   
  
  
  
  5. df2 = store.get('df') 
    6.   
  
  
  
  6. df1 == df2 
    7.

图8

可以看出这两种方式都能顺利读取键对应的数据。

第二种读入h5格式文件中数据的方法是pandas中的read_hdf()，其主要参数如下：

  • 「path_or_buf」：传入指定h5文件的名称
  • 「key」：要提取数据的键

需要注意的是利用read_hdf()读取h5文件时对应文件不可以同时存在其他未关闭的IO对象，否则会报错，如下例：

 
 
 
 
      
  
  
  
  1. print(store.is_open) 
    2.   
  
  
  
  2. df = pd.read_hdf('demo.h5',key='df') 
    3.

图9

把IO对象关闭后再次提取：

 
 
 
 
      
  
  
  
  1. store.close() 
    2.   
  
  
  
  2. print(store.is_open) 
    3.   
  
  
  
  3. df = pd.read_hdf('demo.h5',key='df') 
    4.   
  
  
  
  4. df 
    5.

图10

3. 性能测试

接下来我们来测试一下对于存储同样数据的csv格式文件、h5格式的文件，在读取速度上的差异情况：

这里我们首先创建一个非常大的数据框，由一亿行x5列浮点类型的标准正态分布随机数组成，接着分别用pandas中写出HDF5和csv格式文件的方式持久化存储：

 
 
 
 
      
  
  
  
  1. import pandas as pd 
    2.   
  
  
  
  2. import numpy as np 
    3.   
  
  
  
  3. import time 
    4.   
  
  
  
  4.  
    5.   
  
  
  
  5. store = pd.HDFStore('store.h5') 
    6.   
  
  
  
  6. #生成一个1亿行，5列的标准正态分布随机数表 
    7.   
  
  
  
  7. df = pd.DataFrame(np.random.rand(100000000,5)) 
    8.   
  
  
  
  8. start1 = time.clock() 
    9.   
  
  
  
  9. store['df'] = df 
    10.   
  
  
  
  10. store.close() 
    11.   
  
  
  
  11. print(f'HDF5存储用时{time.clock()-start1}秒') 
    12.   
  
  
  
  12. start2 = time.clock() 
    13.   
  
  
  
  13. df.to_csv('df.csv',index=False) 
    14.   
  
  
  
  14. print(f'csv存储用时{time.clock()-start2}秒') 
    15.

图11

在写出同样大小的数据框上，HDF5比常规的csv快了将近50倍，而且两者存储后的文件大小也存在很大差异：

图12

csv比HDF5多占用将近一倍的空间，这还是在我们没有开启HDF5压缩的情况下，接下来我们关闭所有IO连接，运行下面的代码来比较对上述两个文件中数据还原到数据框上两者用时差异：

 
 
 
 
      
  
  
  
  1. import pandas as pd 
    2.   
  
  
  
  2. import time 
    3.   
  
  
  
  3.  
    4.   
  
  
  
  4. start1 = time.clock() 
    5.   
  
  
  
  5. store = pd.HDFStore('store.h5',mode='r') 
    6.   
  
  
  
  6. df1 = store.get('df') 
    7.   
  
  
  
  7. print(f'HDF5读取用时{time.clock()-start1}秒') 
    8.   
  
  
  
  8. start2 = time.clock() 
    9.   
  
  
  
  9. df2 = pd.read_csv('df.csv') 
    10.   
  
  
  
  10. print(f'csv读取用时{time.clock()-start2}秒') 
    11.

图13

HDF5用时仅为csv的1/13，因此在涉及到数据存储特别是规模较大的数据时，HDF5是你不错的选择。

标题名称：在pandas中利用hdf5高效存储数据
网站链接：http://www.shufengxianlan.com/qtweb/news19/486819.html

网站建设、网络推广公司-创新互联，是专注品牌与效果的网站制作，网络营销seo公司；服务项目有等

广告

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源： 创新互联

猜你还喜欢下面的内容

App设计知识

分类信息网

混凝土密封固化剂　　 　SSL认证　　 　网站建设报价方案　　 　成都主机托管　　 　响应式网站　　 　响应式网站　　 　四川艺考培训　　 　成都西信服务器托管　　 　域名注册　　 　自贡托管服务器　　 　高端网站策划　　 　3D立体画　　 　乐山电信机房　　 　西云机房　　 　西部信息服务器托管　　 　成都seo优化　　 　四川电信高防服务器托管　　 　品牌网站建设　　 　成都网站安全运维　　 　网站收录