HDF5 简介
HDF(Hierarchical Data Format)指一种为存储和处理大容量科学数据设计的文件格式及相应库文件。HDF 最早由美国国家超级计算应用中心 NCSA 开发,目前在非盈利组织 HDF 小组维护下继续发展。当前流行的版本是 HDF5。HDF5 拥有一系列的优异特性,使其特别适合进行大量科学数据的存储和操作,如它支持非常多的数据类型,灵活,通用,跨平台,可扩展,高效的 I/O 性能,支持几乎无限量(高达 EB)的单文件存储等,详见其官方介绍:https://support.hdfgroup.org/HDF5/ 。
HDF5 结构
HDF5 文件一般以 .h5 或者 .hdf5 作为后缀名,需要专门的软件才能打开预览文件的内容。HDF5 文件结构中有 2 primary objects: Groups 和 Datasets。
Groups 就类似于文件夹,每个 HDF5 文件其实就是根目录 (root) group'/',可以看成目录的容器,其中可以包含一个或多个 dataset 及其它的 group。
Datasets 类似于 NumPy 中的数组 array,可以当作数组的数据集合 。
每个 dataset 可以分成两部分: 原始数据 (raw) data values 和 元数据 metadata (a set of data that describes and gives information about other data => raw data)。
+-- Dataset | +-- (Raw) Data Values (eg: a 4 x 5 x 6 matrix) | +-- Metadata | | +-- Dataspace (eg: Rank = 3, Dimensions = {4, 5, 6}) | | +-- Datatype (eg: Integer) | | +-- Properties (eg: Chuncked, Compressed) | | +-- Attributes (eg: attr1 = 32.4, attr2 = "hello", ...) |
从上面的结构中可以看出:
- Dataspace 给出原始数据的秩 (Rank) 和维度 (dimension)
- Datatype 给出数据类型
- Properties 说明该 dataset 的分块储存以及压缩情况
- Chunked: Better access time for subsets; extendible
- Chunked & Compressed: Improves storage efficiency, transmission speed
- Attributes 为该 dataset 的其他自定义属性
整个 HDF5 文件的结构如下所示:
+-- / | +-- group_1 | | +-- dataset_1_1 | | | +-- attribute_1_1_1 | | | +-- attribute_1_1_2 | | | +-- ... | | | | | +-- dataset_1_2 | | | +-- attribute_1_2_1 | | | +-- attribute_1_2_2 | | | +-- ... | | | | | +-- ... | | | +-- group_2 | | +-- dataset_2_1 | | | +-- attribute_2_1_1 | | | +-- attribute_2_1_2 | | | +-- ... | | | | | +-- dataset_2_2 | | | +-- attribute_2_2_1 | | | +-- attribute_2_2_2 | | | +-- ... | | | | | +-- ... | | | +-- ... |
一个 HDF5 文件从一个命名为 "/" 的 group 开始,所有的 dataset 和其它 group 都包含在此 group 下,当操作 HDF5 文件时,如果没有显式指定 group 的 dataset 都是默认指 "/" 下的 dataset,另外类似相对文件路径的 group 名字都是相对于 "/" 的。
安装
pip install h5py
Python读写HDF5文件
#!/usr/bin/python # -*- coding: UTF-8 -*- # # Created by WW on Jan. 26, 2020 # All rights reserved. # import h5py import numpy as np def main(): #=========================================================================== # Create a HDF5 file. f = h5py.File("h5py_example.hdf5", "w") # mode = {'w', 'r', 'a'} # Create two groups under root '/'. g1 = f.create_group("bar1") g2 = f.create_group("bar2") # Create a dataset under root '/'. d = f.create_dataset("dset", data=np.arange(16).reshape([4, 4])) # Add two attributes to dataset 'dset' d.attrs["myAttr1"] = [100, 200] d.attrs["myAttr2"] = "Hello, world!" # Create a group and a dataset under group "bar1". c1 = g1.create_group("car1") d1 = g1.create_dataset("dset1", data=np.arange(10)) # Create a group and a dataset under group "bar2". c2 = g2.create_group("car2") d2 = g2.create_dataset("dset2", data=np.arange(10)) # Save and exit the file. f.close() ''' h5py_example.hdf5 file structure +-- '/' | +-- group "bar1" | | +-- group "car1" | | | +-- None | | | | | +-- dataset "dset1" | | | +-- group "bar2" | | +-- group "car2" | | | +-- None | | | | | +-- dataset "dset2" | | | +-- dataset "dset" | | +-- attribute "myAttr1" | | +-- attribute "myAttr2" | | | ''' #=========================================================================== # Read HDF5 file. f = h5py.File("h5py_example.hdf5", "r") # mode = {'w', 'r', 'a'} # Print the keys of groups and datasets under '/'. print(f.filename, ":") print([key for key in f.keys()], "\n") #=================================================== # Read dataset 'dset' under '/'. d = f["dset"] # Print the data of 'dset'. print(d.name, ":") print(d[:]) # Print the attributes of dataset 'dset'. for key in d.attrs.keys(): print(key, ":", d.attrs[key]) print() #=================================================== # Read group 'bar1'. g = f["bar1"] # Print the keys of groups and datasets under group 'bar1'. print([key for key in g.keys()]) # Three methods to print the data of 'dset1'. print(f["/bar1/dset1"][:]) # 1. absolute path print(f["bar1"]["dset1"][:]) # 2. relative path: file[][] print(g['dset1'][:]) # 3. relative path: group[] # Delete a database. # Notice: the mode should be 'a' when you read a file. ''' del g["dset1"] ''' # Save and exit the file f.close() if __name__ == "__main__": main()
相关代码示例
创建一个h5py文件
import h5py
f=h5py.File("myh5py.hdf5","w")
创建dataset
import h5py f=h5py.File("myh5py.hdf5","w") #deset1是数据集的name,(20,)代表数据集的shape,i代表的是数据集的元素类型 d1=f.create_dataset("dset1", (20,), 'i') for key in f.keys(): print(key) print(f[key].name) print(f[key].shape) print(f[key].value)
输出:
dset1
/dset1
(20,)
[0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0]
赋值
import h5py import numpy as np f=h5py.File("myh5py.hdf5","w") d1=f.create_dataset("dset1",(20,),'i') #赋值 d1[...]=np.arange(20) #或者我们可以直接按照下面的方式创建数据集并赋值 f["dset2"]=np.arange(15) for key in f.keys(): print(f[key].name) print(f[key].value)
输出:
/dset1
[ 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19]
/dset2
[ 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14]
创建group
import h5py import numpy as np f=h5py.File("myh5py.hdf5","w") #创建一个名字为bar的组 g1=f.create_group("bar") #在bar这个组里面分别创建name为dset1,dset2的数据集并赋值。 g1["dset1"]=np.arange(10) g1["dset2"]=np.arange(12).reshape((3,4)) for key in g1.keys(): print(g1[key].name) print(g1[key].value)
输出:
/bar/dset1
[0 1 2 3 4 5 6 7 8 9]
/bar/dset2
[[ 0 1 2 3]
[ 4 5 6 7]
[ 8 9 10 11]]
删除某个key下的数据
# 删除某个key,调用remove
f.remove("bar")
最后pandsa读取HDF5格式文件
import pandas as pd import numpy as np # 将mode改成r即可 hdf5 = pd.HDFStore("hello.h5", mode="r") # 或者 """ hdfs = pd.read_hdf("hello.h5", key="xxx") """
以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持。
免责声明:本站文章均来自网站采集或用户投稿,网站不提供任何软件下载或自行开发的软件! 如有用户或公司发现本站内容信息存在侵权行为,请邮件告知! 858582#qq.com
P70系列延期,华为新旗舰将在下月发布
3月20日消息,近期博主@数码闲聊站 透露,原定三月份发布的华为新旗舰P70系列延期发布,预计4月份上市。
而博主@定焦数码 爆料,华为的P70系列在定位上已经超过了Mate60,成为了重要的旗舰系列之一。它肩负着重返影像领域顶尖的使命。那么这次P70会带来哪些令人惊艳的创新呢?
根据目前爆料的消息来看,华为P70系列将推出三个版本,其中P70和P70 Pro采用了三角形的摄像头模组设计,而P70 Art则采用了与上一代P60 Art相似的不规则形状设计。这样的外观是否好看见仁见智,但辨识度绝对拉满。