1、引言

通過參考相關博客對hdf5格式簡要介紹。

hdf5在存儲的是支持壓縮，使用的方式是blosc，這個是速度最快的也是pandas默認支持的。 使用壓縮可以提磁盤利用率，節省空間。 開啟壓縮也沒有什么劣勢，只會慢一點點。 壓縮在小數據量的時候優勢不明顯，數據量大了才有優勢。 同時發現hdf讀取文件的時候只能是一次寫，寫的時候可以append，可以put，但是寫完成了之后關閉文件，就不能再寫了， 會覆蓋。

另外，為什么單獨說pandas，主要因為本人目前對于h5py這個包的理解不是很深入，不知道如果使用該包存pd.DataFrame格式的文件，不像numpy格式文件可以直接存儲，因此本人只能依賴pandas自帶一些函數進行處理。

2、寫入文件

使用函數：pd.HDFStore

import numpy as npimport pandas as pd####生成9000,0000條數據，9千萬條a = np.random.standard_normal((90000000,4))b = pd.DataFrame(a)####普通格式存儲：h5 = pd.HDFStore('/data/stock/test_s.h5','w')h5['data'] = bh5.close()####壓縮格式存儲h5 = pd.HDFStore('/data/stock/test_c4.h5','w', complevel=4, complib='blosc')h5['data'] = bh5.close()

3、讀取文件

使用函數：pd.read_hdf

參數：文件名，key

data=pd.read_hdf('/data/stock/test_c4.h5',key='data')

以上這篇對pandas寫入讀取h5文件的方法詳解就是小編分享給大家的全部內容了，希望能給大家一個參考，也希望大家多多支持武林站長站。