国产探花免费观看_亚洲丰满少妇自慰呻吟_97日韩有码在线_资源在线日韩欧美_一区二区精品毛片,辰东完美世界有声小说,欢乐颂第一季,yy玄幻小说排行榜完本

首頁 > 學(xué)院 > 操作系統(tǒng) > 正文

hbase 一次大規(guī)模數(shù)據(jù)寫入清除測試

2024-06-28 16:04:06
字體:
供稿:網(wǎng)友

 測試過程

10:58 開始打入數(shù)據(jù),磁盤使用率44% 11:38 由于內(nèi)存8G不夠,在打入數(shù)據(jù)的時候,導(dǎo)致falcon監(jiān)控異常退出,對于本次測試效果不好,開始制作鏡像,并運行新的instance 13:07 開始測試,43.394% 18:11 設(shè)置TTL,未做大合并 18 12 hbase disk storage usage 從 2539 到1571 共有968MB數(shù)據(jù) 18 15 machine disk storage usage 從 12483 到 10924 共有 1559MB數(shù)據(jù)

 全部監(jiān)控曲線

這里寫圖片描述

總結(jié)

跑CDH最好是16GB內(nèi)存,cpu至少兩核心吧。hbase在存儲數(shù)據(jù)的時候,先是寫入到WAL,然后flush到磁盤里面,這個可以設(shè)置,我當(dāng)前設(shè)置的64MBhbase數(shù)據(jù)由WALs目錄開始,64MBflush到磁盤,然后本身在某種機(jī)制下移動到oldWALs(保留時間很短,分分鐘就被系統(tǒng)清理掉了)。hbase的archive,目前沒有多少研究,基本上數(shù)據(jù)也會分分鐘消滅掉hbase設(shè)置ttl,即使沒有在手動major_compact的情況下,依舊會清理掉數(shù)據(jù)。下圖是我設(shè)置ttl的過程。

這里寫圖片描述

今天測試持續(xù)8個小時,花費大概10元

這里寫圖片描述

后記

哎呀,搞了三天了,總算有點果子吃了,哈哈。


發(fā)表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發(fā)表
主站蜘蛛池模板: 成武县| 宣城市| 莱西市| 阿瓦提县| 灵寿县| 和田市| 海伦市| 馆陶县| 乐安县| 宁波市| 蓝山县| 新龙县| 宁强县| 金门县| 慈利县| 永定县| 乌什县| 全南县| 安塞县| 嘉禾县| 河北区| 双江| 眉山市| 喀喇| 江门市| 霍州市| 普定县| 锡林郭勒盟| 双牌县| 新乡县| 临沭县| 固原市| 阳谷县| 慈利县| 闽清县| 延川县| 萍乡市| 自贡市| 黔东| 呼伦贝尔市| 垫江县|