国产探花免费观看_亚洲丰满少妇自慰呻吟_97日韩有码在线_资源在线日韩欧美_一区二区精品毛片,辰东完美世界有声小说,欢乐颂第一季,yy玄幻小说排行榜完本

首頁 > 數據庫 > MySQL > 正文

MYSQL開發性能研究之批量插入數據的優化方法

2024-07-24 12:51:27
字體:
來源:轉載
供稿:網友

一、我們遇到了什么問題

在標準SQL里面,我們通常會寫下如下的SQL insert語句。

INSERT INTO TBL_TEST (id) VALUES(1);

很顯然,在MYSQL中,這樣的方式也是可行的。但是當我們需要批量插入數據的時候,這樣的語句卻會出現性能問題。例如說,如果有需要插入100000條數據,那么就需要有100000條insert語句,每一句都需要提交到關系引擎那里去解析,優化,然后才能夠到達存儲引擎做真的插入工作。

正是由于性能的瓶頸問題,MYSQL官方文檔也就提到了使用批量化插入的方式,也就是在一句INSERT語句里面插入多個值。即,

INSERT INTO TBL_TEST (id) VALUES (1), (2), (3)

這樣的做法確實也可以起到加速批量插入的功效,原因也不難理解,由于提交到服務器的INSERT語句少了,網絡負載少了,最主要的是解析和優化的時間看似增多,但是實際上作用的數據行卻實打實地多了。所以整體性能得以提高。根據網上的一些說法,這種方法可以提高幾十倍。

然而,我在網上也看到過另外的幾種方法,比如說預處理SQL,比如說批量提交。那么這些方法的性能到底如何?本文就會對這些方法做一個比較。

二、比較環境和方法
我的環境比較苦逼,基本上就是一個落后的虛擬機。只有2核,內存為6G。操作系統是SUSI Linux,MYSQL版本是5.6.15。

可以想見,這個機子的性能導致了我的TPS一定非常低,所以下面的所有數據都是沒有意義的,但是趨勢卻不同,它可以看出整個插入的性能走向。

由于業務特點,我們所使用的表非常大,共有195個字段,且寫滿(每個字段全部填滿,包括varchar)大致會有略小于4KB的大小,而通常來說,一條記錄的大小也有3KB。

由于根據我們的實際經驗,我們很肯定的是,通過在一個事務中提交大量INSERT語句可以大幅度提高性能。所以下面的所有測試都是建立在每插入5000條記錄提交一次的做法之上。

最后需要說明的是,下面所有的測試都是通過使用MYSQL C API進行的,并且使用的是INNODB存儲引擎。

三、比較方法

理想型測試(一)——方法比較

目的:找出理想情況下最合適的插入機制

關鍵方法:

1. 每個進/線程按主鍵順序插入

2. 比較不同的插入方法

3. 比較不同進/線程數量對插入的影響

image

*“普通方法”指的是一句INSERT只插入一個VALUE的情況。

*“預處理SQL”指的是使用預處理MYSQL C API的情況。

* “多表值SQL(10條)”是使用一句INSERT語句插入10條記錄的情況。為什么是10條?后面的驗證告訴了我們這樣做性能最高。

發表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發表
主站蜘蛛池模板: 婺源县| 沧州市| 黔南| 漳州市| 姜堰市| 怀化市| 特克斯县| 北安市| 克拉玛依市| 金湖县| 永胜县| 综艺| 新郑市| 云龙县| 阿图什市| 冀州市| 鹤岗市| 绥滨县| 石家庄市| 闻喜县| 通州区| 吉木萨尔县| 五原县| 延边| 红安县| 澳门| 桃园县| 华亭县| 施甸县| 合川市| 闵行区| 垫江县| 大荔县| 泾源县| 油尖旺区| 东城区| 勐海县| 信宜市| 高邑县| 新营市| 南靖县|