在mysql中如果上百萬級的數據我們要插入到數據表中是不可以使用普通insert into來操作的,一般推薦使用load file或存儲過程來導入數據,下面我總結了一些方法與各位分享一下.

說明:這幾天嘗試了使用不同的存儲引擎大量插入MySQL表數據,主要試驗了MyISAM存儲引擎和InnoDB,下面是實驗過程.

實現:一、InnoDB存儲引擎.

創建數據庫和表,代碼如下:

1. > CREATE DATABASE ecommerce; 
2. > CREATE TABLE employees (      
3.     id INT NOT NULL,      
4.     fname VARCHAR(30),      
5.     lname VARCHAR(30),   
6.     birth TIMESTAMP,     
7.     hired DATE NOT NULL DEFAULT '1970-01-01',      
8.     separated DATE NOT NULL DEFAULT '9999-12-31',      
9.     job_code INT NOT NULL,      
10.     store_id INT NOT NULL     
11. )       
12. partition BY RANGE (store_id) (      
13.     partition p0 VALUES LESS THAN (10000),      
14.     partition p1 VALUES LESS THAN (50000),      
15.     partition p2 VALUES LESS THAN (100000),      
16.     partition p3 VALUES LESS THAN (150000), 
17.     Partition p4 VALUES LESS THAN MAXVALUE      
18. );  

創建存儲過程,代碼如下:

1. > use ecommerce; 
2. > delimiter //   delimiter命令來把語句定界符從;變為//，不然后面的存儲過程會出錯。到declare var int;mysql就停止 
3. > CREATE PROCEDURE BatchInsert(IN init INT, IN loop_time INT) 
4. BEGIN 
5.  DECLARE Var INT; 
6.  DECLARE ID INT; 
7.  SET Var = 0; 
8.  SET ID = init; 
9.       WHILE Var < loop_time DO 
10.       insert into employees(id,fname,lname,birth,hired,separated,job_code,store_id) values(ID,CONCAT('chen',ID),CONCAT('haixiang',ID),Now(),Now(),Now(),1,ID); 
11.       SET ID = ID + 1; 
12.       SET Var = Var + 1; 
13.       END WHILE; 
14. END; 
15. // 
16. > delimiter ; 

把定界符變回,調用存儲過程插入數據,代碼如下:

> CALL BatchInsert(30036,200000);

用時:3h 37min 8sec 

二、MyISAM存儲引擎

創建表,代碼如下:

1. > use ecommerce; 
2. > CREATE TABLE ecommerce.customer ( 
3.    id INT NOT NULL, 
4.    email VARCHAR(64) NOT NULL, 
5.    name VARCHAR(32) NOT NULL, 
6.    password VARCHAR(32) NOT NULL, 
7.    phone VARCHAR(13), 
8.    birth DATE, 
9.    sex INT(1), 
10.    avatar BLOB, 
11.    address VARCHAR(64), 
12.    regtime DATETIME, 
13.    lastip VARCHAR(15), 
14.    modifytime TIMESTAMP NOT NULL, 
15.   PRIMARY KEY (id) 
16. )ENGINE = MyISAM ROW_FORMAT = DEFAULT 
17. partition BY RANGE (id) (      
18.     partition p0 VALUES LESS THAN (100000),      
19.     partition p1 VALUES LESS THAN (500000),      
20.     partition p2 VALUES LESS THAN (1000000),      
21.     partition p3 VALUES LESS THAN (1500000), 
22.     partition p4 VALUES LESS THAN (2000000), 
23.     Partition p5 VALUES LESS THAN MAXVALUE      
24. );  

創建存儲過程,代碼如下:

1. > use ecommerce; 
2. > DROP PROCEDURE IF EXISTS ecommerce.BatchInsertCustomer; 
3. > delimiter // 
4. > CREATE PROCEDURE BatchInsertCustomer(IN start INT,IN loop_time INT) 
5. BEGIN 
6.  DECLARE Var INT; 
7.  DECLARE ID INT; 
8.  SET Var = 0; 
9.  SET ID= start; 
10.       WHILE Var < loop_time  
11.         DO 
12.       insert into customer(ID,email,name,password,phone,birth,sex,avatar,address,regtime,lastip,modifytime)  
13.   values(ID,CONCAT(ID,'@sina.com'),CONCAT('name_',rand(ID)*10000 mod 200),123456,13800000000,adddate('1995-01-01',(rand(ID)*36520) mod 3652),Var%2,'http:///it/u=2267714161,58787848&fm=52&gp=0.jpg','北京市海淀區',adddate('1995-01-01',(rand(ID)*36520) mod 3652),'8.8.8.8',adddate('1995-01-01',(rand(ID)*36520) mod 3652)); 
14.       SET Var = Var + 1;  //Vevb.com 
15.       SET ID= ID + 1; 
16.       END WHILE; 
17. END; 
18. // 
19. > delimiter ;  

調用存儲過程插入數據,代碼如下:

1. > ALTER  TABLE  customer  DISABLE  KEYS;  
2. > CALL BatchInsertCustomer(1,2000000); 
3. > ALTER  TABLE  customer  ENABLE  KEYS; 

用時:8min 50sec 

通過以上對比發現對于插入大量數據時可以使用MyISAM存儲引擎,如果再需要修改MySQL存儲引擎可以使用命令:ALTER TABLE t ENGINE = MYISAM;

另一文件:很久很久以前,為了寫某個程序,必須在MySQL數據庫中插入大量的數據,一共有85766121條,近一億條的數據,怎么才能快速插入到MySQL里呢？

當時的做法是用INSERT INTO一條一條地插入,Navicat估算需要十幾個小時的時間才能完成,就放棄了,最近幾天學習了一下MySQL,提高數據插入效率的基本原則如下"

» 批量插入數據的效率比單數據行插入的效率高 

» 插入無索引的數據表比插入有索引的數據表快一些 

» 較短的SQL語句的數據插入比較長的語句快 

這些因素有些看上去是微不足道的,但是如果插入大量的數據,即使很小的影響效率的因素也會形成不同的結果,根據上面討論的規則,我們可以就如何快速地加載數據得出幾個實用的結論.

» 使用LOAD DATA語句要比INSERT語句效率高,因為它批量插入數據行,服務器只需要對一個語句(而不是多個語句)進行語法分析和解釋,索引只有在所有數據行處理完之后才需要刷新,而不是每處理一行都刷新.

» 如果你只能使用INSERT語句,那就要使用將多個數據行在一個語句中給出的格式.

INSERT INTO table_name VALUES(...),(...),...這將會減少你需要的語句總數,最大程度地減少了索引刷新的次數.

根據上面的結論,今天又對相同的數據和數據表進行了測試,發現用LOAD DATA速度快了不只是一點點,竟然只用了十多分鐘,所以在MySQL需要快速插入大量數據時,LOAD DATA是你不二的選擇.

順便說一下,在默認情況下,LOAD DATA語句將假設各數據列的值以制表符（t）分閣,各數據行以換行符（n）分隔,數據值的排列順序與各數據列在數據表里的先后順序一致,但你完全可以用它來讀取其他格式的數據文件或者按其他順序來讀取各數據列的值,有關細節請參照MySQL文檔.

總結:

1.對于Myisam類型的表,可以通過以下方式快速的導入大量的數據,代碼如下:

1. ALTER  TABLE  tblname  DISABLE  KEYS; 
2.  
3. loading  the  data 
4.  
5.  ALTER  TABLE  tblname  ENABLE  KEYS; 

這兩個命令用來打開或者關閉Myisam表非唯一索引的更新,在導入大量的數據到一 個非空的Myisam表時,通過設置這兩個命令,可以提高導入的效率,對于導入大量 數據到一個空的Myisam表,默認就是先導入數據然后才創建索引的,所以不用進行設置.

2. 而對于Innodb類型的表,這種方式并不能提高導入數據的效率,對于Innodb類型 的表,我們有以下幾種方式可以提高導入的效率:

a. 因為Innodb類型的表是按照主鍵的順序保存的,所以將導入的數據按照主鍵的順序排列,可以有效的提高導入數據的效率,如果Innodb表沒有主鍵,那么系統會默認創建一個內部列作為主鍵,所以如果可以給表創建一個主鍵,將可以利用這個優勢提高 導入數據的效率.

b. 在導入數據前執行SET  UNIQUE_CHECKS=0,關閉唯一性校驗,在導入結束后執行SET  UNIQUE_CHECKS=1,恢復唯一性校驗,可以提高導入的效率.

c. 如果應用使用自動提交的方式,建議在導入前執行SET  AUTOCOMMIT=0,關閉自動提交,導入結束后再執行.