最近在論壇看到有人問,如何快速生成100萬不重復(fù)的8位編號,對于這個問題,有幾點(diǎn)是需要注意的:
1. 如何生成8位隨機(jī)數(shù),生成的數(shù)越隨機(jī),重復(fù)的可能性當(dāng)然越小
2. 控制不重復(fù)
3. 考慮性能
針對這個問題,我寫了如下的示例來解決,希望能為有這類需求的人提供指導(dǎo)
生成100萬條8位不重復(fù)數(shù)據(jù)的示例
use tempdb
go
-- 創(chuàng)建測試表
create table tb(id char(8))
-- 創(chuàng)建用于自動過濾重復(fù)值的唯一索引
create unique index ix_tb on tb(id)
with ignore_dup_key
go
-- 測試數(shù)據(jù)插入的處理時間, 記錄開始處理的時間點(diǎn)
declare @dt datetime
set @dt = getdate()
-- 插入隨機(jī)數(shù)據(jù)
set nocount on
declare @row int
set @row = 1000000 -- 設(shè)置總記錄數(shù)
while @row >0
begin
-- 顯示提示信息, 表示還需要插入多行數(shù)據(jù)
raiserror('need %d rows', 10, 1, @row) with nowait
-- 插入隨機(jī)的位編碼數(shù)據(jù)
set rowcount @row
insert tb select
id = right(100000000 + convert(bigint, abs(checksum(newid()))), 8)
from syscolumns c1, syscolumns c2
set @row = @row - @@rowcount
end
-- 顯示插入數(shù)據(jù)使用的時間
select begindate = @dt, enddate = getdate(),
second = datediff(second, @dt, getdate()),
go
-- 顯示最終的結(jié)果記錄是否正確
select count(*) from tb
go
-- 刪除測試
drop table tb
解決中用到的技巧:
1. 控制產(chǎn)生的數(shù)據(jù)不重復(fù),直接使用唯一索引中的 ignore_dup_key 選項,使插入數(shù)據(jù)中的重復(fù)值自動過濾,避免手工處理重復(fù)
2. 使用 checksum 配合 newid() 函數(shù),使生成的數(shù)據(jù)盡量隨機(jī),一般生成隨機(jī)數(shù)會考慮使用 rand() 函數(shù),但這個函數(shù)是產(chǎn)生偽隨機(jī)值,用下面的語句測試一下,會發(fā)現(xiàn)產(chǎn)生的數(shù)據(jù)全部是一樣的,這不適用于想批量生成多個隨機(jī)數(shù),而newid() 函數(shù)生成的是guid,基本上不會有重復(fù)的,再通過checksum將其轉(zhuǎn)化成數(shù)字,這樣產(chǎn)生重復(fù)的可能性會比較小
select top 10
rand()
from sysobjects
3. 在效率控制,使用循環(huán)+批量生成的方式,而不是傳統(tǒng)的逐個生成。在sql server中,每個插入語句都會有一個內(nèi)部的事務(wù)處理,如果逐條插入,則事務(wù)的開銷太大,效率勢必非常低;不考慮一次性生成100萬數(shù)據(jù),一則因為生成的數(shù)據(jù)可能有重復(fù)的,去掉重復(fù)就沒有100萬了,二則一次性生成100萬數(shù)據(jù),消耗的內(nèi)存和cpu資源也很高,一般的電腦可能承受不住.
新聞熱點(diǎn)
疑難解答
圖片精選