用PHP對GB編碼到UTF-8編碼的動態轉換

2024-05-04 23:03:10

字體：大中小

來源：轉載

供稿：網友

用ip2addr函數直接讀取ip數據庫文件是效率最高的，相比用mysql數據庫存儲ip數據，用sql查詢是效率最低的。但是ip數據庫文件qqwry.dat是gb2312編碼的。現在我需要utf-8編碼的地理位置結果。如果用mysql方法，可以在數據存入數據庫時就轉換為utf-8編碼，一勞永逸。但是qqwry.dat文件又無法修改，只能把ip2addr函數的輸出結果再進行動態轉換。

動態轉換gb->utf-8編碼至少有四種方法：

用php的iconv擴展轉換

用php的mb_string擴展轉換

用對換表轉換，對換表存儲在mysql數據庫中

用對換表轉換，對換表存儲在文本文件中

前兩種方法要服務器作了相應設置（編譯安裝了相應擴展）才能使用。我的虛擬主機沒有這兩個擴展，只好考慮后兩種方法。前兩個方法本文也不進行測評。

測評程序如下（func_ip.php參見《ip地址->地理位置轉換的測評》一文）：

<?php
require_once ("func_ip.php");
function u2utf8($c) {
$str = "";
if ($c < 0x80) {
$str .= $c;
} elseif ($c < 0x800) {
$str .= chr(0xc0 | $c >> 6);
$str .= chr(0x80 | $c & 0x3f);
} elseif ($c < 0x10000) {
$str .= chr(0xe0 | $c >> 12);
$str .= chr(0x80 | $c >> 6 & 0x3f);
$str .= chr(0x80 | $c & 0x3f);
} elseif ($c < 0x200000) {
$str .= chr(0xf0 | $c >> 18);
$str .= chr(0x80 | $c >> 12 & 0x3f);
$str .= chr(0x80 | $c >> 6 & 0x3f);
$str .= chr(0x80 | $c & 0x3f);
}
return $str;
}
function gb2utf8_sql($strgb) {
if (!trim($strgb)) return $strgb;
$strret = "";
$intlen = strlen($strgb);
for ($i = 0; $i < $intlen; $i++) {
if (ord($strgb{$i}) > 127) {
$strcurr = substr($strgb, $i, 2);
$intgb = hexdec(bin2hex($strcurr)) - 0x8080;
$strsql = "select code_unicode from nnstats_gb_unicode
where code_gb = ".$intgb." limit 1"
;
$resresult = mysql_query($strsql);
if ($arrcode = mysql_fetch_array($resresult)) $strret .= u2utf8($arrcode["code_unicode"]);
else $strret .= "??";
$i++;
} else {
$strret .= $strgb{$i};
}
}
return $strret;
}
function gb2utf8_file($strgb) {
if (!trim($strgb)) return $strgb;
$arrlines = file("gb_unicode.txt");
foreach ($arrlines as $strline) {
$arrcodetable[hexdec(substr($strline, 0, 6))] = hexdec(substr($strline, 7, 6));
}
$strret = "";
$intlen = strlen($strgb);
for ($i = 0; $i < $intlen; $i++) {
if (ord($strgb{$i}) > 127) {
$strcurr = substr($strgb, $i, 2);
$intgb = hexdec(bin2hex($strcurr)) - 0x8080;
if ($arrcodetable[$intgb]) $strret .= u2utf8($arrcodetable[$intgb]);
else $strret .= "??";
$i++;
} else {
$strret .= $strgb{$i};
}
}
return $strret;
}
function encodeip($strdotquadip) {
$arripsep = explode('.', $strdotquadip);
if (count($arripsep) != 4) return 0;
$intip = 0;
foreach ($arripsep as $k => $v) $intip += (int)$v * pow(256, 3 - $k);
return $intip;
//return sprintf('%02x%02x%02x%02x', $arripsep[0], $arripsep[1], $arripsep[2], $arripsep[3]);
}
function getmicrotime() {
list($msec, $sec) = explode(" ", microtime());
return ((double)$msec + (double)$sec);
}
for ($i = 0; $i < 100; $i++) { // 隨機產生100個ip地址
$strip = mt_rand(0, 255).".".mt_rand(0, 255).".".mt_rand(0, 255).".".mt_rand(0, 255);
$arraddr[$i] = ip2addr(encodeip($strip));
}
$resconn = mysql_connect("localhost", "netnest", "netnest");
mysql_select_db("test");
// 測評mysql查詢的編碼轉換
$dbltimestart = getmicrotime();
for ($i = 0; $i < 100; $i++) {
$strutf8region = gb2utf8_sql($arraddr[$i]["region"]);
$strutf8address = gb2utf8_sql($arraddr[$i]["address"]);
}
$dbltimeduration = getmicrotime() - $dbltimestart;
// 測評結束并輸出結果
echo $dbltimeduration; echo "/r/n";
// 測評文本文件查詢的編碼轉換
$dbltimestart = getmicrotime();
for ($i = 0; $i < 100; $i++) {
$strutf8region = gb2utf8_file($arraddr[$i]["region"]);
$strutf8address = gb2utf8_file($arraddr[$i]["address"]);
}
$dbltimeduration = getmicrotime() - $dbltimestart;
// 測評結束并輸出結果
echo $dbltimeduration; echo "/r/n";
?>

測評兩次結果（精確到3位小數，單位是秒）：

mysql查詢轉換：0.112
文本查詢轉換：10.590

mysql查詢轉換：0.099
文本查詢轉換：10.623

可見這次是mysql方法遙遙領先于文件查詢法。但是現在還不急于使用mysql方法，因為文本文件方法之所以如此耗時，主要因為它每次轉換都要把整個gb_unicode.txt讀入內存，而gb_unicode.txt又是文本文件，格式如下：

0x2121 0x3000 # ideographic space
0x2122 0x3001 # ideographic comma
0x2123 0x3002 # ideographic full stop
0x2124 0x30fb # katakana middle dot
0x2125 0x02c9 # modifier letter macron (mandarin chinese first tone)
……
0x552a 0x6458 # <cjk>
0x552b 0x658b # <cjk>
0x552c 0x5b85 # <cjk>
0x552d 0x7a84 # <cjk>
……
0x777b 0x9f37 # <cjk>
0x777c 0x9f3d # <cjk>
0x777d 0x9f3e # <cjk>
0x777e 0x9f44 # <cjk>

文本文件效率較低，于是考慮把文本文件轉換為二進制文件，然后用折半法查找這個文件，而不需要把整個文件讀入內存。文件格式為：文件頭2字節，存儲記錄數；接著一條接一條記錄存入文件，每條記錄4字節，前2字節對應gb代碼，后2字節對應unicode代碼。轉換程序如下：

<?php
$arrlines = file("gb_unicode.txt");
foreach ($arrlines as $strline) {
$arrcodetable[hexdec(substr($strline, 0, 6))] = hexdec(substr($strline, 7, 6));
}
ksort($arrcodetable);
$intcount = count($arrcodetable);
$strcount = chr($intcount % 256) . chr(floor($intcount / 256));
$filegbu = fopen("gbu.dat", "wb");
fwrite($filegbu, $strcount);
foreach ($arrcodetable as $k => $v) {
$strdata = chr($k % 256) . chr(floor($k / 256)) . chr($v % 256) . chr(floor($v / 256));
fwrite($filegbu, $strdata);
}
fclose($filegbu);
?>

執行程序后就獲得了二進制的gb->unicode對照表gbu.dat，并且數據記錄按gb代碼排了序，便于折半法查找。使用gbu.dat進行轉碼的函數如下：

把其加到原來的測評程序，對三種方法同時測評2次得到數據（精確到3位小數，單位：秒）：

mysql方法：0.125
文本文件方法：10.873
二進制文件折半法：0.106

mysql方法：0.102
文本文件方法：10.677
二進制文件折半法：0.092

可見二進制文件折半法還比mysql法略有優勢。但是上述測評都是對短的地理位置進行轉碼，如果對較長的文本轉碼又如何呢？我找來5個blog的rss 2.0文件，都是gb2312編碼。測評三種方法對5個文件編碼耗費的時間，2次測量數據如下（精確到3位小數，單位：秒）：

mysql方法：7.206
文本文件方法：0.772
二進制文件折半法：5.022

mysql方法：7.440
文本文件方法：0.766
二進制文件折半法：5.055

可見對長的文本是用文本文件的方法最優，因為轉碼對照表讀入內存后，轉碼就可以很高效了。既然如此，我們還可以嘗試改進一下，把文本文件方法改為：轉碼對照表從二進制文件gbu.dat讀入內存，而不是文本文件。測評數據如下（精度和單位同上）：

從文本文件讀入對照表：0.766
從二進制文件讀入對照表：0.831

從文本文件讀入對照表：0.774
從二進制文件讀入對照表：0.833

表明這次改進失敗了，從文本文件讀入轉碼對照表更高效。

總結：用php對gb編碼到utf-8編碼的動態轉換，如果每次轉換的文本很小，適宜用二進制文件結合折半法轉換；如果每次轉換的文本較大，適宜用文本文件存儲轉碼對照表，并在轉換前一次性把對照表讀入內存。