Python-模塊和包.運維開發中chartdet編碼檢測的最佳實踐

2019-11-08 01:25:17

字體：大中小

來源：轉載

供稿：網友

簡單介紹:

說明: 此模塊主要用來實現字符串/文件編碼檢測

快速安裝:

1	`pip` `install` `--upgrade chardet`

常用方法:

1	`chardet.detect(aBuf) -> dict`

說明: 檢測字符串編碼,返回一個字典包含confidence編碼匹配準確率,encoding最終檢測的編碼,當aBuf為空時可能encoding為None,所以最好判斷一下

最佳實踐:

1. FirmwareUpload會自動對接OA系統及對應SVN服務器,自動定期讀取最新OA發布的固件程序及ReleaseNote,但ReleaseNote中間可能由OA流經不同的部門被修改,無法區別同步下來的編碼,由于最終會讀取ReleaseNote文件生成對應的目錄結構自動發布到UpgradeServer,所以希望可以準確識別編碼統一轉換為utf-8編碼?

1234567891011121314151617181920212223 #!/usr/bin/env python# -*- coding: utf-8 -*-# @Date : 2016-11-23 11:14:15# @Author : 李滿滿 (xmdevops@vip.QQ.com)# @Link : http://xmdevops.blog.51cto.com/# @Version : $Id$from __future__ import absolute_import# 說明: 導入公共模塊import osimport chardet# 說明: 導入其它模塊if __name__ == '__main__': res_lines = [] with open('ChangeLog_Chinese.dat', 'r+b') as fd: res_line = os.linesep for line in fd: line = line.lstrip() encoding = chardet.detect(line).get('encoding', None) PRint encoding if encoding: res_line = line.decode(encoding, 'replace').encode('utf-8') res_lines.append(res_line) print res_lines