国产探花免费观看_亚洲丰满少妇自慰呻吟_97日韩有码在线_资源在线日韩欧美_一区二区精品毛片,辰东完美世界有声小说,欢乐颂第一季,yy玄幻小说排行榜完本

首頁 > 編程 > Python > 正文

使用Protocol Buffers的C語言拓展提速Python程序的示例

2020-02-23 00:45:56
字體:
來源:轉載
供稿:網友

 Protocol Buffers (類似XML的一種數據描述語言)最新版本2.3里,protoc—py_out命令只生成原生的Python代碼。 盡管PB(Protocol Buffers)可以為C++語言生成快速解析和序列化代碼,但是這種方式對于Python不適用,并且手動生成的已包裝的代碼需要非常大的維護工作。在討論組里,這是一個常見的功能要求,由于一個必備的客戶端組件—AppEngine(根據團隊介紹名稱為AppEngine),生成原生的Python代碼有更高的優先級。

幸運的是, PB 2.4版本中本地化代碼已被提名,在 svn的分支中已經可以下載,因此你能夠使用快速的 PB有一段時間了。 (我們使用 r352版本有一段時間了,還沒有遇到任何問題。) PB團隊一直不愿輕易指定任何發布日期,在我的威脅下, Kenton Varda提到日期初步定在 2011年初。


我沒有在其它地方看見過這個文檔,希望它能對其他人有所幫助.

如何做能讓它快起來

安裝好新的PB庫之后并使用 protoc --py_out=...  重新構建好你的PB之后,你需要在運行你的Python程序之前進行環境變量 PROTOCOL_BUFFERS_PYTHON_IMPLEMENTATION=cpp 的設置,以便于選擇C++的,或者PB默認使用的Python實現.

就這樣了!這至少就能在可以動態轉化/序列化消息的PB運行時庫用通用的C++代碼了. (注意我們還沒有生成任何C++代碼.)

它能有多快呢? 我編寫了一個簡單的程序來獲得性能在我們的應用程序中的提升感觀:
 

nruns = 1000nwarmups = 100xs = ... # your protobufsdef ser(): return [x.SerializeToString() for x in xs]def parse(ys): for y in ys: pb.Email().ParseFromString(y) t = timeit.Timer(lambda:None)t.timeit(nwarmups)print 'noop:', t.timeit(nruns) / nruns t = timeit.Timer(ser)t.timeit(nwarmups)print 'ser:', t.timeit(nruns) / nruns / len(xs) ys = ser()t = timeit.Timer(lambda: parse(ys))t.timeit(nwarmups)print 'parse:', t.timeit(nruns) / nruns / len(xs)print 'msg size:', sum(len(y) for y in ys) / len(ys)

以秒為單位,這段程序在我的桌面上給出了如下幾個時間結果:
 

$ python sandbox/pbbench.py out.iniser: 0.000434461673101parse: 0.000602062404156msg size: 10730 $ PROTOCOL_BUFFERS_PYTHON_IMPLEMENTATION=cpp /> python sandbox/pbbench.py out.iniser: 2.86788344383e-05parse: 7.63910810153e-05msg size: 10730

這顯示出在序列化和轉化方面分別有15和8被的速度提升。不壞!但還可以更快.

如何做讓它更快

現在我們實際上只是特地針對你的PB生成了一個C++實現,而我們從來沒有使用過運行時反射。首先,為你的Python項目添加一個C擴展,不如,通過修改如下的 setup.py:
 

setup(  ...  ext_modules=[Extension('podpb',sources=['cpp/podpb.c','cpp/main.pb.cc'], libraries=['protobuf'])],  ...  )            
發表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發表
主站蜘蛛池模板: 双城市| 广宗县| 防城港市| 信宜市| 深圳市| 安达市| 会宁县| 宜君县| 托克托县| 瓮安县| 伊吾县| 灌云县| 庄河市| 佳木斯市| 甘南县| 府谷县| 吉首市| 扎赉特旗| 宾川县| 平顺县| 河北区| 石泉县| 大埔区| 德清县| 全椒县| 鄢陵县| 沙坪坝区| 威宁| 米脂县| 广州市| 黑河市| 周至县| 西平县| 玛沁县| 蒙山县| 将乐县| 怀集县| 长垣县| 巢湖市| 五大连池市| 星座|