国产探花免费观看_亚洲丰满少妇自慰呻吟_97日韩有码在线_资源在线日韩欧美_一区二区精品毛片,辰东完美世界有声小说,欢乐颂第一季,yy玄幻小说排行榜完本

首頁(yè) > 編程 > Python > 正文

python批量導(dǎo)入數(shù)據(jù)進(jìn)Elasticsearch的實(shí)例

2020-02-15 21:34:30
字體:
來(lái)源:轉(zhuǎn)載
供稿:網(wǎng)友

ES在之前的博客已有介紹,提供很多接口,本文介紹如何使用python批量導(dǎo)入。ES官網(wǎng)上有較多說(shuō)明文檔,仔細(xì)研究并結(jié)合搜索引擎應(yīng)該不難使用。

先給代碼

#coding=utf-8from datetime import datetimefrom elasticsearch import Elasticsearchfrom elasticsearch import helperses = Elasticsearch()actions = []f=open('index.txt')i=1for line in f: line = line.strip().split(' ') action={ "_index":"image", "_type":"imagetable", "_id":i, "_source":{  u"圖片名":line[0].decode('utf8'),  u"來(lái)源":line[1].decode('utf8'),  u"權(quán)威性":line[2].decode('utf8'),  u"大小":line[3].decode('utf8'),  u"質(zhì)量":line[4].decode('utf8'),  u"類別":line[5].decode('utf8'),  u"型號(hào)":line[6].decode('utf8'),  u"國(guó)別":line[7].decode('utf8'),  u"采集人":line[8].decode('utf8'),  u"所屬部門(mén)":line[9].decode('utf8'),  u"關(guān)鍵詞":line[10].decode('utf8'),  u"訪問(wèn)權(quán)限":line[11].decode('utf8')   } } i+=1 actions.append(action) if(len(actions)==500): helpers.bulk(es, actions) del actions[0:len(actions)]if (len(actions) > 0): helpers.bulk(es, actions) 

每句話的含義還是很明顯的,這里需要說(shuō)幾點(diǎn),首先是index.txt是以u(píng)tf8編碼的,所以需要decode('utf8')轉(zhuǎn)換成unicode對(duì)象,并且“圖片名”前需要加u,否則ES會(huì)報(bào)錯(cuò)

導(dǎo)入的速度還是很快的,2000多條記錄每秒。

以上這篇python批量導(dǎo)入數(shù)據(jù)進(jìn)Elasticsearch的實(shí)例就是小編分享給大家的全部?jī)?nèi)容了,希望能給大家一個(gè)參考,也希望大家多多支持武林站長(zhǎng)站。

發(fā)表評(píng)論 共有條評(píng)論
用戶名: 密碼:
驗(yàn)證碼: 匿名發(fā)表
主站蜘蛛池模板: 鹰潭市| 白朗县| 遂平县| 宁城县| 赤水市| 新郑市| 嵊州市| 肇庆市| 泸定县| 都兰县| 东丽区| 枣庄市| 时尚| 长丰县| 东海县| 东兴市| 兰州市| 城市| 临城县| 策勒县| 东乡| 九寨沟县| 云和县| 怀化市| 阳西县| 长岭县| 油尖旺区| 资阳市| 宁安市| 融水| 龙海市| 洪雅县| 旬阳县| 都兰县| 仪陇县| 清丰县| 霍林郭勒市| 云阳县| 交口县| 关岭| 开鲁县|