国产探花免费观看_亚洲丰满少妇自慰呻吟_97日韩有码在线_资源在线日韩欧美_一区二区精品毛片,辰东完美世界有声小说,欢乐颂第一季,yy玄幻小说排行榜完本

首頁 > 編程 > Python > 正文

使用Python機(jī)器學(xué)習(xí)降低靜態(tài)日志噪聲

2020-02-15 23:05:58
字體:
供稿:網(wǎng)友

持續(xù)集成(CI)作業(yè)可以產(chǎn)生大量的數(shù)據(jù)。當(dāng)作業(yè)失敗時,找出了什么問題可能是一個繁瑣的過程,需要對日志進(jìn)行調(diào)查以發(fā)現(xiàn)根本原因-這通常是在作業(yè)總輸出的一小部分中發(fā)現(xiàn)的。為了更容易地將最相關(guān)的數(shù)據(jù)從其他數(shù)據(jù)中分離出來,日志還原機(jī)器學(xué)習(xí)模型使用以前成功的作業(yè)運行來訓(xùn)練,以從失敗的運行日志中提取異常。
此原則也可應(yīng)用于其他用例,例如,從期刊或其他系統(tǒng)范圍的常規(guī)日志文件。

利用機(jī)器學(xué)習(xí)降低噪聲

一個典型的日志文件包含許多名義事件(“基線”)以及一些與開發(fā)人員相關(guān)的異常。基線可能包含難以檢測和刪除的隨機(jī)元素,如時間戳或唯一標(biāo)識符。要刪除基線事件,我們可以使用k最近鄰模式識別算法 (k-NN)。

的日志事件必須轉(zhuǎn)換為數(shù)值。k-NN回歸。使用通用特征提取工具HashingVectorizer允許將該進(jìn)程應(yīng)用于任何類型的日志。它對每個單詞進(jìn)行散列,并在稀疏矩陣中對每個事件進(jìn)行編碼。為了進(jìn)一步減少搜索空間,令牌化將刪除已知的隨機(jī)單詞,例如日期或IP地址。

一旦模型被訓(xùn)練,k-NN搜索告訴我們每個新事件與基線之間的距離。

Jupyter notebook演示了稀疏矩陣向量的過程,并繪制了稀疏矩陣向量圖。

介紹LOGPREIN

LogReallyPython軟件透明地實現(xiàn)了這個過程。的最初目標(biāo)是協(xié)助祖爾CI使用構(gòu)建數(shù)據(jù)庫進(jìn)行作業(yè)失敗分析,現(xiàn)在將其集成到軟件廠發(fā)展鍛造的工作日志過程。
最簡單的是,LogReduce比較文件或目錄,并刪除類似的行。Log冷水為每個源文件構(gòu)建一個模型,并使用以下語法輸出距離超過定義閾值的任何目標(biāo)行:距離文件名:行號:行內(nèi)容.

$ logreduce varlogauditaudit.log.1 varlogauditaudit.logINFO logreduce.Classifier - Training took 21.982s at 0.364MBs 1.314kls 8.000 MB - 28.884 kilo-lines0.244 audit.log:19963:    =USER_AUTH ="root" ="/usr/bin/su" hostname=managesf.sftests.comINFO logreduce.Classifier - Testing took 18.297s at 0.306MBs 1.094kls 5.607 MB - 20.015 kilo-lines99.99 reduction from 20015 lines to

更高級的LogReduce使用可以將模型離線訓(xùn)練成可重用的模型。基線的許多變體可以用來適應(yīng)k-NN搜索樹

$ logreduce dir-train audit.clf varlogauditaudit.log.INFO logreduce.Classifier - Training took 80.883s at 0.396MBs 1.397kls 32.001 MB - 112.977 kilo-linesDEBUG logreduce.Classifier - audit.clf: written$ logreduce dir-run audit.clf varlogauditaudit.log            
發(fā)表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發(fā)表
主站蜘蛛池模板: 梅河口市| 军事| 博白县| 岳普湖县| 新兴县| 灌云县| 苍溪县| 玛沁县| 永春县| 林口县| 揭东县| 衡水市| 建瓯市| 比如县| 黑龙江省| 信阳市| 丹棱县| 凤城市| 汨罗市| 三亚市| 昭通市| 荥经县| 禹城市| 砀山县| 莲花县| 东乌珠穆沁旗| 灵丘县| 内江市| 呼伦贝尔市| SHOW| 高青县| 滕州市| 成都市| 婺源县| 新兴县| 犍为县| 如东县| 洛扎县| 新竹市| 鹿邑县| 阆中市|