前言

最近微信小游戲跳一跳大熱，自己也是中毒頗久，無奈手殘最高分只拿到200分。無意間看到教你用Python來玩微信跳一跳一文，在電腦上利用adb驅動工具操作手機，詳細的介紹以及如何安裝adb驅動可以去看這篇文章，這里就不再介紹了。但是原文每次跳躍需要手動點擊，于是想嘗試利用圖像處理的方法自動化。
最重要的不是最終刷的分數，而是解決這個問題的過程。花了一個下午嘗試各種方法，最終采用opencv的模板匹配+邊緣檢測，方法很簡單但效果很好。
本文主要分享如何用Opencv對游戲截圖進行檢測，自動找到小人和跳躍目標點的位置，計算跳躍距離，從而讓電腦幫你玩跳一跳游戲！

本文的代碼見https://github.com/moneyDboat/wechat_jump_jump，歡迎fork和star～

主要使用的Python庫及對應版本：

python 3.6
opencv-python 3.3.0
numpy 1.13.3

Opencv

首先介紹下opencv，是一個計算機視覺庫，本文將用到opencv里的模板匹配和邊緣檢測功能。

模板匹配

模板匹配是在一幅圖像中尋找一個特定目標的方法之一。這種方法的原理非常簡單，遍歷圖像中的每一個可能的位置，比較各處與模板是否“相似”，當相似度足夠高時，就認為找到了我們的目標。
例如提供小人的模板圖片

import cv2import numpy as np# imread()函數讀取目標圖片和模板img_rgb = cv2.imread("0.png", 0)template = cv2.imread('temp1.jpg', 0)# matchTemplate 函數：在模板和輸入圖像之間尋找匹配,獲得匹配結果圖像 # minMaxLoc 函數：在給定的矩陣中尋找最大和最小值，并給出它們的位置res = cv2.matchTemplate(img_rgb,template,cv2.TM_CCOEFF_NORMED)min_val,max_val,min_loc,max_loc = cv2.minMaxLoc(res)

使用OpenCV的matchTemplate函數，就能找到中小人的位置。小人的檢測效果非常好，每次都能識別得很精確。

觀察到小人跳到物塊中心之后，下一個物塊中心就會出現白色小圓點，同樣可以匹配圖中白色小圓點，從而獲得跳躍目標點的坐標，計算跳躍的距離。

但是只匹配小圓點獲得跳躍目標位置會出現問題，因為有些物塊本身就是白色的，導致檢測失敗，所以我們在檢測失敗（模板匹配的相似度很低）的情況下采用邊緣檢測。

邊緣檢測

邊緣檢測顧名思義就是檢測圖片中的邊緣，使用opencv中的cv2.Canny函數。
跳一跳的畫面很簡潔，所以邊緣檢測的效果很好。檢測出邊緣后，從上至下掃描圖片就能找到下一個物塊的大致位置。