Android 中使用 dlib+opencv 實現動態人臉檢測功能

2019-10-21 21:34:37

字體：大中小

來源：轉載

供稿：網友

1 概述

完成 Android 相機預覽功能以后，在此基礎上我使用 dlib 與 opencv 庫做了一個關于人臉檢測的 demo。該 demo 在相機預覽過程中對人臉進行實時檢測，并將檢測到的人臉用矩形框描繪出來。具體實現原理如下：

采用雙層 View，底層的 TextureView 用于預覽，程序從 TextureView 中獲取預覽幀數據，然后調用 dlib 庫對幀數據進行處理，最后將檢測結果繪制在頂層的 SurfaceView 中。

2 項目配置

由于項目中用到了 dlib 與 opencv 庫，因此需要對其進行配置。主要涉及到以下幾個方面：

2.1 C++支持

在項目創建過程中依次選擇 Include C++ Support、C++11、Exceptions Support ( -fexceptions ）以及 Runtime Type Information Support ( -frtti ) 。最后生成的 build.gradle 文件如下：

defaultConfig { applicationId "com.example.lightweh.facedetection" minSdkVersion 23 targetSdkVersion 28 versionCode 1 versionName "1.0" testInstrumentationRunner "android.support.test.runner.AndroidJUnitRunner" externalNativeBuild { cmake {  arguments "-DCMAKE_BUILD_TYPE=Release"  cppFlags "-std=c++11 -frtti -fexceptions" } }}

其中，arguments 參數是后添加上去的，主要用于指定 CMake 的編譯模式為 Release，因為在 Debug 模式下 dlib 庫中相關算法的運行速度非常慢。前期如果需要調試 C++ 代碼，可先將 arguments 參數注釋。

2.2 dlib 與 opencv 下載

•到dlib官網下載最新版本的源碼，解壓后將文件夾中的dlib目錄復制到 Android Studio 工程的 cpp 目錄下。

•到sourceforge 下載最新的 opencv-android 庫，解壓后將文件夾中的 native 目錄同樣復制到 Android Studio 工程的 cpp 目錄下，并改名為 opencv。

2.3 CMakeLists 配置

在 CMakeLists 文件中，我們首先包含 dlib 的 cmake 文件，接下來添加 opencv 的 include 文件夾并引入 opencv 的 so 庫，同時將 jni_common 目錄中的文件及人臉檢測相關文件添加至 native-lib 庫中，最后進行鏈接。

# 設置native目錄set(NATIVE_DIR ${CMAKE_SOURCE_DIR}/src/main/cpp)# 設置dlibinclude(${NATIVE_DIR}/dlib/cmake)# 設置opencv include文件夾include_directories(${NATIVE_DIR}/opencv/jni/include)# 設置opencv的so庫add_library( libopencv_java3 SHARED IMPORTED)set_target_properties( libopencv_java3 PROPERTIES IMPORTED_LOCATION ${NATIVE_DIR}/opencv/libs/${ANDROID_ABI}/libopencv_java3.so)# 將jni_common目錄中所有文件名，存至SRC_LIST中AUX_SOURCE_DIRECTORY(${NATIVE_DIR}/jni_common SRC_LIST)add_library( # Sets the name of the library. native-lib # Sets the library as a shared library. SHARED # Provides a relative path to your source file(s). ${SRC_LIST} src/main/cpp/face_detector.h src/main/cpp/face_detector.cpp src/main/cpp/native-lib.cpp)find_library( # Sets the name of the path variable. log-lib # Specifies the name of the NDK library that # you want CMake to locate. log)target_link_libraries( # Specifies the target library. native-lib dlib libopencv_java3 jnigraphics # Links the target library to the log library # included in the NDK. ${log-lib})# 指定release編譯選項set(CMAKE_C_FLAGS_RELEASE "${CMAKE_C_FLAGS_RELEASE} -s -O3 -Wall")set(CMAKE_CXX_FLAGS_RELEASE "${CMAKE_CXX_FLAGS_RELEASE} -s -O3 -Wall")

由于 C++ 代碼中用到了頭文件 "android/bitmap.h"，所以鏈接時需要添加 jnigraphics 庫。

3 JNI相關 Java 類定義

3.1 VisionDetRet 類

VisionDetRet 類的相關對象主要負責 C++ 與 Java 之間的數據傳遞。

public final class VisionDetRet { private int mLeft; private int mTop; private int mRight; private int mBottom; VisionDetRet() {} public VisionDetRet(int l, int t, int r, int b) { mLeft = l; mTop = t; mRight = r; mBottom = b; } public int getLeft() { return mLeft; } public int getTop() { return mTop; } public int getRight() { return mRight; } public int getBottom() { return mBottom; }}

3.2 FaceDet 類

FaceDet 類為 JNI 函數調用類，主要定義了一些需要 C++ 實現的 native 方法。

public class FaceDet { private static final String TAG = "FaceDet"; // accessed by native methods @SuppressWarnings("unused") private long mNativeFaceDetContext; static { try {  // 預加載native方法庫  System.loadLibrary("native-lib");  jniNativeClassInit();  Log.d(TAG, "jniNativeClassInit success"); } catch (UnsatisfiedLinkError e) {  Log.e(TAG, "library not found"); } } public FaceDet() { jniInit(); } @Nullable @WorkerThread public List<VisionDetRet> detect(@NonNull Bitmap bitmap) { VisionDetRet[] detRets = jniBitmapDet(bitmap); return Arrays.asList(detRets); } @Override protected void finalize() throws Throwable { super.finalize(); release(); } public void release() { jniDeInit(); } @Keep private native static void jniNativeClassInit(); @Keep private synchronized native int jniInit(); @Keep private synchronized native int jniDeInit(); @Keep private synchronized native VisionDetRet[] jniBitmapDet(Bitmap bitmap);}

4 Native 方法實現

4.1 定義 VisionDetRet 類對應的 C++ 類

#include <jni.h>#define CLASSNAME_VISION_DET_RET "com/lightweh/dlib/VisionDetRet"#define CONSTSIG_VISION_DET_RET "()V"#define CLASSNAME_FACE_DET "com/lightweh/dlib/FaceDet"class JNI_VisionDetRet {public: JNI_VisionDetRet(JNIEnv *env) { // 查找VisionDetRet類信息 jclass detRetClass = env->FindClass(CLASSNAME_VISION_DET_RET); // 獲取VisionDetRet類成員變量 jID_left = env->GetFieldID(detRetClass, "mLeft", "I"); jID_top = env->GetFieldID(detRetClass, "mTop", "I"); jID_right = env->GetFieldID(detRetClass, "mRight", "I"); jID_bottom = env->GetFieldID(detRetClass, "mBottom", "I"); } void setRect(JNIEnv *env, jobject &jDetRet, const int &left, const int &top,   const int &right, const int &bottom) { // 設置VisionDetRet類對象jDetRet的成員變量值 env->SetIntField(jDetRet, jID_left, left); env->SetIntField(jDetRet, jID_top, top); env->SetIntField(jDetRet, jID_right, right); env->SetIntField(jDetRet, jID_bottom, bottom); } // 創建VisionDetRet類實例 static jobject createJObject(JNIEnv *env) { jclass detRetClass = env->FindClass(CLASSNAME_VISION_DET_RET); jmethodID mid =  env->GetMethodID(detRetClass, "<init>", CONSTSIG_VISION_DET_RET); return env->NewObject(detRetClass, mid); } // 創建VisionDetRet類對象數組 static jobjectArray createJObjectArray(JNIEnv *env, const int &size) { jclass detRetClass = env->FindClass(CLASSNAME_VISION_DET_RET); return (jobjectArray) env->NewObjectArray(size, detRetClass, NULL); }private: jfieldID jID_left; jfieldID jID_top; jfieldID jID_right; jfieldID jID_bottom;};

4.2 定義人臉檢測類

人臉檢測算法需要用大小位置不同的窗口在圖像中進行滑動，然后判斷窗口中是否存在人臉。本文采用的是 dlib 中的是HOG（histogram of oriented gradient）方法對人臉進行檢測，其檢測效果要好于 opencv。dlib 中同樣提供了 CNN 方法來進行人臉檢測，效果好于 HOG，不過需要使用 GPU 加速，不然程序運行會非常慢。

class FaceDetector {private: dlib::frontal_face_detector face_detector; std::vector<dlib::rectangle> det_rects;public: FaceDetector(); // 實現人臉檢測算法 int Detect(const cv::Mat &image); // 返回檢測結果 std::vector<dlib::rectangle> getDetResultRects();};FaceDetector::FaceDetector() { // 定義人臉檢測器 face_detector = dlib::get_frontal_face_detector();}int FaceDetector::Detect(const cv::Mat &image) { if (image.empty()) return 0; if (image.channels() == 1) { cv::cvtColor(image, image, CV_GRAY2BGR); } dlib::cv_image<dlib::bgr_pixel> dlib_image(image); det_rects.clear(); // 返回檢測到的人臉矩形特征框 det_rects = face_detector(dlib_image); return det_rects.size();}std::vector<dlib::rectangle> FaceDetector::getDetResultRects() { return det_rects;}

4.3 native 方法實現

JNI_VisionDetRet *g_pJNI_VisionDetRet;JavaVM *g_javaVM = NULL;// 該函數在加載本地庫時被調用JNIEXPORT jint JNI_OnLoad(JavaVM *vm, void *reserved) { g_javaVM = vm; JNIEnv *env; vm->GetEnv((void **) &env, JNI_VERSION_1_6); // 初始化 g_pJNI_VisionDetRet g_pJNI_VisionDetRet = new JNI_VisionDetRet(env); return JNI_VERSION_1_6;}// 該函數用于執行清理操作void JNI_OnUnload(JavaVM *vm, void *reserved) { g_javaVM = NULL; delete g_pJNI_VisionDetRet;}namespace {#define JAVA_NULL 0 using DetPtr = FaceDetector *; // 用于存放人臉檢測類對象的指針，關聯Jave層對象與C++底層對象（相互對應） class JNI_FaceDet { public: JNI_FaceDet(JNIEnv *env) {  jclass clazz = env->FindClass(CLASSNAME_FACE_DET);  mNativeContext = env->GetFieldID(clazz, "mNativeFaceDetContext", "J");  env->DeleteLocalRef(clazz); } DetPtr getDetectorPtrFromJava(JNIEnv *env, jobject thiz) {  DetPtr const p = (DetPtr) env->GetLongField(thiz, mNativeContext);  return p; } void setDetectorPtrToJava(JNIEnv *env, jobject thiz, jlong ptr) {  env->SetLongField(thiz, mNativeContext, ptr); } jfieldID mNativeContext; }; // Protect getting/setting and creating/deleting pointer between java/native std::mutex gLock; std::shared_ptr<JNI_FaceDet> getJNI_FaceDet(JNIEnv *env) { static std::once_flag sOnceInitflag; static std::shared_ptr<JNI_FaceDet> sJNI_FaceDet; std::call_once(sOnceInitflag, [env]() {  sJNI_FaceDet = std::make_shared<JNI_FaceDet>(env); }); return sJNI_FaceDet; } // 從java對象獲取它持有的c++對象指針 DetPtr const getDetPtr(JNIEnv *env, jobject thiz) { std::lock_guard<std::mutex> lock(gLock); return getJNI_FaceDet(env)->getDetectorPtrFromJava(env, thiz); } // The function to set a pointer to java and delete it if newPtr is empty // C++對象new以后，將指針轉成long型返回給java對象持有 void setDetPtr(JNIEnv *env, jobject thiz, DetPtr newPtr) { std::lock_guard<std::mutex> lock(gLock); DetPtr oldPtr = getJNI_FaceDet(env)->getDetectorPtrFromJava(env, thiz); if (oldPtr != JAVA_NULL) {  delete oldPtr; } getJNI_FaceDet(env)->setDetectorPtrToJava(env, thiz, (jlong) newPtr); }} // end unnamespace#ifdef __cplusplusextern "C" {#endif#define DLIB_FACE_JNI_METHOD(METHOD_NAME) Java_com_lightweh_dlib_FaceDet_##METHOD_NAMEvoid JNIEXPORTDLIB_FACE_JNI_METHOD(jniNativeClassInit)(JNIEnv *env, jclass _this) {}// 生成需要返回的結果數組jobjectArray getRecResult(JNIEnv *env, DetPtr faceDetector, const int &size) { // 根據檢測到的人臉數創建相應大小的jobjectArray jobjectArray jDetRetArray = JNI_VisionDetRet::createJObjectArray(env, size); for (int i = 0; i < size; i++) { // 對檢測到的每一個人臉創建對應的實例對象，然后插入數組 jobject jDetRet = JNI_VisionDetRet::createJObject(env); env->SetObjectArrayElement(jDetRetArray, i, jDetRet); dlib::rectangle rect = faceDetector->getDetResultRects()[i]; // 將人臉矩形框的值賦給對應的jobject實例對象 g_pJNI_VisionDetRet->setRect(env, jDetRet, rect.left(), rect.top(),     rect.right(), rect.bottom()); } return jDetRetArray;}JNIEXPORT jobjectArray JNICALLDLIB_FACE_JNI_METHOD(jniBitmapDet)(JNIEnv *env, jobject thiz, jobject bitmap) { cv::Mat rgbaMat; cv::Mat bgrMat; jniutils::ConvertBitmapToRGBAMat(env, bitmap, rgbaMat, true); cv::cvtColor(rgbaMat, bgrMat, cv::COLOR_RGBA2BGR); // 獲取人臉檢測類指針 DetPtr mDetPtr = getDetPtr(env, thiz); // 調用人臉檢測算法，返回檢測到的人臉數 jint size = mDetPtr->Detect(bgrMat); // 返回檢測結果 return getRecResult(env, mDetPtr, size);}jint JNIEXPORT JNICALLDLIB_FACE_JNI_METHOD(jniInit)(JNIEnv *env, jobject thiz) { DetPtr mDetPtr = new FaceDetector(); // 設置人臉檢測類指針 setDetPtr(env, thiz, mDetPtr); return JNI_OK;}jint JNIEXPORT JNICALLDLIB_FACE_JNI_METHOD(jniDeInit)(JNIEnv *env, jobject thiz) { // 指針置0 setDetPtr(env, thiz, JAVA_NULL); return JNI_OK;}#ifdef __cplusplus}#endif

5 Java端調用人臉檢測算法

在開啟人臉檢測之前，需要在相機 AutoFitTextureView 上覆蓋一層自定義 BoundingBoxView 用于繪制檢測到的人臉矩形框，該 View 的具體實現如下：

public class BoundingBoxView extends SurfaceView implements SurfaceHolder.Callback { protected SurfaceHolder mSurfaceHolder; private Paint mPaint; private boolean mIsCreated; public BoundingBoxView(Context context, AttributeSet attrs) {  super(context, attrs);  mSurfaceHolder = getHolder();  mSurfaceHolder.addCallback(this);  mSurfaceHolder.setFormat(PixelFormat.TRANSPARENT);  setZOrderOnTop(true);  mPaint = new Paint();  mPaint.setAntiAlias(true);  mPaint.setColor(Color.RED);  mPaint.setStrokeWidth(5f);  mPaint.setStyle(Paint.Style.STROKE); } @Override public void surfaceChanged(SurfaceHolder surfaceHolder, int format, int width, int height) { } @Override public void surfaceCreated(SurfaceHolder surfaceHolder) {  mIsCreated = true; } @Override public void surfaceDestroyed(SurfaceHolder surfaceHolder) {  mIsCreated = false; } public void setResults(List<VisionDetRet> detRets) {  if (!mIsCreated) {   return;  }  Canvas canvas = mSurfaceHolder.lockCanvas();  //清除掉上一次的畫框。  canvas.drawColor(Color.TRANSPARENT, PorterDuff.Mode.CLEAR);  canvas.drawColor(Color.TRANSPARENT);  for (VisionDetRet detRet : detRets) {   Rect rect = new Rect(detRet.getLeft(), detRet.getTop(), detRet.getRight(), detRet.getBottom());   canvas.drawRect(rect, mPaint);  }  mSurfaceHolder.unlockCanvasAndPost(canvas); }}

同時，需要在布局文件中添加對應的 BoundingBoxView 層，保證與 AutoFitTextureView 完全重合：

<?xml version="1.0" encoding="utf-8"?><RelativeLayout xmlns:android="http://schemas.android.com/apk/res/android" xmlns:tools="http://schemas.android.com/tools" android:layout_width="match_parent" android:layout_height="match_parent" tools:context=".CameraFragment"> <com.lightweh.facedetection.AutoFitTextureView  android:id="@+id/textureView"  android:layout_width="wrap_content"  android:layout_height="wrap_content"  android:layout_centerVertical="true"  android:layout_centerHorizontal="true" /> <com.lightweh.facedetection.BoundingBoxView  android:id="@+id/boundingBoxView"  android:layout_width="wrap_content"  android:layout_height="wrap_content"  android:layout_alignLeft="@+id/textureView"  android:layout_alignTop="@+id/textureView"  android:layout_alignRight="@+id/textureView"  android:layout_alignBottom="@+id/textureView" /></RelativeLayout>

BoundingBoxView 添加完成以后，即可在 CameraFragment 中添加對應的人臉檢測代碼：

private class detectAsync extends AsyncTask<Bitmap, Void, List<VisionDetRet>> { @Override protected void onPreExecute() {  mIsDetecting = true;  super.onPreExecute(); } protected List<VisionDetRet> doInBackground(Bitmap... bp) {  List<VisionDetRet> results;  // 返回檢測結果  results = mFaceDet.detect(bp[0]);  return results; } protected void onPostExecute(List<VisionDetRet> results) {  // 繪制檢測到的人臉矩形框  mBoundingBoxView.setResults(results);  mIsDetecting = false; }}

然后，分別在 onResume 與 onPause 函數中完成人臉檢測類對象的初始化和釋放：

@Overridepublic void onResume() { super.onResume(); startBackgroundThread(); mFaceDet = new FaceDet(); if (mTextureView.isAvailable()) {  openCamera(mTextureView.getWidth(), mTextureView.getHeight()); } else {  mTextureView.setSurfaceTextureListener(mSurfaceTextureListener); }}@Overridepublic void onPause() { closeCamera(); stopBackgroundThread(); if (mFaceDet != null) {  mFaceDet.release(); } super.onPause();}

最后，在 TextureView 的回調函數 onSurfaceTextureUpdated 完成調用：

@Overridepublic void onSurfaceTextureUpdated(SurfaceTexture texture) { if (!mIsDetecting) {  Bitmap bp = mTextureView.getBitmap();  // 保證圖片方向與預覽方向一致  bp = Bitmap.createBitmap(bp, 0, 0, bp.getWidth(), bp.getHeight(), mTextureView.getTransform(null), true );  new detectAsync().execute(bp); }}

6 測試結果

經測試，960x720的 bitmap 圖片在華為手機（Android 6.0，8核1.2GHz，2G內存）上執行一次檢測約耗時800~850ms。Demo 運行效果如下：

Android,dlib,opencv,人臉檢測