通过提取神经元知识实现人脸模型压缩:MobileID可在移动设备上快速运行

选自GitHub

机器之心编译

参与：panda

深度神经网络模型对计算资源的需求问题一直是相关研究和应用的关注焦点之一。研究者们一直在努力试图将神经网络模型部署到移动设备上，有硬件方法也有软件方法，比如《前沿 | 借助神经网络芯片，将大型人工智能系统塞入移动设备》和《业界 | 谷歌开源高效的移动端视觉识别模型：MobileNet》。在去年的 AAAI 人工智能大会上，香港中文大学的研究者则提出了一种通过压缩模型来实现这一目标的方法 MobileID。近日，研究者开源了这项研究的代码。机器之心对该项目及原论文的摘要进行了介绍。

• 论文地址：https://www.aaai.org/ocs/index.php/AAAI/AAAI16/paper/view/11977

• 项目地址：https://github.com/liuziwei7/mobile-id

• DeepID2：http://www.ee.cuhk.edu.hk/~xgwang/papers/sunCWTnips14.pdf

概述

MobileID 是一种非常快速的人脸识别系统，其可以从 DeepID2 中提取知识。给定一张被检测和已对齐的人脸图像，该软件可以输出一个低维的人脸表征（face representation），该表征可以可靠地保留其身份信息。更多细节可参考我们的论文《Face Model Compression by Distilling Knowledge from Neurons》。

更多信息也可以联系 Ziwei Liu：http://personal.ie.cuhk.edu.hk/~lz013/

需求

• Caffe：https://github.com/BVLC/caffe

• t-SNE：https://lvdmaaten.github.io/tsne/

开始

• 安装并编译 Caffe 和 t-SNE 库。

• 下载预训练的模型 mobile_id.caffemodel：

Place "mobile_id.caffemodel" into "./models/"

• 下载预存的对齐且裁剪后的 LFW 数据集 lfw.zip：https://drive.google.com/file/d/0B7EVK8r0v71pNGdPdExaemRxNlk/view?usp=sharing

Place "lfw.zip" into "./data/gallery/" and unzip

运行特征提取脚本：

sh ./extract_features_gallery.sh

运行可视化脚本：

matlab ./gen_tsne_gallery.m

表现

MobileID 系统是在 CelebA 数据集上训练的，在 LFW 数据集上测试的。当配备联合贝叶斯（Joint Bayesian：http://www.jiansun.org/papers/ECCV12_BayesianFace.pdf）时，它能在保证高速的同时还实现出色的表现，如下所示：

数据集

大规模名人面部属性数据集（CelebA）：http://mmlab.ie.cuhk.edu.hk/projects/CelebA.html

注：CelebA 数据集和 LFW 数据集之间没有身份重叠。

论文：通过从神经元中提取知识实现的人脸模型压缩（Face Model Compression by Distilling Knowledge from Neurons）

近来的先进人脸识别系统都构建于大型深度神经网络（DNN）或它们的组合之上，其中会包含数以百万计的参数。但是，DNN 高昂的计算成本使得我们难以将其部署到移动设备和嵌入式设备中。这项工作解决了用于人脸识别的模型压缩问题，其中一个大型教师网络（large teacher network）或其组合所学习到的知识会被用作训练一个紧凑的学生网络（compact student network）的监督。和之前通过软化标签概率（soften label probabilities）（这种方法难以拟合）来表征知识的方法不同，我们通过使用更高隐藏层的神经元来表征知识，其可以保留和标签概率一样多的信息，但是能做到更加紧凑。通过利用学习到的人脸表征的基本特征（阈知识），我们提出了一种神经元选择方法来选择与人脸识别最相关的神经元。使用被选择的神经元作为监督来模拟 DeepID2+ 和 DeepID3（这是当前最佳的人脸识别系统）的单个网络，一个带有简单网络结构的紧凑学生网络可以在 LFW 上分别实现比其教师更好的验证准确度。当使用 DeepID2+ 的组合作为教师时，一个模仿学生可以实现比其更好的表现并实现 51.6 倍的压缩率和 90 倍的推理速度提升，使得可将这种笨重的模型应用于便携式设备。