重庆大学张磊团队: 基于迁移学习的个性化人脸偏好推断新模型

论文题名：DiscoStyle: Multi-level Logistic Ranking for Personalized Image Style Preference Inference

论文作者：Zhen-Wei He, Lei Zhang, Fang-Yi Liu

全文链接：https://link.springer.com/article/10.1007/s11633-020-1244-1

参考链接：https://mp.weixin.qq.com/s/wlNQzRogOk_Pa7-khssK9Q

重庆大学张磊教授团队成果---DiscoStyle: 可用于个性化人脸风格偏好推断的多层逻辑排序模型，DiscoStyle可通过极少数锚点对特定用户的面部偏好进行推断和计算，完成自动偏好预测及推荐。本研究基于预训练人脸表征深度网络，提出一种深度迁移学习范式，可用于表征人脸偏好相关的特征，并首次构建了大规模人脸风格数据集(即StyleFace)。

图片来自Springer

人脸特征，作为一种重要的生物标识，能够显性或隐性地表征出主观或客观的面部特点(如眼睛、鼻子、嘴巴)及个性特征(如身份、年龄、性别、种族、情感、性格特征及爱好)。在计算机视觉及生物统计学(biometrics)中，通过学习人脸特征以识别个人身份、年龄、性别、种族、表情、情感等研究发展得十分迅速，这也大大促进了人工智能技术的产业化应用。

目前，人脸识别已经应用于安检、门禁系统、视频监控等领域。此外，年龄、情感等的分析也已落地于多媒体、社交及互联网交互之中。然而，据我们所知，当前尚无可应用于推荐系统中、利用极少数不同人脸图像风格推断其所反映出的用户心理及情感偏好的研究。

通常，从极少数不同风格的用户面部图像中客观推断出隐性的人脸偏好特征是一件非常具有挑战性的任务。如果我们能挖掘出用户本身主观上投注更多注意力时表现出的人脸偏好特征，那就可以通过概率模型计算并预测用户的个性偏好，进而将其应用于高级情感分析(advanced emotional analysis)、机器人服务、自动个性化图像推荐等领域。

值得一提的是，当前有很多通过人脸预测颜值及魅力值的研究，但这些研究与本文所提的基于不同风格人脸图像进行特定用户偏好推断及推荐的方法有着本质的区别，主要体现在：

1) 人脸颜值推断可以通过一个统一的标准完成建模，但人脸偏好研究因人而异，且与外部人脸风格高度相关，如发型、眼睛、鼻子、嘴唇、眼镜。

2) 人脸偏好研究与反映在人脸上的个人内部特质(如气质、可爱、优雅)也存在相关性，而这些内部特质也因人而异，可完整支撑用户偏好建模。

3) 人脸偏好具有个性化的特点，偏好模型的参数也因此呈现动态变化、因人而异的特点。而通常的颜值推断模型则是固定的，且不具有个性化差异。换言之，由于用户情感各不相同，颜值高并不意味着用户偏好程度也高。

深度学习，作为一种源于大规模人脸图像识别的监督学习方法，已经在多个垂直领域取得了巨大成功，如计算机视觉、模式识别、文本分析、语音识别。近年来，迁移学习，一种弱监督交叉领域学习方法，成功推动了深度学习在学习方法与应用等垂直领域的发展。监督深度学习与弱监督迁移学习联系紧密，这无疑将大大促进人工智能在许多垂直的弱监督研究领域的发展，如医疗图像分析、遥感图像分析、卫星图像分析、亲属关系鉴定(kinship verification)、计算机视觉、负荷预测(load forecasting)、缺陷检测等。一般而言，深度学习旨在以监督的方式构建一个通用知识表征模型，而迁移学习则意在将深度学习知识引入弱监督领域及任务当中。

本文通过特定用户选择的极少数锚点图片(如10张图片)，来对用户的心理偏好及人脸图像风格进行推断分析与建模，这无疑是一项主观且内隐(subjective, implicative)的弱监督任务。本文基于深度学习及迁移学习，提出偏好特征表征方法，可将知识从大规模监督人脸识别任务中迁移至单一用户弱监督人脸偏好推断任务当中。

图片来自论文

此外，在极少数特定人脸锚点(被用户标记为表现出了个人偏好的人脸图像)的推断过程中，还应用了概率学习。因此，本文所构建的模型可用于计算用户对图库中人脸图像的心理偏好值，这一分值可很好体现用户的偏好程度。本文的主要贡献有以下四个方面：

1) 本文提出了一种高效的DiscoStyle方法，可通过极少数锚点对特定用户的面部偏好进行实时推断和计算，完成自动偏好预测及推荐，这将是迄今为止用户偏好及人脸推荐相关的第一篇应用性研究。

2) 本文基于预训练人脸表征深度网络，提出一种深度迁移学习范式，可用于表征人脸偏好相关的特征。为了充分反映人脸风格，该范式将面部表观特征与几何标记特征全面融合。

3) DiscoStyle方法基于全新的在线负样本选择策略(on-line negative sample selection, ONSS)，构建了多层逻辑排序模型(multi-level logistic ranking, MLR)以完成偏好推断，计算出偏好值，客观定义每位用户的偏好程度，并推荐高偏好值的人脸图像。 

4) 本文首次构建了大规模人脸风格数据集(即StyleFace)，用以人脸偏好推断，其中包括用于风格属性特征矢量学习(style attribute vector learning)的人脸风格数据集，用于概率推断(probabilistic reasoning)的锚点数据集(anchor subset)，以及用于偏好人脸推荐(preferred faces recommendation)的图库数据集(gallery subset)。

来源：《International Journal of Automation and Computing》编辑部