1. 创新特性名:水印相机人像水印
优图团队强大的人脸技术应用在水印相机上,会带给我们什么呢?
Ø 魅力值:检测和分析照片中人的性别和五官,对男生和女生分别进行魅力打分
Ø 开心指数:检测和分析照片中人的表情,计算笑容得分
Ø 诗意五官:检测和分析照片中人的五官(脸型/眉毛/眼睛/鼻子/嘴巴),对五官进行分析后给出诗词等进行描述
Ø 夫妻脸:检测和分析照片中两个人脸的相似度和性别,得到好夫妻、好基友、好闺蜜的夫妻相得分
Ø 动态心情:检测和分析照片中人脸和五官位置,自动在人的五官处贴上心情元素
2. 主创团队
优图团队和水印相机团队
3. 产品功能
用水印相机人像分类中的水印拍照后,可测定魅力值、开心指数、夫妻脸,还可检测五官后自动印上心情饰品以及根据五官特征配诗词等运营语。其中魅力值、夫妻脸的玩法中还可自动判断照片中人像性别,针对不同性别给出不同打分标准或是好基友、好夫妻、好闺蜜的判断。
4. 创新点详细描述
魅力值:五官打分?不,没那么简单,你的性别我们也知道!
自拍一张后,水印相机首先会自动判别你的性别,之后根据不同的标准进行魅力值打分,男生和女生的打分标准是不同的,例如女生肤色越白分数越高,男生眉毛越浓分数越高等。有趣的是,里面还是小小的彩蛋,如果你被判别为春哥的话,得分神马的都不重要了。男生和女生的魅力打分标准包括脸型、眉毛、眼镜、鼻子、嘴巴、皮肤光滑度等多个维度。
开心指数:能分析我的表情?对,就这么简单!
你是那个笑的最开心的人吗?对着镜头开心的笑一张,看你此刻的开心指数是否爆棚吧,据说你最开心的笑容会得100分。但这可不是通过嘴角的曲线来判断这么简单,而是通过分析面部的人脸轮廓形状和纹理之后得出的,信不信你来试下吧!
诗意五官:富贵鼻?正气眉?放电眼? 你究竟属于哪一款,试试便知!
这次我们请来了真正的面相大师,将对你的五官进行测定,是富贵鼻还是有桃花眼抑或是多才嘴,拍一张让面相大师为你鉴定一下,同时如果运气不错,还会为你的五官赋诗一首哦。诗意五官水印会对用户的脸型、眉毛、眼镜、鼻子、嘴巴五个特征的形状进行分析,给出相应的判断。
夫妻脸:早都玩腻了?小看我们了,不仅有好夫妻,更有好基友和好闺蜜!
饭桌上,办公间,对着平日里的好基友和好闺蜜来一张,这里不仅有金风玉露一相逢的情意绵绵,也有一起私奔到荷兰的基友之约,不管你们是好夫妻、好基友、还是好闺蜜,都拉着你的小伙伴们来一张吧。
动态心情:神马东东?让泪水自动婆娑在你眼旁,腮红自动跳到你的脸颊!
三滴汗、两眼泪、头顶青筋腮边红,试试合照一张,在每个人的脸上自动贴上这些心情饰品吧,让你的照片有了萌的味道和可爱的赶脚。现在可准确定位到的五官位置包括:眼镜、鼻子、眉毛、额头、嘴巴等。
5. 创意如何产生
相信大家对以下日常生活中经常会谈论的话题不陌生:某个人长相怎么怎么样,这两个明星是不是很有夫妻相,看他今天脸色不是很开心的样子,某某的耳垂很大肯定很有福等。这次的人像水印创新,正是基于对生活中的用户行为的敏锐捕捉:
(a) 魅力值:这个水印就是针对人的长相这个点来突破的,分析以往竞品中在魅力值这里都只是娱乐,我们就思考是不是可以在魅力值这里做出创新,是不是可以区分男女来打分,更进一步是不是还可以省去用户选择男女的步骤?打分的准则上面是不是可以更靠谱更接近人的主观认知?在给用户的运营语上是不是可以针对性别和得分有更多不同?
(b) 夫妻相:这个在玩法和技术上都是比较成熟的,那又如何在这里进行创新呢?除了好夫妻,现在流行的好基友、好闺蜜是不是也可以挖掘下呢?
(c) 开心指数:大家谈开心不开心的时候,更多是心情,可这种心情往往也会通过人脸部的笑容表达出来,是不是可以通过判断笑的程度来了解拍照的人是否开心呢?
(d) 诗意五官:平时大家谈论某人特征,往往会说某人耳垂很大,某人面相很好,某人眼睛很大等等,例如富贵鼻、柳叶眉、樱桃口等词语都会被用来描述人的面部特征。那水印相机是不是也可以自动分析人的面部特征,然后配上一些比较好玩的描述五官的词语和运营语,给用户拍照带来更多乐趣呢?
(e) 动态心情:平时拍照尤其是自拍后,用户经常会加上眼泪、腮红的等饰品在自己脸上,然后分享出去,那水印相机是不是可以做到在合适的位置上自动加上这些,而不用用户再手动移动呢?
以上都仅仅是我们作为产品对用户日常行为的思考和用户需求的捕捉,可是如果要做到这些技术上又是摆在面前的一道坎,凑巧的是优图团队刚好在人脸技术上,包括人脸检测、五官检测、性别识别、人脸相似度计算等都有很多的积累,产品技术一拍即合,这五个人像水印就这么横空诞生了!
6. 技术实现
水印相机这些创新功能的背后,需要特别感谢的是优图团队提供强大的技术支持!人脸检测、五官定位、性别检测、魅力值计算、表情检测、人脸相似计算等等核心技术,都是优图团队经过长期研究投入和多轮的版本迭代的成果,目前人脸检测和五官定位已处于国内最优水平。
先来说说人脸检测技术(详细介绍请参看文章:优图人脸技术第一弹----国内第一的人脸检测器),该技术是人脸应用的基础,需要做到可以从自拍照片中准确、快速、稳定的找到人脸区域,并在拍摄界面可实时进行人脸跟踪,以获得好的用户体验。为了达到高的人脸检测率和实时的人脸跟踪,优图团队手工收集了近5万张人脸作为正样本,3万张非人脸模式的负样本来训练人脸检测器,在保证了高召回率和准确率的情况下,提供尽可能快的速度。现在优图人脸检测技术已经扩展到了Windows、Linux、Mac、iOS、Android等主流平台,在各个业务和产品都有了很多落地应用。
人脸五官定位技术(详细请参看文章: 国内第一人脸五官定位技术--优图人脸技术第三弹)也是需要攻克的另一个难关,在人脸检测结果的基础上,自动精确计算出脸部关键特种点的位置,包括眉、眼、鼻、嘴和整体脸型轮廓,这些信息对于精确分析人脸属性提供了依据,例如双眼信息将用于人脸的归一化,提取特征识别表情,五官信息本身也直接用于计算魅力值和建立五官到诗意的对应关系。
优图针对自拍应用,对五官定位进行了训练优化,得到的88点模型可以精确描述五官的大小,形状和比例,在自拍照片测试集上的平均误差达到3.22像素,其中有60%的照片可以达到人工标注水平,约90%的图像误差小于5像素,PC上性能可达3.5ms(285fps),极速准确的五官定位速度保证了流畅的用户体验和靠谱的打分。
有了人脸检测和五官定位技术做基础,表情识别和性别识别(详细请参看: 优图人脸技术第二弹——神奇的人脸属性识别技术)、人脸相似度计算的实现和准确率都有了可能,下面简单介绍下这几个技术的实现。
人脸表情的变化一般伴随着五官轮廓形状的大幅改变,优图采用了人脸轮廓形状与纹理相结合的识别方案。首先对输入的人脸进行脸部配准提取了人脸88个特征点,中心归一化后形成形状向量,另外,在一些脸部关键点位置(眉毛、眼睛、鼻子、嘴巴等部位)提取局部Gabor特征组成纹理向量。最后组合这两种特征利用Adaboost特征选择得到特征向量并学习得到表情分类模型,该模型对于中性、微笑、大笑的识别率可以达到85%。性别识别使用与表情识别类似的人脸特征向量,学习得到性别分类模型,在自拍测试集合上的准确率可达92%。
人脸相似度计算所使用的特征也与表情识别类似,对输入的两张人脸得到两个高维特征向量,并计算两者的距离,距离与人脸相似度成反比,距离越小表示越相似,根据距离的数值就可以对应计算出满分为100分的夫妻脸指数。
魅力值分数是在人脸检测、人脸五官定位和性别识别结果的基础上,按照人脸五官几何规则和颜色信息,自动对人脸中与魅力相关的一些特征进行打分,包括眼睛大小,瞳孔占比,三停均匀,皮肤白皙,皮肤光滑,脸型胖瘦,眉毛浓厚,鼻子挺直和嘴巴大小等,每一项都采用符合人类主观视觉的计算规则,然后依据不同性别挑选合适的组合规则计算综合分。
7. 未来展望
水印相机在人像上的挖掘才刚刚开始,优图的技术落地也处在起步阶段,现在优图不仅仅能够提供人脸检测、五官定位、性别识别、相似度计算,还有很多技术如年龄检测、是否带眼镜检测、头发长度颜色检测等等,再加上可以利用的QQ空间相册中海量的人像图片数据,相信在强大的人像技术支撑下,会有越来越多的创新水印被创造出来。
最后希望大家能够多多支持和宣传水印相机和腾讯优图,我们也会一直努力为大家做出更多更好的产品。