图二:不解释
那个黑屏截图, 不管内容如何, 都很难引起用户点击观看吧? 尤其是被那些嚇人视频整过的, 碰都不会碰!
创新点的创新之处的具体描述 (innovation)
如果一些优质的内容因为这种原因而没有被观看, 那实在是太可惜了, 所以在实际的网页, 编辑同学们会发挥无限的创意, 配个亮点图, 再给个有内涵的标题, 但这毕竟要人工操作, 也只能在首页和专辑中进行。 在海量的视频库中, 绝大部份都要以自动方式处理, 例如在用户搜索页面, 或是相关推荐的结果, 都不可能一一以人工配图。
腾讯视频早前使用固定时间點截图, 部分截图会出现黑屏, 白屏, 太暗, 太亮等问题, 为提高截图的质量, 我们进行了截图优化工作, 创新点如下:
1. 不会截到黑屏, 白屏或是单色的图片。
2. 截取内容较丰富的图片。
3. 为了适合网页显示, 截图会进行自动增强, 会在合理范围内变得更明亮和鲜艳。
4. 对肤色做特殊处理, 令增强后的人物肤色产生太大偏差。
竞品方面, 也会有一些黑屏白屏截图的情况, 估计都是由於使用固定时间點截图导致的, 对于怎样选图, 由于每家的考虑点都有可能有所不同, 所以也较难一一比较。
效果对比
这里以电影《魔境仙踪》预告片作例子, 比较新旧截图的效果。
视频url: http://v.qq.com/page/k/0/L/k0010aW1jNL.html?start=0
1. 智能截图选取
下图中上列是现时以固定时间点截图, 下列是以新方法截图, 效果明显。
图三: 新旧截图比较图
2. 截图优化
下图中上列是现未经优化的截图, 下列经过对比度, 饱和度增强和肤色处理的截图。 明显较明亮, 颜色较鲜艳, 人物肤色没有明显改变。
图四: 优化前后对比图
创意如何产生的(创新点相关小故事)(why)
在线视频竞争激烈, 其中一个主要技术点在于编码速度, 所以一个近的特性总不能把编码流拖得太长, 我们要使用一些快速的算法, 在大概10秒内, 在任何一个视频文件截出整套15张的截图。 所以暂时不使用高端的, 例如人脸识别, 或其他模式识别算法。 考虑各种因素后, 我们决定基于直方图比较来做我们的智能截图算法。
怎么实现的(how)
智能截图选取
1. 优化算法会按原有的时间点作为基准点, 搜索基准点后的一般时间, 找出最合适的截图, 下图显示选取的流程。
图五: 截图流程
2. 分析每一帧时, 会以亮度的直方图的分散性作评分, 这里会与一个指定值的直方图进行匹配, 重叠度越高评分越高, 最后会选取评分最高的一帧。 这是基于一个现像, 越分散的, 一般来说画面内容会越丰富。 若要评估直方图是属于集中还是分散, 可以与以下直方图比对重叠的部份, 重叠面积越大评分越高, 而很暗与很亮的区域不考虑。
图六: 局部定值直方图
下图的例子是个几乎全黑截图, 亮度直方图全集中在小范围的值上, 与图四的直方图没有重叠。
下图是个内容丰富的截图, 亮度直方图比较分散, 与图四的直方图重叠较多。
自动图像优化
1. 因视频一般都是使用YUV颜色空间, 所以图像优化的操作也是在YUV空间进行。
2. 自动GAMMA处理: 会先按亮度数据的中位数, 算出GAMMA值, 然后进行处理, 为避免过度GAMMA值只会在0.75 – 1.25 之间。
3. 对比度增强: 以亮度平均值为中心点, 按增强系数对Y值进行处理, 现时使用1.7。
4. 饱和度增强: 以128为中心点, 按增强系数对UV值进行处理, 现时使用1.6。
5. 避免偏色: UV值接近128时, 不做饱和度增强。
6. 肤色处理: UV值在一个范围内, 调低饱和度增强的系数, 能避免人物肤色被饱和度增强影响, 亦能避免一些发黄的情况。下图椭圆形为调低增强系数范围, 圆形内为不做饱和度增强范围。
图九: Y值为128的UV颜色平面
下表列出两个例子, 现示上文中每个技术对图像的影响:
产品的意义对未来的展望(for future)
现时智能截图优化已能实现按图像的特性选取合适的截图, 有效避免截到黑屏, 白屏的情况, 亦能对截图进行优化, 以适合在网页中显示, 让用户看到更吸引的内容。 期望本技术能对搜索页面或是相关推荐的播放起正面的作用。