宋永柱 腾讯在线视频部技术研发中心高级总监、P4专家。15年互联网从业经验，历任百度高级架构师及技术经理、土豆网技术副总裁、CTO等；曾创办伟世盾安网络安全技术公司，产品通过信产部安全认证、公安部推荐，05年获得知名风投500万美金投资。2011年11月加入腾讯视频，负责腾讯视频的研发工作。  从当今视频领域最优秀的品牌YouTube的一组数字可以看出，视频正处在一个信息爆炸的时代。从内容的产生到分享，整个过程都在迅速扩张，一条在YouTube上热播的视频短短几天就获得几千万的播放量，每年在Facebook播放视频时长超过10万年，用户的规模也在不断壮大，而且这些数字还在持续增长，视频的流媒体特性更容易被用户所接受，网络视频几年内就将占据整个互联网90%的流量，未来将会是全网视频的时代。 移动互联网的崛起和智能手机的普及彻底消除了用户享用视频的门槛。预计到2016年，移动流量是2011年的18倍，其中视频流量将会是2011年的25倍。 中国网络视频进入高速发展时期，视频业务已经成为占用用户最多时间的应用，同时也是最受欢迎的网络应用。另外，在商业价值方面，视频广告成为用户和广告主最为关注的广告形式，整体视频广告的营收也呈现出井喷式的增长。 接下来要介绍的云视频平台，需要具备随时、随地、个性化、网络化、随身化和多终端支持等特性，才能真正满足当前用户对视频应用的多屏互动、随时随地的需求。 如何构建云视频平台？构建云视频平台需要掌握哪些能力或技术……9.25日晚，腾讯在线视频部技术研发中心高级总监 宋永柱 在腾讯大讲堂，以温瑞安的小说《七种武器》的形式，生动详细的解析了构建云视频平台所需要的七种武器，即七大平台。 视频平台是一个非常庞大的系统，涉及技术和能力要求非常多，本次讲座中讲到的七种能力是其中必须具备且一定要做好的。今天将主要对CDN全局实时调度系统、海量视频的分发与存储及数据挖掘系统三个系统做详细介绍与分享。  1. CDN全局实时调度系统 CDN的全局调度系统相当于视频的道路交通导航系统，在纷繁复杂的网络环境中，视频作为一个重资产业务，高并发且高流量，网络的情况也是瞬息万变，而CDN调度系统将在如此复杂多变的情况下指引用户的视频播放请求，给用户一个流畅且稳定的播放体验。 全局实时调度系统根据用户的请求视频ID及用户的IP地址，结合视频文件分布情况、当前CDN状态，结点的网络状况、硬盘IO情况，以及运营调度策略等，综合计算、排序后给出最适合用户访问的视频文件URL。 如何实现这样的调度系统，以及实现过程中有什么困难？ 构件CDN的全局实时调度系统，有3个比较大的难点： 1-节点众多，而且在不断的变化中，全国的总数可能有数百个； 2-带宽的容量分布也不尽相同，总量比较大可能几百G或1T以上； 3-文件不同，文件分布比较散，并不断有新的文件或加入或上传上来。 实践的主要设计思想与应对策略： 1- 建立数据收集系统对每个节点的带宽、IO及并发连接等重要数据进行收集，并对每次的用户请求进行动态调度分配，不做cache； 2-把数据模块、计算模块和策略模块分开，根据业务的不同分为CPU密集型，IO密集型和网络密集型，不同的类型业务错开，可以减少过度的模块之前的耦合； 3- 不用数据库，不用memcached，数据分片，采用自己的hash表和mmap实现。 整个调度系统分成3个模块群，数据单元群，计算单元群和策略单元群。 数据单元，负责全部的数据收集及保存，并实现内存多实例。需求稳定，重启的代价比较大，有可能会丢失数据。 计算单元，负责全部的计算工作，并返回播放的连接地址给用户。 策略单元，负责向计算单元提供策略，不接收用户请求，面向CDN运营人员，计算量很小，但逻辑相对复杂而且策略多变，重启无代价。 云视频平台即使已经具备了非常海量的视频内容，但对于非常火爆的视频，比如当下最火爆的《中国好声音》热点也是十分集中的。 数据证明，直播一场中国好声音需要大约300G左右的带宽。 面对如此集中的热点，调度系统该做些什么？ 很简单，也非常有必要的就是实时调度系统与后面将要谈到的CDN同步系统之前要进行实时的交互。实时调度系统实时提交热门视频文件给到同步系统，由同步系统处理后，再将更新后的CDN上的视频文件分布情况反馈给实时调度系统。 与同步系统实时交互的CDN调度系统才能更好的为视频用户提供导航服务。 |
