https://www.doczj.com/doc/4d15898167.html,
网易视频云技术分享：Reed Solomon纠删码
网易视频云是网易倾力打造的一款基于云计算的分布式多媒体处理集群和专业音视频技术，为客户提供稳定流畅、低时延、高并发的视频直播、录制、存储、转码及点播等音视频的PASS服务。在线教育、远程医疗、娱乐秀场、在线金融等各行业及企业用户只需经过简单的开发即可打造在线音视频平台。现在，网易视频云转载相关文章，与大家分享一下Reed Solomon纠删码。
纠删码是存储领域常用的数据冗余技术，相比多副本复制而言，纠删码能够以更小的数据冗余度获得更高数据可靠性。Reed Solomon Coding是存储领域常用的一种纠删码，它的基本原理如下：给定n 个数据块d1, d2,…, dn，n和一个正整数m，RS根据n个数据块生成m个校验块，c1, c2,…, cm。对于任意的n和m，从n个原始数据块和m 个校验块中任取n块就能解码出原始数据，即RS最多容忍m个数据块或者校验块同时丢失（纠删码只能容忍数据丢失，无法容忍数据篡改，纠删码正是得名与此）。
编码原理
RS编码以word为编码和解码单位，大的数据块拆分到字长为w的word（字长w取值一般为8或者16位），然后对word进行编解码。所以数据块的编码原理与word编码原理没什么差别，为论述方便，后
文中变量Di, Ci将代表一个word。
首先，把输入数据视为向量D=(D1，D2，…, Dn）, 编码后数据视为向量（D1, D2,…, Dn, C1, C2,.., Cm)，RS编码可视为如图1所示矩阵运算。下图最左边是编码矩阵，矩阵上部是单位阵（n行n列），下边是vandermonde矩阵B(m行n列), vandermode矩阵如图2所示，第i行，第j列的原数值为j^(i-1)。之所以采用vandermonde矩阵的原因是，RS数据恢复算法要求编码矩阵任意n*n子矩阵可
逆。
图1：RS纠删码编码运算
https://www.doczj.com/doc/4d15898167.html,
数据恢复原理
RS最多能容忍m个删除错误。数据恢复原理的过程如下：
（1）从编码矩阵中删去丢失数据块和丢失编码块对应行。假设D1、C2丢失，根据图1所示RS编码运
算等式，我们得到如下B’以及等式。
图2：vandermode矩阵
（2）由于B‘是可逆的，两边乘上B’逆矩阵。
（3）得到如下原始数据D的计算公式
（4）对D重新编码，得到丢失的校验码
矩阵求逆采用高斯消元法，需要进行实数加减乘除四则运算，无法作用于字长为w的二进制数据。为了解决这个问题，RS采用伽罗华群GF（2^w)中定义的四则运算法则。GF(2^w）域有2^w个值，每个值都对应一个低于w次的多项式，这样域上的四则运算就转换为多项式空间的运算[2]。GF(2^w)域中的加法就是XOR，乘法比较特殊，需要维护两个大小为2^w -1的表格: log表gflog，反log表gfilog。
https://www.doczj.com/doc/4d15898167.html,
乘法公式：a * b = gfilog(gflog(a) + fglog(b)) % (2^w -1)
CRS(Cauchy Reed Solomon)
RS纠删码的计算代价较高，瓶颈在于乘除法，乘除法操作需要3次查表操作，一次加(减）法操作，一次条件判断，一次取模操作（可优化为一次条件判断和一次减法操作）。CRS从两个方面优化RS性能
(1) 使用Cauchy编码矩阵，Cauchy编码矩阵的好处是求逆矩阵比较快
(2) 将GF(2^w)中的运算全部转换为XOR，其中的数学原理比较复杂，可参见文献[3]
小结
RS的特点：
(1) 低冗余度，高可靠性。
(2) 数据恢复代价高。丢失数据块或者编码块时，RS需要读取n个数据块和校验块才能恢复数据，数据恢复效率也在一定程度上制约了RS的可靠性。
(3) 数据更新代价高。数据更新相当于重新编码，代价很高，因此常常针对只读数据，或者冷数据。
(4) RS编码依赖于两张2^w-1大小的log表，通常只能采用16位或者8位字长，不能充分利用64位服务器的计算能力，具体实现上可能要做一些优化。
参考文献：
[1]James S. Plank. Erasure Codes For Storage Application.
[2]James S. Plank. A Tutorial on Reed-Solomon Coding for Fault-Tolerance in RAID-like Systems
[3]James S. Plank. Optimizing Cauchy Reed-Solomon Codes for Fault-Tolerant Storage Applications
网易视频云：流媒体服务器原理和架构解析 一个完整的多媒体文件是由音频和视频两部分组成的，H264、Xvid等就是视频编码格式，MP3、AAC等就是音频编码格式，字幕文件只是附加文件。目前大部分的播放器产品对于H.264 + AAC的MP4编码格式支持最好，但是MP4也有很多的缺点，比如视频header很大，影响在线视频网站的初次加载时间。 为了降低头部体积，需要进行视频本身的物理分段等等。对MPEG2-TS格式视频文件进行物理切片，分成一小段，这种方式被Apple公司的HTTP Live Streaming (HLS)技术采用。另外一种是使用Fragmented MP4文件格式，这是一种文件内部的逻辑分割方式，而视频文件还是完整的，这种技术被Microsoft Smooth Streaming和Adobe HTTP Dynamic Streaming采用。很多在线视频网站在带宽耗费的压力下，主要选择的是adobe公司提供的FLV或F4V，FLV是流媒体封装格式，可将其数据看为二进制字节流。总体上看，FLV包括文件头（File Header）和文件体（File Body）两部分，其中文件体由一系列的Tag及Tag Size对组成。流媒体传输类型 流媒体在播放前不是完全下载整个文件，而是把开始部分内容存入内存，数据流是随时传送随时播放。 流媒体服务器提供的流式传输方式有两种：顺序流式传输和实时流式传输两种方式。 顺序流式传输是顺序下载，在下载文件的同时用户可观看在线媒体。如果使用普通的HTTP服务器，将音视频数据以从头至尾方式发送，则为顺序流媒体传输。实时流式传输总是实时传送，特别适合现场事件。一般来说，如果视频为现场直播，或使用专用的流媒体服务器，或应用如RTSP等专用实时协议，即为实时流媒体传输。实时流式传输必须匹配连接带宽，这意味着图像质量会因网络速度降低而变差。 在流式传输时，流媒体数据具有实时性，等时性等基本特点，流服务期和客户终端要保证各种媒体间的同步关系，因此，流媒体传输对“最大延时”，“延时抖动”
https://www.doczj.com/doc/4d15898167.html, 网易视频云是网易推出的PaaS视频云服务，主要应用于在线教育、直播秀场、远程医疗、企业协作等领域。今天，网易视频云技术专家与大家分享一下：HBase –存储文件HFile结构解析。 HFile是HBase存储数据的文件组织形式，参考BigTable的SSTable和Hadoop的TFile 实现。从HBase开始到现在，HFile经历了三个版本，其中V2在0.92引入，V3在0.98引入。HFileV1版本的在实际使用过程中发现它占用内存多，HFile V2版本针对此进行了优化，HFile V3版本基本和V2版本相同，只是在cell层面添加了Tag数组的支持。鉴于此，本文主要针对V2版本进行分析，对V1和V3版本感兴趣的同学可以参考其他信息。 HFile逻辑结构 HFile V2的逻辑结构如下图所示：
https://www.doczj.com/doc/4d15898167.html, 文件主要分为四个部分：Scanned block section，Non-scanned block section，Opening-time data section和Trailer。 Scanned block section：顾名思义，表示顺序扫描HFile时所有的数据块将会被读取，包括Leaf Index Block和Bloom Block。 Non-scanned block section：表示在HFile顺序扫描的时候数据不会被读取，主要包括Meta Block和Intermediate Level Data Index Blocks两部分。 Load-on-open-section：这部分数据在HBase的region server启动时，需要加载到内存中。包括FileInfo、Bloom filter block、data block index和meta block index。 Trailer：这部分主要记录了HFile的基本信息、各个部分的偏移值和寻址信息。 HFile物理结构
https://www.doczj.com/doc/4d15898167.html, 网易视频云：浅谈视频云直播：场景、技术及优化 1.简介 随着互联网视频化的发展，各类网络直播产品层出不穷，涌现出了秀场直播、游戏直播、教育直播、演唱会直播和监控直播等多个直播生态圈。这些生态圈形成的背后，是视频直播相关技术的不断发展，例如互联网带宽的日益增加，视频压缩标准的日渐完善，视频云技术的出现等。特别是视频云技术的出现，它降低了开发者的准入门槛，解决了视频企业的“三高”之痛，即技术门槛高、成本高、卡顿延时率高，为未来几年视频直播的大爆发奠定了坚实的技术基础。 所谓视频云直播技术，就是用云端模式，提供视频直播解决方案的技术，它涉及视频直播的各个环节，例如直播视频采样、编码、推流、转码、分发、拉流、解码和播放等。使用Iaas、Paas和Saas三种形式，视频云直播能为各种场景的直播应用提供接口级服务、平台级服务和产品级服务。依托视频云，直播开发者不在关心视频和网络的细节，他们只要把精力集中于产品应用层面即可。未来，网络直播产品将会表现为如下一种形态：上层多样化的直播模式 + 下层组件化的视频云模式。 深入视频云直播内部，会发现其具有复杂化、多样化和组件化的特点。所谓复杂化，是指音视频技术复杂和互联网环境复杂；所谓多样化，是指直播应用场景具有多样性；所谓组件化，是指直播技术各个环节的模块化和独立性。在视频云直播中，技术主线永远是音视频流的输入、传输和输出。但针对每一类直播场景，使用的具体技术和实现手段都不一样。随着直播量级的变化，必须对视频云各个环节进行优化，以化解流量暴增带来的压力。因此，视频云直播的构建是一项艰巨的任务。接下来，本文将从场景、技术和优化三个角度，详细阐述视频云直播。 2.一对多直播场景 考虑如下一种场景：一个主播者坐在电脑前，通过前置摄像头和麦克风，把自己的音视频信息输出到网络上，多人在各地通过互联网实时观看主播者的表演。这就是经典的秀场直播。这里存在几个关键点：一. 音视频传输；二. 实时；三. 一对多。 首先讲音视频传输，它又细分为三点：源端的音视频输出、网络端的流传输和播放端的音视频获取。第一点音视频输出，首先必须收集主播的声音和图像，就是所谓的音视频采集；采集后的声音和图像，需要转换成字节码、混合并压缩，最后封装成某种音视频格式，就是所谓的音视频编码；编码后的音视频格式，还不能在网络传输，需要转换成某种码流，如RTMP，然后推送到网上，即上传码流到服务器，就是所谓的推流。上述“采样-编码-推流”，构成了视频云直播端的核心功能。第二点音视频码流的网络传输，把主播者的音视频流分发传输给所
https://www.doczj.com/doc/4d15898167.html, APP如何接入网易视频云直播功能 直播类APP在这两年的发展势头可以用“炙手可热”来形容，一方面是移动网络的大力普及，用手机看直播几乎成了日常生活的一部分。一方面是受众对各种直播内容的需求急剧上升，这种种因素都导致直播类的APP呈现出百花齐放的繁荣景象。相比自主研发，外包直播模块成为大多数APP开发者的首选。本文将详细介绍如何接入网易视频云的直播功能。并将对开发者关心的问题进行一个梳理。 一、直播功能应用场景 二、如图所示，直播功能的场景非常多样化，小编总结了一下，直播场景细分为以下几个方面： 1、在线教育行业：网校、慕课、K1 2、在线家教、教学录播和点播等 2、在线娱乐行业：美女秀场、游戏直播、演唱会直播KTV直播、婚礼直播、活动直播、体育赛事直播、装修直播、吃饭直播等 3、社交：明星社交、视频社交等 4、视频门户：视频直播、视频点播等 5、企业协作：点对点和多方视频会议、企业例会直播、产品发布会直播等 6、在线金融：视频理财咨询、在线签约过程录制、股评直播、大宗交易平台直播等 7、安防监控：家庭监控、幼儿园监控、早教中心监控、旅游景区监控等 8、远程医疗：视频问诊、专家会诊等
https://www.doczj.com/doc/4d15898167.html, 9、新闻媒体：现场手机直播、短新闻、庭审直播等 三、直播功能接入流程 上图是网易视频云直播功能的接入流程，一般来说，开发者在接入直播功能的时候，接入流程大概如下： a、注册视频云账号 b、创建直播频道 c、下载SDK和API文档 d、开发直播推流程序 实际操作问题总结 看起来简单的接入流程，开发者在实际操作过程中还是会遇到各种各样的问题。对于这些问题，总结了一下，主要有以下四个方面： a、工程上的问题。开发者在导入SDK库文件时存在的一些问题，比如库文件的绝对或相对路径设置错了，导致无法接入。 网易视频云工程师建议：这些问题通常通过第三方的技术支持很容易就会被解决。 b、功能性上的问题。开发者在调用第三方SDK接口的时候，由于绝大多数的程序员不会认真去读对方的API文档，经常跟着感觉或经验去做调用，调用过程中经常会出现这样或那样的问题。
网易视频云技术之视频预处理技术 一、概述 视频编码包括分离、解码、编码、合成四部分，在分离与解码、合成部分可以认为是一种无损操作，而通常采用的编码如H264、MPEG-4等（无损压缩除外）是一种有损压缩。 为了提高视频编码后的质量，我们尝试在Encoder的数据输入之前增加一种预处理，用来弥补在编码过程中的亮度和色度的损失。从而提高视频的清晰度。
二、预处理方法 通过改变视频的亮度、对比度、饱和度（色度）来进行锐化，使其边缘的过度产生较大的改变，从而增加视频的清晰度。锐化会产生噪声，因此增加去噪滤镜。目前只是通过调整亮度和对比度来增加边缘的锐化，饱和度并未进行调整。因为饱和度的调整会引入一些新的问题，比如产生色块，色彩的失真。 2.1 ffmpeg的预处理：增加亮度
ffmpeg -i E:\music\1\1.mov -vcodec libx264 -profile baseline -level 3.1 -preset slow -b 2400k -maxrate 6000k -bufsize 9000k -vf "scale=-1:720,unsharp=luma_msize_x=7:luma_msize_y=7:luma_amount=1.5" -threads 12 -nr 6 -an -y -f mp4 E:\music\1\out_2400k_sharpen.mp4 2.2 avs的预处理 avs通过增加锐化滤镜，调整饱和度和对比度进行编码前的预处理。 DirectShowSource("E:\music\1\1.mov").LanczosResize(1280,720).sharpen (0.2) 2.3 mencoder的预处理：增加亮度和对比度 mencoder.exe -sws 9 -oac mp3lame -vf scale=1280:720,unsharp=l7x7:1.5,eq=1:15 -ovc x264 -ffourcc H264 -x264encopts bitrate=2400:turbo=2:frameref=6:me=umh:me_range=16 E: \music\1\1.mov -o E:\music\1\mencoder_out_1_4.avi 三、效果对比 画面摆放顺序依次为片源、ffmpeg编码、mencoder编码 3.1 对比图1
https://www.doczj.com/doc/4d15898167.html, 网易视频云直播常见问题解析 如何保证直播的安全 网易视频云直播支持Token认证和数字签名防盗链，有效保证每个用户的直播推流、拉流播放的安全性能。 当前可以支持哪些直播协议 目前直播上行支持RTMP协议，下行支持RTMP、HLS和HTTP（FLV）协议。 当前支持哪些直播源 直播源目前支持RTMP协议的推流。RTMP推流的地址可以通过网易视频云Web管理控制台或者API接口创建一个直播频道获得。 RTMP推流具体可以采用以下几种形式： 台式计算机或笔记本，可以使用网易视频云的Windows端的直播推流SDK 或者Demo程序采集自带或USB摄像头视频，将视频编码优化后推送至LVS 的RTMP服务器。 如要采集高清摄像机的视频可以通过相应的硬件采集卡或编码器再通过转换器连接到台式计算机或笔记本，再通过Windows端直播推流SDK或者Demo 程序进行直播推流。
https://www.doczj.com/doc/4d15898167.html, Android/iOS, 使用手机摄像头 可通过Android/iOS推流端SDK或者Demo程序采集摄像头视频，将视频编码优化后推送至LVS的RTMP服务器。 当前支持哪些直播收看方式 网页端 当前我们已经发布了直播频道拉流地址功能，可以在创建直播频道后直接获取FLV地址。您可在您的PC网页端播放（需部署Http服务器）。 SDK播放 用户可以通过嵌入到自身业务应用里的播放SDK进行直接收看，在IOS、Android端均可收看直播。 当前提供哪些SDK和API LVS服务提供包括直播频道管理、频道创建等全套直播相关的API，全部对用户开放，并且后续功能会越来越丰富。 我们提供的SDK包括直播推流SDK和播放器SDK。 推流SDK主要用于直播视频采集端，方便您将LVS直播功能无缝对接到自己的业务系统，目前提供Windows SDK、Android SDK、iOS SDK。 播放器SDK主要用于直播观看端，目前提供Android SDK和iOS SDK。 如何查看直播数据统计
https://www.doczj.com/doc/4d15898167.html, 网易视频云技术分享：Reed Solomon纠删码 网易视频云是网易倾力打造的一款基于云计算的分布式多媒体处理集群和专业音视频技术，为客户提供稳定流畅、低时延、高并发的视频直播、录制、存储、转码及点播等音视频的PASS服务。在线教育、远程医疗、娱乐秀场、在线金融等各行业及企业用户只需经过简单的开发即可打造在线音视频平台。现在，网易视频云转载相关文章，与大家分享一下Reed Solomon纠删码。 纠删码是存储领域常用的数据冗余技术，相比多副本复制而言，纠删码能够以更小的数据冗余度获得更高数据可靠性。Reed Solomon Coding是存储领域常用的一种纠删码，它的基本原理如下：给定n 个数据块d1, d2,…, dn，n和一个正整数m，RS根据n个数据块生成m个校验块，c1, c2,…, cm。对于任意的n和m，从n个原始数据块和m 个校验块中任取n块就能解码出原始数据，即RS最多容忍m个数据块或者校验块同时丢失（纠删码只能容忍数据丢失，无法容忍数据篡改，纠删码正是得名与此）。 编码原理 RS编码以word为编码和解码单位，大的数据块拆分到字长为w的word（字长w取值一般为8或者16位），然后对word进行编解码。所以数据块的编码原理与word编码原理没什么差别，为论述方便，后 文中变量Di, Ci将代表一个word。 首先，把输入数据视为向量D=(D1，D2，…, Dn）, 编码后数据视为向量（D1, D2,…, Dn, C1, C2,.., Cm)，RS编码可视为如图1所示矩阵运算。下图最左边是编码矩阵，矩阵上部是单位阵（n行n列），下边是vandermonde矩阵B(m行n列), vandermode矩阵如图2所示，第i行，第j列的原数值为j^(i-1)。之所以采用vandermonde矩阵的原因是，RS数据恢复算法要求编码矩阵任意n*n子矩阵可 逆。 图1：RS纠删码编码运算
网易视频云教你如何实现倒排索引 常规的索引是文档到关键词的映射：文档——>关键词,但是这样检索关键词的时候很费力，要一个文档一个文档的遍历一遍。于是人们发明了倒排索引！倒排索引是关键词到文档的映射：关键词——>文档。因此，只要有关键词，立马就能找到在那个文档里出现过，带来了极大的方便。下面，网易视频云就教教各位，倒排索引究竟是怎么实现的！ 1.倒排索引 倒排索引有两种不同的反向索引形式： ●一条记录的水平反向索引（或者反向档案索引）包含每个引用单词的文档的列表。 ●一个单词的水平反向索引（或者完全反向索引）又包含每个单词在一个文档中的位置。后者的形式提供了更多的兼容性（比如短语搜索），但是需要更多的时间和空间来创建。举例： 以英文为例，下面是要被索引的文本： T0 = "it is what it is" T1 = "what is it" T2 = "it is a banana" 我们就能得到下面的反向文件索引： 检索的条件"what", "is" 和"it" 将对应这个集合：{0,1}∩{0,1,2}∩{0,1,2}={0,1}。 对相同的文字，我们得到后面这些完全反向索引，有文档数量和当前查询的单词结果组成的的成对数据。同样，文档数量和当前查询的单词结果都从零开始。
所以，"banana": {(2, 3)} 就是说“banana”在第三个文档里(T2)，而且在第三个文档的位置是第四个单词(地址为3)。 如果我们执行短语搜索"what is it" 我们得到这个短语的全部单词各自的结果所在文档为文档0和文档1。但是这个短语检索的连续的条件仅仅在文档1得到。 2.Map过程 首先使用默认的TextInputFormat类对输入文件进行处理，得到文本中每行的偏移量及其内容，Map过程首先必须分析输入的
https://www.doczj.com/doc/4d15898167.html, 网易视频云:HBaseRegionServer宕机案件侦查 今天网易视频云技术专家给大家分享一下HBase–RegionServer宕机案件侦查，欢迎参与讨论。 本来静谧的晚上，吃着葡萄干看着球赛，何等惬意。可偏偏一条报警短信如闪电一般打破了夜晚的宁静，线上集群一台RS宕了！于是倏地从床上坐起来，看了看监控，瞬间惊呆了：单台机器的读写吞吐量竟然达到了5w ops/sec！RS宕机是因为这么大的写入量造成的？如果真是这样，它是怎么造成的？如果不是这样，那又是什么原因？各种疑问瞬间从脑子里一一闪过，甭管那么多，先把日志备份一份，再把RS拉起来。接下来还是Bug排查老套路：日志、监控和源码三管齐下，来看看到底发生了什么！ 案件现场篇 下图是使用监控工具Ganglia对事发RegionServer当时读写吞吐量的监控曲线，从图中可以看出，大约在19点~21点半的时间段内，这台RS的吞吐量都维持了3w ops/sec 左右，峰值更是达到了6w ops/sec。之前我们就线上单台RS能够承受的最大读写吞吐量进行过测定，基本也就维持在2w左右，主要是因为网络带宽瓶颈。而在宕机前这台RS的读写吞吐量超出这么多，直觉告诉我RS宕机原因就是它！
https://www.doczj.com/doc/4d15898167.html, 接着就赶紧把日志拉出来看，满屏的responseTooSlow，如下图所示： 很显然，这种异常最大可能原因就是Full GC，果然，经过耐心地排查，可以看到很多如下所示的Full GC日志片段： 2016-04-14 21:27:13,174 WARN [JvmPauseMonitor] util.JvmPauseMonitor: Detected pause in JVM or host machine (eg GC): pause of approximately 20542ms GC pool 'ParNew' had collection(s): count=1 time=0ms GC pool 'ConcurrentMarkSweep' had collection(s): count=2 time=20898ms 2016-04-14 21:27:13,174 WARN [regionserver60020.periodicFlusher] util.Sleeper: We slept 20936ms instead of 100ms, this is likely due to a long garbage collecting pause and it's usually bad, see https://www.doczj.com/doc/4d15898167.html,/book.html#trouble.rs.runtime.zkexpired
https://www.doczj.com/doc/4d15898167.html, 随着媒体技术的发展，以及硬件设备的普及和移动设备的触角延伸之社会各个角落，人们可以随时随地产生信息。其中，多媒体信息成为了人们信息分享的重要方式。如何让这些的信息能被千差万别的设备观看，视频编码技术成为一种切实可行的方案。网易视频云在这里分享视频编码技术——如何搭建MP4媒体服务器。 环境 操作系统：linux 2.6.32-5-amd64。Linux 版本即可。 服务器：nginx 1.3.3。nginx的版本可以更高。 客户端：jwplayer。或者任何播放器即可。 搭建步骤 安装nginx with nginx_mod_h264_streaming 1、下载nginx和nginx_mod_h264_streaming wget https://www.doczj.com/doc/4d15898167.html,/download/nginx-1.3.3.tar.gz git clone https://https://www.doczj.com/doc/4d15898167.html,/vivus-ignis/nginx_mod_h264_streaming.git 2、解压 tar –xzvf nginx-1.3.3.tar.gz 3、安装 cd nginx-1.3.3 #nginx_mod_h264_streaming为第三方模块。 ./configure --prefix=/home/user/nginx_flv --add_module=nginx_mod_h264_streaming_2.2.7 4、配置 #user nobody; worker_processes 1;
https://www.doczj.com/doc/4d15898167.html, #error_log logs/error.log; #error_log logs/error.log notice; #error_log logs/error.log info; #pid logs/nginx.pid; events { worker_connections 1024; } http { includemime.types; default_type application/octet-stream; log_format main 'remoteaddr?remote_user [timelocal]"request" ' 'statusbody_bytes_sent "$http_referer" ' '"httpuseragent""http_x_forwarded_for"'; #access_log logs/access.log main; sendfile on; #tcp_nopush on; #keepalive_timeout 0; keepalive_timeout 65; #gzip on; server { listen 8088; server_namelocalhost; #charset koi8-r; access_log logs/host.access.log main; location / { root /home/fs/video; index index.html index.htm; autoindex on; location ~ \.mp4{ mp4; } } #error_page 404 /404.html;
网易视频云:视频硬件编码技术对比——QuickSync vs NVenc vs AMD VCE Quicksync Intel在Sandy Bridge 架构CPU 中引入了的MFX （Multi-Format Codec Engine，多格式编解码器引擎）视频处理引擎。 第一代MFX 是从Sandy Bridge 上引入的，现在的Ivy Bridge 和下一代的Haswell 也分别具备第二和第三代MFX，Ivy Bridge 的第二代MFX 主要是改进了性能，而Haswell 的第三代MFX 除了速度比 Ivy Bridge 更快外，在同码率画面品质方面也会有11% 的改进。 MFX 包含了解码器、编码器和视频效果处理器三部分，其中编码器属于二工位混合式的硬件编码器。 Intel 将编码器的动作分为两组，即ENC 和PAK，其中ENC 包括了码率控制、运动估算、帧间估算、模式抉择；而PAK 包括了运动补偿、帧间预测、前向量化、像素重构、熵编码。 ENC 操作由GPU 的可编程EU 矩阵执行，PAK 则是MFX 的硬件流水线执行，两组动作对不同的帧同时执行，可以藉此达到最高性能。 MFX 令人印象深刻的还有它的解码器性能。例如我们测试的16 分钟1080p 片段，在基于GF110/GF104 的GTX 580/GTX 560
Ti 上解码性能为94.2 fps，基于GK104 的GTX 680 是158fps，而在Sandy Bridge/ Ivy Bridge 的i7-2600K/3770K 上解码性能居然分别高达让人瞪目乍舌的460fps、606fps。 硬件解码性能的强大，除了说明GPU 能应付更复杂的视频解码外，还意味着可以在转码的时候更多地解放CPU 负荷。此外，IVB 的Quick Sync也统一到了Media SDK API下。 CUDA/NVENC 首先要说明，CUDA Encoder 和NVENC 是两个不同的东西，前者是采用GPU 的通用计算单元进行编码加速，后者则是增加了专门的硬线化编码电路作编码加速。
https://www.doczj.com/doc/4d15898167.html, 网易视频云分享：如何搭建视频转码集群 随着媒体技术的发展，以及硬件设备的普及和移动设备的触角延伸之社会各个角落，人们可以随时随地产生信息。而这些海量信息中，有不少多媒体信息。多媒体信息成为了人们信息分享的重要方式。毫不夸张地说，现在是一个信息爆炸的时代。传统的电视，电影，视频网站，及至移动的自媒体（自由人）无时无刻不在吞吐着媒体信息。 这些海量信息的存在给存储和分享都带来了挑战。挑战主要有两方面，一是如何尽可能以小成本来存储这些信息。二是如何让这些千差万别的设备产生的信息能被千差万别是设备观看。解决问题一的方法是在尽可能地缩小这些多媒体信息的同时不降低媒体信息的质量。解决问题二的方法是将这些有千差万别设备产生的格式各异的视频编码成统一的能支持各种设备的视频格式。 幸运地是，确实存在在实践上已经被证明是切实可行的方案存在，即视频编码技术。可以构建视频编码集群，将原始视频编码成目标格式,在再编码的过程中，完成视频压缩和统一制式，从而实现存储降低及制式统一。从视频的角度可以将现在设备分割成两个阵营，一个是苹果阵营，另一个是非苹果阵营。苹果阵营的视频只要是m3u8为封装格式，内部编码配以H264和AAC即可。而非苹果阵营则是MP4为封装格式，内部编码已H264和AAC 即可。据初略统计H264+aac的编码组合可以达到2:1到4:1的压缩比，可以显著地降低存储空间。 下图是一个采用gearman框架搭建的简易转码集群（当然该简易集群曾经有1~2人力一个月左右的时间搭建完成，并在生产环境中部署）。
https://www.doczj.com/doc/4d15898167.html, 该简易转码集群由四个模块组成： ·JobSer ver负责接收API服务器的请求，建立转码Job，将Job分发给transcode-worker。 ·API服务器负责接收第三方产品的转码请求，将其转发给JobServer。
构建一站式视频云点播平台的关键技术 网易视频云是网易倾力打造的一款基于云计算的分布式多媒体处理集群和专业音视频技术，为客户提供稳定流畅、低时延、高并发的视频直播、录制、存储、转码及点播等音视频的PaaS服务。在线教育、远程医疗、娱乐秀场、在线金融等各行业及企业用户只需经过简单的开发即可打造在在线音视频平台。现在，网易视频云与大家分享一下ceph的恢复优化。 背景概述 近两年视频服务已经融入人们生活的方方面面，针对互联网视频点播类需求，基于云计算的分布式存储集群、分布式转码集群、大规模分发网络，如何构建可快速接入、高可用的一站式视频云点播加速平台，满足用户实现企业级的在线视频点播服务。其中涉及到各个系统组件的耦合以及关键技术的处理。 基础架构 目前市面上视频云点播提供的核心功能大致有：视频上传、视频转码、视频分发加速、视频播放和视频安全防护。 其基础架构如下所示： 关键技术上传 视频上传是整个平台的入口，需要关注三点：稳定性、高性能、易用性。稳定性是指数据传输的稳定性，以及针对大文件的断点续传；高性能是指传输的速度，
需区分用户的使用场景，针对移动端上传的场景，需考虑到移动端网络环境易波动、不稳定的特性；易用性是指考虑到用户的使用场景（文件上传、URL拉取、批量上传等）以及提供SDK和HTTP的上传方式并提供具体demo方便用户接入。 网易视频云通过在服务器端保存断点、全球部署大量边缘上传节点、针对移动端提供边缘节点上传加速、提供上传备用节点等手段提供稳定高效的灵活上传方式。处理 针对用户上传的视频，需要对视频进行相应处理。主要包括：对视频进行不同格式转码以匹配不同应用场景、添加视频水印、视频截图和封面设置和视频合并等功能点。每个视频处理任务需要消耗一定资源，需要考虑的是如何针对海量用户实现好资源调度，在资源超售下平均处理每个用户的任务。 网易视频云的转码集群通过自研的FlickRpc框架、灵活的调度模式、提供租约与高可用、负载均衡方式保障转码质量和效率。 分发 提供优画质、流畅稳定的视频播放是云点播的核心。其中涉及到视频源站的建设和通过CDN进行快速分发。由于视频的点播特性，同时需考虑到针对不同视频格式的驻点、拖拽播放以及CDN如何有效的调度节点实时回源。 网易视频云的播放源站建设在BGP节点集群上，借鉴于Nginx处理静态文件的优秀性，开发各个模块处理不同格式文件的解析流程，提供精确的CDN调度策略保证视频播放的良好体验。 安全
https://www.doczj.com/doc/4d15898167.html, 网易视频云Qcon大会干货分享:音视频技术优化 4月21至23日，由InfoQ主办的全球顶级技术盛会QCon全球软件开发大会在北京开幕，本届大会吸引了100余位国内外技术专家参加分享，包括亚马逊、惠普、阿里巴巴、蚂蚁金服、腾讯、百度、华为等。其中在视频云领域崭露头角的网易也受到邀请。网易杭州研究院多媒体技术专家郭再荣在演讲中分享了移动化时代音视频技术的优化策略，提到眼下网易将杭州研究院技术实力转化为企业服务产品的云战略。 手机音视频应用呈现井喷状态 近两年，由于移动网络的不断升级和视频直播的流行，手机音视频方面的App应用呈现出井喷状态。在网易杭州研究院多媒体技术专家郭再荣看来，移动端的音视频直播、点播之所以能大量爆发，跟几个因素分不开： 首先，音视频直播、点播的需求一直大量存在，包括各种行业应用，比如视频门户、娱乐直播、游戏直播、在线教育、远程医疗，远程监控，企业协作，社交应用等等。“以前之所以没有全面爆发，是因为硬件条件不满足，比如网络的带宽有限”，郭再荣认为，目前网速仍在不断提升，光纤普及到小区，有线网络的上下行带宽已经达到要求，“移动网络4G接入速度也很快，满足了基本的视频直播带宽要求。而且网络资费也比较低，变得大众可接受。” 其次，智能硬件设备大量普及，特别是大屏智能手机、平板，基本是人手一台。同时这些设备的性能也越来越强劲。郭再荣介绍，“硬件性能的提升解决了视频编解码的性能瓶颈，可以拿手机、平板作为PC机器使用”。 基于以上两点，随时随地的直播成为可能。“观众在流畅地观看着视频画面的同时，其实并不知道这背后我们曾解决过大量的技术难题。”郭再荣介绍，网易视频云凝聚了网易公司15年的技术积累，在音视频编解码上有着丰富技术底蕴和完整成熟的解决方案，给该领域的云服务市场带来了稳定的巨头级产品。 移动音视频技术优化的七个方向
https://www.doczj.com/doc/4d15898167.html, “直播+营销”爆火，视频云助力流量变现 仿佛在一夜之间，营销界又“变天”了。从传统媒体到微博、微信等新媒体，几年前营销界的大转移俨然已经成了过去式。来势汹汹的视频直播已经颠覆了一个又一个移动生态领域，强大的吸金能力也使其在营销界迅速撩掠了大批粉丝，成为了名副其实的现金奶牛。 这种天然广告属性吸引所有企业用户并不稀奇。从效果上来看，似乎非常让人满意。前不久，宝马MINI首先试水，将拍摄片场以视频直播的方式搬上了互联网。而拍摄的主角就是娱乐圈当红鲜肉——井柏然、阮经天、秦昊、杨祐宁。530多万人次的在线观看人数，足够说明宝马Mini这次在直播营销上取得的影响力。 这一影响力也直接或间接转换为资本。品牌通过挖掘视频直播的多元效应，打造直播到营销的完美闭环，真正实现了一种从宣传到变现的强势转化。上个月，第一财经在综合参考了国家官方统计、阿里集团大数据、新浪微博、优酷土豆、第三方权威机构等多方数据分析之后，发布了《2016中国电商红人大数据报告》，报告显示，2016年红人产业产值(包括红人相关的商品销售额，营销收入以及生态其他环节收入)，预估接近580亿元人民币。 移动互联网送来“直播+营销”福音 移动互联网的广泛普及早已不是新闻。据移动数据服务商QuestMobile发布的《2015年中国移动互联网研究报告》，截止到2015年12月，国内在网活跃移动智能设备数量达到8.99亿，几乎赶上了发达国家人数的综合。 移动互联网带来的红利也迅速蔓延到了视频直播行业，不仅移动直播平台数量接近200家，其中网络直播的市场规模约为90亿元，网络直播平台用户数量已经达到2亿（2015年），而且以视频服务为主的影音多媒体类APP占据了全网用户32%的使用时间，成为移动用户花费时间最多的应用类型（最新艾瑞mUserTracker数据）。这些无疑都是直播营销的先决条件。 事实上，在网活跃用户从传统PC端到移动端的迅速转移，给直播营销的生态行业创造用户量的同时，也带去了不小的挑战。如何实现直播平台的端口兼顾俨然成为