当前位置:文档之家› 网易视频云:流媒体服务器原理和架构解析

网易视频云:流媒体服务器原理和架构解析

网易视频云:流媒体服务器原理和架构解析
网易视频云:流媒体服务器原理和架构解析

https://www.doczj.com/doc/ba14193764.html,

网易视频云:流媒体服务器原理和架构解析

一个完整的多媒体文件是由音频和视频两部分组成的,H264、Xvid等就是视频编码格式,MP3、AAC等就是音频编码格式,字幕文件只是附加文件。目前大部分的播放器产品对于H.264 + AAC的MP4编码格式支持最好,但是MP4也有很多的缺点,比如视频header很大,影响在线视频网站的初次加载时间。

为了降低头部体积,需要进行视频本身的物理分段等等。对MPEG2-TS格式视频文件进行物理切片,分成一小段,这种方式被Apple公司的HTTP Live Streaming (HLS)技术采用。另外一种是使用Fragmented MP4文件格式,这是一种文件内部的逻辑分割方式,而视频文件还是完整的,这种技术被Microsoft Smooth Streaming和Adobe HTTP Dynamic Streaming采用。很多在线视频网站在带宽耗费的压力下,主要选择的是adobe公司提供的FLV或F4V,FLV是流媒体封装格式,可将其数据看为二进制字节流。总体上看,FLV包括文件头(File Header)和文件体(File Body)两部分,其中文件体由一系列的Tag及Tag Size对组成。流媒体传输类型

流媒体在播放前不是完全下载整个文件,而是把开始部分内容存入内存,数据流是随时传送随时播放。

流媒体服务器提供的流式传输方式有两种:顺序流式传输和实时流式传输两种方式。

顺序流式传输是顺序下载,在下载文件的同时用户可观看在线媒体。如果使用普通的HTTP服务器,将音视频数据以从头至尾方式发送,则为顺序流媒体传输。实时流式传输总是实时传送,特别适合现场事件。一般来说,如果视频为现场直播,或使用专用的流媒体服务器,或应用如RTSP等专用实时协议,即为实时流媒体传输。实时流式传输必须匹配连接带宽,这意味着图像质量会因网络速度降低而变差。

在流式传输时,流媒体数据具有实时性,等时性等基本特点,流服务期和客户终

https://www.doczj.com/doc/ba14193764.html,

端要保证各种媒体间的同步关系,因此,流媒体传输对“最大延时”,“延时抖动”等QoS参数都有严格要求。

实时流传输既可传输实况直播,也可传输完整的音视频文件(专用协议流式)。

顺序流媒体不可用于实况直播,仅能传输完整的音视频文件(HTTP 渐进式)。

主流的流媒体协议

主流的流媒体协议主要有:RTMP,HLS,RTSP等。

https://www.doczj.com/doc/ba14193764.html,

流媒体协议原理

(一) HTTP渐进式下载原理(仅支持文件播放)

HTTP边下载边播放,严格意义上讲,不是直播协议。他的原理是先下载文件的

https://www.doczj.com/doc/ba14193764.html,

基本信息,音频视频的时间戳,再下载音视频数据,以播放mp4为例,先下载文件头,根据文件头指引下载文件尾,然后再下载文件的音视频数据。

播放方式:浏览器调用系统播放器播放;

使HTML5的Video标签,浏览器支持直接播放。(二) 苹果支持的HLS原理(实况直播、文件点播)

服务器端有三个组件:

其一:编码器(media encoder), 用于将设备输出的格式转为H264和AAC,并封装为MPEG-2传输流;

其二:流分段器(stream segmenter), 用于实况直播,将MPEG-2流分割为多个小片段后输出;

其三:文件分段器(file segmenter), 用于文件点播,将文件分隔为多个小片段后输出;

分发原理

数据经以上三部分处理后为.ts文件(媒体数据)及.m3u8文件(媒体数据索引)存在于服务器之上。客户端访问.m3u8后按索引下载.ts文件进行播放。

https://www.doczj.com/doc/ba14193764.html,

下面为某m3u8文件内容:

#EXTM3U

#EXT-X-TARGETDURATION:30

#EXTINF:30,

http://192.169.1.176/sample_100k-1.ts

#EXTINF:30,

http://192.169.1.176/sample_100k-2.ts

#EXTINF:30,

http://192.169.1.176/sample_100k-3.ts

#EXT-X-ENDLIST

根据这个文件,播放器会依次下载sample_100k-1.ts,sample_100k-2.ts,sample_100k-3.ts

HLS的文件点播

1. 使用苹果开发工具“文件分段器”将基于H264和AAC或MP3的MPEG4分段,

https://www.doczj.com/doc/ba14193764.html,

生成.ts和.m3u8文件,存储于普通服务器上。

2. 苹果应用程序或苹果浏览器可以通过访问.m3u8文件获取到索引,并下载所需要的数据片段来播放。

HLS的实况直播

1. 使用苹果开发工具“流分段器”将基于H264、AAC、MP3的MPEG2传输流分段,

可使用其它工具将MPEG4音视频文件加载到MPEG2传输流当中。

生成.ts和.m3u8文件,存储于普通服务器上。

2. 苹果应用程序或苹果浏览器可以通过访问.m3u8文件获取到索引,并下载所需要的数据片段来播放。

(三) Adobe Flash 支持的RTMP协议(支持文件播放和实况直播)

RTMP(Real Time Messaging Protocol)

是Adobe Systems公司为Flash播放器和服务器之间音频、视频和数据传输开发的开放协议。

它有四种变种:

1) 工作在TCP之上的明文协议,使用端口1935;

2) RTMPS通过TLS/SSL连接;

3) RTMPT封装在HTTP请求之中,可穿越防火墙;

4) RTMPS类似RTMPT,但使用的是HTTPS连接;

RTMP协议(Real Time Messaging Protocol)是被Flash用于对象,视频,音频的传输。这个协议建立在TCP协议或者轮询HTTP协议之上。RTMP协议就像一个用来装数据包的容器,这些数据既可以是AMF格式的数据,也可以是FLV中的视/音频数据。一个单一的连接可以通过不同的通道传输多路网络流,这些通道中的包都是按照固定大小的包传输的。

必须采用Flash服务器FMS(Flash Media Server) 或RED5.

FMS的文件点播

1. 服务器将F4v 或Flv文件转化为RTMP流或HTTP流

https://www.doczj.com/doc/ba14193764.html,

2. 客户端获取RTMP流,提取相应的Flv 或F4v文件片段进行播放。FMS的实况直播

1. 设备端将数据转化为F4v片段,通过RTMP流上传到服务器

2. 服务器转发RTMP流到客户端

3. 客户端获取RTMP流,提取数据片段播放。

(四) RTSP协议

https://www.doczj.com/doc/ba14193764.html,

该协议用于C/S模型,是一个基于文本的协议,用于在客户端和服务器端建立和协商实时流会话。

实时流协议(RTSP)是应用级协议,控制实时数据的发送。RTSP提供了一个可扩展框架,使实时数据,如音频与视频的受控点播成为可能。数据源包括现场数据与存储在剪辑中数据。该协议目的在于控制多个数据发送连接,为选择发送通道,如UDP、组播UDP与TCP,提供途径,并为选择基于RTP上发送机制提供方法。

实时流协议(RTSP)建立并控制一个或几个时间同步的连续流媒体。尽管连续媒体流与控制流交换是可能的,通常它本身并不发送连续流。换言之,RTSP充当多媒体服务器的网络远程控制。RTSP连接没有绑定到传输层连接,如TCP。在RTSP连接期间,RTSP用户可打开或关闭多个对服务器的可传输连接以发出RTSP 请求。此外,可使用无连接传输协议,如UDP。RTSP流控制的流可能用到RTP,但RTSP操作并不依赖用于携带连续媒体的传输机制。

协议支持的操作如下:

(1)从媒体服务器上检索媒体:用户可通过HTTP或其它方法提交一个演示描述。如演示是组播,演示式就包含用于连续媒体的的组播地址和端口。如演示仅通过单播发送给用户,用户为了安全应提供目的地址。

(2)媒体服务器邀请进入会议:媒体服务器可被邀请参加正进行的会议,或回放媒体,或记录其中一部分,或全部。这种模式在分布式教育应用上很有用,会议中几方可轮流按远程控制按钮。

(3)将媒体加到现成讲座中:如服务器告诉用户可获得附加媒体内容,对现场讲座显得尤其有用。如HTTP/1.1中类似,RTSP请求可由代理、通道与缓存处理。下面区分几种操作模式。

(1)单播:用户选择的端口号将媒体发送到RTSP请求源。

(2)服务器选择地址多播:媒体服务器选择多播地址和端口,这是现场直播或准点播常用的方式。

(3)用户选择地址多播:如服务器加入正在进行的多播会议,多播地址、端口和密钥由会议描述给出。

https://www.doczj.com/doc/ba14193764.html,

RTSP控制通过单独协议发送的数据流,与控制通道无关。例如,RTSP控制可通过TCP连接,而数据流通过UDP。因此,即使媒体服务器没有收到请求,数据也会继续发送。在连接生命期,单个媒体流可通过不同TCP连接顺序发出请求来控制。所以,服务器需要维持能联系流与RTSP请求的连接状态。RTSP中很多方法与状态无关,但下列方法在定义服务器流资源的分配与应用上起着重要的作用:

(1) SETUP:让服务器给流分配资源,启动RTSP连接。

(2) PLAY与RECORD:启动SETUP分配流的数据传输。

(3) PAUSE:临时停止流,而不释放服务器资源。

(4) TEARDOWN:释放流的资源,RTSP连接停止。

标识状态的RTSP方法使用连接头段识别RTSP连接,为响应SETUP请求,服务器连接产生连接标识。

RTSP为纯粹的传输控制协议。

RTSP协议本身不与它负载的媒体数据相关。

RTSP协议需要自定义客户端向服务器发送RTSP命令。

流媒体服务器的协议栈

在TCP/IP参考模型中,传输层通信协议TCP和UDP都不能满足流媒体传输的QoS要求。由于TCP协议采用滑动窗口控制机制,数据传送随着流控窗口动态的启动和关闭,难以满足流媒体实时和等时的传送要求。UDP协议的无连接特点能够提高传输速率,虽然可以在某种程度上满足流媒体的实时性要求,但是由于其本身的不可靠性,也无法满足流媒体传输的需要。

针对传输层协议的矛盾,为了实现流媒体在IP上的实时传送播放,设计流媒体服务器时需要在传输层协议(TCP/UDP)和应用层之间增加一个通信控制层。在增加的通信控制层,采用相应的实时传输协议,主要有:数据流部分的实时传输协议RTP(Real-time Transport Protocol),用于控制部分的实时传输控制协议RTCP(Real-time Control Protocol)和实时流化协议RTSP(Real-time Streaming Protocol)。

https://www.doczj.com/doc/ba14193764.html,

流媒体服务器的协议栈,如图1所示。

RTP协议主要是用来传送实时的流媒体信息,数据报主要包括多媒体数据,以及所携带负载的时间戳,顺序号等。

RTCP协议的数据报主要包括了接收者收到某个多媒体流的服务质量信息Qos,用于对服务器端的反馈。

RTSP是一种控制协议,包括通信连接前的设定,从服务器送出的多媒体资料的控制。用于控制具有实时性的数据传输。它提供对流媒体的类似VCR(Video Cassette Recorder)的控制功能,如播放、暂停、快进、录制等,也就是RTSP 对多媒体服务器实施网络远程控制。

https://www.doczj.com/doc/ba14193764.html,

流媒体服务器的功能框图,如图2所示。

当服务器收到RTSP请求,它首先产生RTSP请求对象。服务器通过RTSP协议的应答信息将请求的内容以流会话(streaming session)的形式描述,内容包括数据流包含多少个流、媒体类型、和编解码格式。一个流会话由一个或多个数据流组成,如视频流和音频流等。实际的数据流通过RTP协议传递到客户端。RTP 在一对一或一对多的传输情况下工作,其目的是提供时间信息和实现流同步。RTP 本身并不能为顺序传送数据包提供可靠的传送机制,它依靠RTCP一起提供流量控制和拥塞控制服务。在RTP会话期间,各连接者监视下层网络的性能,并将相关信息放入RTCP包,周期性地传送RTCP包来通知发送方。发送方也可以用RTCP 包提供每次的会话信息,包中含有已发送的数据包的数量、丢失的数据包的数量等统计资料。因此,服务器可以利用这些信息动态地改变传输速率,甚至改变有效载荷类型。RTP和RTCP配合使用,因有效的反馈和最小的开销使传输效率最佳化。

通过流媒体服务器的协议栈的设计,可以明确流媒体服务器是在传输层协议(TCP,UDP)上解释RTP,RTCP,RTSP协议的,所有的客户连接请求都是以TCP 的端口获得的,流媒体数据也都是打成RTP包,通过UDP端口发出去的,因此,对于TCP,UDP端口事件的调度以及如何把大量的流媒体数据从磁盘空间传递到网络上成为制约流媒体服务器性能的主要因素。

https://www.doczj.com/doc/ba14193764.html,

传统流媒体服务器的处理流程,如图3所示。

流媒体服务器面对一个单一的客户,完成的过程如下:

1)在客户端发出RTSP连接请求后,服务器通过对TCP端口的监听,读入请求。

2)解析请求内容,调入相应的流媒体文件。

3)形成RTP包,分发数据流包,获得RTCP包。

4)数据包发送完毕,关闭连接。

https://www.doczj.com/doc/ba14193764.html,

上图是RTSP直播服务器的系统框图。

https://www.doczj.com/doc/ba14193764.html,

从摄像头采集实时图像,送到编码器进行实时编码,一般是生成TS格式的数据流,然后数据流输出到视频直播服务器。客户端先发送请求到web服务器,然后再重定向到RTSP视频服务器,从视频服务器读取数据,同时实现播放,暂停等功能。

流媒体的传输技术

一、单播:

主机之间“一对一”的通讯模式,网络中的交换机和路由器对数据只进行转发不进行复制。如果10个客户机需要相同的数据,则服务器需要逐一传送,重复10次相同的工作。但由于其能够针对每个客户的及时响应,所以现在的网页浏览全部都是采用IP单播协议。网络中的路由器和交换机根据其目标地址选择传输路径,将IP单播数据传送到其指定的目的地。

单播的优点:

1. 服务器及时响应客户机的请求

2. 服务器针对每个客户不通的请求发送不通的数据,容易实现个性化服务。

单播的缺点:

1. 服务器针对每个客户机发送数据流,服务器流量=客户机数量×客户机流量;在客户数量大、每个客户机流量大的流媒体应用中服务器不堪重负。

二、广播:

主机之间“一对所有”的通讯模式,网络对其中每一台主机发出的信号都进行无条件复制并转发,所有主机都可以接收到所有信息(不管你是否需要),由于其不用路径选择,所以其网络成本可以很低廉。在数据网络中也允许广播的存在,但其被限制在二层交换机的局域网范围内,禁止广播数据穿过路由器,防止广播数据影响大面积的主机。

广播的优点:

1. 网络设备简单,维护简单,布网成本低廉

2. 由于服务器不用向每个客户机单独发送数据,所以服务器流量负载极低。

广播的缺点:

https://www.doczj.com/doc/ba14193764.html,

1.无法针对每个客户的要求和时间及时提供个性化服务。

2. 网络允许服务器提供数据的带宽有限,客户端的最大带宽=服务总带宽。

3. 广播禁止在Internet宽带网上传输。

三、组播:

主机之间“一对一组”的通讯模式,也就是加入了同一个组的主机可以接受到此组内的所有数据,网络中的交换机和路由器只向有需求者复制并转发其所需数据。主机可以向路由器请求加入或退出某个组,网络中的路由器和交换机有选择的复制并传输数据,即只将组内数据传输给那些加入组的主机。这样既能一次将数据传输给多个有需要(加入组)的主机,又能保证不影响其他不需要(未加入组)的主机的其他通讯。

组播的优点:

1. 需要相同数据流的客户端加入相同的组共享一条数据流,节省了服务器的负载。具备广播所具备的优点。

2. 由于组播协议是根据接受者的需要对数据流进行复制转发,所以服务端的服务总带宽不受客户接入端带宽的限制。

3. 此协议和单播协议一样允许在Internet宽带网上传输。

组播的缺点:

1.与单播协议相比没有纠错机制,发生丢包错包后难以弥补,但可以通过一定的容错机制和QOS加以弥补。

2.现行网络虽然都支持组播的传输,但在客户认证、QOS等方面还需要完善,这些缺点在理论上都有成熟的解决方案,只是需要逐步推广应用到现存网络当中。

自适性串流技术

自适性串流(ABS - adaptive bitrate streaming),是一种在电脑网络使用的一种串流技术。过去的流媒体技术多使用RTP/RTSP,但现在的技术则大多基于HTTP,并为更高效在大型分布式HTTP网络(例如互联网)分发而设计。

此技术根据实时检测的用户的带宽和CPU使用率,调整视频流的质量。这需要使

https://www.doczj.com/doc/ba14193764.html,

用一种可以将单一视频源输出为多码率的编码器。播放器客户端依赖可用资源在不同码率的流之间切换。"结果就是:更少缓存、更快的开始播放、为低端和高端链接都提供良好的体验。

根据当前广泛使用的实现,更具体来说,自适应串流(ABS):

使用HTTP 传送视频流;

使用多码率编码源内容;

每个单码率的流被切成小的,几秒钟的小切片;

流媒体客户端首先获取所有码率的切片索引信息。一开始,客户端先请求最低码率的串流。如果客户端判断下载速度比当前码率的切片串流快,它就去请求下一个更高码率的串流。随着播放的进行,如果客户端发现下载速度比当前码率的切片串流慢,转而请求下一个较低码率的串流。

切片大小和具体实现密切相关,不过一般都在2~10秒之间。每个切片由一个完整的GOP序列组成,一个GOP序列里面有1个或者多个I帧,GOP序列的第一个帧必须是I帧,并且每个切片都能单独的解码播放显示。

与传统的流媒体技术比较,缺点:需要额外的存储,更多的编码代价,复杂的只适应码率逻辑。

Adaptive streaming overview

https://www.doczj.com/doc/ba14193764.html,

Adaptive streaming in action

MPEG-DASH (Dynamic Adaptive Streaming over HTTP)

MPEG-DASH 是基于HTTP的自适应串流方案中的唯一国际标准。MPEG-DASH 技术由MPEG 主导开发:

2010年开始DASH相关工作,2011年1月成为国际标准草案,2011年11月成为国际标准[3],2012年4月,MPEG-DASH 以ISO/IEC 23009-1:2012 发表。MPEG-DASH 基于3GPP第9版的Adptive HTTP streaming(AHS)和Open IPTV Forum第2版的HTTP Adaptive Streaming (HAS)。作为与MPEG合作的一部分,3GPP第10版采用了DASH(采用特别的编码和操作模式),用于无线网络。

可用的MPEG-DASH 实现有:

bitmovin GmbH 的开源DASH 客户端库libdash 和DASHEncoder

Adobe HDS (HTTP Dynamic Streaming)

Flash Player 和Flash Media Server 的最新版支持传统的RTMP 协议和HTTP协议。后者和Apple和微软基于HTTP的方案类似。

基于HTTP的流的优势是:

不需要防火墙开普通web浏览器所需端口以外的任何端口

允许视频切片在浏览器、网关和CDN的缓存,从而显著降低源服务器的负载。HDS 的文件格式为FLV/F4V/MP4,索引文件为f4m,同时支持直播和时移。

Apple HLS (HTTP Live Streaming)

https://www.doczj.com/doc/ba14193764.html,

是一种基于HTTP的媒体流通信协议,在iPhone 3.0 及更新版中成为标准功能。

2010年10月,所有自适应串流方案都作为产权提供时,Apple 将HLS提交到IETF,成为正式的RFC.

HLS 串流使用扩展名为.m3u8 的文件作为索引,文件切片格式为TS,支持直播和时移。支持的客户端包括iPad, iPhone, STB,VLC和其他支持的设备。

Microsoft MSS (Microsoft Smooth Streaming)

Smooth Streaming 是IIS的媒体服务扩展,用于支持基于HTTP的自适应串流。在2010年11月发布的IIS Media Services 4.0 中,微软引入了一项使Live Smooth Streaming H.264/AAC 视频动态封装成Apple HLS 格式的功能,直接提供给iOS 设备,而不需要再次编码。同时支持直播和点播把1080P全高清视频发送到Silverlight客户端。

MSS 的文件切片格式为mp4(fragmented-mp4),索引文件为ism/ismc,同时支持直播和时移。

流行视频网站的流媒体服务器架构

为了能够提供各类设备的在线视频播放需求,对于在线视频流媒体服务,提出了很多需求,对于早期建立的视频网站(土豆,优酷,ku6等)都只提供一种视频流媒体格式(FLV)的支持,我们称之为单一的流媒体服务架构,如图:

https://www.doczj.com/doc/ba14193764.html,

图1 :单一流媒体服务的架构图

但是,在实际业务运营中遇到了很多问题:

1)视频存储的压力很大

同一种视频码流(h.264),因为针对不同平台应用设备(如表2)的播放需求,需要不同的封装格式,需要将产生大量重复视频流存储的压力,视频网站的视频量巨大,多支持一种格式将产生几百TB级的存储压力,从机房到机柜,视频流同步等环节负载和压力都是巨大的。

2)封装后的视频格式是否真的被播放

视频流封装完成后,同步到各地的中心节点后,是否真的有视频流请求产生,还是仅仅处于视频准备状态,是否会影响中心节点的磁盘占用,缓存节点的命中率

https://www.doczj.com/doc/ba14193764.html,

不高。

3)封装格式的功能性升级,导致老视频再次封装

封装格式的不断发展,TS流,HTTP live Stream的不断优化,将导致现有的视频流不断需要翻新或重复封装。为了解决上述各类问题,视频网站流媒体服务的研发工程师进行了多格式的流媒体服务架构探索,提供了各类视频封装格式的流媒体封装反向代理接口,该接口能够通过URL的请求,完成对特定视频编码格式(h.264)的封装。

图2:多格式的流媒体服务架构:

如图所示,“流媒体容器封装服务“成为多格式视频流服务的核心,对于这个流媒体的封装服务,通过对h.264的视频编码流进行不同格式的封装,提供了多种视频流的推送。对于这个服务,我们希望能够尽快为视频的cache服务推送视频流,所以,在硬盘方面,选择了每分钟15000转的SAS硬盘,降低同一视频流的不同封装请求的IO延迟等待。

作为最简单和原始的流媒体解决方案,单一流媒体服务架构唯一显著的优点在于它仅需要维护一个标准的视频流文件,而这样的服务器基础设施在互联网中已经

对网易云音乐的综合分析、

对 网 易 云 音 乐 的 整 体 分 析 14级物流管理1班 金鑫婷

目录 一、产品介绍 二、产品运营与推广 三、盈利模式 四、个人体验 五、前景分析 六、总结

一、产品介绍 1、简介 网易云音乐是由网易公司CEO丁磊于2013年4月23 日正式对外发布。特别值得一提的是,在网易云音乐上线 之前已经规定网易全体员工必须下载安装,上传真人头 像,并且每人需要下载500首歌,通过该措施已经沉淀 了一批真实用户和内容,初步形成了社区互动氛围。 2、开发背景 网易云音乐在2012年2月提出产品想法,7月正式立 项,作为网易向无线音乐领域进军的重要一步,网易云音 乐备受重视和期待。 3、主要用户群体 云音乐的主要受众是热衷社交分享的青年人以及重视音乐品质对于软件体验要求更高的音乐爱好者。此外大量 小众原创音乐人的加盟也得到了不少追求个性化视听体 验的音乐发烧友的亲睐。

二、产品运营与推广 1、用户体验至上 (1)全平台支持 网易云音乐在上线不久后就已经实现了Andorid、WEB、PC、MAC、iPhone、iPad六大平台的完美支 持,就连最不受人们重视的WP平台也在2014年年末 强势推出,延续了网易云音乐其他平台版本清新脱俗 的界面设计与320kbps的高质量音乐,足以秒杀该平 台其他音乐应用,成为WP系统功能最全、最具设计 感、用户体验最好、音乐品质最高的音乐产品。

(2)出色的设计界面 2015年1月16日,网易云音乐荣获了百度中国好应用“年度优秀视觉设计奖”。这是面向6亿人群投票选出的结果。 网易云音乐独出心裁的采用了经典黑胶播放界 面,胶片转速的设定都极其严格,每首歌曲的默认底色都适配歌曲自带封面主色调,专注于为用户带来最舒适的视觉体验。 移动端音乐界面

最新网易视频云:流媒体服务器原理和架构解析

网易视频云:流媒体服务器原理和架构解析 一个完整的多媒体文件是由音频和视频两部分组成的,H264、Xvid等就是视频编码格式,MP3、AAC等就是音频编码格式,字幕文件只是附加文件。目前大部分的播放器产品对于H.264 + AAC的MP4编码格式支持最好,但是MP4也有很多的缺点,比如视频header很大,影响在线视频网站的初次加载时间。 为了降低头部体积,需要进行视频本身的物理分段等等。对MPEG2-TS格式视频文件进行物理切片,分成一小段,这种方式被Apple公司的HTTP Live Streaming (HLS)技术采用。另外一种是使用Fragmented MP4文件格式,这是一种文件内部的逻辑分割方式,而视频文件还是完整的,这种技术被Microsoft Smooth Streaming和Adobe HTTP Dynamic Streaming采用。很多在线视频网站在带宽耗费的压力下,主要选择的是adobe公司提供的FLV或F4V,FLV是流媒体封装格式,可将其数据看为二进制字节流。总体上看,FLV包括文件头(File Header)和文件体(File Body)两部分,其中文件体由一系列的Tag及Tag Size对组成。流媒体传输类型 流媒体在播放前不是完全下载整个文件,而是把开始部分内容存入内存,数据流是随时传送随时播放。 流媒体服务器提供的流式传输方式有两种:顺序流式传输和实时流式传输两种方式。 顺序流式传输是顺序下载,在下载文件的同时用户可观看在线媒体。如果使用普通的HTTP服务器,将音视频数据以从头至尾方式发送,则为顺序流媒体传输。实时流式传输总是实时传送,特别适合现场事件。一般来说,如果视频为现场直播,或使用专用的流媒体服务器,或应用如RTSP等专用实时协议,即为实时流媒体传输。实时流式传输必须匹配连接带宽,这意味着图像质量会因网络速度降低而变差。 在流式传输时,流媒体数据具有实时性,等时性等基本特点,流服务期和客户终端要保证各种媒体间的同步关系,因此,流媒体传输对“最大延时”,“延时抖动”

网易视频云:HBase – 存储文件HFile结构解析

https://www.doczj.com/doc/ba14193764.html, 网易视频云是网易推出的PaaS视频云服务,主要应用于在线教育、直播秀场、远程医疗、企业协作等领域。今天,网易视频云技术专家与大家分享一下:HBase –存储文件HFile结构解析。 HFile是HBase存储数据的文件组织形式,参考BigTable的SSTable和Hadoop的TFile 实现。从HBase开始到现在,HFile经历了三个版本,其中V2在0.92引入,V3在0.98引入。HFileV1版本的在实际使用过程中发现它占用内存多,HFile V2版本针对此进行了优化,HFile V3版本基本和V2版本相同,只是在cell层面添加了Tag数组的支持。鉴于此,本文主要针对V2版本进行分析,对V1和V3版本感兴趣的同学可以参考其他信息。 HFile逻辑结构 HFile V2的逻辑结构如下图所示:

https://www.doczj.com/doc/ba14193764.html, 文件主要分为四个部分:Scanned block section,Non-scanned block section,Opening-time data section和Trailer。 Scanned block section:顾名思义,表示顺序扫描HFile时所有的数据块将会被读取,包括Leaf Index Block和Bloom Block。 Non-scanned block section:表示在HFile顺序扫描的时候数据不会被读取,主要包括Meta Block和Intermediate Level Data Index Blocks两部分。 Load-on-open-section:这部分数据在HBase的region server启动时,需要加载到内存中。包括FileInfo、Bloom filter block、data block index和meta block index。 Trailer:这部分主要记录了HFile的基本信息、各个部分的偏移值和寻址信息。 HFile物理结构

网易视频云:浅谈视频云直播:场景、技术及优化

https://www.doczj.com/doc/ba14193764.html, 网易视频云:浅谈视频云直播:场景、技术及优化 1.简介 随着互联网视频化的发展,各类网络直播产品层出不穷,涌现出了秀场直播、游戏直播、教育直播、演唱会直播和监控直播等多个直播生态圈。这些生态圈形成的背后,是视频直播相关技术的不断发展,例如互联网带宽的日益增加,视频压缩标准的日渐完善,视频云技术的出现等。特别是视频云技术的出现,它降低了开发者的准入门槛,解决了视频企业的“三高”之痛,即技术门槛高、成本高、卡顿延时率高,为未来几年视频直播的大爆发奠定了坚实的技术基础。 所谓视频云直播技术,就是用云端模式,提供视频直播解决方案的技术,它涉及视频直播的各个环节,例如直播视频采样、编码、推流、转码、分发、拉流、解码和播放等。使用Iaas、Paas和Saas三种形式,视频云直播能为各种场景的直播应用提供接口级服务、平台级服务和产品级服务。依托视频云,直播开发者不在关心视频和网络的细节,他们只要把精力集中于产品应用层面即可。未来,网络直播产品将会表现为如下一种形态:上层多样化的直播模式 + 下层组件化的视频云模式。 深入视频云直播内部,会发现其具有复杂化、多样化和组件化的特点。所谓复杂化,是指音视频技术复杂和互联网环境复杂;所谓多样化,是指直播应用场景具有多样性;所谓组件化,是指直播技术各个环节的模块化和独立性。在视频云直播中,技术主线永远是音视频流的输入、传输和输出。但针对每一类直播场景,使用的具体技术和实现手段都不一样。随着直播量级的变化,必须对视频云各个环节进行优化,以化解流量暴增带来的压力。因此,视频云直播的构建是一项艰巨的任务。接下来,本文将从场景、技术和优化三个角度,详细阐述视频云直播。 2.一对多直播场景 考虑如下一种场景:一个主播者坐在电脑前,通过前置摄像头和麦克风,把自己的音视频信息输出到网络上,多人在各地通过互联网实时观看主播者的表演。这就是经典的秀场直播。这里存在几个关键点:一. 音视频传输;二. 实时;三. 一对多。 首先讲音视频传输,它又细分为三点:源端的音视频输出、网络端的流传输和播放端的音视频获取。第一点音视频输出,首先必须收集主播的声音和图像,就是所谓的音视频采集;采集后的声音和图像,需要转换成字节码、混合并压缩,最后封装成某种音视频格式,就是所谓的音视频编码;编码后的音视频格式,还不能在网络传输,需要转换成某种码流,如RTMP,然后推送到网上,即上传码流到服务器,就是所谓的推流。上述“采样-编码-推流”,构成了视频云直播端的核心功能。第二点音视频码流的网络传输,把主播者的音视频流分发传输给所

APP如何接入网易视频云直播功能

https://www.doczj.com/doc/ba14193764.html, APP如何接入网易视频云直播功能 直播类APP在这两年的发展势头可以用“炙手可热”来形容,一方面是移动网络的大力普及,用手机看直播几乎成了日常生活的一部分。一方面是受众对各种直播内容的需求急剧上升,这种种因素都导致直播类的APP呈现出百花齐放的繁荣景象。相比自主研发,外包直播模块成为大多数APP开发者的首选。本文将详细介绍如何接入网易视频云的直播功能。并将对开发者关心的问题进行一个梳理。 一、直播功能应用场景 二、如图所示,直播功能的场景非常多样化,小编总结了一下,直播场景细分为以下几个方面: 1、在线教育行业:网校、慕课、K1 2、在线家教、教学录播和点播等 2、在线娱乐行业:美女秀场、游戏直播、演唱会直播KTV直播、婚礼直播、活动直播、体育赛事直播、装修直播、吃饭直播等 3、社交:明星社交、视频社交等 4、视频门户:视频直播、视频点播等 5、企业协作:点对点和多方视频会议、企业例会直播、产品发布会直播等 6、在线金融:视频理财咨询、在线签约过程录制、股评直播、大宗交易平台直播等 7、安防监控:家庭监控、幼儿园监控、早教中心监控、旅游景区监控等 8、远程医疗:视频问诊、专家会诊等

https://www.doczj.com/doc/ba14193764.html, 9、新闻媒体:现场手机直播、短新闻、庭审直播等 三、直播功能接入流程 上图是网易视频云直播功能的接入流程,一般来说,开发者在接入直播功能的时候,接入流程大概如下: a、注册视频云账号 b、创建直播频道 c、下载SDK和API文档 d、开发直播推流程序 实际操作问题总结 看起来简单的接入流程,开发者在实际操作过程中还是会遇到各种各样的问题。对于这些问题,总结了一下,主要有以下四个方面: a、工程上的问题。开发者在导入SDK库文件时存在的一些问题,比如库文件的绝对或相对路径设置错了,导致无法接入。 网易视频云工程师建议:这些问题通常通过第三方的技术支持很容易就会被解决。 b、功能性上的问题。开发者在调用第三方SDK接口的时候,由于绝大多数的程序员不会认真去读对方的API文档,经常跟着感觉或经验去做调用,调用过程中经常会出现这样或那样的问题。

移动音乐平台竞品分析报告:QQ音乐vs网易云音乐

第一和第二部分的数据及图源均为艾瑞咨询《2016年中国在线音乐行业研究报告》,只涉及本人粗略的总结和解读,为后文铺垫,而且图较多,如果看过报告或者没兴趣的同学可以直接跳到第三部分。重点还是放在竞品分析上。 一、市场分析 1. 音乐产业定义

可见,移动音乐平台产业只占整个音乐产业的很小的一部分。 2. 市场规模 2015年全年,全球数字音乐的规模为67亿美元,增长率约为10%。其中下载服务占比45%,流媒体服务占比43%。 3. 用户规模

2015年底,中国整体网民规模为6.9亿,互联网普及率达到50.3%,其中手机网民规模为6.2亿,在整体网民规模占比约为90%。四个数值也将在未来几年持续增长。 而在线音乐用户的规模则达到了5亿人。在线音乐成为仅次于即时通信、搜索引擎、网络新闻和网络视频的第五大互联网应用。

而渗透率,在线音乐超过7成,移动音乐增长迅速。也就是说,越来越多的网民从PC端转移到移动端享受音乐服务。 4. 政策影响 2015年“剑网”专项整治行动,主要做了以下三件事: 要求各网络音乐服务商将未经授权传播的音乐作品全部下线。 推动主要网络音乐服务商就音乐作品转授权积极洽谈版权合作。 通过监管,极大的促进了我国数字音乐市场版权规范化。 全网共计主动下架未经授权音乐作品220余万首。在线音乐市场重新洗牌,购买大量歌曲版权成为一项巨大的成本,很多二线音乐平台被逼退出竞争。 5. 版权市场 因此,扩大曲库规模则成为平台吸引用户的一个很重要的因素。就在今年7月,腾讯与中国音乐集团CMC(旗下有酷狗音乐、酷我音乐等)宣布业务合并,成为中国新音乐集团,并由腾讯控股。新集团的版权音乐在整体版权音乐占比达90%,而网易云音乐占70%,阿里音乐(虾米音乐、阿里星球(原天天动听))则只占不足20%。 6. 产业链

网易视频云技术之视频预处理技术

网易视频云技术之视频预处理技术 一、概述 视频编码包括分离、解码、编码、合成四部分,在分离与解码、合成部分可以认为是一种无损操作,而通常采用的编码如H264、MPEG-4等(无损压缩除外)是一种有损压缩。 为了提高视频编码后的质量,我们尝试在Encoder的数据输入之前增加一种预处理,用来弥补在编码过程中的亮度和色度的损失。从而提高视频的清晰度。

二、预处理方法 通过改变视频的亮度、对比度、饱和度(色度)来进行锐化,使其边缘的过度产生较大的改变,从而增加视频的清晰度。锐化会产生噪声,因此增加去噪滤镜。目前只是通过调整亮度和对比度来增加边缘的锐化,饱和度并未进行调整。因为饱和度的调整会引入一些新的问题,比如产生色块,色彩的失真。 2.1 ffmpeg的预处理:增加亮度

ffmpeg -i E:\music\1\1.mov -vcodec libx264 -profile baseline -level 3.1 -preset slow -b 2400k -maxrate 6000k -bufsize 9000k -vf "scale=-1:720,unsharp=luma_msize_x=7:luma_msize_y=7:luma_amount=1.5" -threads 12 -nr 6 -an -y -f mp4 E:\music\1\out_2400k_sharpen.mp4 2.2 avs的预处理 avs通过增加锐化滤镜,调整饱和度和对比度进行编码前的预处理。 DirectShowSource("E:\music\1\1.mov").LanczosResize(1280,720).sharpen (0.2) 2.3 mencoder的预处理:增加亮度和对比度 mencoder.exe -sws 9 -oac mp3lame -vf scale=1280:720,unsharp=l7x7:1.5,eq=1:15 -ovc x264 -ffourcc H264 -x264encopts bitrate=2400:turbo=2:frameref=6:me=umh:me_range=16 E: \music\1\1.mov -o E:\music\1\mencoder_out_1_4.avi 三、效果对比 画面摆放顺序依次为片源、ffmpeg编码、mencoder编码 3.1 对比图1

网易云音乐产品分析:帮助人们更好地发现和分享音乐

月,网易云音乐的用户数突破两亿,距离去年宣布用户数过亿仅一年的时间用户量翻倍,,成为增长最快速度音乐平台。

1.2 体验环境 移动设备:小米 MI 2S Android版本:5.0.2 1.3 版本信息 网易云音乐:3.7.2 更新时间:2016.9.13 2. 产品定位 2.1 Slogan 网易云音乐Slogan:听见·好时光 2.2 产品定位 网易云音乐定位在帮助人们更好地发现和分享音乐。 从用户的角度看,移动互联网发展起来,相对于PC时代,人们有更多的时间接触到网络,听歌需求也在改变,仅仅靠电台DJ、编辑推荐已经不能满足用户对音乐更深层次的需求了,用户的音乐口味向小众和个性化发展。从各类音乐软件来看,它们主推排行版、新歌新专辑,埋没了大量优秀的音乐作品,比如某些二十年前的经典老歌放在现在听依然经典;它们主推流行歌手,留给音乐新人的成长空间比较有限,新人创作的好的音乐要经过长时间的市场考验才能进入大众的耳朵。 根据上述分析,网易云音乐定位很准,它一方面在帮助听歌用户发现他们喜欢的歌曲并提供情感的表达途径,另一方面在帮助优秀的音乐人以低成本进入大众视线展现才华。 3. 用户群分析 3.1 产品定位人群

网易云音乐定位的人群不是普通大众,而是对音乐有一定喜好程度的年轻人。这部分用户有一定的音乐品味,愿意分享自己的感受,渴望与其他人产生共鸣,但是在云音乐出来之前缺少现实途径。网易云音乐很准确地抓住了这部分用户,并且被它抓住的用户具有很高的忠诚度。这也就是网易云音乐好潮如评但大众市场的占有量不是很高的原因所在。从2016上半年网易云音乐用户行为大数据也可以看出,90后已经成为音乐消费主力人群。 3.2 核心用户 核心用户是产品最忠诚的用户、黏性最高的用户。一个产品的功能可能会非常多,但大部分用户只用到其中百分之二三十的功能,但是一个核心用户、一个非常忠诚的用户可能会用到这个产品绝大多数的功能。这部分人称之为产品的核心用户。 网易云音乐的核心用户是所谓的“音乐达人”。在云音乐,音乐达人是优质歌单创建者在云音乐的身份认证。音乐达人满足这样的要求:①至少创建10个符合推荐要求的歌单,且每个歌单都是完整并有收藏量的;②某一标签下至少需要五个歌单,且每个歌单的收藏量满足相应要求,则可申请该标签歌单达人。(根据标签的不同,要求收藏数不同),具体要求如下: 音乐达人会受到比普通用户更高级的待遇,比如头像旁会显示音乐达人勋章,名字将会列入“朋 友页”的音乐达人名单当中被更多的人关注。

网易视频云直播常见问题解析

https://www.doczj.com/doc/ba14193764.html, 网易视频云直播常见问题解析 如何保证直播的安全 网易视频云直播支持Token认证和数字签名防盗链,有效保证每个用户的直播推流、拉流播放的安全性能。 当前可以支持哪些直播协议 目前直播上行支持RTMP协议,下行支持RTMP、HLS和HTTP(FLV)协议。 当前支持哪些直播源 直播源目前支持RTMP协议的推流。RTMP推流的地址可以通过网易视频云Web管理控制台或者API接口创建一个直播频道获得。 RTMP推流具体可以采用以下几种形式: 台式计算机或笔记本,可以使用网易视频云的Windows端的直播推流SDK 或者Demo程序采集自带或USB摄像头视频,将视频编码优化后推送至LVS 的RTMP服务器。 如要采集高清摄像机的视频可以通过相应的硬件采集卡或编码器再通过转换器连接到台式计算机或笔记本,再通过Windows端直播推流SDK或者Demo 程序进行直播推流。

https://www.doczj.com/doc/ba14193764.html, Android/iOS, 使用手机摄像头 可通过Android/iOS推流端SDK或者Demo程序采集摄像头视频,将视频编码优化后推送至LVS的RTMP服务器。 当前支持哪些直播收看方式 网页端 当前我们已经发布了直播频道拉流地址功能,可以在创建直播频道后直接获取FLV地址。您可在您的PC网页端播放(需部署Http服务器)。 SDK播放 用户可以通过嵌入到自身业务应用里的播放SDK进行直接收看,在IOS、Android端均可收看直播。 当前提供哪些SDK和API LVS服务提供包括直播频道管理、频道创建等全套直播相关的API,全部对用户开放,并且后续功能会越来越丰富。 我们提供的SDK包括直播推流SDK和播放器SDK。 推流SDK主要用于直播视频采集端,方便您将LVS直播功能无缝对接到自己的业务系统,目前提供Windows SDK、Android SDK、iOS SDK。 播放器SDK主要用于直播观看端,目前提供Android SDK和iOS SDK。 如何查看直播数据统计

网易云音乐运营建议

网易云音乐运营建议 第一部份产品分析 1. 数字音乐市场规模分析 结论先行:各方数据综合显示,2015年之前,用户总量增长迅猛,但2016-17年,增速放缓,用户规模红利消失,数字音乐市场竞争将加剧。 2. 同类产品比较&行业情况分析 结论先行:数据良好、良性市场环境 1)用户规模、月度活跃度、用户留存率、用户购买力等指标优秀 2)行业发展环境良好,产业链相关环节发展情况稳定,并且受行业监管环境影响有着良性的竞争环境 3.产品生命周期分析 结论先行:成长期,即将进入成熟期 根据多方面数据分析,结合网易云音乐推出的时间和背景资料,2013-2014年为引入期,15年开始进入成长期,并于17年迎来爆发性上涨。 这个阶段的特点是:已经得到市场的充分认可,用户大量增长,潜在用户仍在上升,但由于日渐消失的用户规模红利,网易云音乐面临市场竞争加剧的状况。 4.现阶段产品会遇到什么问题 1)基于生命周期 ?用户留存第一,需要做好用户运营和曲库,保持留存率 ?总用户数第三,面临用户增长天花板,抢用户需要更大成本 2)基于商业模式

?相较头名产品,拥有版权数量有限,对商业变现存在影响; ?需要整合产业上下游及周边产业,增加变现渠道,提升变现能力3)基于核心业务 ?缺乏优秀的用户成长体系,核心用户占比较少 ?因版权问题下架大量音乐,可能导致用户转移到竞争品牌 ?探索核心变现模式 4)基于市场状况 ?数字音乐市场活跃用户规模及市场价值潜力巨大,但需要投入更大成本,才能形成口碑和竞争力 ?竞争情况也非常激烈,如果头名产品不犯错,很难找到大规模扩大用户数的机会 5)基于典型用户决策场景/流程 ?社交分享渠道转化吸引力不够 ?目前签约热门歌手比例少,而粉丝跟随歌手,影响用户增长 第二部份:运营建议 1. 产品功能形态—— 2. 功能与内容竞品分析—— 3. 商业模式分析 B端—— ?广告 ?活动经营 ?电商入驻 ?IP经营 C端——

网易视频云技术分享:Reed Solomon纠删码

https://www.doczj.com/doc/ba14193764.html, 网易视频云技术分享:Reed Solomon纠删码 网易视频云是网易倾力打造的一款基于云计算的分布式多媒体处理集群和专业音视频技术,为客户提供稳定流畅、低时延、高并发的视频直播、录制、存储、转码及点播等音视频的PASS服务。在线教育、远程医疗、娱乐秀场、在线金融等各行业及企业用户只需经过简单的开发即可打造在线音视频平台。现在,网易视频云转载相关文章,与大家分享一下Reed Solomon纠删码。 纠删码是存储领域常用的数据冗余技术,相比多副本复制而言,纠删码能够以更小的数据冗余度获得更高数据可靠性。Reed Solomon Coding是存储领域常用的一种纠删码,它的基本原理如下:给定n 个数据块d1, d2,…, dn,n和一个正整数m,RS根据n个数据块生成m个校验块,c1, c2,…, cm。对于任意的n和m,从n个原始数据块和m 个校验块中任取n块就能解码出原始数据,即RS最多容忍m个数据块或者校验块同时丢失(纠删码只能容忍数据丢失,无法容忍数据篡改,纠删码正是得名与此)。 编码原理 RS编码以word为编码和解码单位,大的数据块拆分到字长为w的word(字长w取值一般为8或者16位),然后对word进行编解码。所以数据块的编码原理与word编码原理没什么差别,为论述方便,后 文中变量Di, Ci将代表一个word。 首先,把输入数据视为向量D=(D1,D2,…, Dn), 编码后数据视为向量(D1, D2,…, Dn, C1, C2,.., Cm),RS编码可视为如图1所示矩阵运算。下图最左边是编码矩阵,矩阵上部是单位阵(n行n列),下边是vandermonde矩阵B(m行n列), vandermode矩阵如图2所示,第i行,第j列的原数值为j^(i-1)。之所以采用vandermonde矩阵的原因是,RS数据恢复算法要求编码矩阵任意n*n子矩阵可 逆。 图1:RS纠删码编码运算

网易视频云教你如何实现倒排索引

网易视频云教你如何实现倒排索引 常规的索引是文档到关键词的映射:文档——>关键词,但是这样检索关键词的时候很费力,要一个文档一个文档的遍历一遍。于是人们发明了倒排索引!倒排索引是关键词到文档的映射:关键词——>文档。因此,只要有关键词,立马就能找到在那个文档里出现过,带来了极大的方便。下面,网易视频云就教教各位,倒排索引究竟是怎么实现的! 1.倒排索引 倒排索引有两种不同的反向索引形式: ●一条记录的水平反向索引(或者反向档案索引)包含每个引用单词的文档的列表。 ●一个单词的水平反向索引(或者完全反向索引)又包含每个单词在一个文档中的位置。后者的形式提供了更多的兼容性(比如短语搜索),但是需要更多的时间和空间来创建。举例: 以英文为例,下面是要被索引的文本: T0 = "it is what it is" T1 = "what is it" T2 = "it is a banana" 我们就能得到下面的反向文件索引: 检索的条件"what", "is" 和"it" 将对应这个集合:{0,1}∩{0,1,2}∩{0,1,2}={0,1}。 对相同的文字,我们得到后面这些完全反向索引,有文档数量和当前查询的单词结果组成的的成对数据。同样,文档数量和当前查询的单词结果都从零开始。

所以,"banana": {(2, 3)} 就是说“banana”在第三个文档里(T2),而且在第三个文档的位置是第四个单词(地址为3)。 如果我们执行短语搜索"what is it" 我们得到这个短语的全部单词各自的结果所在文档为文档0和文档1。但是这个短语检索的连续的条件仅仅在文档1得到。 2.Map过程 首先使用默认的TextInputFormat类对输入文件进行处理,得到文本中每行的偏移量及其内容,Map过程首先必须分析输入的对,得到倒排索引中需要的三个信息:单词、文档URI和词频,如图所示: 存在两个问题,第一:对只能有两个值,在不使用Hadoop自定义数据类型的情况下,需要根据情况将其中的两个值合并成一个值,作为value或key值; 第二,通过一个Reduce过程无法同时完成词频统计和生成文档列表,所以必须增加一个Combine过程完成词频统计。

网易视频云 HBase RegionServer宕机案件侦查

https://www.doczj.com/doc/ba14193764.html, 网易视频云:HBaseRegionServer宕机案件侦查 今天网易视频云技术专家给大家分享一下HBase–RegionServer宕机案件侦查,欢迎参与讨论。 本来静谧的晚上,吃着葡萄干看着球赛,何等惬意。可偏偏一条报警短信如闪电一般打破了夜晚的宁静,线上集群一台RS宕了!于是倏地从床上坐起来,看了看监控,瞬间惊呆了:单台机器的读写吞吐量竟然达到了5w ops/sec!RS宕机是因为这么大的写入量造成的?如果真是这样,它是怎么造成的?如果不是这样,那又是什么原因?各种疑问瞬间从脑子里一一闪过,甭管那么多,先把日志备份一份,再把RS拉起来。接下来还是Bug排查老套路:日志、监控和源码三管齐下,来看看到底发生了什么! 案件现场篇 下图是使用监控工具Ganglia对事发RegionServer当时读写吞吐量的监控曲线,从图中可以看出,大约在19点~21点半的时间段内,这台RS的吞吐量都维持了3w ops/sec 左右,峰值更是达到了6w ops/sec。之前我们就线上单台RS能够承受的最大读写吞吐量进行过测定,基本也就维持在2w左右,主要是因为网络带宽瓶颈。而在宕机前这台RS的读写吞吐量超出这么多,直觉告诉我RS宕机原因就是它!

https://www.doczj.com/doc/ba14193764.html, 接着就赶紧把日志拉出来看,满屏的responseTooSlow,如下图所示: 很显然,这种异常最大可能原因就是Full GC,果然,经过耐心地排查,可以看到很多如下所示的Full GC日志片段: 2016-04-14 21:27:13,174 WARN [JvmPauseMonitor] util.JvmPauseMonitor: Detected pause in JVM or host machine (eg GC): pause of approximately 20542ms GC pool 'ParNew' had collection(s): count=1 time=0ms GC pool 'ConcurrentMarkSweep' had collection(s): count=2 time=20898ms 2016-04-14 21:27:13,174 WARN [regionserver60020.periodicFlusher] util.Sleeper: We slept 20936ms instead of 100ms, this is likely due to a long garbage collecting pause and it's usually bad, see https://www.doczj.com/doc/ba14193764.html,/book.html#trouble.rs.runtime.zkexpired

网易云音乐产品分析报告

网易云音乐产品分析报告 一、产品概述 (2) 1.1产品定位 (2) 1.2功能架构 (2) 1.3核心功能流程图 (3) 二、用户画像 (4) 2.1用户需求 (4) 2.2用户数据分析 (5) 三、市场分析 (7) 3.1在线音乐市场现状 (7) 3.2在线音乐市场前景 (8) 四、核心功能分析 (9) 4.1个性化推荐 (9) 4.1.1每日推荐 (9) 4.1.2私人FM (10) 4.1.3心动模式 (11) 4.1.4功能体验总结 (11) 4.2社交功能 (12) 4.2.1广场 (12) 4.2.2关注 (13) 4.3鲸云音效 (14) 五、盈利模式 (15) 5.1广告 (15) 5.2会员/音乐包 (16) 5.3电子专辑 (17) 5.4LOOK直播 (18) 5.5商城 (19) 六、改进建议 (19) 6.3推荐曲风单一 (19) 6.4版权少 (20) 七、总结 (20)

一、产品概述 1.1产品定位 网易云音乐是一款专注与发现与分享的音乐产品,依托专业一音乐人、DJ、好友推荐及社交功能,为用户打造全新的音乐生活。 1.2功能架构 网易云音乐的功能主要为四大模块,分别为发现音乐、我的音乐、我的、朋友。 网易云音乐功能架构

1.3核心功能流程图 网易云音乐核心功能流程

二、用户画像 2.1用户需求 (图1) 用户的需求是多方面的、多层次的,但资源和条件的限制决定了单个产品不可能满足用户的所有需求,为此,我们需要对用户的需求进行排序,集中资源解决用户最急需满足的需求,我们利用Kano模型(图1)能够帮我们很好地解决这一问题,该模式用于对用户需求分类和优先排序的有用工具,以分析用户需求对用户满意的影响为基础,体现了用户需求满足程度和用户满意之间非线性关系,根据需求层次的深浅。根据模型我们将用户的需求分为五类:基本型需求、期望型需求、兴奋型需求、无差异性需求、反向型需求,我们对前三个主要类型进行分析。 基本(必备)型需求:通过软件能够听取、下载所需要的歌曲,并有良好的分类功能及账号管理,PC端和移动端的数据可以互通,能够满足基本用户的需求。 期望(意愿)型需求:在基本操作的基础上,满足用户更多的需求,例如歌曲能够评论、分享,每首歌都能够有相应的歌词以及MV。当此类型需求越得到满足则用户满意度越高,反之则用户满意度越低、

网易视频云分享:如何搭建MP4媒体服务器

https://www.doczj.com/doc/ba14193764.html, 随着媒体技术的发展,以及硬件设备的普及和移动设备的触角延伸之社会各个角落,人们可以随时随地产生信息。其中,多媒体信息成为了人们信息分享的重要方式。如何让这些的信息能被千差万别的设备观看,视频编码技术成为一种切实可行的方案。网易视频云在这里分享视频编码技术——如何搭建MP4媒体服务器。 环境 操作系统:linux 2.6.32-5-amd64。Linux 版本即可。 服务器:nginx 1.3.3。nginx的版本可以更高。 客户端:jwplayer。或者任何播放器即可。 搭建步骤 安装nginx with nginx_mod_h264_streaming 1、下载nginx和nginx_mod_h264_streaming wget https://www.doczj.com/doc/ba14193764.html,/download/nginx-1.3.3.tar.gz git clone https://https://www.doczj.com/doc/ba14193764.html,/vivus-ignis/nginx_mod_h264_streaming.git 2、解压 tar –xzvf nginx-1.3.3.tar.gz 3、安装 cd nginx-1.3.3 #nginx_mod_h264_streaming为第三方模块。 ./configure --prefix=/home/user/nginx_flv --add_module=nginx_mod_h264_streaming_2.2.7 4、配置 #user nobody; worker_processes 1;

https://www.doczj.com/doc/ba14193764.html, #error_log logs/error.log; #error_log logs/error.log notice; #error_log logs/error.log info; #pid logs/nginx.pid; events { worker_connections 1024; } http { includemime.types; default_type application/octet-stream; log_format main 'remoteaddr?remote_user [timelocal]"request" ' 'statusbody_bytes_sent "$http_referer" ' '"httpuseragent""http_x_forwarded_for"'; #access_log logs/access.log main; sendfile on; #tcp_nopush on; #keepalive_timeout 0; keepalive_timeout 65; #gzip on; server { listen 8088; server_namelocalhost; #charset koi8-r; access_log logs/host.access.log main; location / { root /home/fs/video; index index.html index.htm; autoindex on; location ~ \.mp4{ mp4; } } #error_page 404 /404.html;

网易云音乐项目策划书

网易云音乐策划书一、市场分析 (一)、主题:网易云音乐,乐享·共享 (二)、客户名称:网易 (三)、产品名称:网易云音乐 网易云音乐在2013年4月23日正式发布,该在线音乐服务主打歌单、社交、大牌推荐和音乐指纹,在泛滥的音乐市场中打出了自己旗帜。与此同时,对应的APP也已登陆IOS和Android平台,近期也已经推出了PC端。 (四)、目标市场:18-25岁大学生 网易云音乐选择的目标群体是18-25的大学生,属于当前时代时尚认知最前卫的年轻群体,这类群体的选择的好处在于他们对新事物的好奇与探索具有迫切性。网易云音乐在当代主流精神享受的市场竞争中想尽快脱颖而出必须借助年轻人这双强大的翅膀。(五)、SWOT分析

(图一) (图二) 网易云音乐SWOT 分析 优势 劣势 威胁 机会 1、利用网易UI/UE/媒体属性自身的优势,在市场中有所突破。 2、大牌DJ 是一个突出的点,实现了“不用等待、取我所需”的特色。(如图一) 3、建立自己喜欢的歌单,附带社交属性。(如图二) 4、320K 高音质下载 没有上游和导量产品,进入时间过晚,明星名人的活跃度较低(分享收藏歌曲等)、曲库不全,艺人专辑、单曲、mini 专辑等列表部分混乱,社交属性和音乐的结合有待验证。 1、网易在这个音乐横行的市场还完全没有成熟,太多暂时无法超越的竞争对手,如QQ 音乐、百度音乐、酷狗音乐等。 2、 在全面收费时代到来时如果实行收费的话将面临着被用户抛弃的可能和风险。 网易云音乐的产品定位解决了普通用户寻找音乐的问题,同时也为音乐内容的制作方、发行方等音乐产业链的相关参与者提供了一个新的面向终端用户的渠道。

网易视频云:视频硬件编码技术对比——QuickSync-vs-NVenc-vs-AMD-VCE

网易视频云:视频硬件编码技术对比——QuickSync vs NVenc vs AMD VCE Quicksync Intel在Sandy Bridge 架构CPU 中引入了的MFX (Multi-Format Codec Engine,多格式编解码器引擎)视频处理引擎。 第一代MFX 是从Sandy Bridge 上引入的,现在的Ivy Bridge 和下一代的Haswell 也分别具备第二和第三代MFX,Ivy Bridge 的第二代MFX 主要是改进了性能,而Haswell 的第三代MFX 除了速度比 Ivy Bridge 更快外,在同码率画面品质方面也会有11% 的改进。 MFX 包含了解码器、编码器和视频效果处理器三部分,其中编码器属于二工位混合式的硬件编码器。 Intel 将编码器的动作分为两组,即ENC 和PAK,其中ENC 包括了码率控制、运动估算、帧间估算、模式抉择;而PAK 包括了运动补偿、帧间预测、前向量化、像素重构、熵编码。 ENC 操作由GPU 的可编程EU 矩阵执行,PAK 则是MFX 的硬件流水线执行,两组动作对不同的帧同时执行,可以藉此达到最高性能。 MFX 令人印象深刻的还有它的解码器性能。例如我们测试的16 分钟1080p 片段,在基于GF110/GF104 的GTX 580/GTX 560

Ti 上解码性能为94.2 fps,基于GK104 的GTX 680 是158fps,而在Sandy Bridge/ Ivy Bridge 的i7-2600K/3770K 上解码性能居然分别高达让人瞪目乍舌的460fps、606fps。 硬件解码性能的强大,除了说明GPU 能应付更复杂的视频解码外,还意味着可以在转码的时候更多地解放CPU 负荷。此外,IVB 的Quick Sync也统一到了Media SDK API下。 CUDA/NVENC 首先要说明,CUDA Encoder 和NVENC 是两个不同的东西,前者是采用GPU 的通用计算单元进行编码加速,后者则是增加了专门的硬线化编码电路作编码加速。

网易视频云分享:如何搭建视频转码集群

https://www.doczj.com/doc/ba14193764.html, 网易视频云分享:如何搭建视频转码集群 随着媒体技术的发展,以及硬件设备的普及和移动设备的触角延伸之社会各个角落,人们可以随时随地产生信息。而这些海量信息中,有不少多媒体信息。多媒体信息成为了人们信息分享的重要方式。毫不夸张地说,现在是一个信息爆炸的时代。传统的电视,电影,视频网站,及至移动的自媒体(自由人)无时无刻不在吞吐着媒体信息。 这些海量信息的存在给存储和分享都带来了挑战。挑战主要有两方面,一是如何尽可能以小成本来存储这些信息。二是如何让这些千差万别的设备产生的信息能被千差万别是设备观看。解决问题一的方法是在尽可能地缩小这些多媒体信息的同时不降低媒体信息的质量。解决问题二的方法是将这些有千差万别设备产生的格式各异的视频编码成统一的能支持各种设备的视频格式。 幸运地是,确实存在在实践上已经被证明是切实可行的方案存在,即视频编码技术。可以构建视频编码集群,将原始视频编码成目标格式,在再编码的过程中,完成视频压缩和统一制式,从而实现存储降低及制式统一。从视频的角度可以将现在设备分割成两个阵营,一个是苹果阵营,另一个是非苹果阵营。苹果阵营的视频只要是m3u8为封装格式,内部编码配以H264和AAC即可。而非苹果阵营则是MP4为封装格式,内部编码已H264和AAC 即可。据初略统计H264+aac的编码组合可以达到2:1到4:1的压缩比,可以显著地降低存储空间。 下图是一个采用gearman框架搭建的简易转码集群(当然该简易集群曾经有1~2人力一个月左右的时间搭建完成,并在生产环境中部署)。

https://www.doczj.com/doc/ba14193764.html, 该简易转码集群由四个模块组成: ·JobSer ver负责接收API服务器的请求,建立转码Job,将Job分发给transcode-worker。 ·API服务器负责接收第三方产品的转码请求,将其转发给JobServer。

QQ音乐VS网易云音乐竞品分析报告

QQ音乐VS网易云音乐竞品分析报告 【文章摘要】歌曲播放页面是移动音乐客户端的核心页面之一,不得不说,网易云音乐在这一页面下了很多功夫,专辑封面采用黑胶唱片的设计, 并不多见,给人怀旧复古的感觉,而且整个页面设计排版清晰,让人专注于 音乐本身。而QQ音乐的播放页面的设计则有待改进。 新浪微博:杨大兴Come_on https://www.doczj.com/doc/ba14193764.html,/1920828300/ 简书主页: 游侠儿https://www.doczj.com/doc/ba14193764.html,/users/2b53097dbaee/latest_articles 写在前面的话: 1.这是前段时间准备腾讯产品实习生面试的时候写得关于QQ音乐的竞品分析报告。 面试虽然挂了,但是报告还是可以拿出来分享一下 2.关于竞品,没有选太多,就选择了网易云音乐一个 3.文章篇幅较长,比较有价值的部分可能是指出QQ音乐问题所在以及对应的具体建 议(加粗部分) 4.第一次写产品分析报告,难免有些表达不清楚,欢迎大家拍砖(^_^) 分析框架

1 概览 1.1 竞品选择 选择理由: QQ音乐较早进入中国数字音乐市场,凭借PC端的用户基础,将优势延续至移动端,市场份额和月用户活跃量均处于市场前列,属于市场领先者。 网易云音乐进入市场较晚,但其凭借音乐社交的新玩法和良好的用户体验赢得了不错的口碑,在移动音乐市场这片红海领域也取得了不俗的成绩,月用户活跃量增速目前处于第一,属于市场创新者。 1.2 相关信息 软件版本:QQ音乐安卓端 5.0.0.25,网易云音乐安卓端 2.5.1 体验时间:2015/03/16 设备型号:小米2S 操作系统:MIUI 5.3.13 | 开发版 2 背景 2.1 市场趋势

网易云音乐的品牌资质分析报告

“网易云音乐”品牌资质分析报告 尊敬的用户: 随着经济全球化的深入发展,各市场领域的竞争已逐渐表现为品牌竞争。根据中国互联网络信息中心(CNNIC)公布的最新数据显示,中国网民规模已达8.02亿,互联网普及率57.7%。而网民规模增长的推动力正是由于互联网商业模式的不断创新以及线上线下服务融合的加速,因此,互联网时代的到来也意味着网络品牌标识的价值提升。习总书记不断强调知识产权战略的重要性,同时每年5月10日“中国品牌日”的确立也标志着品牌建设与保护已经刻不容缓。 根据您查询的“网易云音乐”品牌,及“网络服务-软件开发,商务服务-市场营销”行业,网易云音乐的品牌分析报告如下: 目录 一、网易云音乐品牌商标分析 1、行业注册分析 1.1 网络服务-软件开发行业注册分析 1.1.1 网络服务-软件开发行业品牌注册量 1.1.2 网易云音乐品牌在网络服务-软件开发行业的主要注册情况 1.1.3 网络服务-软件开发行业下网易云音乐同名品牌的主要竞争对手 1.2 商务服务-市场营销行业注册分析 1.2.1 商务服务-市场营销行业品牌注册量 1.2.2 网易云音乐品牌在商务服务-市场营销行业的主要注册情况 1.2.3 商务服务-市场营销行业下网易云音乐同名品牌的主要竞争对手 2、网易云音乐品牌商标注册分析 2.1 网络服务-软件开发,商务服务-市场营销行业类别分析 2.2 网易云音乐品牌在网络服务-软件开发,商务服务-市场营销行业的保护现状 3、网易云音乐品牌字样在各行业的注册情况表 二、网易云音乐品牌域名分析 1、全球知名品牌案例 2、网易云音乐品牌域名匹配分析 3、品牌域名注册概况 4、Typo域名

相关主题
文本预览
相关文档 最新文档