收稿日期:2006209228 基金项目:国家自然科学基金项目(90612004)资助. 作者简介:张锦锋,男,1980年生,博士研究生,研究方向为流媒体和移动计算技术;牛建伟,男,1969年生,博士,副教授,研究方向为流媒体和移动计算技术;何 锐,男,1976年生,博士,讲师,研究方向为移动计算、信任评估等;胡建平,男,1935年生,教授,博士生导师,研究方向为并行与移动计算.S M TVS :一种基于H .264的手机电视系统张锦锋,牛建伟,何 锐,胡建平(北京航空航天大学计算机学院,北京100083)E 2m ail:jinfeng .zhang@buaa .edu .cn摘 要:手机电视系统必须能够适应网络和客户端的异构性、无线信道的多变性等特点.提出一种手机电视系统S M TV S ,流媒体服务器在不同码率的H .264视频流之间进行切换以适应网络状况的变化;代理服务器之间构成一个内容分送网络,视频数据通过应用层组播的方式传输到各个代理服务器,降低了服务器的负载,提高了网络资源利用率;代理服务器接收到视频数据之后,针对无线链路的状况对数据进行处理后再发送到客户端,以适应最终用户的不同需求;客户端根据网络状况来动态调整播放速率,避免显示缓冲区下溢和上溢.通过流媒体服务器、代理服务器以及客户端的协作,实现了视频数据在无线信道上的自适应传输.关键词:H .264;手机电视;流媒体;自适应中图分类号:T P 391 文献标识码:A 文章编号:100021220(2008)0120166205S M TVS :a H .264-ba sed M ob ile TV SystemZHAN G J in 2feng ,N I U J ian 2w ei ,H E R ui ,HU J ian 2p ing(S chool of Co mp u ter S cience and E ng ineering ,B eij ing U n iversity of A eronau tics and A stronau tics ,B eij ing 100083,Ch ina )Abstract :M obile TV system should adap t to the heterogeneity of the netw o rk s ,clients and the dynam ic of the w ireless link s .In th is paper ,w e p resent S M TV S ,a mobile TV system based on H .264video coding standard .In S M TV S ,the stream ing server s w itches among H .264bitstream s w ith different rate to adap t to the dynam ic of the netw o rk conditi on .T he p roxy servers con 2struct a content delivery netw o rk ,and transfer the video data from stream ing server to the p roxy servers th rough app licati on level m ulticast .T h is schem e alleviates the stream ing server’s load and i m p roves the utilizati on of the netw o rk resources .T he p roxy servers transcode and shape the rate of the received video data then relay to the clients ,w h ich i m p lem ents the adap tati on to the heterogeneity of the clients .To avo id the overflow and underflow of the p layout buffer ,clients dynam ically adjust the ra 2p idity of the p layout acco rding to the p layout buffer’s conditi on .T h rough the cooperati on betw een the stream ing server ,the p roxy servers and clients ,S M TV S i m p lem ents the adap tive trans m issi on of video data over w ireless link s .Key words :H .264;mobile TV ;stream ing ;self adap tive1 前 言Internet 已经成为有线链路和无线链路同时存在的异构网络.有线链路和无线链路在传输性能上具有很大的不同.在视频传输过程中,有线网络上的丢包主要由网络拥塞引起,而无线链路上的丢包则主要由于发生位错误而被上层协议丢弃引起.针对不同的丢包原因,必须采用不同的应对策略.当拥塞发生时,发送端应降低发送码率,以减轻网络的拥塞状况;而当无线网络状况变差、位错误率增加时,则需增加冗余来增强对数据的保护.若采用错误的应对策略,不但不能降低丢包率,还可能加剧情况的恶化[1].流媒体系统只有正确区分这两种丢包原因,才能够保证用户的服务质量.与有线网络相比,无线网络状况的变化更加频繁.不同的用户通常具有不同的网络状况,即使是同一个用户在不同的时间也可能具有不同的网络状况.由于不同的移动终端通常具有不同的规格,在计算能力、通信能力以及屏幕尺寸等方面都有所不同[2].无线流媒体系统必须具有对终端和可变网络状况的适应能力.流媒体数据具有数据量大、实时性要求高的特点,若采用传统的客户端 服务器模式,流媒体服务器通常很难支持大规模的用户.而且,由于无线流媒体系统还需要具有自适应能力,这对服务器提出了更高的要求,同时也必然加重服务器的负载.对于大规模用户的支持也是流媒体系统必须解决的一个关键问题.本文提出一种基于H .264视频编码标准[3]的手机电视系统S M TV S ,通过在有线网络和无线信道结合处设置代理服务器,流媒体服务器根据代理服务器和客户端所发送的反馈信息可以区分出引起数据包丢失的真正原因.代理服务器之间构成一个内容分送网络,通过应用层组播来在服务器和代理服务器之间传输数据,既可以降低服务器的负载,增大所支持的用户规模,同时也可提高本地用户的服务质量.本系统小型微型计算机系统Journal of Ch inese Computer System s 2008年1月第1期V o l 129N o .12008采用H .264视频编码标准对同一视频节目产生不同码率的多个流,服务器在不同码率的视频流之间进行切换以适应网络状况的变化.代理服务器接收到视频数据之后,针对当前无线网络的状况对数据进行处理,然后再发送到客户端.通过服务器和代理服务器的协作,本系统实现了对视频数据在无线信道上的可靠、自适应传输,并能够提供对大规模用户的支持.2 S M TVS 系统架构本文所提出的手机电视系统Sm artM obileTV System (简称S M TV S )由服务器端、代理服务器和客户端三部分构成,如图1所示.服务器端由直播服务器(Smart B road 2caster )、流媒体服务器(Sm artStream ingServer )、内容管理图1 S M TV S 整体架构图F ig .1 T he arch itecture of S M TV S服务器(Sm art Content M anagem ent Server )等服务器的服务器集群构成,另外还包括编辑工作站(Sm art Edito r ),如图2所示.代理服务器(Sm art Proxy )安装在基站或者无线访问点上,处于有线链路和无线链路的边界位置.客户端指安装了播放器软件(Sm art P layer )的需要访问视频内容的智能手机、PDA 等移动通信设备.图2 S M TV S 服务器端组成F ig .2 T he components in S M TV S server side S M TV S 可以向用户提供点播和直播两种服务.在提供点播服务时,流媒体服务器会直接将保存在磁盘阵列上的视频剪辑发送到客户端.在提供直播服务时,视频直播服务器首先通过摄像机或电视卡实时获得原始视频数据,进行编码压缩,然后再通过单播或者组播发送给流媒体服务器,由流媒体服务器作为统一的出口,通过Internet 将视频数据传输到客户端.客户端接收到视频数据后,通过解码器对视频压缩数据解码之后进行播放.在有线Internet 上部署了由代理服务器组成的流媒体内容分送网络(M CDN ,M edia Content D eliv 2ery N etw o rk )用于提供对大规模用户的支持.M CDN 和代理服务器的存在对客户端来说是透明的.3 直播服务器直播服务器用于对实时节目进行直播.在工作时,直播服务器对获得的原始视频数据压缩成符合H .264编码标准的视频流,然后通过单播或者组播将视频传输流发送出去.虽然直播服务器可以将流媒体数据直接发送给用户,但在S M TV S 中,直播服务器首先将流媒体数据发送给流媒体服务器,最后流媒体服务器再将相应的音视频数据通过M CDN 和移动网络转发给客户端.这样既可以实现对直播服务器的屏蔽,增强了系统的安全性,同时在多个直播服务器存在的情况下,为用户提供统一的入口,方便了用户的使用.3.1 直播服务器组成结构直播服务器Sm art B roadcaster 的组成结构如图3所示.图3 直播服务器组成结构F ig .3 T he components in the broadcaster直播服务器可以通过摄像头或电视卡实时采集原始视频数据,也可以从文件中读入.编码器用于将原始视频数据压缩为H .264NAL 单元,并存放到数据缓冲区中.位率控制模块根据当前数据缓冲区的充满度来调整编码器的编码参数,来对编码器的输出码率进行调节.打包器从数据缓冲区中读入H .264NAL 单元,封装为R T P (实时传输协议)[4]数据包,然后存放到包缓冲区中.包调度器根据当前的网络状况和R T P 数据包的重要性,对包缓冲区中的数据包进行选择发送,对重要的数据包可能提前发送或者多次发送,而不重要的数据包可能丢弃而不进行发送.R T P 服务器用于将R T P 数据包通过UD P 或TCP 协议进行发送.R T SP 客户端用于在直播服务器向流媒体服务器发送数据之前,对通信参数(服务器接收的端口号等)和媒体参数(视频流的描述信息)进行协商.3.2 H .264编码器H .264是ITU 和ISO IEC 联合制定的视频压缩标准,其压缩效率高于以前所有的视频压缩标准,在同等压缩质量情况下,其压缩输出码率大约为原来M PEG 24的二分之一.H .264标准在整体上分为视频编码层(V ideo Coding L ayer ,即V CL )和网络抽象层(N etw o rk A bstracti on L ayer ,即NAL ),V CL 专注于视频信号的压缩,而NAL 则定义了编码器和传输信道之间的接口.这种分层处理的结构使得H .264能够灵7611期 张锦锋等:S M TV S :一种基于H .264的手机电视系统 活适应不同的传输环境,提高传输效率.H .264提供了许多用于容错的机制[5],例如灵活宏块顺序(F lexible M acroblock O rder )、任意条带顺序(A rbitrarySlice O rder )、数据分割(D ata Partiti oning )等等.这些容错机制使得H .264编码的视频数据更适合在无线环境中进行可靠传输.SP 和S I 是H .264中提出的新的图像帧类型[6],其最大的优点在于在不同的预测帧或者不需要预测帧的情况下,可以实现完全重建.这个优点使得SP S I 帧可以用于容错、码流切换和随机访问等用途.S M TV S 通过码流切换的方式来实现码率的自适应.编码器将视频编码为不同码率的多个流,每隔一定的周期产生一帧基本SP 帧,并同时产生相应的次级SP 帧.当不进行码流切换时,基本SP 帧被发送,而需要进行码流切换时,相应的次级SP 帧被发送.解码端对基本SP 帧和次级SP 帧解码的结果完全相同,因而通过此种方式的码流切换,并不会对后续帧的解码质量造成影响,从而了实现无漂移的切换.图4 利用SP 帧进行码流切换过程F ig .4 B it 2stream s w itch ing by SP fram e利用SP 帧进行码流切换的过程如图4所示,其中在次级SP 帧SP 12处从码流一切换到码流二,虽然SP 12帧与SP 2帧的预测帧不同,但是它们的重建帧完全相同,所以切换之后,SP 2帧后的P 帧可以以SP 12帧的重建帧作为参考帧进行正常解码,从而实现了不引入漂移错误的切换.4 流媒体服务器流媒体服务器负责以流的方式向客户端发送视频数据.针对视频点播和直播两种不同服务模式,流媒体服务器的工作方式有所不同.在点播服务模式下,视频流服务器从磁盘上读入预先压缩好的视频数据,根据视频文件中的打包标记将视频数据以R T P 数据包的形式进行封装,然后以流的形式传输出去.通过这种方式,流媒体服务器在对视频数据进行打包时,不必关心视频数据的内容和编码格式,避免了相应的计算,从而很大程度上减轻了流媒体服务器的负载.在直播模式下,视频服务器首先查找是否存在用户所请求的直播流.如果所请求的直播流存在,便将从直播服务器发送过来的直播流转发给相应的客户端.4.1 流媒体服务器组成结构流媒体服务器Sm art Stream ing Server 的组成结构如图5所示.根据服务模式的不同,流媒体服务器获取数据的方式也不同.在直播模式下,流媒体服务器通过R T P客户端从直播图5 流媒体服务器组成结构F ig .5 T he components in the stream ing server服务器获得R T P 数据包,并存放到包缓冲区中.码流切换器采用一定的策略负责在直播服务器所发送的多个码流间进行切换,以实现码率的适应.为了支持点播模式,一个视频节目被压缩成不同的码流,并保存于不同的文件中.流媒体服务器通过文件切换器在不同码流文件之间进行切换,从而实现码率的适应.打包器用于将文件中读入的视频数据进行打包,并存放到包缓冲区中.包调度器和R T P 服务器的功能与直播服务器中的相应模块相同.R T SP (实时流协议)[7]服务器用于接收用户的服务请求,通过R T SP 协议负责与客户端对网络参数和媒体参数等信息进行协商.媒体参数信息以SD P (会话描述协议)进行描述.在点播模式下,对于节目播放的控制命令,例如播放、暂停、后退、快进等也通过R T SP 协议由客户端返回给R T SP 服务器.4.2 码流切换策略在传输流媒体数据的过程中,流媒体服务器主要接收到来自于代理服务器的两种反馈信息.一种是代理服务器作为流媒体服务器的客户端,接收流媒体数据时通过R TCP 接收端报告反馈的当前有线网络的状况信息;另一种则是代理服务器会将客户端的R TCP 接收端报告进行综合之后反馈给服务器的关于无线信道的网络状况信息.流媒体服务器根据代理服务器直接反馈的R TCP 接收端报告中的信息决定对其传输的码率,在必要的时候进行切换.当接收到代理服务器发起服务请求时,流媒体服务器会将视频流以最小的输出码率发送给代理服务器,当客户端开始正常播放之后,服务器逐步切换到较高码率的码流上进行输出.这样做使得客户端可以尽快接收到足够的流媒体数据开始进行播放,从而减小用户的初始等待延迟.当服务器以一定码率输出时,若网络状况变差,则切换到较低码率的码流上;反之,则切换到较高码率的码流上.为了保证客户端接收到的视频质量变化过大,码流切换在码率最接近的码流之间进行.同时,流媒体服务器根据各代理服务器反馈的对其客户网络状况的统计信息可在生成多媒体流时增加相应的容错措施.例如,若某特定码率用户无线链路的包丢失率升高,则可以增加较多I 帧,或者更多的FEC 保护;若无线链路状况较好,则可以较少I 帧,或者减少FEC 保护,以提高传输效率.861 小 型 微 型 计 算 机 系 统 2008年5 代理服务器代理服务器处于有线链路和无线链路的边界处,可以安装在基站或者无线访问点上.当请求视频服务时,代理服务器首先通过有线链路从流媒体服务器上获得数据,然后再通过无线链路将数据发送给客户端进行播放.代理服务器会将从服务器接收到的数据保存下来,当有其他客户端请求相同的节目时,则可以直接进行发送,不必从流媒体服务器重新获得,这样既可以提高客户端的访问速度,也可以降低服务器的负载.5.1 代理服务器组成结构代理服务器Sm art P roxy 的组成结构如图6所示.图6 代理服务器组成结构F ig .6 T he components in the p roxy server R T SP 客户端用于通过R T SP 协议向流媒体服务器发送服务请求和控制命令.I O 调度器用于将缓冲区中的数据保存到本地磁盘,或者从本地磁盘中读入已缓冲的数据.转码器根据当前无线信道的状况和终端的规格,对包缓冲区中的码流进行转换,从而适应各种终端和无线信道的状况.其他模块的功能与流媒体服务器中的同名模块相同.5.2 客户端反馈信息综合代理服务器除了会以R TCP 接收端报告的形式将当前网络的状况发送给流媒体服务器,还会将其所负责的客户端所反馈回的R TCP 接收端报告进行统计综合,并反馈给流媒体服务器.代理服务器以列表的形式将信息反馈给流媒体服务器,每个列表项由一个字节大小的三元组<包丢失率等级、带宽等级、用户数等级>构成.由于流媒体服务器在码流切换时,并不需要知道精确的统计的信息,所以通过级别划分的方式降低反馈信息所引起的代价.包丢失率划分为[0,0.05)、[0.05,0.1)、[0.1,0.15)、[0.15,0.2)、[0.2,0.25)、[0.25,0.3)、[0.3,0.4)、[0.4,2)七个等级,共需要3位二进制数表示.带宽等级划分与流媒体服务器提供的输出码率等级相同,在实现时,服务器提供的码流数不会大于8,所以采用3位二进制数表示既可.将用户数划分按照以下区间划分为四个级别[0,5)、[5,25)、[25,125)、[125,2),采用2位二进制数表示.6 客户端客户端从代理服务器处获得视频数据,解码后进行播放.用户可以通过内容管理服务器的W eb 门户获得可以访问的节目.当用户选择想要访问的视频节目后,客户端首先通过R T SP 协议向流媒体服务器发送请求,流媒体服务器会根据用户所处区域、当前的网络状况、代理服务器的负载情况等信息为该客户端选择一个代理服务器,并将客户端的请求重定向到该代理服务器.代理服务器若已经在本地缓冲了客户端所请求的视频数据,则直接转发给客户端;若没有,则首先从流媒体服务器上获得之后,再转发给客户端.最终,视频数据自流媒体服务器发送至代理服务器,再由代理服务器转发到客户端.客户端请求的重定向、代理服务器的转发等操作对用户是透明的.6.1 客户端组成结构播放器Sm art P layer 的组成结构如图7所示.图7 播放器组成结构F ig .7 T he components in the p layerR T P 客户端、R T SP 客户端以及包缓冲区的功能与代理服务器中的同名模块功能相同.解码器从包缓冲区中取得数据进行解码后,存放到显示缓冲区中.解码器具有较好的容错功能和健壮性,当数据包丢失时,可以继续解码,并利用可用数据对丢失数据进行预测和恢复,以提高解码视频质量.自适应播放模块根据当前显示缓冲区可播放帧数、数据帧的增加速度来调整播放速度,避免播放缓冲区下溢而停止播放,从而改善用户体验.6.2 自适应媒体播放无线信道是一种多变的信道,其传输带宽、丢包率都在不断的变化之中.代理服务器在进行包调度时,可能会丢弃一定的数据包,这会使得客户端所接收到的视频帧率低于正常帧率.当网络状况较差时,客户端所获得的视频数据变少,显示缓冲区中的视频帧增加速度变慢,若按照正常速度播放,则会导致显示缓冲区下溢,播放器停止播放,此时用户必须等待.在Sm art P layer 中,采用自适应媒体播放技术(A datp ive M edia P layout ,AM P )[9210]对视频帧进行自适应的播放.当显示缓冲区中视频帧增加速度变慢时,自适应播放模块会相应地放慢显示速度,以降低播放器下溢的可能性;而当网络状况变好,显示缓冲区中的数据帧速率加快时,自适应播放模块也会加快相应的显示速度,以避免显示缓冲区上溢.研究表明,当音频和视频的播放速率降低25%时,播放的主观效果很难察觉,而与停止播放让用户进行等待相比,这种方式能给用户更好的体验.7 实现与分析S M TV S 的主要组件现在已经基本实现,并在进一步的9611期 张锦锋等:S M TV S :一种基于H .264的手机电视系统 完善之中.直播服务器、流媒体服务器和代理服务器均在L in2 ux平台上实现,客户端则在W indow s M obile、Sym bian和BR E W三种平台上都进行了实现,分别采用W i2F i、GPR S和CDM A三种方式来访问视频节目.初步的实验结果证明, S M TV S可以支持多种异构网络和终端.对S M TV S的设计和实现进行分析,可知其具有如下特点:7.1 良好的可扩展性将编码放在单独的直播服务器和编辑工作站上进行,流媒体服务器只负责流媒体的传输,从而降低了流媒体服务器的负载,增强了系统的可扩展性.7.2 高的安全性专门的内容管理服务器用于负责视频内容的管理和用户的认证.直播和点播服务都通过流媒体服务器作为统一出口,增强了系统的安全性,同时也为用户的访问提供了统一的接口.7.3 良好的视频质量采用H.264编码标准进行压缩,能够在低带宽下为用户提供高质量的画面.7.4 网络带宽的自适应性对同一视频内容产生多个不同码率的视频流,流媒体服务器根据网络状况的变化,在不同视频流之间进行切换,保证较好的服务质量.7.5 客户端的自适应性解码器采用自适应播放技术,当根据网络状况和解码端缓冲情况自动调节播放速度,从而实现良好的用户体验.7.6 低的起始延迟当用户发起视频请求时,流媒体服务器首先以最低码率向用户传输视频,再加上自适应播放技术的配合使用,可以在较短的时间之内开始播放视频,从而降低了用户的等待延迟. 8 结 论本文提出了一个基于H.264编码标准的手机电视系统,在设计中对网络的异构性和多变性、移动终端的多样性、安全性、服务质量以及大规模用户的支持等方面都进行了考虑,并采取了相应的对策.已完成的实现和分析说明本系统是一个合理的解决方案,必将在未来的应用中取得更大的成功.References:[1]T akesh i Yo sh i m ura,Tomoyuk iO hya,To sh iro Kaw ahara,et al.A Q oS contro lm ethod fo rM PEG video w ith an R T P monito ringagent fo r mobile stream ing service[J].E lectronics and Comm u2 nicati ons in Japan,2004,1(87):54264.[2]T hom as Stockhamm er,M iska M.H annuk sela,T hom as W ie2gand.H.264 AV C in W ireless Environm ents[J].IEEE T rans2acti ons on C ircuits and System s fo r V ideo T echno logy,2003.13(7):6572673.[3]Jo int V ideo T eam(JV T)of ISO IEC M PEG&ITU2T V CEG:D raft ITU2T recomm endati on and F inal D raft Internati onalStandard of Jo int V ideo Speci2ficati on(ITU2T R ec.H.2642 ISO IEC14496 10AV C2JV T2G050r1.doc)[S].ISO IEC M PEG&ITU2T V CEG(2003).[4]Schulzrinne H,Casner S,F rederick R,et al.R T P:a transpo rtp ro toco l fo r real2ti m e app licati ons[S OL].IET F R FC3550,2003.h ttp: www.ietf.o rg rfc rfc3550.txt.[5]Sunil Kum ar,L iyang Xu,M rinal K.M andal,et al.E rro r re2siliency schem es in H.264 AV C standard[J].V isual Comm uni2 cati on and I m age P resentati on,2006,17:4252450.[6]M arta Karczew icz,R agi p Kurceren.T he SP2and S I2fram es de2sign fo r H.264 AV C[J].IEEE T ransacti ons on C ircuits andSystem s fo r V ideo T echno logy,2003.13(7):6372644.[7]Schulzrinne H,R ao A,L anph ier R.R eal ti m e stream ing p ro toco l(R T SP)[EB OL].IET F R FC2326,1998,h ttp: www.ietf.o rg rfc rfc2326.txt.[8]H andley M,Jacobson V.SD P:sessi on descri p ti on p ro toco l[SOL].IET F R FC2327,1998,h ttp: www.ietf.o rg rfc rfc2327.txt.[9]L iang YJ,Farber N,Girod B.A dap tive p layout scheduling us2ing ti m e2scale modificati on in packet vo ice comm unicati on[C].In P roceedings of the IEEE Internati onal Conference on A cous2 tic Speech and Signal P rocessing,I CA SSP’01,Salt L ake C ity,M ay2001.[10]Steinbach EG,Farber N,Girod B.A dap tive p layout fo rlow la2tency video stream ing[C].In IEEE P roceedings of the Interna2 ti onal Conference on I m age P rocessing(I C IP’01),T hessaloni2 k i,Greece,O ctober2001.071 小 型 微 型 计 算 机 系 统 2008年。
