多媒体技术原理及应⽤⼆多媒体信息存储特点:多媒体信息存在和表现有多种形式.多媒体信息量⼤.光盘系统特点:(1)与硬盘相⽐,具有可拆卸性;容量相当;驱动器较贵,但盘⽚便宜;读写速度慢.(2)与磁带相⽐,具有容量⼤,随机存取性强的优点.(3)激光头与介质⽆接触,不受环境影响⽽退磁,信息保存时间长,可达30年以上.光盘按读写功能的分类:CD-ROM只读光盘WORM⼀次写多次读光盘(write once read many)Rewritable可重写光盘DVD(digital video disc)光盘⼯作原理:只读光盘读原理,只读光盘上的信息沿着盘⾯螺旋形状的信息轨道以凹坑和凸区的形式记录的.凹凸交界的正负跳变沿均代表数字"1",两个边缘之间代表数字"0"数字信息记录的优点是抗⼲扰能⼒强,由于盘⽚损坏或变脏⽽造成的读出错误也容易得到纠正.按照改变性质来实现信息存储的原理来分,光盘记录⽅式可分为两⼤类:磁光式和相变式.磁光式写操作⽅法:居⾥点记录和补偿点记录.相变式写过程是把记录介质的信息点从晶态转变为⾮晶态.CD-DA是CD的最基本标准. Red Book,特定的地址标记,其单位为"分","秒","扇区",1分=60秒,1秒=75扇区.光盘总长度为74分.错误的检测和校正采⽤的是 CIRC(cross interleave Reed-Solomon code)CD-ROW ,Yellow Book,采⽤常线速(const linear velocity,CLV)伺服⽅式.MTBF(mean time between failures)可录CD(recordalbe compact disc),Orange BookCD-I,Green BookVideo CD ,White Book错误检测码:error detection code ,EDC错误校正码:error correction code,ECC信息扇区:message sector光盘符号由3个记录构成:⽂件结构卷描述符(file structure volume descriptor)引导记录(boot record)终结记录(terminator record)视盘有两种信息记录格式:常线速(const linear velocity,CLV)常⾓速(costant angular velocity,CAV)DVD光盘:容量最⾼的双层双⾯盘可达17GB,单⾯单层4.7GB.存储133分钟的MPEG-2视频.⾳频卡的主要功能:数字化声⾳处理混⾳器合成器variable length coder可变长编码器block storage unit元块存储microcode宏码⽬前,⼤多数扫描仪采⽤的光电转换部件是CCD(电荷耦合器件)扫描仪分为:平板式,⼿持式,滚动式.监视器:monitor适配器:adaptor触摸屏包括三个部分:传感器,控制部件,驱动程序触摸屏按⼯作原理可分为:红外线触摸屏,电阻式触摸屏,电容式触摸屏,表⾯声波技术和底座式⽮量压⼒触摸屏.多媒体个⼈机(multimedia personal computer,MPC)基本的硬件结构:(1)⼀个功能强⼤,速度快的中央处理器CPU(2)⼤容量的存储器空间(3)⾼分辨率显⽰接⼝与设备(4)可处理⾳响的接⼝与设备(5)可存放⼤量数据的配置等CD-I系统是家⽤交互式多媒体系统.管理程序主要有:光盘⽂件管理模块CDFM(compact disc file manager)⽤户通信管理模块UCM(user communication manager)⾮易失RAM⽂件管理模块NRF(nonvolatile RAM file manager)流式⽂件管理模块PFM系统状态描述符CSD(configuration status descriptor)⽂件保护模块FPM(file protection mechanism)VCD有三个核⼼部分组成:CD驱动器或称CD加载器MPEG解码器微控制器DVD播放系统的组成:DVD盘读出机构DVD-DSP数字声⾳/视频解码器微处理器多媒体应⽤软件的开发过程(1)明确使⽤对象,了解⽤户需求(2)选择开发⽅法(3)准备多媒体数据(4)完成系统集成常⽤的识别输⼊⽅法是OCR扫描识别.计算机处理的⾳频种类包括波形⾳频(waveform audio)和MIDI⾳频.除了⼈类说话的声⾳和⾳乐,我们称其他的⾳频信号为噪声.⼈类听⼒所接受的频率:20HZ-20KHZCD标准的44100HZ采样率(sampling rate)MIDI也定义⾳频的形态与存储的⽅法,MIDI的⾳频是以消息的⽅式⽽⾮波形的⽅式组成.遥控键盘remote keyboardMIDI⾳频⽂件是⼀串的时序命令(time-stamped commands)它记录下⾳乐的⾏为.如按下钢琴键,踩踏板.⽬前国际上对视频的处理标准主要有:NTSC(National Television Standard Committee)美国研制的NTSC制式是⽬前最久和最⼴泛使⽤的电视制式,每秒30帧PAL(Phase Alternating Line)中国和英国采⽤的制式,每秒25帧SECAM(Sequential Color and Memory)法国和俄罗斯采⽤的.在多媒体数据中,⽆法从客观世界直接摄取的可视信息,就可有图形技术来制作,这些数据主要包括⽂字,图形,动画.动画是图形对象赋予运动属性后制作的连续画⾯效果.图形⽂件的格式通过图形原语和它们的属性来描述.计算机动画研究内容:运动控制⽅法运动学⽅法动⼒学⽅法随机⽅法⾏为规则⽅法⾃动运动控制中间画⾯的⽣成技术:关键帧⽅法,算法⽣成,基于物理的⽣成多媒体开发和创作环境具有功能:提供多媒体程序编程的环境超⽂本,超媒体和多媒体数据管理的功能⽀持多媒体数据的输⼊和输出应⽤连接功能多媒体数据制作功能友好的⽤户界⾯多媒体编著⼯具或称创作⼯具是⼀种⾼级的软件程序或命令集合.按照节⽬组织和安排数据的⽅式分成5类:以卡或页为基础的编著⼯具 ToolBook以图符为基础,基于事件的编著⼯具 Authorware以时间为基础的编著⼯具 action!以传统程序语⾔为基础的编著⼯具 C,Basic其它专⽤编著⼯具要对多媒体数据进⾏有效的管理,就需要建⽴⼀个多媒体数据管理环境,包括:存储环境,传输环境,软件环境多媒体数据的存储环境:可更换的硬盘,磁带备份介质,光盘档案⼈质,磁盘阵列.MDBMS系统提供的数据类型:text,binary ,image.MDBMS影响:(1)数据量⼤且媒体之间差异也⼤,从⽽影响数据库中的组织和存储⽅法(2)媒体各类的增多增加了数据处理的难度(3)多媒体不仅改变了数据库的接⼝,使其声⽂图并茂,⽽且也改变了数据库的操作形式,其中最重要的是查询机制和查询⽅法.(4)传统的事务⼀般都短⼩精悍,在多媒体数据库管理系统中也应尽可能使⽤事务.(5)多媒体数据库管理还有考虑版本控制问题.MDBMS的组织结构⼀般分为三种:集成型,主从型,协作型.模型扩充主要技术策略:使关系数据库管理技术和操作系统中⽂件系统功能相结合,实现对⾮格式化数据的管理.将关系元组中格式化数据和⾮格式化数据装在⼀起形成⼀个完整的元组,放在数据页⾯或数据页⾯组中.将元组中⾮格式化数据分成两部分.⼀部分是格式化数据本⾝,另⼀部分是对⾮格式化数据的引⽤.动态注释:dynamic memo格式注释:formatted memo图形:graphic⾯向对象在⽀持多媒体应⽤⽅⾯具有⾃⼰独特的优点:⾯向对象模型⽀持"聚合"与"概括"的概念,从⽽更好地处理多媒体数据等复杂对象的结构定义.⾯向对象模型⽀持抽象数据类型和⽤户定义的⽅法,便于数据库系统⽀持定义新的数据类型的操作.⾯向对象系统的数据抽象,功能抽象与消息传递的特点使对象在系统中是独⽴的,具有良好的封闭性,封闭了多媒体数据之间的类型及其他⽅⾯的巨⼤差异,并且容易实现并进⾏处理,也便于系统模式的扩充和修改.⾯向对象系统的对象类,类层次和继承性的特点,因⽽避免了关系数据库中讨论的各种异常.⾯向对象系统的查询语⾔通常是沿着系统提供内部固有联系进⾏的,避免了⼤量的查询优化⼯作.总之,⾯向对象的数据模型允许现实世界的对象以更接近于⽤户思维的⽅式来描述,⽽且具有描述和处理聚集层次,概括层次的能⼒.能⽀持抽象数据类型和⾏为,可扩充性和可共享性好,适宜于表⽰和处理多媒体信息,也适宜于多媒体数据库中各种媒体数据的存取与不同操作的实现.基于内容检索技术的特点:从媒体内容中提取信息线索,直接对媒体进⾏分析,抽取特征(如基于表达式)提取特征⽅法多种多样.⼈机交互基于内容的检索采⽤⼀种近似的匹配技术.实现基于内容的检索系统主要有两种途径:⼀是基于传统的数据库检索⽅法.采⽤⼈⼯⽅法将多媒体信息内容表达为属性(关键词)集合,再在传统的数据库管理系统框架内处理⼆是基于信号处理理论.采⽤特征抽取和模式识别的⽅法来克服基于数据库⽅法的的局限性.特征匹配是基于内容检索的关键.MPEG-7:正式标准名称:多媒体内容描述接⼝(multimedia content description interface)描述模式:description scheme,DS描述定义语⾔:description definition language ,DDL是MPEG-7的核⼼MPEG坚持"制定最少的最有⽤的"原则.超⽂本(hypertext)结构采⽤⼀种⾮线的⽹状结构结构组织块状信息.超⽂本是由信息结点和表⽰信息结点间相关性的链构成的⼀个具有⼀定逻辑结构和语义的⽹络.结点为基本单元.第⼆代超⽂本系统与多媒体技术结合起来,为强调系统处理多媒体信息的能⼒⽽称为超媒体(hypermedia)系统,即超媒体=多媒体+超⽂本.超⽂本抽象机(hypertext abstract machine)HAM模型把超⽂本系统分为三个层次:⽤户界⾯层,超⽂本抽象机层,数据库层.例⽰:instantiation表现规范:presentation specification锚号:anchor id锚值:anchor value超⽂本主要成分:结点,链,宏结点.结点(节点)是超⽂本表达信息的⼀个基本单位.宏⽂本macrotext微⽂本microtext⽂献模型的基本任务:能够表⽰多媒体⽂献的内容层次性能够表⽰多媒体⽂献的版⾯布局能够表⽰多媒体⽂献的时间布局能够将内容与布局对应起来ODA(the office/open document architecture)HyTime全称为"Hypermedia/time-based structuring language"时基超媒体结构化语⾔Web系统是⽬前最流⾏的运⾏于Internet上的超⽂本系统.可扩展标记语⾔XML:extensible markup language主要有三个要素:⽂档定义(DTD/XML Schema),XSL和Xlink.XML提供了数据定义机制,⽬前存在两种⽅式:DTD和Schema动态⽹页⽣成技术:⽬前常⽤的有:ASP(active server pages)JSP(Java server pages)PHP(personal hypertext preprocessor)HTTP:hypertext transfer protocol超⽂本传输协议.缓存系统的体系结构:层次缓存结构.分布式缓存结构,混合的缓存结构缓存⽅式:预装preload技术,动态置换,部分缓存.LRU,least recently usedLFU,least frequently usedFIFO,first in first outLLF,lowest latency first所谓数据模型就是在计算机数据世界中建⽴的计算机所能接受的对现实世界中所要研究对象的抽象描述.具有两层含义:提供⼀种计算机可接受的信息表⽰和处理⽅法能够指出数据的构造,即能够表⽰数据及其属性特征,同时指出数据间的联系.对于多媒体系统的数据模型来说,其主要任务是:能够表⽰不同媒体的数据构造及其属性特征.所谓形式化描述就是⽤数学概念或类数学概念来精确地定义和描述信息系统的基本特性(属性和结构等)的⼀种⽅法.⽤集合论和⼀阶逻辑来抽象超⽂本模型.多媒体信息元:以⾃上⽽下的观点来看,多媒体信息元是具有⼀定语义的,组成信息系统应⽤的信息⼦块.以⾃下⽽上的观点来看,多媒体信息元是⼀个或多个媒体数据元经过⼀定的添加与包装⽽合成的超数据元.信息元的⼤⼩即是各种多媒体应⽤的公共需求,即信息元必须满⾜的特性.MHEG(Multimedia and Hypermedia Information Coding Expert Group)超⽂本信息元标准.采⽤⾯向对象的⽅法来分析设计模型.MH对象分成:输出内容对象 output content⼀般输⼊对象 generic input投射器对象 projector基本对象 basic合成对象composite条件与动作按钮button动作按钮action button暂停-继续按钮stay-on button切换按钮switch button菜单选择menu selection多项选择multiple selection字符串character string位置location数值numericla value时间合成的三种同步表⽰⽅法:层次化同步,基于时间轴的同步,基于参考点的同步.多媒体通信的特点:多媒体数据量⼤,存储容量⼤,传输带宽要求⾼.多媒体实时性.多媒体时空约束多媒体交互性分布式处理和协同⼯作多媒体通信实现途径:话路+视频⽹络+视频有线电视+交互功能多媒体通信的关键技术声⾳,视频,动画等的传输技术数据压缩和解压缩技术解决多媒体实时同步问题解决协议和标准化问题在模拟通信⽹上传输静态图像的电话称为可视电话⼀般分为四个组成部分:语⾳处理部分图像输⼊部分图像输出部分图像信号处理部分专⽤控制器是电视电话的核⼼.电话⽹是按模拟声⾳信号⽽设计的,传送带宽只有300---3400HZ,传输图像有困难,从⽬前情况来看,只能传送静态图像.帧中继(frame relay ,FR)是⼀种HDLC规程的宽带数据业务标准多媒体信息传输对⽹络性能的要求:吞吐量,是指⽹络传输⼆进制信息的速率,⼜称⽐特率或带宽.实时传输的活动图像是对⽹络吞吐量要求最⾼的媒体.传输延时(transmission delay)定义为从信源发出第⼀个⽐特到信宿接收到第⼀个⽐特之间的时间差,它包含信号在物理介质中的传播延时和数据在⽹中的处理延时.另⼀个常⽤的参数是端到端的延时.⽹络传输延时的变化称为⽹络的延时抖动(delay jitter):度量延时抖动的⽅法中常⽤的⼀种是⽤在⼀段时间内最长和最短的传输延时之差来表⽰.错误率:度量⽅式:误码率BER(bit error rate),包错误率PER(packet error rate),包丢失率FLR(packet loss rate)QoS:quality of service分布式多媒体系统的基本特征:多媒体集成性,资源分散性,运⾏实时性,操作交互性,系统透明性.分布式多媒体系统的层次结构:多媒体接⼝层:系统与各种媒体通信输⼊输出的接⼝,处于最低层.多媒体传输层流管理层多媒体表⽰层应⽤层.声⾳点播:audio on demand视频点播:video on demandIP电话:IP telephony分组实时视频会议:group realtime video conferencing从多媒体信息传输来讲,Internet提供两种类型的服务:⼀是可靠的⾯向连接服务,使⽤TCP协议,对信息包时延要求不⾼.⼆是不可靠的⽆连接服务,使⽤UDP协议,不保证丢失包,也不保证时延满⾜要求.⽬前,多媒体⽹络应该解决下⾯问题:提⾼⽹络带宽,减少延时,减少抖动.两个解决⽅法:扩⼤链路带宽,改进Internet协议.⽹络传输的⽅法根据传输⽬标的多少可分为:单播unicast,组播multicast,⼴播broadcast在Internet上要传输多媒体信息最常⽤的是单播技术.组播或称多播是指⽹上⼀点到⽹上多个指定点(同⼀个⼯作组类成员)传输信息.它是⼀种较好的节省带宽减少服务器负担的传输⽅法.Internet的IP地址分为五类:A,B,C,D,E.为⽀持组播功能,发送端和接收端及其之间的⽹络设施都必须具有多播功能.组播路由选择算法:泛洪法(flooding),⽀撑树(spanning tree),反向路径⼴播(reverse path broadcasting ,RPB),修剪的反向路径⼴播(truncated reverse path broadcasting ,TRPB),Steiner树.基于核⼼树的组播(core-based tree,CBT)组播路由选择协议:距离⽮量组播路由协议(Distance Vector Multicast Routing Protocol,DVMRP)组播开放最短路径优先路由协议(Multicast Open Shortest Path First Routing,MOSRF)协议独⽴的组播路由协议(protocol independent multicast,PIM),采⽤两种协议,PIM-DM(dense mode)和PIM-SM(sparse mode)底层传输系统 SDH,synchronous digital hierarchy多协议标识交换 MPLS,multi-protocol label switching标识交换路径 LSP,label-switched path标识交换路由器 LSR,label-switched router密集波分复⽤ DWDM,dense wave-division multiplexing电⼦布告栏系统 BBS,bulletin board system群决策⽀持系统 GDSS,group decision support systems影⽚点播 MOD,movies on demand远程购物 teleshopping远程学习 distance learning家庭银⾏ home banking远程医疗telemedicine电视会议video conferencing内容制作content production事务服务transaction services。
