多媒体技术及应用数字音频技术02
- 格式:ppt
- 大小:1.38 MB
- 文档页数:60
多媒体技术的概念与应用多媒体技术的概念与应用多媒体技术是指通过计算机对文字、数据、图形、图像、动画、声音等多种媒体信息进行综合处理和管理,使用户可以通过多种感官与计算机进行实时信息交互的技术,又称为计算机多媒体技术。
店铺收集了一些关于多媒体技术的概念与应用,希望大家认真阅读!1.多媒体的概念多媒体一词来源于英文单词Multimedia,其中,Multi为“多”,media为“媒体”的意思。
媒体也称介质或媒质,是信息表示和传播的载体,它在计算机领域中有两种含义,一是指用以存储信息的实体,如磁盘、磁带、光盘和半导体存储器;另一种含义是指信息的载体,如数字、文字、声音、图形和图像。
多媒体技术是指把文字、音频、视频、图形、图像、动画等多媒体信息通过计算机进行数字化采集、获取、压缩/解压缩、编辑、存储等加工处理,再以单独或合成形式表现出来的一体化技术。
2.多媒体的特征:交互性、集成性、多样性、实时性3.媒体的数字化声音的数字化的过程:采样、量化、编码位图图像(bitmap):位图放大称为点阵图像或绘制图像,是由称作像素(图片元素)的单个点组成的。
这些点可以进行不同的排列和染色以构成图样。
当放大位图时,可以看见赖以构成整个图像的无数单个方块。
扩大位图尺寸的效果是增多单个像素,从而使线条和形状显得参差不齐。
然而,如果从稍远的位置观看它,位图图像的颜色和形状又显得是连续的。
矢量图:矢量图使用直线和曲线来描述图形,这些图形的元素是一些点、线、矩形、多边形、圆和弧线等等,它们都是通过数学公式计算获得的。
例如一幅花的矢量图形实际上是由线段形成外框轮廓,由外框的颜色以及外框所封闭的颜色决定花显示出的颜色。
由于矢量图形可通过公式计算获得,所以矢量图形文件体积一般较小。
矢量图形最大的优点是无论放大、缩小或旋转等不会失真。
多媒体技术下美术教学1、利用多媒体技术,拓宽学生的视野在以往的美术课堂中,进行美术欣赏的时候往往都是教师拿着印刷成册的素材进行展示。
第1章多媒体技术基础1.1 多媒体技术概述1.1.1 多媒体技术的发展1.1.2 多媒体技术的基本概念1.1.1 多媒体技术的应用1.1.4 多媒体的关键技术1.2 多媒体硬件系统1.2.1 多媒体输入输出设备1.2.2 多媒体接口设备1.2.3 多媒体存储设备1.3 多媒体软件系统1.3.1 多媒体软件1.3.2 多媒体应用系统的设计流程1.1.1 多媒体技术的发展1.1.2 多媒体技术的基本概念1.媒体的含义⏹表示信息的载体:如文字、声音、图像、动画、视频、语言等。
⏹存储信息的实体:如磁盘、磁带、光盘、纸张等。
⏹传播信息的载体:如电视、电影、报纸、杂志、网络等。
2.媒体的类型¡ª¡ª CCITT(国际电报电话咨询委员会)⏹感觉媒体:指能直接作用于人的感官,使人能直接产生感觉的一类媒体。
如语言、音乐,自然界的各种声音、图形、图像、文字、数据等。
⏹表示媒体:即感觉媒体的表示媒介。
如图像编码、文本编码和声音编码等。
⏹显示媒体:即输入输出媒体的设备,如键盘、显示器、话筒,喇叭和打印机等。
⏹存储媒体:用来存放表示媒体的物理载体,如磁盘、磁带、光盘等。
⏹传输媒体:传输媒体的物理载体。
如空气、电话线、电波、电缆和光缆等。
1.1.2 多媒体技术的基本概念3. 多媒体(Multimedia)主要包括文字、图形、图像、音频、动画和视频等多种信息载体。
⏹文字:指各种字母、数字和符号等文本信息;⏹图形:由描述点、线、面的大小、形状、维数和位置的图形指令生成的几何图形(矢量图形) ⏹图像:由许多的像素点构成,每个像素点用若干二进制位来表示颜色和亮度等信息(位图)⏹音频:包括语音、音乐和各种声音效果;⏹动画:通过计算机自动生成关键帧之间的连续图像,按照一定速度连续播放形成动画;⏹视频:若干静态图像画面的连续播放形成了视频,每一幅画面称为一帧;4. 多媒体技术利用计算机及相应的多媒体设备,采用数字化处理技术,将文字、声音、图形、图像、动画和视频等多种媒体有机结合起来进行处理的技术。
《多媒体技术及应用》课程实验教学探索摘要:本文以应用型人才培养模式为背景,从明确目标、作品展示、实行“助教制”、加强模块设计、注重综合设计等方面阐述了一个行之有效的高校文科生《多媒体技术及应用》课程实验教学方案。
关键词:多媒体技术;实验教学中图分类号:tp37-4 文献标识码:a 文章编号:1007-9599 (2013) 02-0000-02我校《多媒体技术及应用》是文科类大一学生继《大学计算机基础》之后的一门必修课。
多媒体技术是基于计算机技术,综合应用数字化信息处理技术、图像处理技术、音频技术、视频技术、通信技术等的跨学科综合性高新技术,非常有利于培养学生的实践操作能力和综合应用能力[1]。
它具有知识面广、涉及工具软件多、更新快、技术先进等特点。
如何根据课程特点培养学生的自学能力和创新意识,为学生提供广阔的思维空间和充分展示才华的舞台,对应用型人才培养模式有着极其重要的促进和借鉴作用。
1 目标明确,有的放矢开课第一节就向学生宣布教学目标,教学内容,考核方式,考核内容,考核要求和评分标准宣布给学生,让学生明确学习目标,做到每个模块的学习都心中有数。
2 展示优秀作品,调动学生的学习积极性现在的大学生身心很幼稚,在学习生活过程中同样需要老师和同学的关心和鼓励。
《多媒体技术及应用》是一门实践性很强的课程,需要学生具有很强的操作能力和创新能力,才能设计出优秀的多媒体作品。
在《多媒体技术及应用》课程实践教学中,教师通过展示优秀作品,来提高学生的学习积极性和增强学生的创新意识。
2.1 课前展示优秀作品,激发学生的学习兴趣在开课之初和每个知识模块教学之初,紧扣教学内容,给学生展示和讲解一些比较典型的优秀作品,让学生知道通过本课程的学习或某个知识模块的学习,他们可以达到什么水平,以及要设计出好的作品,他们必须掌握哪些知识和技术、技能。
2.2 课后展示学生自己设计的有特色和有创意的优秀作品,增强学生的争优创新意识我们在每个模块设计作业中遴选出一些比较优秀、比较有特色、有创意的作品,进行展示和点评,引导学生找亮点,展示才华,不仅提高了学生的学习信心,增强了学生自我认识、自我肯定的意识,更重要的是给学生提供了一个公平、公开展示自我的舞台,给了每个学生都可以登台展示自己才华的希望。
数字音视频处理技术在多媒体教育中的应用随着科技的不断进步和社会对教育的需求不断增加,多媒体教育已经成为现代教育的重要组成部分。
数字音视频处理技术作为多媒体教育的重要支撑,为教育教学提供了丰富多样的资源和先进的教学手段。
数字音视频处理技术在多媒体教育中的应用涵盖了从课件制作、教学辅助、教育游戏到远程教育等多个方面,极大地丰富了教育教学的方式和手段,提高了教育教学的质量和效果。
首先,数字音视频处理技术在制作课件时发挥了重要作用。
以往的教学课件多为静态的文字、图片等,难以激发学生的兴趣和参与度。
而有了数字音视频处理技术,教师可以将知识内容以多种形式进行展示,例如通过动画、音效、视频等方式,使得课件更加生动有趣。
教师可以使用视频制作软件进行编辑剪辑,将相关的实验过程、案例探究等内容以视频的形式呈现出来,激发学生的学习兴趣,提高学习的效果。
其次,数字音视频处理技术在教学辅助方面具有广泛的应用。
教师可以利用音视频技术来制作教学辅助材料,例如配音解说、实物演示、拓展案例等。
教师通过语音解说,可以更加生动地向学生讲解知识点,梳理知识体系,帮助学生更好地理解和记忆。
同时,通过实物演示,教师可以将抽象的知识转化为具体的实践,帮助学生更好地理解相关概念和原理。
拓展案例的应用可以丰富课堂教学内容,培养学生的思维能力和创新意识。
此外,数字音视频处理技术在教育游戏方面也扮演了重要的角色。
通过引入音视频技术,教育游戏能够更加真实地模拟学习场景,提供沉浸式的学习体验。
例如,在学习语言类课程时,教师可以设计语音对话游戏,让学生通过模拟对话来提高语言表达能力。
在学习科学类课程时,教师可以设计实验模拟游戏,让学生在虚拟实验室中进行实验操作。
数字音视频处理技术的应用,使得教育游戏更加互动、趣味,更能够激发学生的学习兴趣和积极性。
最后,数字音视频处理技术也为远程教育提供了强大的支持。
由于时空限制,许多学生无法参与到传统的课堂教学中,而远程教育则为这部分学生提供了学习的机会。
一、数字音频信息处理1.声音信号的基本知识①模拟信号声音信号是典型的连续信号,不仅在时间上是连续的,而且在幅度上也是连续的。
在时间上“连续”是指在一个指定的时间范围里声音信号的幅值有无穷多个,在幅度上“连续”是指幅度的数值有无穷多个。
我们把在时间和幅度上都是连续的信号称为模拟信号。
声音信号两个基本参数是频率和幅度。
信号的频率是指信号每秒钟变化的次数,用Hz(赫兹)表示。
人的听觉器官能感知的声音频率大约在20~20000Hz之间。
图7-2-1 声音的采样和量化②数字信号在某些特定时刻对这种模拟信号进行测量叫做采样,由这些特定时刻采样得到的信号称为离散时间信号。
采样得到的幅值是无穷多个实数值中的一个,因此,幅度还是连续的。
如果把信号幅度取值的数目加以限定,这种由有限个数值组成的信号就称为离散幅度信号。
我们把时间和幅度都用离散的数字表示的信号就称为数字信号。
2.声音信号数字化声音进入计算机的第一步就是数字化,数字化实际上就是采样和量化。
如前所述,连续时间的离散化通过采样来实现,就是每隔一定时间间隔对模拟波形上取一个幅度值,把时间上的连续信号变成时间上的离散信号。
该时间间隔为采样周期,其倒数为采样频率,即每秒钟的采样次数,采样频率超高,数字化音频的质量也超高,越能反映声音的真实性,数据量了越大。
实际中常采用40.1kHz作为高质量声音的采样标准。
连续幅度的离散化通过量化来实现,量化是将每个采样点得到的幅度值以数字存储,量化位数(也即采样精度)表示存放采样点振幅值的二进制数,它决定了模拟信号数字化以后的动态范围。
通常量化位数有8位、16位等,分别表示28、216个等级。
在相同的采样频率下,量化位数越大,则采样精度越高,声音的质量也越好,信息的存储量也越大。
将采样与量化后的数字数据以一定的格式记录下来就是编码。
编码的方式很多,常用的编码方式是脉冲编码调制(Pulse Code Modulation,PCM),主要优点是搞干扰能力强,失真小,传输特性稳定。
多媒体技术及应用多媒体技术已经成为当代社会中不可或缺的一部分。
随着数字化技术的不断发展,多媒体技术已经被广泛应用于各个领域,如娱乐、教育、医疗、设计等。
在本文中,我将重点介绍多媒体技术的基本概念、特点,以及它在不同领域的应用。
一、多媒体技术的基本概念和特点多媒体技术,是指利用计算机技术,将文字、图像、音频、视频等不同的媒体进行集成和处理的技术。
它是现代信息技术中的一个重要分支,可以创造出各种形式的数字化媒体,如数字音乐、数字电影、数字游戏等。
多媒体技术的基本特点主要包括以下几点:1. 多样化的媒体形式:在多媒体技术中,可以利用各种不同的数字化媒体形式来进行信息表达,包括文本、图像、音频、视频、动画、3D模型等。
2. 高质量的表现效果:相比于传统的媒体形式,数字化媒体具有更高的清晰度,更加真实、逼真。
3. 互动性强:数字化媒体可以通过人机交互方式实现交互,用户不仅是媒体消费者,还可参与到媒体创作和交互过程中。
4. 可定制化:数字化媒体可以根据个人需求和喜好进行定制化制作和消费,消费者可以自行选择和控制所需的内容、时间、空间等。
二、多媒体技术在娱乐方面的应用在娱乐方面,多媒体技术已经成为一个非常重要的组成部分。
现在人们可以利用数字化媒体,享受更加高质量、丰富多彩的娱乐内容,包括数字音乐、数字电影、数字游戏等。
1. 数字音乐:通过数字化技术,音乐已经不再是传统的唱片格式,而是以数码音频的形式传输。
数字音乐的制作和传播已经成为一种重要的文化产业。
音乐软件通过数字音频处理技术,使音乐创作和编辑变得更加方便快捷,同时数字音乐的发布和推广也变得更加迅速和便捷。
2. 数字电影:数字化技术的发展,使得电影创作和制作变得更加便捷和高质量。
数字电影的制作和传播不仅可以达到传统电影的效果,而且能够使用各种数字技术实现更加创新的影像效果和表现手法。
3. 数字游戏:数字游戏是一种数字娱乐形式,它利用计算机技术,实现游戏世界的模拟和虚拟感。
多媒体技术原理及应⽤⼆多媒体信息存储特点:多媒体信息存在和表现有多种形式.多媒体信息量⼤.光盘系统特点:(1)与硬盘相⽐,具有可拆卸性;容量相当;驱动器较贵,但盘⽚便宜;读写速度慢.(2)与磁带相⽐,具有容量⼤,随机存取性强的优点.(3)激光头与介质⽆接触,不受环境影响⽽退磁,信息保存时间长,可达30年以上.光盘按读写功能的分类:CD-ROM只读光盘WORM⼀次写多次读光盘(write once read many)Rewritable可重写光盘DVD(digital video disc)光盘⼯作原理:只读光盘读原理,只读光盘上的信息沿着盘⾯螺旋形状的信息轨道以凹坑和凸区的形式记录的.凹凸交界的正负跳变沿均代表数字"1",两个边缘之间代表数字"0"数字信息记录的优点是抗⼲扰能⼒强,由于盘⽚损坏或变脏⽽造成的读出错误也容易得到纠正.按照改变性质来实现信息存储的原理来分,光盘记录⽅式可分为两⼤类:磁光式和相变式.磁光式写操作⽅法:居⾥点记录和补偿点记录.相变式写过程是把记录介质的信息点从晶态转变为⾮晶态.CD-DA是CD的最基本标准. Red Book,特定的地址标记,其单位为"分","秒","扇区",1分=60秒,1秒=75扇区.光盘总长度为74分.错误的检测和校正采⽤的是 CIRC(cross interleave Reed-Solomon code)CD-ROW ,Yellow Book,采⽤常线速(const linear velocity,CLV)伺服⽅式.MTBF(mean time between failures)可录CD(recordalbe compact disc),Orange BookCD-I,Green BookVideo CD ,White Book错误检测码:error detection code ,EDC错误校正码:error correction code,ECC信息扇区:message sector光盘符号由3个记录构成:⽂件结构卷描述符(file structure volume descriptor)引导记录(boot record)终结记录(terminator record)视盘有两种信息记录格式:常线速(const linear velocity,CLV)常⾓速(costant angular velocity,CAV)DVD光盘:容量最⾼的双层双⾯盘可达17GB,单⾯单层4.7GB.存储133分钟的MPEG-2视频.⾳频卡的主要功能:数字化声⾳处理混⾳器合成器variable length coder可变长编码器block storage unit元块存储microcode宏码⽬前,⼤多数扫描仪采⽤的光电转换部件是CCD(电荷耦合器件)扫描仪分为:平板式,⼿持式,滚动式.监视器:monitor适配器:adaptor触摸屏包括三个部分:传感器,控制部件,驱动程序触摸屏按⼯作原理可分为:红外线触摸屏,电阻式触摸屏,电容式触摸屏,表⾯声波技术和底座式⽮量压⼒触摸屏.多媒体个⼈机(multimedia personal computer,MPC)基本的硬件结构:(1)⼀个功能强⼤,速度快的中央处理器CPU(2)⼤容量的存储器空间(3)⾼分辨率显⽰接⼝与设备(4)可处理⾳响的接⼝与设备(5)可存放⼤量数据的配置等CD-I系统是家⽤交互式多媒体系统.管理程序主要有:光盘⽂件管理模块CDFM(compact disc file manager)⽤户通信管理模块UCM(user communication manager)⾮易失RAM⽂件管理模块NRF(nonvolatile RAM file manager)流式⽂件管理模块PFM系统状态描述符CSD(configuration status descriptor)⽂件保护模块FPM(file protection mechanism)VCD有三个核⼼部分组成:CD驱动器或称CD加载器MPEG解码器微控制器DVD播放系统的组成:DVD盘读出机构DVD-DSP数字声⾳/视频解码器微处理器多媒体应⽤软件的开发过程(1)明确使⽤对象,了解⽤户需求(2)选择开发⽅法(3)准备多媒体数据(4)完成系统集成常⽤的识别输⼊⽅法是OCR扫描识别.计算机处理的⾳频种类包括波形⾳频(waveform audio)和MIDI⾳频.除了⼈类说话的声⾳和⾳乐,我们称其他的⾳频信号为噪声.⼈类听⼒所接受的频率:20HZ-20KHZCD标准的44100HZ采样率(sampling rate)MIDI也定义⾳频的形态与存储的⽅法,MIDI的⾳频是以消息的⽅式⽽⾮波形的⽅式组成.遥控键盘remote keyboardMIDI⾳频⽂件是⼀串的时序命令(time-stamped commands)它记录下⾳乐的⾏为.如按下钢琴键,踩踏板.⽬前国际上对视频的处理标准主要有:NTSC(National Television Standard Committee)美国研制的NTSC制式是⽬前最久和最⼴泛使⽤的电视制式,每秒30帧PAL(Phase Alternating Line)中国和英国采⽤的制式,每秒25帧SECAM(Sequential Color and Memory)法国和俄罗斯采⽤的.在多媒体数据中,⽆法从客观世界直接摄取的可视信息,就可有图形技术来制作,这些数据主要包括⽂字,图形,动画.动画是图形对象赋予运动属性后制作的连续画⾯效果.图形⽂件的格式通过图形原语和它们的属性来描述.计算机动画研究内容:运动控制⽅法运动学⽅法动⼒学⽅法随机⽅法⾏为规则⽅法⾃动运动控制中间画⾯的⽣成技术:关键帧⽅法,算法⽣成,基于物理的⽣成多媒体开发和创作环境具有功能:提供多媒体程序编程的环境超⽂本,超媒体和多媒体数据管理的功能⽀持多媒体数据的输⼊和输出应⽤连接功能多媒体数据制作功能友好的⽤户界⾯多媒体编著⼯具或称创作⼯具是⼀种⾼级的软件程序或命令集合.按照节⽬组织和安排数据的⽅式分成5类:以卡或页为基础的编著⼯具 ToolBook以图符为基础,基于事件的编著⼯具 Authorware以时间为基础的编著⼯具 action!以传统程序语⾔为基础的编著⼯具 C,Basic其它专⽤编著⼯具要对多媒体数据进⾏有效的管理,就需要建⽴⼀个多媒体数据管理环境,包括:存储环境,传输环境,软件环境多媒体数据的存储环境:可更换的硬盘,磁带备份介质,光盘档案⼈质,磁盘阵列.MDBMS系统提供的数据类型:text,binary ,image.MDBMS影响:(1)数据量⼤且媒体之间差异也⼤,从⽽影响数据库中的组织和存储⽅法(2)媒体各类的增多增加了数据处理的难度(3)多媒体不仅改变了数据库的接⼝,使其声⽂图并茂,⽽且也改变了数据库的操作形式,其中最重要的是查询机制和查询⽅法.(4)传统的事务⼀般都短⼩精悍,在多媒体数据库管理系统中也应尽可能使⽤事务.(5)多媒体数据库管理还有考虑版本控制问题.MDBMS的组织结构⼀般分为三种:集成型,主从型,协作型.模型扩充主要技术策略:使关系数据库管理技术和操作系统中⽂件系统功能相结合,实现对⾮格式化数据的管理.将关系元组中格式化数据和⾮格式化数据装在⼀起形成⼀个完整的元组,放在数据页⾯或数据页⾯组中.将元组中⾮格式化数据分成两部分.⼀部分是格式化数据本⾝,另⼀部分是对⾮格式化数据的引⽤.动态注释:dynamic memo格式注释:formatted memo图形:graphic⾯向对象在⽀持多媒体应⽤⽅⾯具有⾃⼰独特的优点:⾯向对象模型⽀持"聚合"与"概括"的概念,从⽽更好地处理多媒体数据等复杂对象的结构定义.⾯向对象模型⽀持抽象数据类型和⽤户定义的⽅法,便于数据库系统⽀持定义新的数据类型的操作.⾯向对象系统的数据抽象,功能抽象与消息传递的特点使对象在系统中是独⽴的,具有良好的封闭性,封闭了多媒体数据之间的类型及其他⽅⾯的巨⼤差异,并且容易实现并进⾏处理,也便于系统模式的扩充和修改.⾯向对象系统的对象类,类层次和继承性的特点,因⽽避免了关系数据库中讨论的各种异常.⾯向对象系统的查询语⾔通常是沿着系统提供内部固有联系进⾏的,避免了⼤量的查询优化⼯作.总之,⾯向对象的数据模型允许现实世界的对象以更接近于⽤户思维的⽅式来描述,⽽且具有描述和处理聚集层次,概括层次的能⼒.能⽀持抽象数据类型和⾏为,可扩充性和可共享性好,适宜于表⽰和处理多媒体信息,也适宜于多媒体数据库中各种媒体数据的存取与不同操作的实现.基于内容检索技术的特点:从媒体内容中提取信息线索,直接对媒体进⾏分析,抽取特征(如基于表达式)提取特征⽅法多种多样.⼈机交互基于内容的检索采⽤⼀种近似的匹配技术.实现基于内容的检索系统主要有两种途径:⼀是基于传统的数据库检索⽅法.采⽤⼈⼯⽅法将多媒体信息内容表达为属性(关键词)集合,再在传统的数据库管理系统框架内处理⼆是基于信号处理理论.采⽤特征抽取和模式识别的⽅法来克服基于数据库⽅法的的局限性.特征匹配是基于内容检索的关键.MPEG-7:正式标准名称:多媒体内容描述接⼝(multimedia content description interface)描述模式:description scheme,DS描述定义语⾔:description definition language ,DDL是MPEG-7的核⼼MPEG坚持"制定最少的最有⽤的"原则.超⽂本(hypertext)结构采⽤⼀种⾮线的⽹状结构结构组织块状信息.超⽂本是由信息结点和表⽰信息结点间相关性的链构成的⼀个具有⼀定逻辑结构和语义的⽹络.结点为基本单元.第⼆代超⽂本系统与多媒体技术结合起来,为强调系统处理多媒体信息的能⼒⽽称为超媒体(hypermedia)系统,即超媒体=多媒体+超⽂本.超⽂本抽象机(hypertext abstract machine)HAM模型把超⽂本系统分为三个层次:⽤户界⾯层,超⽂本抽象机层,数据库层.例⽰:instantiation表现规范:presentation specification锚号:anchor id锚值:anchor value超⽂本主要成分:结点,链,宏结点.结点(节点)是超⽂本表达信息的⼀个基本单位.宏⽂本macrotext微⽂本microtext⽂献模型的基本任务:能够表⽰多媒体⽂献的内容层次性能够表⽰多媒体⽂献的版⾯布局能够表⽰多媒体⽂献的时间布局能够将内容与布局对应起来ODA(the office/open document architecture)HyTime全称为"Hypermedia/time-based structuring language"时基超媒体结构化语⾔Web系统是⽬前最流⾏的运⾏于Internet上的超⽂本系统.可扩展标记语⾔XML:extensible markup language主要有三个要素:⽂档定义(DTD/XML Schema),XSL和Xlink.XML提供了数据定义机制,⽬前存在两种⽅式:DTD和Schema动态⽹页⽣成技术:⽬前常⽤的有:ASP(active server pages)JSP(Java server pages)PHP(personal hypertext preprocessor)HTTP:hypertext transfer protocol超⽂本传输协议.缓存系统的体系结构:层次缓存结构.分布式缓存结构,混合的缓存结构缓存⽅式:预装preload技术,动态置换,部分缓存.LRU,least recently usedLFU,least frequently usedFIFO,first in first outLLF,lowest latency first所谓数据模型就是在计算机数据世界中建⽴的计算机所能接受的对现实世界中所要研究对象的抽象描述.具有两层含义:提供⼀种计算机可接受的信息表⽰和处理⽅法能够指出数据的构造,即能够表⽰数据及其属性特征,同时指出数据间的联系.对于多媒体系统的数据模型来说,其主要任务是:能够表⽰不同媒体的数据构造及其属性特征.所谓形式化描述就是⽤数学概念或类数学概念来精确地定义和描述信息系统的基本特性(属性和结构等)的⼀种⽅法.⽤集合论和⼀阶逻辑来抽象超⽂本模型.多媒体信息元:以⾃上⽽下的观点来看,多媒体信息元是具有⼀定语义的,组成信息系统应⽤的信息⼦块.以⾃下⽽上的观点来看,多媒体信息元是⼀个或多个媒体数据元经过⼀定的添加与包装⽽合成的超数据元.信息元的⼤⼩即是各种多媒体应⽤的公共需求,即信息元必须满⾜的特性.MHEG(Multimedia and Hypermedia Information Coding Expert Group)超⽂本信息元标准.采⽤⾯向对象的⽅法来分析设计模型.MH对象分成:输出内容对象 output content⼀般输⼊对象 generic input投射器对象 projector基本对象 basic合成对象composite条件与动作按钮button动作按钮action button暂停-继续按钮stay-on button切换按钮switch button菜单选择menu selection多项选择multiple selection字符串character string位置location数值numericla value时间合成的三种同步表⽰⽅法:层次化同步,基于时间轴的同步,基于参考点的同步.多媒体通信的特点:多媒体数据量⼤,存储容量⼤,传输带宽要求⾼.多媒体实时性.多媒体时空约束多媒体交互性分布式处理和协同⼯作多媒体通信实现途径:话路+视频⽹络+视频有线电视+交互功能多媒体通信的关键技术声⾳,视频,动画等的传输技术数据压缩和解压缩技术解决多媒体实时同步问题解决协议和标准化问题在模拟通信⽹上传输静态图像的电话称为可视电话⼀般分为四个组成部分:语⾳处理部分图像输⼊部分图像输出部分图像信号处理部分专⽤控制器是电视电话的核⼼.电话⽹是按模拟声⾳信号⽽设计的,传送带宽只有300---3400HZ,传输图像有困难,从⽬前情况来看,只能传送静态图像.帧中继(frame relay ,FR)是⼀种HDLC规程的宽带数据业务标准多媒体信息传输对⽹络性能的要求:吞吐量,是指⽹络传输⼆进制信息的速率,⼜称⽐特率或带宽.实时传输的活动图像是对⽹络吞吐量要求最⾼的媒体.传输延时(transmission delay)定义为从信源发出第⼀个⽐特到信宿接收到第⼀个⽐特之间的时间差,它包含信号在物理介质中的传播延时和数据在⽹中的处理延时.另⼀个常⽤的参数是端到端的延时.⽹络传输延时的变化称为⽹络的延时抖动(delay jitter):度量延时抖动的⽅法中常⽤的⼀种是⽤在⼀段时间内最长和最短的传输延时之差来表⽰.错误率:度量⽅式:误码率BER(bit error rate),包错误率PER(packet error rate),包丢失率FLR(packet loss rate)QoS:quality of service分布式多媒体系统的基本特征:多媒体集成性,资源分散性,运⾏实时性,操作交互性,系统透明性.分布式多媒体系统的层次结构:多媒体接⼝层:系统与各种媒体通信输⼊输出的接⼝,处于最低层.多媒体传输层流管理层多媒体表⽰层应⽤层.声⾳点播:audio on demand视频点播:video on demandIP电话:IP telephony分组实时视频会议:group realtime video conferencing从多媒体信息传输来讲,Internet提供两种类型的服务:⼀是可靠的⾯向连接服务,使⽤TCP协议,对信息包时延要求不⾼.⼆是不可靠的⽆连接服务,使⽤UDP协议,不保证丢失包,也不保证时延满⾜要求.⽬前,多媒体⽹络应该解决下⾯问题:提⾼⽹络带宽,减少延时,减少抖动.两个解决⽅法:扩⼤链路带宽,改进Internet协议.⽹络传输的⽅法根据传输⽬标的多少可分为:单播unicast,组播multicast,⼴播broadcast在Internet上要传输多媒体信息最常⽤的是单播技术.组播或称多播是指⽹上⼀点到⽹上多个指定点(同⼀个⼯作组类成员)传输信息.它是⼀种较好的节省带宽减少服务器负担的传输⽅法.Internet的IP地址分为五类:A,B,C,D,E.为⽀持组播功能,发送端和接收端及其之间的⽹络设施都必须具有多播功能.组播路由选择算法:泛洪法(flooding),⽀撑树(spanning tree),反向路径⼴播(reverse path broadcasting ,RPB),修剪的反向路径⼴播(truncated reverse path broadcasting ,TRPB),Steiner树.基于核⼼树的组播(core-based tree,CBT)组播路由选择协议:距离⽮量组播路由协议(Distance Vector Multicast Routing Protocol,DVMRP)组播开放最短路径优先路由协议(Multicast Open Shortest Path First Routing,MOSRF)协议独⽴的组播路由协议(protocol independent multicast,PIM),采⽤两种协议,PIM-DM(dense mode)和PIM-SM(sparse mode)底层传输系统 SDH,synchronous digital hierarchy多协议标识交换 MPLS,multi-protocol label switching标识交换路径 LSP,label-switched path标识交换路由器 LSR,label-switched router密集波分复⽤ DWDM,dense wave-division multiplexing电⼦布告栏系统 BBS,bulletin board system群决策⽀持系统 GDSS,group decision support systems影⽚点播 MOD,movies on demand远程购物 teleshopping远程学习 distance learning家庭银⾏ home banking远程医疗telemedicine电视会议video conferencing内容制作content production事务服务transaction services。
多媒体技术的基本概念、特点与应用一、多媒体技术的基本概念多媒体技术是以计算机为中心,将文本、图形图像、音频、视频和动画等多种媒体信息通过计算机进行数字化综合处理,使多种媒体信息建立逻辑链接,并集成一个具有交互性的系统技术。
这里的“综合处理”主要是指对这些媒体信息的采集、压缩、存储、控制、编辑、变换、解压缩、播放和传输等。
在应用上,多媒体一般泛指多媒体技术。
二、多媒体技术的特点(1)多样性多样性是指媒体种类及其处理技术的多样化。
多媒体技术涉及多样化的信息,信息载体自然也随之多样化。
多种信息载体使信息在交换时有更灵活的方式和更广阔的自由空间。
多样性涵盖两个方面的内容:①信息媒体的多样化:多样化的信息载体包括磁盘、光盘、语音、图形、图像、视频、动画等。
②多媒体计算机在处理输入信息时,不仅仅是简单获取及再现信息,还能够根据人的构思和创意对文字、图形及动画等媒体信息进行交互、组合和加工,从而丰富艺术创造的表现力,以达到生动、灵活、自然的效果。
多样化不仅是指多种信息的输入,即信息的获取(Capture),而且还指信息的输出,即信息的表现(Representation)。
输入和输出并不一定相同。
若输入和输出相同,就称为记录或重放。
如果对输入进行了加工、组合与变换,则称为创作(Authoring),这样可以更好地表现信息,丰富其表现力,使用户更准确更生动地接收信息。
(2)集成性集成性即多种信息媒体的集成和处理这些媒体的软硬件技术及其设备和系统的集成。
在多媒体系统中,各种信息媒体是由多通道同时统一采集、存储与加工处理,更强调各种媒体之间的协同关系及对其所包含的大量信息的利用。
在硬件方面,多媒体硬件系统(包括能处理多媒体信息的高速及并行的CPU多通道的输入输出接口及外设、宽带通信网络接口及大容量的存储器等)将所有硬件设备集成为统一的系统。
在软件方面,则由多媒体操作系统来管理多媒体开发与制作的软件系统、高效的多媒体应用软件和创作工具软件等。