一种Web新闻视频内容语义分析
- 格式：pdf
- 大小：306.33 KB
- 文档页数：7
一种W eb 新闻视频内容语义分析焦黎冰1封化民2,1何文才2,1李雪龙1(1西安电子科技大学通信工程学院,西安:710071;2北京电子科技学院,北京:100070)摘要:视频内容安全分析,是多媒体内容安全的重要研究领域和热点问题。
本文提出一种W eb 新闻视频内容语义分析方法,该方法在新闻视频故事单元分割的基础上,根据A S R (A uto m a tic Speech R ecognition)识别的脚本在语音上的相似性,通过计算拼音相似度的方法来获取语义关键词。
然后,利用W eb 获得与脚本相似的网页,从而得到新闻片段比较准确的内容语义。
通过对TRECV ID2005内中文新闻视频CCTV 4_NE W S 进行的实验表明,提出的方法是可行的。
关键词:视频分割;搜索关键词;拼音相似度中图分类号:TP391 文献标识码:A 文章编号:1672-464X 200804-0043-06A Se mantic Analysis Based Approach to Chi nese W eb -page N ews V i deoJ I A O L i-b i n g ,FE NG H u a -m i n ,HE W e n -c a i ,L I Xu e -l o ng(1.Depart m ent of Co mmun ica ti o n Eng i n eeri n g ,X idian Un i v ersity ,X ia 'n Shanx i 710071,Ch i n a ;2.Be ijing E lectron ic Sc i e nce&Techno l o gy I nstitute ,Beiji n g 100070,Ch i n a)Abstrac t :V ideo content secur ity ana l y si s i s an i m po rtant and hot t op i c .T his paper proposes a m e t hod for t he se m an tic analysis o f the Ch i nese ne w s v i deo .B ased on t he v i deo shot segm enta tion and sto ry segm entation ,w e calcu lates the P iny i n si m ilar i ty to fi nd the se m anti c keyw ords ,us i ng comparab ility of t he A S R transcri pt on vo i ce .A nd then ,the news W eb-page correspond i ng to the even t fro m W eb is obta i ned v i a the search eng i ne .F ina lly ,w ev 'e got mo re prec i se content se m anti c fo r the v i deo .T he exper i m ent resu lt on the set o f Chinese news v i deo (CCTV 4_NE W S)from the TRECV ID2005shows that our approach is feasi ble .K eywords :v i deo seg m ent ;search i ng keyword ;pi ny i n si m ilar ity1.引言WWW 的快速发展和普及,使得多媒体信息的交流达到了前所未有的深度和广度。
然而,W eb 是一个虚拟的开放环境,任何人和任何团体都可在其上发表言论和上载各种媒体资料。
W eb 新闻视频是视频的一种,是人们了解社会的重要途径,与人们的生活密切相关。
现在网上新闻节目越来越多,非法活动和不健康的信息,以及涉及恐怖、欺诈、邪教和反动内容的信息也充斥其中,危害人们身心健康,尤其是对青少年,危害性极大。
因此,从国家安全、社会稳定和创造健康文明的W eb 环境等各个方面考虑,需要对W eb 上新闻视频内容进行有效地监管,剔出那些不健康的、或对国家和社会造成不良影响甚至影响国家安定团结的新闻视频资料。
视频脚本在视频内容语义分析中占有非常重要的地位,但是一般的由ASR 得到的视频脚本都会有识别错误(尤其是人名和地名等专有名词),其结果也没有格式特征(例如标题、段落和标点符号等)。
如果能利用互联网上丰富的资源,如新闻网站,对新闻脚本进行修正和扩展,对我们进一步分析视频内容语义将有很大帮助。
新加坡国立大学的Chua 等人提出一种融合音视频特征,以及广泛的外部信息资源,例如W eb 以及报纸上的比赛报道和赛程直播,来提取事件的语义框架,但其研究仅限于体育视频[5]。
文[6]充分利用新闻视频脚本,借助Goog le 搜索引擎在网络中搜索与新闻视频相对应的新闻网页来代替新闻视频脚第16卷第4期 北京电子科技学院学报V o1.16N o .4 Journa l o f Be iji ng E lrctron i n Science and T echno l ogy Institute 2008年12月Jun .2008本,并帮助BBC 建立了海量新闻系统。
但是只是针对BBC 的新闻广播,也没有校正视频脚本中的错误词语,而是用新闻网页去代替新闻脚本。
北京电子科技学院多媒体实验室在WWW 多媒体内容安全监管方面做了大量的工作[1][2][3][4]。
本文针对新闻视频脚本识别中存在的问题,提出一种新的视频语义标注方法,该方法通过建立和使用新闻主题词库,引入拼音相似度来校正错误的关键词,并借助W eb 获取相关网页,得到新闻视频语义,从而克服了脚本的缺点。
本文是按如下方式组织的,第2节介绍系统框架及新闻视频故事单元脚本的提取,第3节介绍新闻视频语义关键词的提取与校对算法,并利用搜索引擎搜索到与脚本相似的网页,第4节提取网页的主题内容,并对其进行分析过滤。
第5节是实验结果及分析。
最后给出结论及未来工作。
2.系统框架图1系统总体框架图系统的整体框架如图1所示。
系统在新闻视频故事单元分割的基础上,首先采用ASR 来提取新闻视频故事单元的脚本。
对于含有识别错误的脚本,基于一个小型新闻主题词库,利用其语音上的相似性,通过计算拼音相似度来获取搜索关键词;利用搜索引擎搜索与脚本相似的网页。
最后,对网页进行主题内容抽取和过滤,与脚本进行比对,得到新闻视频比较准确的内容语义。
2.1提取新闻故事单元的脚本2.1.1新闻视频故事单元的分割一般来讲,人们对视频资料的记忆是事件的故事内容,而不是在镜头中出现的视觉感官上的改变,人们对于新闻视频的分类和检索大部分也是针对新闻视频中的故事内容的。
这样就需要将新闻视频内容按照逻辑单元进行组织,我们称这样单元为故事。
本文采用双层混合模型[1]对新闻视频进行故事单元分割。
整个分割过程在两个层次上进行,底层(镜头层):利用决策树算法进行镜头的分类;高层(故事层):利用隐式马尔可夫模型进行新闻故事的分割。
图2给出一个新闻视频分割示例。
图2视频故事单元分割2.1.2利用ASR 提取新闻故事的脚本我们对TREC V I D2005提供的CCTV4_NE W S 新闻视频集,按文[1]的方法对视频进行故事单元分割,根44 2008年 北京电子科技学院学报据新闻视频分割的结果,确定故事单元的分界点,即新闻故事单元的起止时间,基于分界点提取新闻视频故事单元对应的ASR 文本,提取的新闻视频脚本采用XML 方式存储。
XML 内容主要描述了新闻视频的视频文件的名称,新闻视频所在的本地目录,新闻视频的录制时间,新闻视频的长度,新闻频道和ASR 等信息。
ASR 信息采用微软的中文语音识别软件获取。
新闻视频的ASR 脚本往往存在许多错误,如下例所示来自2004年11月16日CCTV4的 简明新闻!的视频脚本识别内容:"计划着这些消息据美国有线电视新闻网十六号报道美国国土安全部部长李琦将此事在此之前的美国国务卿克里刨为二十五还宣布他已经向总统布什提交了辞呈白宫发言人随后政策的消息凌。
这种和高级官员投入股市将任命卸任总统国家安全事务助理莱斯解题鲍威尔本人古迹遗址此外故事还得任命莱斯的副手负责国家安全事务的副古文辞比分哈德利解题莱斯在说些意见的人看着将安全事务助理的一草一木门"。
3.新闻视频语义关键词的提取与校对方法3.1新闻视频文本预处理从上面ASR 识别的脚本我们可以看到,ASR 存在很多错误,而且没有段落结构,句法混乱。
怎样把这样的脚本与新闻网页联系在一起呢?通过观察分析发现,ASR 虽然句子的可读性很差,但是ASR 中的部分命名实体(例如:人名、地名和组织名等)可以进行校正。
如果能把这些词提取出来作为线索,到网络上搜索与之对应的网页,就能更好地表达和扩展视频语义。
本文首先对故事脚本进行分词处理,然后统计词频,标注词性。
3.2提取搜索关键词本文中的搜索关键词区别于一般的关键词,主要是新闻发生的时间、地点、人物和事件。
这里我们采用经典的TFI DF [1]算法来提取搜索关键词。
根据我们搜索新闻的习惯,即通常搜索新闻发生的时间、地点、人物、事件等,我们给人名、地名、组织名设置了不同的权重,分别设为0.3、0.2、0.3,而一般名词和习语的权重则为0.1、0.1。
w ij = j TF i *I DF i = j TF *log 2(1+N /n i )(1)其中,w ij 表示词语i 的权重,j 表示词语的词性,系数 j 表示不同词性词语的权重;TF i 表示词语i 在该脚本中出现的频率;I DF i 表示该词语的反脚本频率;N 是整个训练集的脚本个数,n i 是包含该词语i 的脚本个数。
通过计算,按照权值大小从小到大将词语排列,我们取前20个权值最大的词语作为搜索关键词。
对2.1.2中所列ASR 脚本处理后得到的搜索关键词如下:"莱斯""美国""李琦""克里""白宫""哈德利""布什""事务""有线电视""遗址""新闻网""文辞""副手""比分""安全部""国土""古迹""消息""国务卿""辞呈"3.3搜索关键词的校对算法可以看到,通过TFI DF 算法得到的关键词基本可以反映新闻视频的内容语义,但是仍然有一些错误的词语,而且权值很高,可见其在脚本中出现的频率很高。
