增加电极位置信息的电子耳蜗听觉仿真模型

  • 格式:pdf
  • 大小:311.32 KB
  • 文档页数:5

第31卷第1期 哈 尔 滨 工 程 大 学 学 报 Vol .31№.12010年1月 Journal of Harbin Engineering University Jan .2010doi:10.3969/j .issn .1006-7043.2010.01.023增加电极位置信息的电子耳蜗听觉仿真模型关 添1,宫 琴1,2(1.清华大学生物医学工程研究中心,广东深圳518055;2.清华大学医学院,北京100084)摘 要:为了改进以正弦信号合成的电子耳蜗听觉仿真模型在仿真电子耳蜗植入患者所感知的语音信息的缺陷,建立了增加电极位置信息的正弦信号合成的听觉仿真模型.通过大样本量的不同汉语语言材料的听觉仿真实验,其中包括按元音、辅音、数字、音调和单字词等5种汉语语言材料,研究了基于连续交叉采样算法的不同实验条件下电极位置对言语识别率的影响,得出了汉语元音和单字词对植入深度更加敏感的结论.为进一步将这一仿真模型应用到电子耳蜗研究上奠定了基础.关键词:电子耳蜗;听觉仿真模型;语音信号处理;电极位置信息中图分类号:R318.18 文献标识码:A 文章编号:100627043(2010)0120128205An enhanced acousti c si m ul ati on model for cochleari m pl ants usi n g electrode site i n for mati onG UAN Tian 1,G ONG Q in1,2(1.Research Center of B i omedical Engineering,Tsinghua University,Shenzhen,518055,China;2.Medical School,Tsinghua Uni 2versity,Beijing 100084,China )Abstract:Pr oble m s occur in acoustic si m ulati on models based on synthesizing sinus oidal signals t o test cochlear i m p lant patients’ability t o recognize s peech inf or mati on .An i m p r oved acoustic si m ulati on model was pr oposed that synthesizes si 2nus oidal signals that are adapted t o electr ode sites .A large nu mber of ex peri m entswere run using differentMandarin ma 2terials,including v o wels,cons onants,nu mbers,t ones and monosyllabic words .All ex peri m ents were based on continu 2ous interleaved sa mp ler (C I S )alg orith m with different electr ode inserti on depths .Results de monstrated that Mandarin v o wels and monosyllabic words were co mparatively sensitive t o electr ode inserti on depth .It established an i m portati on f oundati on f or electr ode site inf or mati on in cochlear i m plant acoustic si m ulati on models .Keywords:cochlear i m p lant;acoustic si m ulati on model;s peech p r ocessing;electr ode site inf or mati on收稿日期:2008210209.基金项目:国家自然科学基金资助项目(30800234);北京市自然科学基金资助项目(3082012);伍舜德博士医学科学研究基金资助项目(20240000806).作者简介:关 添(19782),男,博士后;宫 琴(19682),女,副教授,E 2mail:gongqin @mail .tsing 2hua .edu .cn . 电子耳蜗(cochlear i m p lant,C I )是目前唯一能使全聋患者恢复听觉的装置[1].听觉仿真实验已被很多国内外研究者用来测试各种传递不同语音信息的算法对言语理解的影响.电子耳蜗听觉仿真模型是基于人耳的生理结构和听觉认知的基本原理,根据不同的算法结构采用不同仿真方法来模拟电子耳蜗植入患者所感知的语音信息.由于植入患者只能利用有限的信息表征语音信号,而丢掉了某些细节特征;正常听力人群的听力系统中也只有听神经元的对应部分可以被兴奋,而其余的听神经元则不能被兴奋.因此,可以利用简化的耳蜗模型对语音信息进行处理,这样得出的合成声音只包含电子耳蜗所传递的信息,从而建立起特定语音处理算法的电子耳蜗仿真模型.电子耳蜗的听觉仿真模型根据合成仿真声音的信号特点分为3类:1)正弦信号合成的听觉仿真模型;2)噪声信号合成的听觉仿真模型;3)高斯包络音调脉冲信号合成的听觉仿真模型.正弦信号合成的听觉仿真模型利用每个通道通过带通滤波后的信号包络来调制一组不同频率的正弦信号(正弦信号的频率对应该滤波器通带的中心频率),最终将正弦信号合成得出仿真声音[2].噪声信号合成的听觉仿真模型利用通过带通滤波器的语音信号包络调制通过同样通道数的白噪声脉冲序列,调制后脉冲序列的组合合成出仿真声音[3].高斯包络音调脉冲信号合成的听觉仿真模型利用高斯包络调制一组纯音(或者噪声)信号(纯音信号的频率对应电极位置信息)生成脉冲序列,然后利用对应通道的语音信号包络再对该脉冲序列进行幅度调制,最终合成仿真声音[4].这3类常用的仿真模型中只有第3类模型利用纯音信号的频率对应电极的位置信息,其他2类模型由于没有传递电极植入深度和位置信息,而不能进行针对患者实际植入情况的个性化仿真[5].研究中,建立了增加电极位置信息的正弦信号合成听觉仿真模型,并利用正常人的听觉仿真实验讨论了电极植入深度这一参数对于汉语言语理解的影响,得出了不同植入深度对不同汉语材料的言语识别率.1 增加电极位置信息的电子耳蜗听觉仿真模型 在听觉仿真实验中,受测试的正常听力人群对只夹带部分语音信息的声音进行识别、分辨,因此仿真实验的结果可以有效的对患者言语康复能力进行评估,并为改进语音信号处理算法提出方案.增加电极位置信息的电子耳蜗听觉仿真模型按照图1的结构建立.对于输入的语音信号,先经过预处理,预处理包括预加重、分帧和加窗等等.实际处理中,预加重通过一阶差分实现.语音信号预加重补偿高频衰减后划分为10m s左右的数据帧,帧内信号加汉明窗.经过预处理后的信号帧,进入带通滤波器组进行滤波处理.带通滤波器组为恒Q的Butter2 worth II R滤波器,将信号分为N个频带.每个频带的语音信号用H ilbert变换加低通滤波提取出其包络信号.提取出来的包络信号用来调制相对应的正弦信号的幅度从而生成合成仿真语音.为了增加电极位置信息,表征电极位置信息的正弦信号频率并未选择对应的分析滤波器频带中心频率,而是根据加拿大学者Green wood精确确定的人耳声音频率与共振幅度峰值之间关系[6]计算得出该电极位置对应的引起共振幅度峰值的声音频率.合成仿真语音的相位信息由原始语音进行傅里叶变换后得到,由此得出的各通道正弦信号相加就得到了电刺激听觉仿真的最终合成语音.图1 增加电极位置信息的C I听觉仿真模型框图Fig.1 The diagra m of the enhanced acoustic si m ulati onmodel of C I i m p lant with electr ode site infor mati on 建立的8通道的C I S算法听觉仿真模型程序由Matlab语言编写.语音信号单声道录制,采用率为16kHz.仿真模型读入语音信号后,先将语音信号插值,将采样率提高到44kHz.然后进行分帧处理,每帧信号加汉明窗后进入帧信号处理程序.带通滤波器组用8阶Butter worth滤波器设计,划分为8个频带.滤波器组的截止频率分别为260、526、850、1270、1786、2431、3237、4242、5500Hz.每个频带的滤波后的信号利用H ilbert变换和低通进行包络提取,低通滤波截止频率为400Hz.正弦信号的频率由Greenwood公式根据电极具体分布位置计算得出.其中:f=A(10ax-k)代表耳蜗一定基底膜位置能产生共振幅度峰值的声音频率,即计算得出的正弦信号频率,A=165.4,k=1,x 表示电极位于耳蜗基底膜的位置(从耳蜗顶部开始计算的距离),α=0.06.当植入深度为L=26mm,8个电极平均分布时,计算得出的代表电极位置信息的正弦信号频率分别为:269、561、1048、1862、3222、5494、9289、15630Hz.提取出来的各个通道的包络信号调制该通道对应电极位置的正弦信号,最终合成仿真语音.2 听觉仿真实验方法2.1 志愿者信息共有24人参加了本实验.志愿者均为20230岁的听力正常且对汉语普通话有较高使用水平的大学生.实验选择在安静的专用实验室进行.・921・第1期 关 添,等:增加电极位置信息的电子耳蜗听觉仿真模型2.2 实验条件语言材料的选择:实验采用的语言材料来自于清华大学计算机系人机语音交互课题组的数据库.通道数的选择:由于本实验着重验证复合电声刺激对汉语普通话的言语识别能力的影响,为了排除通道数的影响,将通道数固定为8.即保证了仿真模型的有效性,又减少了数据的计算量.按照实验汉语语言材料,将其划分为元音、辅音、数字、音调和单字词5个部分,每个部分又根据植入深度的不同划分为植入深度为26、24、22和20mm4组.2.3 实验方案及测试过程志愿者预先要进行汉语普通话水平预实验,用来检测志愿者对于普通话的掌握水平.志愿者通过耳机听到2句女声发生的长句,每个句子播放2遍,并把听到的内容写在答题纸上.识别率在90%以上的志愿者才可以认为是熟练使用普通话的受试者,才可以按照如下实验顺序进行听觉仿真实验.首先进行仿真声音的试听,反复播放2次一个女声发声的纯净语音句子和C I S算法仿真后的声音,让受试者适应正弦背景的仿真声音.随后进入音素测试(元音测试和辅音测试).测试表的语言材料均采用了汉语最低听觉功能测试表(MACC)[728].原始语音的抽样率为16kHz.元音测试共有125题,主要用来检测分辨该条件下患者对汉语元音方面的听觉感知能力.为了反映汉语元音的特征并符合汉语语音规律,词表的选词尽量维持元音的语音平衡,再与适当的辅音、声调搭配构成音节.元音测试采用封闭式测试,每个题目有4个备选答案.每小组中的4个字(1个发音词,3个陪衬词),其辅音、声调一致,差别仅在元音.整个元音测试共选用了《汉语拼音方案》韵母表中35个韵母中的33个.辅音测试共有125题,主要用来评估不同条件下患者对汉语辅音识别的效果.辅音选词同样尽量维持语音平衡,选用了《汉语拼音方案》中的21个声母.由于本测试表组次少,如果严格按照汉语发音频率计算,就会造成高频者集中出现,低频率者不出现的现象.因此,考虑到辅音分析的必要性,采用大面积覆盖选词发音.除了‘s’外,其他声母均被选用.元、辅音测试识别率均为选择正确的题数除以总题数得出.数字测试主要用来评估患者对汉语数字识别的效果.数字选择1~10十个数字,数字平均分布,封闭式测试,共有110题.声调测试主要用来检测患者分辨汉语声调方面的听觉感知能力,共包括125题.通过选取适当的元音和辅音搭配构成音节,再搭配不同的声调生成仿真声音,每小组中的4个字(1个发音词,3个陪衬词),其元音、辅音一致,差别仅在声调.测试采用封闭式测试,每个题目有4个声调的备选答案.受试者在听到仿真语音后,选择正确的声调写在答题纸上,其测试识别率为选择正确的题数除以总题数计算得出.最后进入单字词测试.词语测试共有125题,选词同样考虑到了语音平衡.词语测试采用了开放式测试,不再有备选答案.受试者在听到仿真的语音后,将听到内容的汉字或者汉语拼音写在答题纸上,没听清的内容鼓励受试者猜测后填出.词语测试识别率为填写正确的字数除以总字数计算得出.3 实验结果和讨论图2为一段汉语语音(女生发声的“shi2”)及其增加电极位置信息的电子耳蜗听觉方针模型合成的仿真语音的时频分析结果对比(1kHz以内频段).图2 原始语音与增加电极位置信息的电子耳蜗听觉方针模型合成的仿真语音时频分析结果Fig.2 Ti m e2frequency distributi on map s of an original monosyllabic word and its synthesized voice by co2chlear i m p lant acoustic sti m ulati on model with e2lectr ode site infor mati on.从图2中可以看出,原始语音包含有精细结构,而仿真语音仅包含了电子耳蜗所传递的语音信号的・31・哈 尔 滨 工 程 大 学 学 报 第31卷幅度信息,却丢掉了语音信号的精细结构等细节信息,如从0.2~0.67s 这一段,包含3个较清晰的分别起始于200、400、600Hz 并逐渐上翘的频率成分,但仿真语音(b )图中仅主要含有起始于400Hz 较平坦的一段频率信息,已经不包含原始的上翘信息了.因此仿真语音只能兴奋正常听力人群听力系统中对应部分的听神经元,而其余的听神经元则不能被兴奋,从而建立起特定语音处理算法的电子耳蜗仿真模型.图3为安静条件下不同植入深度不同汉语语言材料C I S 算法的言语识别率统计结果.从实验结果可以得出如下结论:在安静条件下,随着植入深度的不断减少,各种语言材料的识别率不同程度的下降.当植入深度下降为22mm 时,元音(L =22vs L =26:F =15.42,P <0.001)和单字词(L =22vs L =26:F =24.19,P <0.001)较植入深度26mm 均有显著意义的下降.当植入深度下降为20mm 时,元音(L =20vs L =26:F =77.55,P <0.001)、辅音(L =20vs L =26:F =76.54,P <0.001)、数字(L =20vs L =26:F =90.81,P <0.001)、音调(L =20vs L =26:F =15.18,P <0.001)和单字词(L =20vs L =26:F =103.23,P <0.001)较植入深度26mm 均有显著意义的下降.图3 安静条件下不同植入深度不同汉语语言材料C I S 算法的言语识别率Fig .3 Recogniti on rates of Mandarin materials basedon C I S algorith m with different electr ode inser 2ti on dep th (in quiet ).从图3中看出:数字相对元音、辅音等其他进行封闭式测试的语言材料取得了更高的识别率,主要原因是构成1~10数字的音节只有1和7在声调、元音上一致,其他数字之间的音节构成差别很大,更加容易分辨,从而提高了识别率.由于临床实验验证方法实验周期长、对象个体差异大、需要患者主观配合等等困难,很难在算法开发的过程中应用,听觉仿真模型的建立解决了这一问题.电子耳蜗的仿真模型都是用有限的信息表征原始语音信号,以模拟植入电子耳蜗的患者所感知的语音信息.大部分算法研究文献[9211]都是采用了听觉仿真的方法对新算法进行验证.植入深度对于复合电声刺激技术是一个非常重要的参数.随着植入深度的不断减小,各种语言材料的识别率有不同程度的下降.这就提示临床植入电子耳蜗时,应根据患者具体情况尽量选用较长的电极以增加植入电极长度,从而更好的恢复患者的言语恢复能力.随着植入深度的不断减少,电极位置不断靠近蜗底,代表电极位置信息的正弦信号频率不断增大.一方面患者所感知的低频语音信息频移到高频段,形成了患者低频段听觉感知的缺失;另一方面,随着代表电极位置信息的正弦信号频率不断增大,电子耳蜗传递的各个通道的语音包络信号变化的频率(低通400Hz 以内)相比对应该通道电极位置的正弦信号频率的比值更小,即该包络信号的频率变化信息更难被患者感知.因此语音信号的基频、倍频以及共振峰等变化信息愈加不能有效传递,导致了更加依靠这些低频信息来分辨语义的元音和单字词识别率明显下降(L =22mm 时只有元音和单字词较L =26mm 有显著意义下降),即汉语元音和单字词的识别对植入深度更加敏感.4 结束语研究中所建立的听觉仿真模型通过计算患者不同耳蜗位置感知的声音频率,建立了增加电极位置的信息的电子耳蜗听觉方针模型,改进了以正弦信号合成的仿真模型在这方面的缺陷.并通过大样本量的不同汉语语言材料的听觉仿真实验讨论了不同条件下电极位置对言语识别率的影响,得出了汉语元音和单字词对植入深度更加敏感的结论,为进一步的将这一模型应用到电子耳蜗研究(例如改变刺激速率对基频等频率信息直接编码、复合电声刺激研究等)上奠定了基础.・131・第1期 关 添,等:增加电极位置信息的电子耳蜗听觉仿真模型参考文献:[1]AY S U,ZE NG F G,SHE U B J.Hearing with bi onicears[J].I EEE Circuits&DevicesMagazine,1997,13(3): 18223.[2]关 添,叶大田.电子耳蜗N ofM语音处理算法仿真模型的建立和研究[J].北京生物医学工程,2006,25(6):5762578.G UAN Tian,YE Datian.A s peech p r ocessing study thr oughbuilding the acoustic model of N of M strategy used in co2 chlear i m p lant[J].Beijing B i omedical Engineering,2006, 25(6):5762578.[3]黄盛杨,白 皛,叶大田.基于噪声调制的电子耳蜗听觉仿真模型的建立[J].北京生物医学工程,2006,25(6):5732575.HUANG Shengyang,BA I Xiao,YE Datian.The realizati on of acoustic model based on noise modulating f or cochlear i m2 p lantati on[J].Beijing B i omedical Engineering,2006,25(6):5732575.[4]LU T,ZE NG F G.On acoustic si m ulati ons of cochlear i m2p lants[C]//Conference on I m p lantable Audit ory Pr osthesis(C I A P)ke Tahoe,CA,2007.[5]DOR MAN M F,SP AHR A,LO I Z OU P C,et al.Acousticsi m ulati ons of combined electric and acoustic hearing(E AS)[J].Ear Hear,2005,26(4):3712380.[6]GREE NWOOD D D.A cochlear frequency2positi on functi onf or several s pecies229years later[J].J Acoust Doc Am,1990,87(6):259322605.[7]张 华,曹克利,王直中.汉语最低听觉功能测试的设计及初步应用[J].中华耳鼻喉科杂志,1990,25:79282.ZHANG Hua,C AO Keli,WAND Zhizhong.Design and p reli m inary of app licati on of the m ini m al audit ory capabili2 ties in Chinese[J].Chinese Journal of O t orhinolaryngol ogy.1990,25:79282.[8]韩德民,许时昂.听力学基础与临床[M].北京:科学技术文献出版社,2004:3052325.[9]BLAMEY P J,MARTI N L F,C LARK G M.A comparis onof three s peech coding strategies using an acoustic model ofa cochlear i m p lant[J].J Acoust Soc Am,1985,77(1):2092217.[10]DOR MAN M F,LO I Z OU P C,RA I N EY D.Speech intel2ligibility as a functi on of the nu mber of channels of sti m ula2 ti on f or signal p r ocess ors using sine2wave and noise2band out puts[J].J Acoust Soc Am,1997,102(4):24032 2411.[11]STI CK NEY G,ZE NG F G,L I T OVSKY R,et al.Cochleari m p lant s peech recogniti on with s peech masker[J].JAcoust Soc Am,2004,116:108121091.[责任编辑:郑可为]・231・哈 尔 滨 工 程 大 学 学 报 第31卷。