多模态深度学习
————————————————————————————————作者: ————————————————————————————————日期:
Ｍuｌtｉmodal Deep Learniｎg（多模态深度学习)未完待续
原创20１6年０６月22日08:53:40
摘要：
本文提出一种在深度网络上的新应用，用深度网络学习多模态。特别的是，我们证明了跨模态特征学习——如果在特征学习过程中多模态出现了,对于一个模态而言，更好的特征可以被学习(多模态上学习，单模态上测试)。此外，我们展示了如何在多模态间学习一个共享的特征，并在一个特别的任务上评估它——分类器用只有音频的数据训练但是在只有视频的数据上测试（反之亦然)。我们的模型在CUAVE和ＡＶLeｔterｓ数据集上进行视-听语音分类,证明了它在视觉语音分类（在AＶＬｅtters数据集上)和有效的共享特征学习上是已发表中论文中最佳的。
1．介绍
在语音识别中,人类通过合并语音－视觉信息来理解语音。视觉模态提供了发音地方和肌肉运动的信息,这些可以帮助消除相似语音（如不发音的辅音）的歧义。
多模态学习包括来自多源的相关信息。语音和视觉数据在语音识别时在某个“中间层”是相关的,例如音位和视位;未加工的像素是很难与语音波形或声谱图产生相关性的。
在本文中,我们对“中间层”的关系感兴趣,因此我们选择使用语音－视觉分类来验证我们的模型。特别的是，我们关注用于语音识别的学习特征,这个学习特征是和视觉中的唇形联系在一起的。
全部任务可分为三部分－特征学习、有监督训练和测试。用一个简单的线性分类器进行有监督训练和测试，以检查使用多模态数据的不同的特征学习模型（eg:多模态融合、跨模态学习和共享特征学习...）的有效性。我们考虑三个学习布置——多模态融合、跨模态学习和共享特征学习。
（如图1所示）多模态融合:数据来自所有模态，用于所有模态。跨模态学习：数据来自所有模态,但只在某模态可用。共享特征学习：训练和测试用的不同模态的数据。如果特征可以在跨不同模态下捕获相关性，这会允许我们进行评价。特别的是，学习这些布置可以使我们评估学到的特征是否具有模态不变性。
接下来，我们描述模型的构造块。然后，我们实现了不同的使用深度学习的多模态学习模型,这些模型可以实现不同的多模态任务。最后,我们展示实验结果和总结。
２．背景
深度学习的当前工作已经测试了deeｐsigmoidal netｗｏｒks是如何被训练的，以产生有用的用于手写数字识别和文本的特征。当前工作的关键在于使用RBMs（Ｒeｓｔrｉｃted Bolｔzma ｎn Ｍachines）微调的进行贪心的逐层训练。我们使用一个扩展的稀疏RＢMs，它学习到的特征对于数字和自然的图像来说是有意义的特征。
2.１稀疏RBMs
为了正则化模型使其稀疏，我们让每个隐藏层单元有一个使用了正则化惩罚的预先期望的激活函数,这个正则化惩罚的形式是
，其中是训练集,决定了隐藏层单元激活函数的稀疏性（就是隐藏层单元激活函数是否被激活)。３.学习结构
这部分描述我们的模型，用它来完成语音-视频二模态的特征学习任务。输入到模型里的语音和视频是连续的音频和视频图像。为了推出我们的深度自编码模型,我们先描述一些简单的模型以及他们的缺点。(下面的都是预训练模型）
I．RBM模型。用其分别训练语音和视频,学习RBM之后,在v固定时得到的隐藏层值可以作为数据的一个新特征。我们将这个模型作为基准来比较我们的多模态模型的结果,也可以将其用来预训练我们的深度网络。
?
II.为了训练多模态模型，一个直接的方法是训练一个把语音和视频数据连接在一起的RBM。虽然这个模型联合了语音和视频数据的分布，但它仍是一个浅层模型。语音和视频数据之间的关联是高度非线性的，RBM很难学习这些相关性形成多模态特征。事实上，我们发现在隐藏层单元学习到的浅层的二模态RBＭ结果与单模态下的值有很强的关联,但与跨模态下的值就没有。
IＩI.因此，我们考虑在每个模态的预训练层贪婪的训练一个Ｒ
BM，前面()的第一层的隐藏值作为新层的训练数据。通过学习到的第一层特征来表示数据可以更容易的让模型来学习跨模态的高阶相关性。通俗的来说，第一层特征相当于音位和视位，第二层模型化了他们之间的关系。
然而，上述的多模态模型还有两个问题。第一,没有明确的目标提供给模型去发现跨模态间的相关性；一些隐藏层单元只针对语音调整参数，另一些只针对视频调整参数,这样模型才有可能找到想要的特征。第二,在跨模态学习布置中只有一个模态用于监督训练和测试，这样的模型显得很笨拙。只有一个模态呈现,就要整合没有观察到的可见变量来推理。
因此，我们提出解决以上问题的深度自编码模型。我们首先考虑跨模态学习布置:特征学习过程中两个模态都呈现了,但只有一个模态用于有监督训练和测试。当只给视频数据时，深度自编码模型用于训练重建语音和视频模态（图3a)。我们用二模态的DBN（D ｅeｐbelieｆｎetｗork）权重(图2d）去初始化深度自编码模型。中间层可以作为新特征表示来用。这个模型可以看做多任务学习的一个实例。
我们在布置中使用图3a模型。另一方面,当多模态适合任务时,并不清楚如何使用模型针对每个模态进行深度自编码训练。一个直接的方法是训练解码权重ｔied（这个我也不知道怎么理解）的网络。但是，这样的方法扩展性不是很好——如果在测试时我们允许任意模态相结合形成特征,我们将需要训练指数级数量的模型。
受到降噪自编码模型的启发，我们提出训练二模态深度自编码模型（3b),它使用了一个扩充（对单模态输入的扩充)但是有噪声的数据集。实际上,我们扩充时一个模态用全零作为输入，另一个模态用原始值作为输入，但是依旧要求模型重建这两个模态。因此,三分之一的训练数据只有视频作为输入,三分之一的训练数据只有语音作为输入，最后三分之一既有视频又有语音。
由于使用了稀疏RBMｓ进行的初始化,我们发现就算深度自编码训练之后，隐藏层单元还是有低期望激活函数。因此，当一个输入模态全设为零，第一层特征也接近于零。所以,我们本质上训练了一个模态特别的深度自编码网络（３a）。当某个模态输入缺失时，这个模型仍是鲁棒的。
4.实验和结果
我们用分离字母和数字的语音-视频分类来评估我们的模型。稀疏参数采用交叉核实来选择，即其它所有参数都保持固定（包括隐藏层大小和权重调整）。
4.1数据预处理
我们用时间导数的谱来表现语音信号，采用PCＡ白化(就是归一化）将４８3维减少到10０维。
对于视频，我们预处理它以便于只提取嘴部的ROI（感兴趣区域）。每个嘴部ROI都缩放到60*80,进一步使用PCA白化减少到32维。我们用4帧连续视频作为输入,这近似于10帧连续的语音。对每个模态，我们都在时间上进行特征均值归一化,类似于去除直流分量。我们也注意到在特征里增加时间导数，这种用法在文献里有很多，它有助于模拟不断变化的语音信息。时间导数用归一化线性斜率计算,所以导数特征的动态范围可以和原始信号媲美。
４.2数据集和任务
我们保证没有测试集数据用于无监督特征学习。所有的深度自编码模型都用全部无标签的语音和视频数据来训练。
我们注意到在所有的数据集中,就唇的外表、定位和大小是多样性的。对每个语音－视频剪切块，我们从其帧的重叠序列中提取
出特征。由于每个样本都有不同的持续时间，我们将每个样本分割成S个相等的块，用平均值表示每块。来自所有块的特征随后连接在一起。特别的是，我们使用S＝１和S=3时的特征结合形成我们最终的特征,用ＳVM来进行分类。
４．3跨模态学习
我们评估如果在特征学习过程中给的是多模态数据,我们是否可以在一个模态上学习到很好的特征。
诗梦江南，入画寻踪 ——长清区实验小学江南深度研学实践之旅 【课程简介】 一道水，一架桥，一支橹声，隽秀婉约的聚合了太多的历史文化。此次研学活动旨在让同学们了解祖国江南，同时感受一场从远古传说，到春秋的吴越文化，到南北朝的文人风骨，再到明清以及近代的大儒伟人的历史盛宴。活动中，同学们将一起寻访王羲之、蔡元培、鲁迅、周恩来等名人伟人故里，穿越历史，冶爱国之志，体悟文化魅力；一起走进园，欣赏宋代江南私家园林的秀美景观，探寻园林蕴含的文化涵；一起游历西湖，领略“淡妆浓抹总相宜”的如画美景；一起走进综合性人文科学博物馆博物馆、中国黄酒博物馆，全面了解历史文化。 【课程特色】 ●文化名镇江南风采 ●穿越时空触摸历史 【行程简表】
上午探访安昌古镇漫游小桥流水梦回江南水乡游历江南小镇，画笔描绘 第五天 下午乘坐高铁前往：车次G60东-西 15:22-19:48辅导员送站一次相聚一生情谊备注：因天气交通等原因，组委会保留调整活动顺序及个别项目的权力，保证活动总量不变。 【活动费用】 2900/人；包含火车（往返高铁）及活动期间所有的费用。 ?【人文积淀-理性思维】·第一天下午·钱塘江·六和塔 钱塘江潮被誉为“天下第一潮”，是世界一大自然奇观，它是天体引力和地球自转的离心作用，加上湾喇叭口的特殊地形所造成的特大涌潮。六和塔位于省市西湖之南，钱塘江畔 月轮山上，是中国现存最完好的砖木结构古塔之一。 小任务1：学生面对浩渺的钱塘江，接受审美教育，并结合手册提示，探究钱塘江大潮的在科学原理； 小任务2：学生走进六和塔，收集关于六和塔的传说故事，留下自己与六和塔最美的合照； ?【审美情趣-人文积淀】·第二天上午·西湖·省博物馆 西湖，是一首诗，一幅天然图画，一个美丽动人的故事，不论是多年居住在这里的人还是匆匆而过的旅人，无不为这天下无双的美景所倾倒。平湖秋月、断桥残雪、柳浪闻莺、花 港观鱼、雷峰夕照、双峰插云、南屏晚钟、三潭印月，西湖十景个擅其胜。省博物馆是省规 模最大的综合性人文科学博物馆，文物品类丰富，年代序列完整。 小任务1：集体创绘，全体学生齐动手，集体协作，面对美景，协作创作最美的西湖； 小任务2：走进博物馆，寻访国宝，找一找最能代表江南文化的文物，向小组同学分享并交流；
城市道路工程可行性研究报告文件编制深度（提纲） 1 概述 工程项目的背景，建设的必要性以及项目研究过程。 编制依据经批准的项目建议书或立项批准文件。 委托单位的委托书及有关的合同、协议书。 其它依据性文件。 批准的道路网规划及城市排水规划。 研究的范围及内容。 主要研究结论。 对预可行性研究报告（项目建议书）批复意见执行情况。 工程项目结论性评价和推荐方案概述（道路等级、功能定位、技术标准、主要技术指标、程规模范围、设计内容、建设进度计划、项目建设必要性、技术可行性、社会环境效益等）。 对下阶段工作的建议。 2 现状评价及建设条件 区域概况。 道路现状及评价。 现状道路交通量及评价。 沿线建筑、文物古迹、树木、河流、湖泊及地上杆管线等情况。 沿线水文地质等到自然条件，地震烈度区划。 工程地质资料。 3 道路规划及交通量预测 4采用的规范和标准 5工程建设必要性 论证分析道路沿线土地资源使用情况及将来开发情况，论证道路修建的可能性和必要性。论证经济发展对道路交通的要求，分析主要交通源的特点。 论证修建道路对交通量增长的满足程度。 论证修建道路对工农业生产和人民生活的改善程度。 论证修建道路对环境的影响及环境改善的要求。 论证对文物古迹、树木等的保护措施。 6工程方案内容（进行多方案比选） 工程方案内容（进行多方案比选）方案设计原则。 总体方案总体布置方案。 主要节点方案 工程建设范围及规模。 道路工程 道路(含主、辅路)平纵横设计方案。 道路交叉设计方案。
路基、路面、挡土墙及附属构筑物设计方案。 人行道及过街设施、公交停车站及无障碍设施等。 道路景观设计方案。 桥梁与隧道工程。 沿线桥梁与隧道工程概况。 技术标准。 桥梁与隧道设计方案。 排水工程排水工程概况。技术标准。 排水工程设计方案。附属工程。交通安全及管理设施。 照明工程。 绿化工程。 其它附属工程（管线综合布置方案等）。 7环境评价 大气环境质量。 交通噪声。 振动环境质量。 日照环境质量。 8新技术应用及建议科研项目 9工程建设阶段划分和进度计划安排设想 10 征地拆迁及主要工程数量11 资金筹措 12 投资估算及经济评价见本规定《投资估算经济评价和概预算文件》的相关章节 13 结论和存在问题 结论意见 根据论证，提出结论性评价和推荐方案的意见。存在问题和建议。 14 附图 道路区域地理位置图。 道路平面及纵断面图，平面 1：2000~1：5000。垂直 1：50~1：100。 道路规划横断面及拟建横断面布置、路面结构方案图。 主要节点方案图。 桥梁与遂道工程方案图。 排水工程方案图。 附属工程方案图。 15与编制依据有关的文件和附件 附注：
569小动物多模态分子医学影像系统院系：工学院 小动物多模态分子医学影像系统 国家重大科学仪器设备开发专项项目《小动物多模态分子影像重大科研仪器及关键技术研究项目》ZL201220380368.1人，硕士生1人；博士后3人。三年内利用该仪器作为主要科研手段发表学术论文（三大检索） 12 篇，其中代表论文：论文题目期刊名年 卷（期）起止页码Gold Nanoshelled Nanomicelles for Potential MRI Imaging, Light-Triggered Drug Release, and Photothermal Therapy.Adv Funct Mater 201323（7）815-822Laser Oblique Scanning Optical Microscopy (LOSOM) for Optics Express 201220（13）14100-14108RGD-conjugated gold nanorods induce radiosensitization in melanoma cancer cells by downregulating alpha(v)beta(3) International Journal of Nanomedicine 20127915-924Position mapping and a uniformity correction method for small-animal SPECT based on connected regional recognition.Nuclear Instruments and Methods in Physics Research Section A 20137041-6
多模态理论的外语教学综述 多模态话语分析理论兴起于上世纪九十年代的西方国家，西方研究学者在批评话语分析的基础上，结合社会符号学、系统功能语法和传统话语分析等领域的研究成果发展而来，它认为语言是社会符号，除语言之外的其他非语言符号（绘画、音乐、舞蹈等）也是意义表达的源泉，非语言符号模态各自独立又相互作用，与语言符号共同生成意义。它突破了传统话语分析孤立研究语言文字本身的局限性，把对话语的研究扩展到了除语言之外的图像、颜色、字体等其他意义表达的模态符号，关注多种模态符号在话语中所起地作用。经过二十多年的发展，多模态话语分析已经被广泛的应用在各个学科之列，其中多模态话语框架理论对于外语教学也有着不可忽视的重要作用。 多模态话语可以将多种符号模态并用，极大地丰富了信息输入法手段，强化了学习者对教学内容的记忆。在多模态教学中，主要强调把多种符号模态（语言、图像、音乐、网络等）引入教学过程，充分调动学生的多种感官能够参与学习中来，刺激学生在词汇记忆的同时产生多方面联想，从而达到增强知识的记忆效果。这种方法比单一的语言讲解更深入，更能加强学习者的迅速记忆能力。多模态教学采用多种教学手段（网络、小组合作、联想、角色扮演等）调动学习者的积极性和主动性来参与教学互动，达到了外语教学中注重视听说写练相结合的一大特点，激发了学生学习语言的兴趣。学生不仅在亲身参与教学活动的过程中发现新知识，师生互动环节中，还掌握了大量的教学知识，在日常的趣味练习中便不知不觉的逐步提升了个人学习能力和听说能力。多模态话语的魅力就在于能够让学生在轻松、活跃、自主的学习氛围中，提高个人的学习成绩并且增强了学习能力。多种教学方法的灵活运用，在大程度上弥补了传统的单模态教学方式的不足。多模态教学的主张是要求教师根据教学内容，教学环境，教学目标等基本理念为学生选择一种或多种教学方法（听说法，交际法、全身反应法、暗示法、直接法、情景教学法、语法翻译法等），并将其合理运用在语言环境中，这些运用对于学生进行语言的理解和掌握是必不可少的。在多模态课堂教学中，教师结合多媒体手段创设真实的情境环境，通过听觉、视觉、触觉等多感官刺激，使学习者体验真实的目标语语言环境，提高学生输出运用词汇的能力。 随着现代信息技术的发展和多媒体教学设备的普及和完善，教学环境也得到了很大的改善，这为多模态教学引入课堂提供了基本的技术条件。尽管目前在国内多模态话语分析理论也仅仅的局限于应用于语言教学的研究，在国内还处在初步发展的阶段，但是我们有理由相信随着多模态理论与外语教学实践研究的进一步探索和深入，该理论将会日趋成熟。多模态话语作为一种新生的教学模式，势必为外语课堂的教学注入了新生命和新理念，它完全符合语言学习的规律和原则，对于外语词汇教学产生的积极影响更是不可取代，相信在以后的教学中，教师可以应用更多种的教学方法、教学手段来进行合理的结合，通过多渠道、多感官刺激的多模态教学将成为日后我国外语教学界的主流发展趋势。
第22卷 第2期2004年6月 广西师范大学学报(自然科学版)JOU RNAL O F GUAN GX INORM AL UN I V ERS ITY V o l .22 N o.2June 2004收稿日期:2004203218 基金项目:广西教育厅科研基金资助项目 作者简介:王修信(1963—),男,广西桂林人,广西师范大学副教授,硕士. 多模态医学图像的融合研究 王修信1,张大力2 (11广西师范大学物理与信息工程学院,广西桂林541004;21清华大学自动化系,北京100084) 摘 要:图像融合作为一种有效的信息融合的技术,已广泛用于医学图像、军事、遥感、机器视觉等领域.基于 小波变换的图像融合是一种新的多尺度分解像素级融合方法,利用小波变换分别对CT ,M R I 医学图像进行 分解处理,按照融合规则构造融合图像对应的各小波系数,再根据融合图像的各小波系数重构融合图像,重构 后的融合图像完好地显示源图像各自的信息.实验图像使用互信息量化判据来评价融合效果,结果表明小波 变换比传统的像素级加权平均融合算法效果更好. 关键词:医学图像;融合;小波变换 中图分类号:T P 391141 文献标识码:A 文章编号:100126600(2004)022******* 医学影像学为临床提供了超声图像、X 射线、 电子计算机体层扫描(CT )、磁共振成像(M R I )、数字减影成像(D SA )、正电子发射体层扫描(PET )、单光子发射断层成像(SPECT )等多种模态影像信息[1～3].不同的医学影像可以提供人体相关脏器和组织的不同信息,如CT 和M R I 提供解剖结构信息,而PET 和 SPECT 提供功能信息 .在实际临床应用中,单一模态图像往往不能提供医生所需要的足够信息,通常需要将不同模态图像融合在一起,得到更丰富的信息以便了解病变组织或器官的综合信息,从而做出准确的诊断或制订出合适的治疗方案.例如,CT 利用各种组织器官对X 射线吸收系数的不同和计算机断层技术对人体进行成像,它对于骨、软组织和血管的组合成像效果很好,而对软组织则近乎无能为力.M R I 利用水质子信息成像,对软组织和血管的显像灵敏度比CT 高得多,但对骨组织则几乎不显像.由此可见不同成像技术对人体同一解剖结构所得到的形态和功能信息是互为差异、互为补充的,因此对不同影像信息进行适当的集成便成为临床医生诊断和治疗疾病的迫切需要. 小波变换具有多分辨率分析特点,可聚焦到分析对象的任意细节,特别适合图像信号非平稳信源的处理[4].基于小波变换的图像融合是一种新的多尺度分解像素级融合方法,已有的应用研究主要是热图像和可视图像的融合[5,6].本文利用小波变换分别对CT ,M R I 医学图像进行分解处理,按照融合规则构造融合图像对应的各小波系数,再根据融合图像的各小波系数重构融合图像,重构后的融合图像完好地显示源图像各自的信息.实验图像使用互信息量化判据来评价融合效果,结果表明小波变换比传统的像素级加权平均融合算法效果更好. 1 基于小波变换的图像融合原理 小波变换是用一族小波函数系去逼近一信号,而小波函数系是通过一个基本小波函数在不同尺度下经伸缩和平移构成[7]. 7a ,b (x )=1?a ? 7x -b a , a ,b ∈R ,a ≠0其中a 为伸缩因子,b 为平移因子. 对于二维情况,设V 2j (j ∈Z )是空间L 2(R 2)的一个可分离多分辨率分析,对每一个j (j ∈Z )来说,尺度
百度文库- 让每个人平等地提升自我 配电网工程可行性研究报告内容深度规定 浙江省电力公司 2013年3月
第一部分配电网配电工程可行性研究内容深度规定 1范围 本标准规定了配电网配电工程可行性研究的内容深度要求。 本标准适用于新建、扩建或改造10（20）kV及以下配电工程的可行性研究。本标准只对设计的内容深度做出规定，不作为设计专业分工和卷册划分的标准。 2总则 本规定是编制、评审配电工程可行性研究报告（以下简称可研报告）的重要依据。 设计文件应遵守国家及有关部门颁发的设计文件编制和审批工作管理的规定。 编制可研报告应以审定的配电网规划为基础，并充分应用电力设施布局规划成果。 可研报告应落实通用设计方案的采用情况，落实差异化设计原则以及“两型一化”变电站设计原则的贯彻情况，说明新技术应用情况。 3一般规定 编制可研报告时，设计单位应完整、准确、充分地掌握设计原始资料和基础数据，确保资料齐全、文字说明清楚、计算结果和图纸清晰、正确。 当有多个设计单位参与编制同一工程可研报告时，应明确其中一个单位为总体设计单位。总体设计单位应对参与设计单位的设计内容负责，对相关协调、配合工作归口负责，对参与设计、测试单位的资质提出意见，并将各参与单位的可研、测试等报告的主要内容和结论整理归纳到工程可研总报告中。 配电网架空线路工程可行性研究成果包括以下内容： （1）可行性研究报告说明书（含附图、附件） （2）可研估算书 （3）专题报告（根据需要编制） 3.3.1 可行性研究报告说明书包括以下内容： （1）工程概述 （2）电力系统 （3）站址的选择 （4）配电站工程设想 （5）基建标准化成果及新技术的应用 （6）投资估算 （7）附图和附件 3.3.2 可研报告应包括以下图纸，可作为附图，也可随文布置： （1）电网地理接线图 （2）配电站主接线图 （3）配电站总平布置图 （4）通信链路拓扑图 （5）光缆走向示意图
“研学旅行”实施方案 一、项目实施背景 从2013年发布《国民休闲旅游纲要》到2016年的《关于推进中小学生研学旅行的意见》，国家教育部等多部门发文要求大力推进研学旅行。研学旅行有利于促进学生培育和践行社会主义核心价值观，激发学生对党、对国家、对人民的热爱之情；有利于推动全面实施素质教育，创新人才培养模式，引导学生主动适应社会，促进书本知识和生活经验的深度融合；有利于加快提高人民生活质量，满足学生日益增长的旅游需求，从小培养学生文明旅游意识，养成文明旅游行为习惯。近年来，各地积极探索开展研学旅行，部分试点地区取得显著成效，在促进学生健康成长和全面发展等方面发挥了重要作用。二、定位与宗旨 目前大多数研学旅行还处在研究开发状态，良莠不齐，市场认可度不够，家长热度不高（尤其省内）。这是我们的机遇，也是挑战，我们的定位是要打造出一个学校认可、家长认可、学生认可的研学品牌，让学生在研学中学到东西。 三、具体实施 （一）方案A：纯旅游研学 本方案以若干旅游景点为研学地点，前期采取跟旅行社合作的方式（合作方式有待探讨），研学的核心（课件+“内容”）内容采取跟大学历史系或者旅游系的老师合作。 该方案的优点：该方案采用跟旅行社合作，研学路线可以借用
旅行社的优势，资源充分整合，老师和家长的路线选择多，可以极大丰富学生的课外知识，并且可以开展夏令营和冬令营活动。缺点是要综合考虑各个年龄段的学生，路线过多，会导致前期工作准备不够充足。 方案细节初步安排如下： 1、前期工作（3月20日-3月30日）： （1）与某个旅行社达成合作关系（目前有合作意向的有康辉旅行社）； （2）与某个大学的历史或者旅游系老师达成合作关系，负责研学核心内容的开发，包括路线的选择和内容的开发 （3）完成计划的策划和确定具体实施细节。 2、中期工作（4月1日-5月30日） （1）4月1日-4月15日与旅行社和老师确定最终的研学路线； （2）4月15日-5月30日一个半月的时间根据最终具体的研学路线，来做具体的研学课件和研学内容，研究出研学到底应该让学生学到什么，怎么保证学生能学到这些； （3）同时根据最终确定的研学方案做好定价方案，在这个过程中要充分进行调研，进学校、访家长，做到收费合理； （4）根据做好的方案做好线上推广，把做好的资料全部上传到线上，可以参考北京世纪明德。
Q/CSG 115004-2011 中国南方电网有限责任公司 10（20）kV 及以下配电网项目 可行性研究内容深度规定 Q/CSG 中国南方电网有限责任公司企业标准 Q/CSG 115004-2011 ICS 备案号： P 2011 – 4 - 20 发布 2011 – 4 - 20 实施 中国南方电网有限责任公司 发 布
目次 前言 (2) 引言 (3) 1 适用范围 (4) 2 规范性引用文件 (4) 3 编制的基本要求 (4) 4 内容及深度要求 (5) 5 附表及附图 (8) 5.1附表 (8) 5.2附图 (8) 附录A（规范性附录） XX地市（州）供电局10KV及以下配电网项目汇总 (9) 附录B（规范性附录） 10KV及以下配电网项目可行性研究表 (10) 附录C（规范性附录） XX批次配电网项目实施前后指标对比表 (11)
前言 根据中国南方电网有限责任公司（以下简称“公司”）一体化管理工作推进的要求，公司组织五省（区）电网公司、有代表性的地市（州）供电局及设计单位规划计划专业技术人员起草本内容深度规定。本规定的编写结合了各省（区）、地市（州）的实际情况，经过征求意见和三次会议集中讨论而形成。 本规定主要起草单位：南方电网公司计划发展部、广东电网公司、广西电网公司、云南电网公司、贵州电网公司、海南电网公司、广州供电局、佛山供电局、南宁供电局、昆明供电局、贵阳供电局、凯里供电局、台江供电局、海口供电局、佛山南海电力设计院工程有限公司、佛山电力设计院有限公司。 本规定主要起草人：陈旭、邱朝明、戴志伟、张祖荣、张雪莹、张宁、李云芬、张群安、刘长春、罗竹平、陆冰雁、刘东升、郑星炯、刘先虎、廖小文、施坚、雷霖、陈守吉、吴振东、柯景发、罗崇熙、李成、黄少红、柳春芳、梁辉平。 本规定由中国南方电网公司计划发展部提出、归口并解释。 本规定自2011年4月20日起执行。
外教一对一https://www.doczj.com/doc/274335343.html, 英语多模态教学的设计 模态与人的感官和行为相关，包括听觉、视觉、触觉及图像、声音和动作，并有单模态、双模态和多模态之分。人际交往常常使用听觉和视觉模态，较少使用触觉和感觉模态，因此早先的教学更多依靠单一的语言文字模态，而较少调动其他辅助模态。随着科技的发展，更多形式的媒体进入人们的生活中，并起到很大的作用，成为学生惯常使用的交际工具，因此，语言教学也顺应时代的发展，开始注重其他模态在语言学习中的作用，多种模态共同协调，更好地辅助语言教学和学习。 根据语言学习理论，结合英语视听说教学实际，运用多模态教学方法的课堂教学可以按照下列思路进行设计： 1. 创设情境。教师提供的情景可运用视频、图片、音频等方式，可以设计真实或模拟的场景，提供相应的设备和仪器，调动学生的听觉、视觉、触觉，甚至嗅觉，以生动的形式展现给学生。 2. 提出问题。基于“问题学习”的原则，教师提出问题，提供可用的词汇、词组、结构和用法，引导学生进行思考。学生可以分组进行讨论，寻找决策，教师组织各小组得出最终的可行方案，对主题内容进行建设。 3. 搭建桥梁。这一过程是教师在学生的旧知识和新知识之间建立联系，以巩固旧知识，掌握新知识。例如教师可以仅提供某种问题解决方式，供学生评价和研究，让学生通过讨论或咨询，发现其他新的解决方式，并将多种方式根据进行对照和研判，做出最佳选择。 4. 组织合作。教师可以将全班分为数个小组，并根据学生特点任命角色，如，策划人、执行人、发言人、情报人(了解和刺探其他小组的情况，对本小组的讨论提供帮助)、小组长，等。这样既保证了全部成员的参与，又发挥了学生的特长;既调动了学生的积极性，又保障了主动学习的效果。 5. 展示成果。教师要求学生以各种方式展示成果，白板、PPT、图画、文字、解说，等，教师或自己评价或引导其他小组互相评价。使用这种方式，学生可以将本课堂所掌握的知识进行整理和呈现，不仅给学生更多的自主，也为学生的交流和共享提供机会，使学习过程更加生动和活泼，自然和逼真。
多模态图像融合算法综述 多模态图像融合能最大限度地提取各模态的图像信息，同时减少冗余信息。文章提出一种新的图像融合算法的分类体系，在分析新体系的基础上，阐述了各体系下的代表性算法，论述图像融合的研究背景及研究进展，最后提出了未来趋势的新目标。 标签：图像融合；像素级；特征级；决策级；图像融合算法 引言 不同模态传感器关于同一场景所采集到的图像数据经过相关技术处理相融合的过程称为多模态图像融合，本文站在新的角度，提出一种新的分类体系，同时阐述各体系下的代表性算法，论述图像融合领域的发展现状。 1 图像融合的体系 根据融合的对象，图像融合一般分为三个等级：像素级、特征级及决策级[1]。像素级的处理对象是像素，最简单直接，特征级建立在抽取输入源图像特征的基础上，决策级是对图像信息更高要求的抽象处理，本文在此基础上提出一种不同的的分类体系，即直接融合和间接融合。 1.1 直接图像融合算法 直接图像融合算法分基于像素点和基于特征向量的融合方法，基于像素点的融合主要针对初始图像数据而进行[2]，是对各图像像素点信息的综合处理[3]。 1.2 间接图像融合算法类 间接图像融合算法是指对图像进行变换、分解重构或经神经网络处理后，通过逻辑推理来分析多幅图像的信息。 2 直接图像融合算法类 直接图像融合算法分基于像素点和基于特征向量的图像融合算法。 2.1 基于像素点的直接图像融合算法 设待融合图像X、Y，且X（i，j）、Y（i，j）为图像X、图像Y在位置（i，j）的灰度值，则融合后的图像Z（i，j）=x X（i，j）+y Y（i，j），x、y是加权系数且x+y=1。算法简单、融合速度快，但减弱了图像的对比度[4]。 2.2 基于特征向量的直接图像融合算法
江南营-江南深度研学之旅（1)
————————————————————————————————作者：————————————————————————————————日期:
诗梦江南，入画寻踪 ——长清区实验小学江南深度研学实践 之旅 【课程简介】 一道水,一架桥，一支橹声,隽秀婉约的杭州绍兴聚合了太多的历史文化。此次研学活动旨在让同学们了解祖国江南，同时感受一场从远古传说，到春秋的吴越文化，到南北朝的文人风骨,再到明清以及近代的大儒伟人的历史盛宴。活动中，同学们将一起寻访王羲之、蔡元培、鲁迅、周恩来等名人伟人故里,穿越历史,陶冶爱国之志,体悟文化魅力；一起走进沈园,欣赏宋代江南私家园林的秀美景观，探寻园林蕴含的文化内涵；一起游历西湖,领略“淡妆浓抹总相宜”的如画美景；一起走进综合性人文科学博物馆浙江博物馆、中国黄酒博物馆，全面了解浙江历史文化。 【课程特色】 ●文化名镇江南风采 ●穿越时空触摸历史 【行程简表】 时间课程安排课程主题课程链接 第一天上午乘坐高铁前往杭州:车次G63 济南-杭州东 0７:23-1１：５３辅导员接站读万卷书行万里路下午参观钱塘江、六和塔看天下第一潮登镇潮六和塔追寻江畔的历史故事 晚上研学课程指导分组讨论课程，研学收获分享 实践－辅导员指导学生完成课程手 册 第二天上午 游历杭州西湖置身如画美景感受西湖柔情参观苏堤、孤山、曲院风荷 浙江博物馆参观历史展品考察浙江文化感受历史文化的沉淀 下午灵隐寺、飞来峰登山览胜景寺宇悟佛心登山参观庙宇,了解佛教文化 晚上研学课程指导分组讨论课程，研学收获分享实践-辅导员指导学生完成课程手册 第三天上午探访鲁迅故里探寻书中世界亲访三味书屋追寻鲁迅先生的足迹 下午 游览沈园漫步江南园林,探寻文化内涵 人文－体味江南风情/建筑-江南园林建 筑风格 参观黄酒博物馆参观历史文物体悟江南魅力历史-绍兴历史文化 晚上 大善塔 仓桥直街 漫步古城小道欣赏绍兴夜色实践-实地感受，见景抒情 第四天上午书圣故里历史街区历游文人旧地感受文化魅力人文-文人旧所、大家荟萃
附件： 中国南方电网有限责任公司35～110kV 配电网项目可行性 研究内容深度规定 Q/CSG 中国南方电网有限责任公司企业标准 Q/CSG 115003-2011 ICS 备案号： P 2011–4–20发布2011–4–20实施 中国南方电网有限责任公司发布
目次 前言 (2) 引言 (3) 1适用范围 (4) 2规范性引用文件 (4) 3编制的基本要求 (5) 4内容及深度要求 (5) 4.1工程概述 (5) 4.2电力系统一次部分 (6) 4.3电力系统二次部分 (9) 4.4变电站站址选择 (12) 4.5架空线路路径选择及工程设想 (15) 4.6大跨越工程跨越点及路径选择 (17) 4.7电缆线路路径选择及工程设想 (18) 4.8海底电缆线路路径选择及工程设想 (20) 4.9环境保护 (22) 4.10项目的节能设计分析 (22) 4.11抗灾减灾分析 (23) 4.12资产全生命周期分析 (23) 4.13投资估算及经济评价 (24) 4.14结论及建议 (25) 5附件及附图 (25) 5.1附件 (25) 5.2附图 (25) 附录A（规范性附录）电缆隧道专题报告的内容要求 (27) 附录B（规范性附录）35～110KV配电网项目可研阶段主要结论及指标表 (29)
前言 根据中国南方电网有限责任公司（以下简称“公司”）一体化管理工作推进的要求，公司组织五省（区）电网公司、有代表性的地市（州）供电局及设计单位规划计划专业技术人员起草本内容深度规定。本规定的编写结合了各省（区）、地市（州）的实际情况，经过征求意见和三次会议集中讨论而形成。 本规定主要起草单位：公司计划发展部、广东电网公司、广西电网公司、云南电网公司、贵州电网公司、海南电网公司、广州供电局、佛山供电局、南宁供电局、昆明供电局、贵阳供电局、凯里供电局、台江供电局、海口供电局。 本规定主要起草人：陈旭、邱朝明、戴志伟、曹华珍、张宁、李云芬、张群安、刘长春、罗竹平、陆冰雁、刘东升、郑星炯、刘先虎、廖小文、施坚、雷霖、陈守吉、吴振东、柯景发。 本规定由公司计划发展部提出、归口并解释。 本规定自2011年4月20日起执行。
第一单元 课题人与自我?我自信，会成功 学习目标正确认识自我，能够说出自己的优点和不足；增强自我调控、承受挫折、适应环境的能力；了解树立自信心的方法，培养健全的人格和良好的心理素质；提高心理健康水平，增强自我教育能力，形成健康、自信的人生观。参考主题（1）我自信，会成功；（2）克服考试焦虑；（3）消除孤独感。 实践方式心理测试；收集资料；手工制作。 方法引导发表意见的技巧；如何对调查结果进行统计与分析。 学科整合与心理健康教育、品德与社会、语文等学科整合。关注心理健康，形成健康的生活态度；善于发现其他同学身上的优点并虚心学习；学习名人名言，领悟其深刻含义，并激励自己；进行小制作设计。 课时安排5课时 教学流程 第一课时 研究准备 我们一天天地长大，从妈妈怀里的婴儿，长成了少年。想想自己在成长过程中有哪些烦恼？你是怎么解决的？ 同学们根据自己的兴趣自主确定设计研究方案，其方法一般是: 1、我的烦恼及解决的办法 2、我自信，会成功 3、消除孤独感 以上方案进行研究、讨论、尝试初步建立印象。 第二课时 我自信，会成功 一、研究实施 自信对我们走向成功非常重要。今天，就我们一起通过探究活动来寻找自信，增强自信！ 二、方法与引导： 发表意见的技巧 1、态度诚恳、谦逊。多采用“我个人认为”、“我目前的想法是”等表达方式； 2、不能只发表否定性意见，对好的方面要充分肯定； 3、对事不对人，只针对事情发表意见； 4、通过举例等方式，引导他人发现存在的问题； 5、避免个人垄断话题，邀请不善于发表意见的组员参与讨论。 三、“我自信，会成功”研究方案 主题名称研究时间 研究目的1、正确认识自己，发现自己的优点与不足 2、
220kV输变电项目可行性研究内容深度规定 (试行) (送审稿) 编制：福建省电力勘测设计院 录目 1、总则 1.1 为了规范220kV输变电项目可行性研究(以下简称可行性研究)的内容和深度，加强输变电项目前期工作的管理，满足项目立项审批的要求，提高电网项目投资效益，特制定本规定。 1.2 本规定适用于220kV变电所新建、扩建工程（含对侧间隔）及线路工程的可行性研究。 1.3 可行性研究是工程项目前期工作阶段的一个主要设计文件，是编制可行性研究报告书的依据，并为工程的初步设计和推行限额设计提供前提条件。变电所可行性研究工作分两个部分：工程选所报告和变电所可研报告部分，待工程选所报告审定后再开展变电所可研报告工作。 1.4 可行性研究工作须以电网规划为基础。必须贯彻国家的技术政策和产业政策，执行各专业有关的设计规程和规定，推进技术进步，控制工程造价。 1.5 可行性研究报告一般包括电力系统(一、二次)、变电所选所、线路选线、主要设计原则及工程设想、投资估算等主要内容，并可根
据工程项目具体情况做相应增减。 1.6 本规定只对220kV输变电项目可研工作的内容和深度作出要求，不作为设计单位内部专业分工和卷册划分的标准。 2、内容深度的基本要求 2.1 设计文件应包括说明书，各专业相关图纸。 2.2 对设计方案应有分析比较。 2.3 设计文件齐全，文字说明清楚，图纸清晰、正确。 2.4 当有外委项目时应说明外委项目内容、费用估算。 3、工程选所报告部分 前言3.1 设计依据3.1.1 1)经批准或上报的前期工作审查文件或指导性文件。 2)与本工程项目有关的其他重要文件。 3)委托方的设计咨询委托。 3.1.2 工程概况 简述工程项目概况。 3.2电力系统部分 3.2.1 电力系统概况 论述与本工程项目有关的系统概况。 3.2.2 负荷预测及电力平衡 1) 负荷预测 根据电力系统发展规划，参照有关主管部门提供的相应水平年的负荷
基于多模态融合的情感计算研究 移动终端和智能设备目前与人类生活、学习和工作息息相关,基于智能设备的情感计算技术已成为国内外学者的研究热点。随着人口老龄化趋势加剧,老年人的家庭护理需求日益增多,通过对老年人的情感状态、行为姿态进行研究可以更好的理解和关注老年人的身心健康。利用情感计算可以建立和谐的人机环境,但是目前情感计算仍存在一些急需解决的问题,在行为姿态识别中,虽然选择手机传感器的底层统计特征对人体行为进行识别可取得较好效果,但是这些底层特征忽略了行为的高层语义表达,对训练集中有限样本行为的识别率较差。而在情感识别中,人的情感在表达时由生理、心理、表情和音调等多个模态信息共同组成,使用单模态进行情感识别时,由于情感表示信息不足容易导致一些情绪的识别率较差等问题。针对以上两种分类识别所面临的问题提出两种识别方法,主要工作包括如下两方 面:(1)针对现有日常行为识别中跌倒样本采集困难,跌倒行为样本规模较少导致识别率较差的问题,提出一种基于低层特征与高层语义的人体行为识别方法。该方法引入语义属性特征以便在某些行为样本较少的情况下能够共享行为之间的低层特征信息,通过构建属性-行为矩阵,利用低层特征信息训练语义属性检测器,得到语义属性特征,对属性特征与低层特征分别进行预分类,融合两种特征的预分类结果得到最终判决的人体行为类别。实验结果表明,与过采样算法、欠采样算法和最小二乘支持向量机相比,本文所提方法获得了更好的分类结果。(2)一般多模态特征融合方法仅通过简单的拼接来组合特征,或将
所有模态信息直接利用深度模型进行融合,这样会导致特征冗余和关键特征不足等问题,本文提出多模态深度信念网络对各模态特征分别进行融合,以解决所有模态直接融合后进行特征选择带来的实验成本过高的问题,并提高各情绪识别性能。通过多模深度信念网络优选生理信号和视频信号的初始特征,再利用双模深度信念网络将各模态统一结构化的特征进行融合,得到多模态高层表示特征,利用支持向量 机对该特征进行分类识别。在The BioVid Emo DB数据集上对高兴、难过、生气、恐惧和厌恶这五种情绪的平均识别率是80.89%,实验表明该方法在降低融合成本的同时,对多模态情绪识别性能也有较好的改善。
XXXX中小学研学旅行课程质量管理 一、指导思想 全面贯彻党的教育方针，以《国家中长期教育改革和发展规划纲要》《基础教育课程改革纲要》《国民旅游休闲纲要》为指导，认真落实立德树人的育人目标，以培养学生的综合实践能力和创新能力为核心，以学生发展为本，全面提升学生综合素质。 二、课程设计原则与课程内容 (一)课程设计原则 1.开放性原则:充分利用校内外资源体现目标的多元性，内容的广泛性，时间空间的广域性，展示的多样性和评价的灵活性。 2.整合性原则:以研学旅行资源及教学内容、方法和师资情况为基础，结合学生认知能力和社会实际整合开发课程，保证课程的时效性，实现课程的生成性。 3.体验性原则:尊重学生主体地位，以人为本，以学生活动为主，突出体验实践，培养学生创新精神和实践能力，变知识性的课堂教学为发展性的体验教学。 4.生活性原则:着眼于生活实际的观察视角，把学生从最简单熟悉的生活层面引领到更加广阔的社会生活舞台，加强教育的生活性，突出生活的教育化程度。 (二)课程内容
1.了解社会状况。通过研学旅行活动，了解当前社会实践活动中迫切需要解决的现实问题，如交通、卫生、网络、饮食、环境、动植物保护以及人口老龄化、就业压力、就医入学等现实状况。 2.探究学科问题。包括物理、化学、生物、地理、数学、语文、英语、政治、历史、通用技术、信息技术、体育、音乐、美术以及学科交叉知识的探究，发现一些值得研究的新问题。 3.前沿科技应用。在研学活动中，学习和研究前沿科学技术在生活、生产实践和科学实践领域的应用。如3D打印、AR/VR、无人机、无人驾驶等。 三、课程实施 （1）课程开发要立足教育性。 要使研学旅行做到立意高远、目标明确、活动生动、学习有效，避免出现“只旅不学”或“只学不旅”的现象，就必须把教育性原则放在首位，寻找适切的研学主题和课程教育目标，深度促进研学旅行活动课程与学校课程的有机融合。作为中小学教育教学实践的重要组成部分，研学旅行的活动课程既要结合学生身心特点、接受能力和实际需要，又要注重知识性、科学性和趣味性。 在课程目标的制订上，要与学校的综合实践活动课程统筹考虑，活动中的知识性目标、能力性目标、情感、态度、价值观领域的目标和核心素养的目标等等，都应该是落实课标的核心要点。 （2）研学旅行课程突出实践性 正是我国推动全面实施素质教育的一种重要创新。研学旅行的课
前言 可行性研究是基本建设程序中为项目核准提供技术依据的一个重要阶段，为满足输变电工程核准要求，规范前期工作深度，加强管理，根据国家有关规定，并结合输变电工程建设的特点，制定本办法。 220千伏及110（66）千伏输变电工程可行性研究内容深度规定 1 范围 本标准规定了输变电工程可行性研究内容深度的要求。 本规定适用于我院承担的220千伏及110（66）千伏新建、扩建、改建交流输变电工程可行性研究工作，35千伏及以下新建、扩建、改建交流输变电工程可参照执行。 2 总则 2.1 本规定是编制、评审输变电工程可行性研究报告的重要依据。可研评审意见是开展项目专题评估和编制项目核准申请报告、开展后续工程设计的依据。 2.2 对于城乡规划区内的输变电工程，应及早将电网规划内的变电站站址和输电走廊通道纳入城乡经济社会发展规划，其工作成果是工程可行性研究的基础。 2.3 电网技术方案应采用通用设计方案，并贯彻差异化设计原则，以及“两型一化”变电站、“两型三新”线路设计原则。 3 一般规定 3.1 输变电工程可行性研究必须贯彻国家的技术政策和产业政策，执行各专业的有关设计规程和规定。推进资源节约型、环境友好型电网建设（简称“两型”电网建设）。推广通用设计、通用造价、通用设备，促进标准化建设。积极采用电网新技术，不断提高电网技术水平，注重环境保护，促进节地、节能、节材，提高电网输配电能力，降低输电成本，控制工程造价。 3.2 编制可行性研究报告应以审定的电网规划为基础，原则上已列入电网规划的220千伏及110（66）千伏输变电工程才具备开展可研等前期工作的条件。
3.3 编制可行性研究报告时，设计单位必须完格、准确、充分地掌握设计原始资料和基础数据。 3.4 当有多个设计单位参加同一项目的可行性研究报告编制时，应明确其中一个为总体设计单位，总体设计单位应对其他各协作设计单位的设计内容负责，对相关工作的配合、协调和归口负责，对接受工程外委项目的各设计和测试单位的资质提出意见，并负责将各外委单项可行性研究报告或试验研究等报告的主要内容及结论性意见经分析和整理后归纳到可行性研究总报告中。 3.5 可行性研究报告应满足以下要求： （1）在电网规划的基础上，重点对项目的必要性、系统方案及投产年进行充分的论证分析，分析项目及方案的节能降耗效益，提出项目接入系统方案、远景规模和本期规模。 （2）提出影响项目规模、技术方案和投资估算的重要参数要求。 （3）提出二次系统的总体方案。 （4）对新建工程站址进行全面技术经济比较，进行必要的调查、收资、现场踏勘、勘测和试验工作，提出推荐意见。新建工程原则上应有两个及以上可行的站址。 （5）对新建线路的路径方案进行技术经济比较，对大跨越工程，跨越点位置应结合路径方案进行全面的技术、节能及经济比较，并进行必要的调查、收资、勘测和试验工作，提出推荐意见。 （6）投资估算应能满足控制概算的要求，并应与通用造价、工程限额设计控制指标进行对比分析。 （7）经济评价所需的原始资料切合实际，测算的电网电价调整需求合理、可信。 （8）取得规划、国土等必要协议。 3.6 可行性研究报告分系统论证部分、变电部分、线路部分、技术经济部分以及专题报告。系统部分应包括电力系统一次、电力系统二次、节能降耗分析；变电部分应包括变电站工程选站及工程设想、节能降耗分析；线路部分应包括线路工程选线及一程设想、节能降耗分析；技术经济部分应包括投资估算及经济评价；必要时以专题报告形式进行研究。各报告说明书应按要求编写，并应有附件和附图，其他报告也应有必要的附图。应有专门章节说明新技术在本工程中的推广应用情况。 3.7 电网技术方案应采用通用设计方案，并在可研报告中说明采用的设计方案，对确实不能采用的应说明原因。
第36卷第3期 计算机仿真2019年3月文章编号:1006-9348 (2019)03-0248-04 多模态医学图像外边界点云数据实时配准仿真 李玮琳\曾琪峰\李颖1 (1.长春工业大学人文信息学院，吉林长春13_;2.长春光学精密机械与物理研究所光电技术研发中心，吉林长春13_) 摘要：为了提升医学图像识别质量，需要对医学图像外边界点云数据进行实时配准。针对当前多模态医学图像外边界点云 数据实时配准中，存在着配准精度较低、完成时间过长、误差较大等问题。提出基于特征点对齐度的图像外边界点云数据实 时配准方法。采用SIFT算法提取出医学图像待配准特征点，以小波边缘检测法获取待配准特征点中的医学图像外边界点 云数据，构建附近区域外边界点云数据特征，求出具有显著外边界点特征的特征点，结合Shape-context算子和显著外边界特 征点，构建特征描述向量，利用角度直方图提取以特征点为中心的图像外边界点特征子图，计算出所有外边界点特征子图的 对齐度来确定候选配准点对，引用线性加权法消除错误配准，以此完成正确配准。实验结果表明，所提方法在进行医学图像 外边界点云数据配准中，配准精度较高、所需完成时间较短误差较小。 关键词：多模态；医学图像;外边界点云数据;实时配准 中图分类号:TP391.41 文献标识码：B Multi-Modal Medical Image Boundary Point Cloud Data Real-Time Registration Simulation LI Wei-lin 丨，ZENG Qi -feng2，LI Ying1 (1. College of Humanities and Information, Changchun University of Technology, Changchun J i l i n 130000, China； 2. Optoelectronic Technology r&d Center, Changchun I n s t i t u t e of Optics, Fine Mechanics and Physics, Chinese Academy of Sciences, Changchun J i l i n 130000, China) A B S T R A C T：In t h i s article, a method of real-time regis t r a t i o n f o r cloud data of external boundary point i n medical image based on the alignment metric of feature points was presented.Firstly, SIFT algorithm was used t o extract the feature points t o be registered i n medical image.Secondly, wavelet edge detection method was used t o obtain the cloud data of external boundary points i n the feature points t o be registered.Thirdly, the cloud data features of exter-nal boundary points i n nearby region were established t o get the feature point with remarkable external boundary point https://www.doczj.com/doc/274335343.html,bined with Shape-context operator and s i g n i ficant external boundary feature point, the feature description vector was constructed.In addition, the angle histogram was used t o extract sub graph of external boundary point fea-ture centered on the feature point.Meanwhile, the alignment degree of a l l the external boundary point feature sub graphs was calculated t o determine the candidate matching point pairs.Finally, the linear weighting method was used t o eliminate the wrong registration, so as t o complete the correct registration.Simulation resu l t s show t h a t the pro-posed method has higher r e g i s t r a t i o n accuracy, l e s s completion time and l ess error during the r e g i s t r a t i o n of cloud data of external boundary point i n medical image. K E Y W O R D S-.Multimodal； Medical image； External boundary point cloud data； Real-time r e g i s t r a t i o n i引言 医学技术、计算机技术和生物工程技术的不断发展，医学影像为临床诊断提供了多种模态的医学图像[1]。医学图 像配准是对图像处理的基本，是对相同两幅医学图像进行最 基金项目：吉林省教育厅"十三五"科学技术项目（jjkh20171025k) 收稿日期=2018-05-23修回日期:2018-06-20佳匹配的过程[2_3]。但是在现阶段医学图像外边界点云数据 配准的过程中,存在着配准精度较低、完成时间过长、误差较 大等问题。在这种情况下，如何有效提取图像外边界点特征,得到高精度的外边界点云数据配准成为当今社会亟待解 决的问题―51。 目前，陆雪松、涂圣贤、张素[6]提出一种基于多维特征度 量的医学图像非刚性配准方法。该方法采用最小距离树建 立多维特征矩阵,利用多维特征矩阵对形变模型参数进行解 —248 —