Feature-preserving T-mesh construction using skeleton-based polycubes

特征⼯程（FeatureEngineering）⼀、什么是特征⼯程?"Feature engineering is the process of transforming raw data into features that better represent the underlying problem to the predictive models, resulting in improved model accuracy on unseen data."简⽽⾔之，就是将原始数据转换为模型更容易理解的数据类型，从⽽提⾼模型的预测准确率。

我认为包含三个⽅⾯：特征处理、特征选择、特征⽣成。

数据和特征决定了机器学习的上限，⽽模型和算法只是逼近这个上限⽽已。

由此可见，特征⼯程尤其是特征选择在机器学习中占有相当重要的地位。

⼆、特征⼯程的作⽤？1）Better features means flexibility。

伸缩性⽐较好，可以让你使⽤不太复杂的模型，运⾏速度更快，更容易理解，更容易维护。

2）Better features means simpler models. 就是说你即使没有选择最正确的模型和最优化的参数，依然能得到相当满意的效果。

省去了⼤量去研究模型的时间。

3）Better features means better results。

为什么特征⼯程能产⽣这么好的效果呢？我从Jason Brownlee那⾥得到了启发，因为特征⼯程把特征之间、特征与⽬标变量之间的潜在关系统统挖掘并完整地展⽰出来了。

所以，对模型来讲就很容易理解了，效果⾃然不错了！相当于你把⼀个难题已经分解的很透彻了，即使⼩学⽣也能很好的理解并给出答案了。

三、特征⼯程的处理过程。

Remove unnecessary features-去掉⽆⽤的特征Remove redundant features-去掉冗余的特征，如：共线特征Create new features-创造新特征 1）Combine existing features 2）Transform features 3）Use features from the context 4) Integrate external sourcesModify feature types e.g. from binary to numericModify feature values-修改特征的值，如特征的极⼤值、异常值、缺失值四、特征⼯程举例This is might be a foreign idea, so here are three examples:Categorical: You have a categorical attribute that had the values [red, green blue], you could split that into 3 binary attributes of red, green and blue and give each instance a 1 or 0 value for each.Real: You have a real valued quantity that has values ranging from 0 to 1000. You could create 10 binary attributes, eachrepresenting a bin of values (0-99 for bin 1, 100-199 for bin 2, etc.) and assign each instance a binary value (1/0) for the bins.常见做法：1. 单⼀变量的基础转换：x, x^2,sqrt x ,log x, 缩放2. 如果变量的分布是长尾的，应⽤Box-Cox转换，包括：对数转换、平⽅根转换、倒数转换、平⽅根后再取倒数、幂转换。

基于GSRevit的BIM正向装配式设计建模与出图实践发表时间：2019-10-17T09:26:34.867Z 来源：《建筑学研究前沿》2019年14期作者：朱恒特余健李伟钱学博[导读] GSRevit是在Revit上开发的结构BIM正向设计系统，在Revit上完成墙柱梁板以及荷载和设计属性的输入；形成的Revit模型可直接进行结构计算，并在Revit上自动生成墙柱梁板施工图。

GSRevit还可进行装配式结构的计算和设计。

中建二局第三建筑工程有限公司天津分公司天津 300300摘要：GSRevit是在Revit上开发的结构BIM正向设计系统，在Revit上完成墙柱梁板以及荷载和设计属性的输入；形成的Revit模型可直接进行结构计算，并在Revit上自动生成墙柱梁板施工图。

GSRevit还可进行装配式结构的计算和设计。

采用GSRevit进行结构设计，只需建立一次模型。

结构设计人员初步设计时建立三维模型，平面剖切形成模板图用于初步设计，添加荷载和设计属性即可用于结构计算，添加钢筋信息用于绘制施工图，三维模型可直接用于碰撞检查，最后把模型给算量、施工和运营维护。

关键词：Revit、BIM正向设计、装配式、建模引言BIM（building information model）作为一种新兴的三维设计技术，已经逐步在工程建设的设计、施工等阶段得到了广泛的应用。

它具有可视性、协调性、模拟性和可出图性，可以满足建筑、结构、机电等专业的要求。

GSRevit是在Revit上开发的结构BIM正向设计系统，在Revit上完成墙柱梁板以及荷载和设计属性的输入；形成的Revit模型可直接进行结构计算，并在Revit上自动生成墙柱梁板施工图。

另外，GSRevit还可进行装配式结构的计算和设计。

1.正向设计流程“正向设计”是中国提出、却又没有严格定义的概念。

国外还没有相应的词条。

它采用系统工程理论、方法和过程模型为指导，从复杂产品和系统的改进改型、技术研发和原创设计等为场景，旨在提升自主创新能力和设计制造一体化能力。

展会常用词汇Exposition / Exhibition/Fair 展览会（展示产品和服务）Co-Locate 同期举办Exhibitor 参展商Attendee /delegate / visitor 参展人员/听会代表/观众；参观展会的人（不包括参展商）Brochure 宣传材料Booking 预订Booth /Stand展位，国一般是3*3（9平方米），美国一般是10*10（平方英尺）展位，欧洲国家普遍使用Stand, 英美多使用booth.Booth area 展位面积Booth number 展位号Contractor 展会供应商Convention 会议Exposition / Exhibition manager展览经理，负责一个展览会从立项、促销道现场举办和各个方面的工作Facility / Exhibition Hall展览馆或展览设施Facility manager展馆或展厅经理Freight 运输货物，对展览会来说，包括发运的道具、展品等Freight forwarders运输代理公司Package展位一揽子收费标准。

包括摊位费、展馆电费与展馆道具费等在。

Raw Space / Space Only 光地Standard Space / Package Stand 标准展位Peninsula booth背对通道顶端，其他三面都是过道。

Inline / Corner / Peninsula / Island (单开，双开，三开，四开)Invoice形式发票Press kit袋装展览会新闻资料Press release新闻发布会，展览会新闻中心发放的有关产品、服务或展览会的宣传资料Press room展览会新闻中心Service desk / Organizer Office设在展会现场、供参展商订购各种服务的服务供应处Show break展会完毕和开始撤展的时间Show daily展会每日新闻快报Show directory / Catalogue展览会会刊，包括参展商、摊位号、展馆位置与广告Show office设在展会现场的展览会管理办公室Space rate / Exhibition Fee摊位租金（以每平方米或平方英尺计算）Sponsorship展会赞助Trade Fairs & Exhibitions 贸易展和展览会Definitions and types of fairs & exhibitions贸易展和展览会的定义和类型Fair organizers 展会组织者Trade and business visitors 贸易观众The general public 普通观众UFI （=Union of International Fair）国际展览联盟An international trade fair/exhibition 国际展Foreign exhibitors 国外参展商The public and end-consumers 公众和终端客户A specialized trade fair/exhibition 专业展A general trade fair/exhibition 综合展The exhibition ground 展览场地The exhibition halls 室展厅Exhibition space 展览场地Fairground owners 场馆方Exhibition Subject 展会主题Exhibition Concept 展会概念Exhibition Results 展会结果Exhibition Profitability 展会收益率trade associations 贸易（行业协会）supporting partner 支持方product groups 产品组the frequency of the event 活动频率the target groups目标群the terms and conditions for exhibiting 参展合同条款opening hours, 开放时间set-up and dismantling times,布展与撤展时间terms of payment 付款条件marketing-mix 营销组合The quantitative criteria 数量标准the rented area 展台租赁面积the amount of sold catalogue 会刊销售量The qualitative criteria 质量标准the types of exhibitors; 参展商类型the types of visitors 专业观众类型satisfaction survey 满意度调查exhibition directories 展会指南the hall plans 展馆规划the exhibitors´ manual.参展商手册the size, the location of the stand 展台的大小和位子stand construction and transportation companies展台搭建与运输公司prospective customers 潜在客户Stand Design 展台设计the exhibition hall 展厅catalogue, brochure, graphic 会刊、手册、图表layout of the stand;展台布局Selection of exhibits; 展品的选择Selection of the exhibition staff; 展台人员的选择the Participation Costs 参展成本stand rental, 展台租赁exhibitor passes 参展证give-away 赠品press folder 媒体资料夹admission ticket vouchers 门票抵用券border tax, 边境税waste disposal 废物处理follow-up 展后跟踪服务Direct mailing 直接邮寄Outdoor advertising 户外广告Multimedia presentation 多媒体展示Bid 投标Bid Document 标书Conference Handbook 会议手册会务指南Certified Exhibition Manager 注册展览经理Conference Officer/Organizer 会议策划人Certified Meeting Professional 注册会议专家Congress 大会Gala 盛大欢庆 Meeting Package 会议包价Escort 陪同人员Flat-Screen 平板荧屏Rush Hours 拥挤时间Spotlight 聚光灯Bandstand 音乐演奏台Performance 节目Seminar 研讨会Conference 专题会Attendee 出席者Host 当主人招待Terms 条款Revenue 总收入；收益Multi-national Companies 跨国公司Specification 详细说明书Active Language 应用语言Association 协会Banquet Event Order 宴会活动定单Bare Booth/Stand 裸展位Booth/Stand Contractor 展位承包商Break-Out Rooms 分组会议室Corporate Rate 商务价格Corporate Travel 商务旅游Peak Hours 高峰时间Interpreter 翻译航空和机场round-trip air fare 往返机票 scheduled time 预计时间actual time 实际时间 departure time 起飞时间arrival time 到达时间airport fee 机场费baggage locker 行暂存箱check in 办理登记手续customs 海关 departure lounge 候机室airport terminal 机场候机楼departure 出站domestic airport 国机场domestic departure 国航班出站duty-free shop 免税店flight number 航班号goods to declare 报关物品group baggage 团体行hand baggage 手提行hotel reservation 订旅馆international airport 国际机场 airport 机场ticket office 购票处 baggage claim 行领取处baggage office 行房way out 出口departure gate 登机口international terminal 国际候机楼terminal 航站楼 transfer correspondence 中转处Customs Formality 海关手续domestic arrival 国抵达处international arrival 国际抵达处currency exchange 货币兑换处Quarantine Formality 检疫手续 papers 证件passport 护照 visa 签证safe-conduct pass 安全通行证 airway 航运收据boarding pass 登机牌 flight number 班机Identity Card international flight 国际班机climbing，to gain height 爬升 aircraft crew 机务人员stewardess 女空服员 steward 男空服员customs service area 海关申报 currency declaration 货币申报duty-free items 免税商品 dutiable goods 需课税商品sightseeing 观光 landing 着陆exchange rate 汇率 non-stop flight 连续飞行flight attendant 飞机乘务员circling 盘旋forced landing 迫降 connecting flight 衔接航班ceiling 上升限度 cruising flight 巡航速度top speed 最高速度 first class 头等舱night service 夜航 straight flight 直飞extra flight 加班 business class 商务客舱domestic flight 国班机round-trip ticket 往返班机one-way ticket 单程机票traveler’s check 旅行支票economy class 经济舱 airsick 晕机的boarding check 登机牌to take off 起飞sightseeing 观光 Departure Time 起飞时间plane ticket 飞机票 prohibited article 违禁品餐饮breakfast 早餐lunch 午餐brunch 早午餐supper 晚餐late snack 宵夜dinner 正餐ham and egg 火腿肠buttered toast 奶油土司French toast 法国土司 muffin 松饼cheese cake 酪饼 white bread 白面包brown bread 黑面包French roll 小型法式面包appetizer 开胃菜 green salad 蔬菜沙拉onion soup 洋葱汤potage 法国浓汤corn soup 玉米浓汤minestrone 蔬菜面条汤ox tail soup 牛尾汤fried chicken 炸鸡roast chicken 烤鸡steak 牛排T-bone steak 丁骨牛排filet steak 菲力牛排sirloin steak 沙朗牛排 club steak 小牛排beer 啤酒 draft beer 生啤酒stout beer 黑啤酒canned beer 罐装啤酒red wine 红葡萄酒gin 琴酒brandy 白兰地whisky 威士忌vodka 伏特加 on the rocks 酒加冰块champagne 香槟Rare 生的Medium-rare 三成熟Medium 五成熟Medium-well 七成熟Well-done 全熟的s-single occupancy单人房间收费service charge 服务费shuttle bus 专车，班车shuttle service 接送服务展具与增租Polycarbonate 板T r u s s灯架Frame 框架Emulsion 胶Paint 油漆n./喷漆v.Halogen 卤素灯Down light 筒灯Floodl ight泛光灯Track light 追光灯Florescent /florescent tube 荧光灯/荧光灯管Spot light 聚光灯Long-arm spot light 长臂灯Metallic halogen light 金属卤素灯High resolution /high definition 高精度Plasma 等离子Speaker 音响Kicker 踢角Film /Duratran 灯片Door stopper 门吸Shell scheme 标摊Gross 高光Masking tape 皱纹纸Riser 竖板（用于楼梯）Lockers and hangers 柜厨和衣架Wooden stage 木制舞台Wooden partition (panel, wall) 木制隔断Wooden fascia panel laminated in white color 木制招牌裱防火板Wooden gateway 木制龙门Wooden backdrop 木制背墙Feature wall 形象墙Wooden ceiling 木制天花板Metallic truss 金属支架Clear acrylic (milky) glass 乳白色亚可力玻璃Lighting box 灯箱Display (bar) counter (display cube) 展示（吧）台（展示柜）Wooden round podium 木制圆形Poster in digital print-out 海报数码喷绘Velcro tape 魔术贴Double side tape 双面胶Video projector 投影机Walkie-talkie 对讲机Power speaker 有源扬声器System wall partition 系统隔断墙Orbit structure 轨道结构Aluminum ceiling grid 铝天花网格Video accessory 视频附件Single socket 单孔插座Double socket 双孔插座Step down transformer 变压器Touch screen触摸屏C a n v a s s帆布Single color 黑白Full color/ multi color 彩色Poppers 有机柱Wooden dinning /conference table 木制餐/会议用桌Plastic dinning /conference table 塑料餐/会议用桌Black leather dinning /conference table 黑色皮质餐/会议用椅Portable air conditioner unit 便携式空调机Self adhesive 自背胶Tri-proof light 三防灯Half pendant lamp 半吊灯Palace lamp 宫灯Imitated crystal 仿水晶灯Track lamp 导轨灯Fog-proof lamp 防雾灯Guest room table 客房灯Decoration bulb 装饰灯Projecting lamp 投影机Squared table 方桌Round table 圆桌Rectangular table 条案Leather chair 皮椅arrangement of fitting 灯具配置Upholstered chair/ P.V.C chair cap 灯座Lockable cupboard /sideboard 带锁柜橱TV rack TV 架子Glass (table) showcase 玻璃展架gas-filled lamp 充气灯Shelf rack 资料架getter 消气剂Shelf (slop or flat) scaffolding 脚手架Free standing literature rack 落地资料架phosphor 荧光粉Brochure holder 资料架Free standing extinguisher 灭火器desiccators 干燥剂Free standing fan 落地风扇Coffee machine with filter 咖啡机带咖啡豆jelly 胶状物Waste paper basket 纸篓hardness 硬度Waste bin /mesh waste bin 垃圾筒Air conditioner 空调surface 路面Refrigerator 冰箱Potted plant 盆载植物Socket /plug 插座/插头Power main 主电源camber 路供Electric distribution box 分电箱Water in/out 水进/水出combined lamps 复合灯Video projector 视频投影仪concealable lamp 藏灯（暗灯）Slider projector 滑动投影机Screen 屏幕Platform 地台C a rp e t 地毯Acrylic /Perspex 亚可力/有机玻璃Tempered glass/ etched glass 钢化玻璃Sliding door 滑动门。

建筑方案生成英文翻译Architectural Design ProposalIntroduction:This architectural design proposal aims to present a comprehensive plan for the construction of a new building. The proposal includes a detailed analysis of the site, design concepts, construction timeline, and budget estimations. The primary objective is to create a functional and visually appealing structure that meets the client's requirements.Site Analysis:The proposed building will be located on a plot of land measuring approximately 10,000 square meters. The site analysis considers various factors such as orientation, topography, access, and neighboring structures. The location is conveniently situated near major roads and public transportation, ensuring ease of accessibility for future occupants. Additionally, the topography of the site provides an opportunity to incorporate sustainable design strategies, such as natural ventilation and daylighting.Design Concepts:The design concept of the building takes into account the client's vision, functional requirements, and aesthetic preferences. Our design approach seeks to create a harmonious integration of form and function. The proposed building will have a modern and contemporary design style, using a combination of glass, steel, and concrete materials. The façade will feature large windows, allowing ample daylight to penetrate the interior spaces. Landscaping and greenery will also be incorporated, providing apleasant and inviting environment.The building will have multiple floors, with each floor dedicated to specific functionalities. The ground floor will house the reception area, lobby, and common spaces, while the upper floors will consist of office spaces. Special attention will be given to space planning and circulation to ensure efficient utilization of the building's footprint. In addition, sustainable design features, such as rainwater harvesting and energy-efficient systems, will be integrated into the design to minimize environmental impact. Construction Timeline:The construction of the proposed building will follow a carefully planned timeline. The project will be divided into various phases, ensuring efficient coordination and timely completion. The initial phase will involve site preparation, including land clearing and leveling. Following this, the foundation and structural elements will be erected. Subsequently, the architectural and interior works will commence, including the installation of fixtures and finishes. Regular progress reports will be provided to the client, ensuring transparency and effective communication throughout the construction process.Budget Estimations:A comprehensive budget estimation has been prepared, considering the various aspects of the project. The budget includes costs related to construction materials, labor, equipment, and professional fees. Additionally, contingency provisions have been made to account for unforeseen circumstances or changes in the scope of work. Regular financial statements will be provided to theclient, ensuring transparency and accountability in financial management.Conclusion:This architectural design proposal provides a detailed outline for the construction of a new building. The comprehensive analysis of the site, design concepts, construction timeline, and budget estimations ensures a well-planned and efficient project. By incorporating sustainable design strategies and addressing the client's requirements, the proposed building aims to create a functional and visually appealing structure. Overall, this proposal sets the foundation for a successful and rewarding architectural project.。

超轻整体复合材料桁架多目标优化及isight实现摘要大型临近空间飞艇对刚性结构有着大尺度、高性能和轻量化的需求。

超轻整体复合材料三角形桁架因其具有极高载荷质量比的特性可以作为大型飞艇的刚性龙骨、和主要支撑部件。

随着复合材料整体成型制造工艺的日益成熟，使得其在工程中实际应用成为可能。

实际工程应用中的复合材料结构和载荷状况一般比较复杂，传统的复合材料桁架优化方法多是针对特定载荷和特定结构，给出解析表达式进行优化的方法，无法解决现有复杂的工程问题。

本文采用isight 和patran/nastran对三角形整体复合材料桁架建立了参数化的有限元模型并做了多目标优化，为三角形复合材料桁架设计给出了一套简单易行的解决方案。

关键词复合材料；整体桁架；多目标优化；isight中图分类号TP3 文献标识码 A 文章编号1673-9671-(2012)101-0152-021 超轻型复合材料整体桁架大型空间飞行平台以及临近空间飞行器对大型和超大型支撑结构的轻量化提出了迫切需求，超轻质复合材料整体桁架是大型空间飞行器和临近空间飞行器的理想支撑结构。

超轻质复合材料整体桁架是指以高强度连续纤维增强聚合物复合材料（Fiber Reinforced Polymer，FRP）为原材料，采用先进复合材料成型工艺一次整体成型，具有极高载荷/质量比的桁架结构。

超轻质复合材料整体桁架在结构构型上往往呈现出相同结构单元沿桁架轴向周期性一维排布的特征。

该桁架结构是随着近年来先进复合材料成型工艺的不断发展而开发出的一种全新复合材料结构形式。

与传统复合材料桁架结构相比，超轻质复合材料整体桁架摒弃了构成桁架的杆或管间的连接件，采用一体化成型方法一次整体成型，在结构减重及可靠性上更具有优势。

超轻质复合材料整体桁架因其具有很高的载荷/质量比、刚度/质比而引起了广泛关注，作为大型支撑结构在航空航天领域具有巨大的应用潜力。

复合材料整体桁架可以通过结构优化技术使其在结构减重上的优势进一步提高，成为超轻质复合材料整体桁架。

71周洁，等：基于响应面法的碳纤维铺放工艺参数优化及耦合作用分析parameters of tape placement for continuous GF reinforced PP laminates[J]. Engineering Plastics Application，2015，43(5):43–48. [5]　李靖，洪成，郭兵兵，等.铺放成型工艺参数对复合材料板材弯曲强度和层间剪切强度的影响[J].玻璃钢／复合材料，2017(5):72–79.Li Jing，Hong Cheng，Guo Bingbing，et al. Study on processing parameters of tape placement for continuous GF reinforced PPS[J].Fiber Reinforced Plastic／Composites，2017(5):72–79.[6]　Aized T，Shirinzadeh B. Robotic fiber placement processanalysis and optimization using response surface method[J]. The International Journal of Advanced Manufacturing Technology，2011，55(1–4):393–404.[7]　黄文宗.热固性预浸料的自动铺带工艺参数分析与优化[D].武汉:华中科技大学，2013.Huang Wenzong. Processing parameter analysis and optimization of automated tape laying for thermosetting prepregs[D].Wuhan:Huazhong University of Science and Technology，2013. [8]　Department of Defense. MIL-HDBK-17-IF polymer matrixcomposites guide lines for characterization of structural materials[M]. Washington: USA Department of Defense，2002:282.[9]　赵选民.试验设计方法[M].北京:科学出版社，2006.Zhao Xuanmin. Design of experiment[M]. Beijing:Science Press，2006.[10]　王永菲，王成国.响应面法的理论与应用[J].中央民族大学学报:自然科学版，2005，14(3):236–240.Wang Yongfei，Wang Chengguo. The application of response surface methodology[J]. Journal of Central University for Nationalities:Natural Science，2005，14(3):236–240.[11]　葛宜元.试验设计方法与Design-Expert软件应用[M].哈尔滨:哈尔滨工业大学出版社，2015.Ge Yiyuan. Design of experiment and application of Design-Expert software[M]. Harbin:Harbin Institute of Technology Press，2015.“消费升级，融合发展”或将成塑料制品加工行业主旋律经过数十年的快速发展，我国塑料制品行业发生了巨大的变化，在产业结构调整、转型和升级中保持快速发展的态势，产销量都位居全球首位，其中塑料制品产量占世界总产量的比例约为20%。

文章编号：1673-0291（2023）03-0010-09DOI ：10.11860/j.issn.1673-0291.20220076第 47 卷 第 3 期2023 年 6 月Vol .47 N o .3Jun. 2023北京交通大学学报JOURNAL OF BEIJING JIAOTONG UNIVERSITY融合改进ResNet -14和RS -Unet 模型的混凝土桥梁裂缝识别梁栋， 李英俊， 张少杰（河北工业大学 土木与交通学院，天津 300401）摘要：针对噪声影响下的细小混凝土裂缝检测，提出了将改进的深度残差网络（ResNet -14）和基于U 形框架的Swin -Unet 网络 （Revised Swin -Unet ， RS -Unet ）相融合的混凝土桥梁裂缝检测识别方法.首先，利用改进的ResNet -14网络对裂缝子块进行识别，去除划痕、剥落等噪声的干扰，并保留裂缝区域；然后，采用RS -Unet 网络模型对图像进行像素级分割，完成裂缝特征提取；最后，采用边缘线最短距离法进行宽度计算，并在实验室条件下设计了一套裂缝检测系统用以验证该方法.试验结果表明：在固定拍摄角度和距离的前提下，融合改进的ResNet -14和RS -Unet 网络模型对噪声影响下细小混凝土裂缝的识别效果体现出了良好的抗干扰性和准确性，为其应用于实际工程中提供了重要参考作用.关键词：桥梁工程；深度学习；ResNet ；裂缝识别；特征提取；宽度测量中图分类号：U446 文献标志码：AIdentification of cracks in concrete bridges through fusing improvedResNet -14 and RS -Unet modelsLIANG Dong , LI Yingjun , ZHANG Shaojie（School of Civil and Transportation Engineering, Hebei University of Technology, Tianjin 300401, China ）Abstract :To address the detection of fine concrete cracks under the influence of noise, this paper pro⁃poses a fusion method that combines the improved deep residual network (ResNet -14) and the Swin -Unet network based on a U -shaped structure (Revised Swin -Unet, RS -Unet) for crack detection and recognition in concrete bridges. Firstly, the improved ResNet network is used to identify crack sub -block, eliminating the noise interference such as scratch and spalling, while preserving the fracture area. Then, the RS -Unet network model is utilized for pixel -level segmentation of the images to facilitate the crack feature extraction. Finally, the width of the cracks is calculated using the shortest distance method along the edge lines. To validate the proposed method, a set of crack detection system is designed and tested under laboratory conditions. The experimental results show that under the premise of fixed shoot⁃ing angle and distance, the fusion of the improved ResNet -14 and RS -Unet network model exhibits收稿日期：2022-06-05；修回日期：2022-11-03基金项目：国家自然科学基金（51978236）；天津市交通运输委员会科技发展项目计划（2023-50）Foundation items : National Natural Science Foundation of China （51978236）； Science and Technology Development Project of Tianjin Trans⁃portation Commission （2023-50）第一作者：梁栋（1976—）， 男， 河北南宫人， 教授， 博士， 博士生导师. 研究方向为桥梁结构智能检测. email ：136****************.引用格式：梁栋，李英俊，张少杰.融合改进ResNet -14和RS -Unet 模型的混凝土桥梁裂缝识别［J ］.北京交通大学学报，2023，47（3）：10-18.LIANG Dong ， LI Yingjun ， ZHANG Shaojie. Identification of cracks in concrete bridges through fusing improved ResNet ⁃14 and RS -Unet models ［J ］.Journal of Beijing Jiaotong University ，2023，47（3）：10-18.（in Chinese ）梁栋等：融合改进ResNet-14和RS-Unet模型的混凝土桥梁裂缝识别第 3 期strong resistance to noise interference and achieves accurate identification of small concrete cracks under the influence of noise, providing valuable insights for its practical application in engineering projects.Keywords:b ridge engineering；deep learning；ResNet；crack identification；feature extraction；width measurement桥梁结构由于受到车辆荷载作用产生应力、结构变形，再加上外界环境因素及施工材料、质量等影响可能会引起混凝土开裂形成裂缝.裂缝是桥梁病害产生的初期表现形式之一，不仅降低了结构的承载能力，而且空气和水分可以通过裂缝进入结构内部造成钢筋的腐蚀，进而形成恶性循环，严重影响桥梁的正常使用寿命.因此，应对桥梁中的裂缝进行定期检查，包括位置、宽度、发展趋势等［1］.裂缝是结构开裂后形成的细长缝隙，其颜色、灰度、形态与周边环境有明显的区别.然而，在实际的混凝土桥梁中，由于受到环境因素的影响，其裂缝的分布和噪声的干扰是复杂多样的，这些影响因素严重妨碍了裂缝的检测.目前，我国对于混凝土桥梁的裂缝检测仍以人工检测为主，此方法不仅耗时费力且难以保证裂缝检测的效率和精度，存在一定的安全隐患.国内外学者对裂缝的检测和识别进行了较为广泛的研究［2］，初秀民等［3］将裂缝图像二值化，基于二值化的图像将其划分为裂缝子块和非裂缝子块，进而达到裂缝识别的目的.Lu等［4］对峰值阈值选择方法进行了改进，采用二值图像分割迭代的方法对裂缝进行提取，并且在迭代阈值选择之前进行图像增强、平滑和去噪处理，从而可以实时、稳定地完成阈值的自动选择，达到裂缝识别检测的目的.Li 等［5］基于Frangi滤波算法，在图像预处理环节加入Bilateral高斯核函数，实现了在去除噪声的同时增强裂缝特征的功能.Quan等［6］提出了一种改进的大津阈值裂缝检测方法，通过修改基于灰度直方图的概率加权因子，来提高裂缝的提取精度.Peng等［7-8］对裂缝识别研究进行了系统综述，分析讨论了图像预处理、裂缝识别与提取、宽度参数计算等重要环节的常见算法应用，并对此做出了前景展望.近些年来，深度学习技术有了较快的发展，尤其是卷积神经网络的创新应用，极大提高了语义分割的能力和水平.由Lecun等［9-10］开发的卷积神经网络采用了深度学习理论，是目前最主流的图像识别算法，最早被应用于手写数字的识别.He等［11］提出了一种深层的残差卷积神经网络，其主要原理是通过捷径连接将远端的输出与近端的输出相连，成功解决了深度学习过程中卷积层输入和输出之间的恒等变换和反向传播时的梯度弥散问题.Jang等［12］将机器视觉和红外线成像相结合，并引入到基于深度学习的混凝土裂缝检测中，通过良好训练的卷积神经网络迁移学习实现裂缝的自动识别.为了提高噪声干扰条件下的裂缝检测效率，雷斯达等［13］首先基于卷积神经网络对采集的裂缝图像进行分类，再利用改进的K-means算法完成了复杂背景下的混凝土裂缝分割提取和宽度计算.Peng等［14］通过无人机机器视觉技术对裂缝图像进行采集，并通过R-FCN和Haar-AdaBoost实现了像素级别的裂缝分割.此外，还有很多其他性能优异的网络模型被不断应用到裂缝检测中去，如U-net［15］、SegNet［16-17］、R-CNN［18］、AlexNet［19］等.2021年，Cao等［20］首次提出了可以更好地学习全局和远程语义信息交互的Swin-Unet网络模型，为图像分割和特征提取提供了一种新的方法.上述文献虽然在裂缝识别计算的精度和效率方面不断提高，但基本集中于检测具有一定宽度的裂缝信息，对在噪声影响下的细小混凝土裂缝进行识别时，不能很好地满足精度要求.混凝土裂缝的干扰主要包括表面大面积剥落、蜂窝麻面、锈蚀、水渍等，此外还有划痕涂鸦、施工缝等类似于裂缝的细长噪声.在混凝土桥梁裂缝的检测识别过程中，可能包含上述一种或几种噪声和干扰的影响，再加上裂缝本身复杂多变、宽窄不一的特点，很容易干扰检测结果.尤其是检测分布杂乱、特征相对不明显的细小混凝土裂缝时，裂缝本身的像素占比小于周围噪声的像素占比，进一步加大了检测的难度.为了解决这些问题，本文提出了一种融合改进双网络模型的混凝土裂缝检测方法.首先利用改进的ResNet-14对有效分割后的图像进行裂缝的子块分类识别，去除干扰噪声的影响，保留裂缝区域；然后运用基于U形框架的Swin-Unet网络模型（Re⁃vised Swin-Unet，RS-Unet）网络模型对裂缝区域进行特征提取，进而完成对裂缝宽度的计算；最后在实验室条件下通过研发的裂缝智能检测系统进行验证，系统性地完成混凝土细小裂缝的有效检测.1基于ResNet的裂缝识别卷积神经网络是当前主流的深度学习图像分类算法，可以将固定尺寸大小的图像直接输入，在二维11北京交通大学学报第 47 卷图像的处理过程中具有很大的优势.传统的卷积神经网络在训练过程中，可以通过增加网络层级来提高提取特征性能的优异性，但会伴随梯度消失和网络退化等问题.这些问题使得训练精度随着模型深度的增加而变得难以提升，甚至会大幅下降，而深度残差卷积神经网络（ResNet）的残差模块能够很好地解决这些问题.基于残差模块，通过改进的ResNet网络模型对裂缝图像进行识别，具体识别流程如图1所示.1.1ResNet-14网络结构残差模块构造如图2所示，x作为输入值，在卷积映射变换之后经过批归一化BN和激活函数ReLu得到残差F（x），在激活前将F（x）和x用捷径连接起来.结合混凝土暗背景及裂缝形态特征的特点，本文在传统ResNet-18的基础上，适当减少网络层数，优化模型结构，改进了一种深度残差网络——ResNet-14.网络结构如图3所示，将ResNet-18网络结构简化为14层，输入大小设置为64×64，第一层使用3×3的卷积核，通道数为64，步长为2，然后连接步长为2的最大池化层.为了在有效提高图像分类的精度和速度的同时，保证网络模型获得足够尺寸的卷积特征，将残差单元内的所有卷积核尺寸大小均设置为3×3，在第6层、10层及12层进行步长为2的卷积操作.1.2网络模型训练本文对裂缝图像的分类识别网络采用Python 进行编程，pytorch框架进行训练.通过观察训练集和测试集的准确率，判断参数设计的合理性.经过不断调整相关参数，确定模型最佳的准确率.由于大部分混凝土裂缝图像背景复杂，包含大量蜂窝麻面、划痕斑点、剥落陷坑等噪声，因此，本文采用滑动尺寸窗口的方式对每张图像进行遍历的裂缝识别检测.将原始图像分割成像素值为64×64的图像子块，增加裂缝相关特征信息在图像子块中的占比.通过对固定尺寸大小的图像子块进行识别，去除非裂缝子块图像，有效排除原始图像中的干扰信息，初步达到裂缝目标识别的目的［21］.针对ResNet-14的训练，采用Adam算法来优化网络模型.Adam算法结合Momentum和RM⁃SProp算法的优点，能够有效解决参数摆动幅度过大的问题，加快模型收敛的速度.该方法的权重更新式为m t=β1m t-1+(1-β1)g t（1）v t=β2v t-1+(1-β2)g2t（2）m't=m t1-βt1（3）v't=v t1-βt2（4）w t=w t-1-αm'tv't+ε（5）式中：t为时间步；g t为梯度向量；m t和v t分别为梯度的第一（均值）和第二（非中心方差）有偏矩估计；m't图2　残差模块Fig.2　Residual module图1　裂缝图像识别流程Fig.1　Flowchart of crack image recognition图3　ResNet-14网络结构Fig.3　Network architecture of ResNet-1412梁栋等：融合改进ResNet-14和RS-Unet模型的混凝土桥梁裂缝识别第 3 期和v't分别为梯度的第一（均值）和第二（非中心方差）有偏矩估计的偏差修正值；β1和β2为矩估计的指数衰减率；α为学习率；w为模型权重；ε为10−8.根据数次实验，将Adam算法的初始学习率设定为0.000 5，批尺寸设置为64，并且学习率随着每20个epoch降低10％，从而使得模型在网络训练过程稳定且收敛.在训练和调整参数的过程中，当训练的损失趋于稳定时终止训练.1.3评价指标在评价指标方面，由于裂缝识别的数据集中背景图像的数量远大于裂缝子块图像数量，数据集存在严重的不平衡性，所以使用传统的正确率等指标将不再合理.为更能有效反映裂缝识别效果，本文引入精确率P和召回率R来进行ResNet模型识别效果的评价，计算式为P=TPTP+FP（6）R=TPTP+FN（7）式中：TP代表图像样本集中标识为裂缝，被正确识别为裂缝的样本；FP代表图像样本集中标识为背景，被错误识别为裂缝的样本；FN代表图像样本集中标识为裂缝，被错误识别为背景的样本.2基于Swin-Unet的特征提取卷积神经网络在对图像进行特征提取的过程中，卷积核可以看做是一个小块，其获取的特征信息都是局部信息.对此，基于transformer的纯U形框架，引入了一种改进的Swin-Unet图像分割模型（RS-Unet），用于克服全局信息丢失问题，提高裂缝分割提取的精度.2.1RS-Unet网络结构RS-Unet网络模型主要由编码器、瓶颈层、解码器和跳跃连接4部分组成，如图4所示.为了将输入图像转化为序列嵌入，需将裂缝图像分割成大小为4×4的互不重叠的小块，进而增加每个块的特征维度.在图像分割结束后进入编码器，首先是在线形嵌入层中将特征维度投影到任意维度C，其次分辨率为H/4×W/4的C维标记化图像被送入到两个连续的Swin Transform块中进行表征学习，在此过程中特征尺寸和分辨率保持不变.在进入patch融合层之后，通过融合层将分割的图像连接在一起，并进行下采样和增维操作，经此处理，图像的特征分辨率降低2倍，但特征维度却增加了2倍.此过程在编码器中重复3次操作后，转入瓶颈层.为了避免trans⁃former太深可能会导致无法收敛，因此采用两个连续的Swin Transformer块来构建学习深层特征表示的瓶颈层.在瓶颈层中，分辨率和特征维度保持不变.与编码器相对应，对称的解码器也是基于Swin Transformer块构建的.但与编码器中使用的融合层不同，在解码器中使用扩展层对提取的深度特征进行上采样和降维操作.以第1个扩展层为例，在进行上采样的同时将输入特征的分辨率扩展到输入分辨率的2倍，并将特征维数降低到输入维度的1/2.然后和编码器中的操作类似进入两个连续的Swin Transformer块进行特征表示学习，并重复3次操作.利用最后一层扩展层进行4倍上采样，将特征图的分辨率恢复到输入分辨率（W×H），进而在这些上采样的特征上进行线性投影输出像素级的分割预测.2.2网络模型训练在进行RS-Unet网络模型训练时，裂缝图像容易在下采样的过程中造成信息丢失.为了减少信息的丢失，构建了一个跳跃连接将来自编码器的多尺度特征和上采样特征融合，再在其后附一个线性层，使得连接特征的维度与上采样特征的维度保持相同，进而获得最终的裂缝分割提取模型.为了避免模型训练由梯度爆炸带来的不稳定性，解决误差曲线混乱的问题，采用随梯度下降SGD算法对模型进行反向优化，使用交叉熵损失图4　RS-Unet网络结构Fig.4　Network architecture of RS-Unet13北京交通大学学报第 47 卷（Cross Entropy Loss ）和Dice 损失（Dice Loss ）之和作为最终的损失函数，构件训练模型.最终的损失函数为L =0.4L ce +0.6L dice（8）式中：L ce 为交叉熵损失函数，L dice 为Dice 损失函数，两式分别为L ce =-[p log g +(1-p )log (1-g )]（9）L dice =1-2||X ∩Y ||X +||Y （10）式中：p 代表真实标签值，g 代表预测分割值；裂缝取1，非裂缝取0.X 表示真实标签集合，Y 表示预测分割集合，|X ∩Y |表示真实标签集合与预测分割集合的交集.2.3 评价指标为了验证裂缝提取网络模型的有效性，将模型输出图和裂缝标签图分别二值化，通过像素点集合来进行模型指标的计算.裂缝分割提取主要关心的是裂缝区域，所以在衡量算法性能时，采用更能突出裂缝区域的Dice 系数D 和Jaccard 系数J 而非正确率进行分割结果评价，计算式为D =2TPFP +2TP +FN（11）J =TPFP +TP +FN（12）3 测试与分析3.1 图像采集与制备在使用深度学习的神经网络模型进行混凝土裂缝检测时，需要大量的相关图像作为模型的训练和验证样本.现阶段在桥梁的裂缝检测方面没有相应的标准标签数据库，混凝土裂缝样本较为匮乏.以其他相关途径收集到的裂缝图像为基础，通过河北地区几座混凝土桥梁的结构健康监测项目，采用相关设备采集桥面及桥底不同背景条件下的混凝土裂缝图像，一起作为数据集，采集过程如图5所示.由于受到现场拍摄条件的影响，将采集到的图像进行固定像素的合理裁剪之后应用于模型训练和测试.通过裁剪、筛选制作了一个包含3 352张图像的数据库进行模型训练和测试，图像大小均为1 024×1 024像素.图6展示了部分细小裂缝图片，其中包含部分噪声影响下的裂缝.3.2 裂缝识别结果分析将测试图像随机分成5组，进行ResNet -14网络模型测试，测试结果如表1所示.由表1可知，在排除测试图像过少造成测试结果不稳定的前提下，5组数据的测试精确率平均值约在95.6％，召回率约在96.7％，表明此模型总体性能良好，具有较好的鲁棒性，满足裂缝识别的实际工程应用.RS -Unet 网络模型在经过训练达到最优状态后，就可用于裂缝提取测试；将经ResNet -14网络模型测试识别出的裂缝图像子块按原坐标重新合成新的图像，像素大小等同于原始图像，其中被识别出的原背景图像子块位置用白色底色代替.输入图像即为ResNet -14网络模型的输出合成图像，输出图像为裂缝区和非裂缝区的像素级分割结果，得到裂缝提取的二值图像.为了验证本文提出的组合模型对裂缝检测的效果，分别又单独建立ResNet -14、Swin -Unet 、U -net 、FCN 、AlexNet 等模型，采用相同的训练集进行模型训练，经相同的测试集测试后，在噪声影响下各网络图5　桥梁裂缝检测及图像采集Fig.5　Bridge crack detection and image acquisition图6　部分较难分辨及包含噪声影响的细小裂缝图像Fig.6　Small crack images with difficult differentiation andnoise influence 表1　裂缝识别测试结果Tab.1 C rack identification test results组号12345图像数7366626973精确率0.9560.9690.9380.9390.968召回率0.9560.9440.9841.0000.96814梁栋等：融合改进ResNet-14和RS-Unet 模型的混凝土桥梁裂缝识别第 3 期模型对裂缝识别的部分对比结果如图7所示.为了能更加准确地对比本文所提出的网络模型的优异性，随机挑选一组裂缝图像，计算得到的评价指标结果如表2所示.通过对比可知，融合改进ResNet -14和RS -Unet 模型的混凝土桥梁裂缝识别提取方法要明显优于其他传统的网络模型.相比较于U -net 和AlexNet 模型，其对细小裂缝的识别具有更强的鲁棒性；相比较于FCN 模型和直接采用Swin -Unet 进行裂缝提取，本文方法减少了干扰噪声的影响，抗干扰性也更强一些.4 裂缝宽度计算裂缝的宽度在桥梁病害检测中对评估桥梁安全及其结构影响具有重要的作用.而细小裂缝宽度由于在数字图像中占有的像素格有限，因此不宜采取基于裂缝中心线的方法对细小裂缝进行宽度测量.对此，本文采用基于边缘线最短距离的方法［14，22］进行裂缝宽度计算，计算原理如图8所示.具体操作过程包括3个步骤.步骤1：裂缝边缘线的提取［23］.裂缝边缘线指位于识别裂缝边缘的由单点像素组成的连线，本文使用Canny 边缘算子进行8通道边缘线的提取.Canny 算法通过窗口计算灰度梯度的幅度和方向，因为在对裂缝进行宽度计算时，采用的是特征提取出的二值图像，梯度变化单一，所以对边缘线的检测相对较容易.所以根据8通道连线进行边缘线的搜索.步骤2：确定某宽度点处过边缘线最短的直线距离.如图9裂缝宽度计算算例所示，过待求宽度点的任意直线都会与两条裂缝边缘线相交，所有直线产生的两个交点之间最短的距离即为裂缝宽度.以（x n ，y n ）点为例，（x n ，y n ）点到对面裂缝边缘线的最短距离即为（x n ，y n ）点处的裂缝宽度.该点处的裂缝宽度像素值为w n =min()x m -x n 2-()y m -y n2（13）式中：（x m ，y m ）为（x n ，y n ）对面局域范围内边缘线上某点坐标；w n 为（x n ，y n ）处裂缝的像素宽度，pixel.步骤3：将裂缝的像素距离转化为实际物理距离［24］.由于式（13）中计算出的裂缝宽度为像素单位，转换为实际物理距离为W n =kw n（14）k =Ll（15）图7　网络模型分割提取效果图Fig.7　Segmentation and extraction effect of network model图8　裂缝宽度计算原理Fig.8　Principle of crack width calculation表2　裂缝提取测试结果Tab.2 C rack extraction test results评价指标平均Dice 系数平均Jaccard 系数U -Net 0.7650.619Swin -Unet 0.7740.631FCN 0.7470.596AlexNet 0.8010.669本文方法0.8130.68615北京交通大学学报第 47 卷式中：W n 为裂缝的实际宽度，mm ；k 为目标裂缝在图像中的缩放比例，mm/pixel ，可在实验室的条件下通过标靶标定获得；L 为标靶目标物的固定尺寸，mm ；l 为目标物的成像尺寸，pixel.由于图像中存在部分噪声的影响导致计算出的裂缝宽度中存在异常值，因此在进行宽度计算时须进行异常值的剔除.理想状态下，裂缝的两条边缘线在局部范围内应接近平行的，相邻两像素点的裂缝宽度差别不大，根据该原则，设置一定的变化阈值后可有效剔除裂缝的异常值.5 应用实例5.1 裂缝智能检测系统由于室外采集裂缝图像时存在一定的不稳定性，所以为了更精准地控制拍摄角度和距离及对细小裂缝的聚焦捕捉，验证本文对细小裂缝识别检测及宽度量测方法，在实验室条件下设计了一套混凝土梁的裂缝智能检测系统，如图10所示.自动行走支架可以调节三维空间坐标及角度，严格将工业相机和被测结构保持平行放置，固定拍照相机到混凝土裂缝表面的距离和角度，减少其因为拍摄因素造成的客观误差.系统还添加了图像拼接算法，可将试验梁图像拼接后再进行分割识别，进而形成全梁的裂缝图像.将搭建的裂缝检测模型作为系统的后端处理，如图11所示.对于裂缝的量测，在本次实验中，固定相机距试验梁表面距离为40 cm ，并将参数信息输入对应界面窗口后即可自动计算出区域内的裂缝宽度.5.2 系统测试为进一步验证本文模型对混凝土细小裂缝识别的性能，将训练好的U -net 网络模型植入系统后端处理程序中，对拍摄图片进行特征提取、识别比较，部分比较结果见图12.由图12可知，虽然U -net 网络模型对噪声、光照的剔除具有较好的表现能力，但本文提出的模型在噪声、光照等环境的干扰下，对末端细小裂缝的识别效果较好.通过裂缝检测仪实际测量对应宽度点处的裂缝宽度，并进行比较，部分结果比较见表3.其中，正号表示本文方法计算出的裂缝宽图9　裂缝宽度计算算例Fig.9　Example of crack width calculation图11　裂缝智能检测控制界面Fig.11　Intelligent crack detection and control interface图10　裂缝智能检测设备Fig.10　Intelligent crack detection equipment16梁栋等：融合改进ResNet-14和RS-Unet 模型的混凝土桥梁裂缝识别第 3 期度大于实测值，负号表示小于实测值.由表3可知，本文对裂缝宽度计算的误差平均小于0.04 mm ，在桥梁病害检测工作中基本满足对宽度测量的要求.6 结论1）通过改进传统的ResNet 网络模型，使其在小尺寸的条件下进行裂缝图像中的区域识别，有效去除了划痕、剥落等噪声的干扰，测试精确率平均值达到了约95.6％，召回率约在96.7％.2）基于ResNet -14网络模型识别，通过RS -Unet 模型对裂缝进行像素级的分割提取，可以有效去除噪声影响的同时，准确获得裂缝的特征信息.Dice 系数评价指标达到了0.813，Jaccard 系数达到了0.686，相比于其他裂缝分割提取方法，综合评价指标系数得到了有效提高，应用效果上具有明显的优势.3）本文研究的裂缝检测方法在实验室条件下进行了宽度测量验证，与人工检测相比，本文提出的裂缝宽度测量方法的平均误差可以控制在0.04 mm 以下，对混凝土裂缝健康状况的评估具有良好的可靠性.4）利用本文建立的裂缝检测算法模型，在实验室条件下设计了一套裂缝智能检测系统.该系统将裂缝检测与图像采集融为一体，实现了对细小裂缝检测的远程化和自动化，无需进行其他复杂操作即可达到裂缝宽度测量的目的，为其进一步在实际桥梁检测工作中进行裂缝危险状态评估起到借鉴参考的作用.参考文献（References ）：［1］ 中华人民共和国交通运输部. 公路桥涵养护规范： JTG5120—2021［S ］. 北京： 人民交通出版社， 2021.Ministry of Transport of the People ’s Republic of China.Highway bridge and culvert maintenance code ： JTG 5120—2021［S ］. Beijing ： China Communications Press ，2021.（in Chinese ）［2］ FUKUHARA T ， TERADA K ， NAGAO M ， et al. Au⁃tomatic pavement -distress -survey system ［J ］. Journal of Transportation Engineering ， 1990， 116（3）： 280−286.［3］ 初秀民， 严新平， 陈先桥. 路面破损图像二值化方法研究［J ］. 计算机工程与应用， 2008， 44（28）：161−165.CHU Xiumin ， YAN Xinping ， CHEN Xianqiao. Study of pavement surface distress image binarization ［J ］. Computer Engineering and Applications ， 2008， 44（28）：161−165.（in Chinese ）［4］ LU G F ， ZHAO Q C ， LIAO J G ， et al. Pavement crackidentification based on automatic threshold iterative method ［C ］// Seventh International Conference on Elec⁃tronics and Information Engineering. Nanning ， 2017.［5］ LI H T ， CHEN X D ， XU H Y ， et al. Bridge crack detec⁃tion algorithm based on bilateral -frangi filter ［J ］. Laser & Optoelectronics Progress ， 2019， 56（18）： 181401.［6］ QUAN Y W ， SUN J ， ZHANG Y ， et al. The method ofthe road surface crack detection by the improved otsu threshold ［C ］//2019 IEEE International Conference on Mechatronics and Automation （ICMA ）. Tianjin ， 2019.［7］ PENG B ， JIANG Y S ， PU Y. Review on automaticpavement crack image recognition algorithms ［J ］. Journal of Highway and Transportation Research and Develop⁃ment （English Edition ）， 2015， 9（2）： 13−20.［8］ 刘宇飞， 樊健生， 聂建国， 等. 结构表面裂缝数字图像法识别研究综述与前景展望［J ］. 土木工程学报， 2021， 54（6）： 79−98.LIU Yufei ， FAN Jiansheng ， NIE Jianguo ， et al. Review and prospect of digital image identification of structural surface cracks ［J ］. China Civil Engineering Journal ， 2021， 54（6）： 79−98.（in Chinese ）［9］ LECUN Y ， BENGIO Y ， HINTON G. Deep learning［J ］. Nature ， 2015， 521（7553）： 436−444.［10］ LECUN Y ， BOTTOU L ， BENGIO Y ， et al. Gradient -based learning applied to document recognition ［J ］. Pro⁃ceedings of the IEEE ， 1998， 86（11）：2278−2324.图12　模型对细小裂缝的识别效果Fig.12　Recognition effect of the models on fine cracks表3　裂缝宽度计算结果Tab.3 C alculation results of crack widthmm裂缝编号本文方法裂缝检测仪误差裂缝10.1620.1400.022裂缝20.1580.190-0.032裂缝30.3590.3500.009裂缝40.0690.080-0.011裂缝50.1010.0700.03117。

一种保持视觉特征的LOD模型简化算法滕书娟【摘要】目前,很多模型简化算法在进行大规模简化后并不能很好保证模型的视觉特征,从而产生视觉失真.针对上述问题,提出一种模型简化算法,该算法通过引入顶点曲度特征因子和限制狭长三角形的生成,保持了模型的几何特征;通过标记色差明显的三角形,很好地保持模型的纹理特征;通过衡量边折叠代价队列和边变化队列中的数据,解决误差累积在模型简化后影响视觉效果的问题,进而保证模型简化后的几何特征和纹理特征.实验表明,该算法高效、可靠、能很好保持模型的视觉特征.【期刊名称】《计算机工程与应用》【年(卷),期】2010(046)033【总页数】6页(P164-168,197)【关键词】边折叠;细节层次;狭长三角形;色差三角形;纹理【作者】滕书娟【作者单位】辽宁大学,信息学院,沈阳110036【正文语种】中文【中图分类】TP3911 引言在虚拟现实的场景管理中，通常采用模型简化技术对模型进行简化，以达到减少网络数据传输量、提高模型渲染速度的目的。

由于现有的模型简化算法在模型顶点重要度计算、几何和纹理特征保持、误差累积等方面的处理仍不够理想，因而会影响模型的视觉特征。

目前，国内外研究学者在模型简化算法方面进行了大量研究。

常见的模型简化算法有采样法[1]、自适应细分法[2]、边折叠简化算法[3-9]等。

采样法不易获得高质量简化模型，容易丢失尖锐特征，编程实现较困难。

自适应细分法适用于容易获得基网格的情况，对普通多边形模型创建基模型的难度很大。

边折叠算法是一种适用于任意二维流形的三角网格模型优化算法，它可以简化网格模型、构建渐进网格，从而获得连续细节层次的网格模型（Level-Of-Detail，LOD）。

边折叠简化算法在简化效果、速度及健壮性等方面具有优势，它是一类非常重要的模型简化算法[10]。

本文是基于边折叠算法进行研究的。

目前，关于边折叠算法的研究很多。

文献[11]提出的算法没有考虑网格的细节特征，产生的简化网格均匀，不能有效地表示模型的一些重要几何特征，同时也没有考虑模型的纹理特征（以下所提的重要视觉特征包括几何特征和纹理特征）。

第41卷　第4期吉林大学学报(信息科学版)Vol.41　No.42023年7月Journal of Jilin University (Information Science Edition)July 2023文章编号:1671⁃5896(2023)04⁃0621⁃10特征更新的动态图卷积表面损伤点云分割方法收稿日期:2022⁃09⁃21基金项目:国家自然科学基金资助项目(61573185)作者简介:张闻锐(1998 ),男,江苏扬州人,南京航空航天大学硕士研究生,主要从事点云分割研究,(Tel)86⁃188****8397(E⁃mail)839357306@;王从庆(1960 ),男,南京人,南京航空航天大学教授,博士生导师,主要从事模式识别与智能系统研究,(Tel)86⁃130****6390(E⁃mail)cqwang@㊂张闻锐,王从庆(南京航空航天大学自动化学院,南京210016)摘要:针对金属部件表面损伤点云数据对分割网络局部特征分析能力要求高,局部特征分析能力较弱的传统算法对某些数据集无法达到理想的分割效果问题,选择采用相对损伤体积等特征进行损伤分类,将金属表面损伤分为6类,提出一种包含空间尺度区域信息的三维图注意力特征提取方法㊂将得到的空间尺度区域特征用于特征更新网络模块的设计,基于特征更新模块构建出了一种特征更新的动态图卷积网络(Feature Adaptive Shifting⁃Dynamic Graph Convolutional Neural Networks)用于点云语义分割㊂实验结果表明,该方法有助于更有效地进行点云分割,并提取点云局部特征㊂在金属表面损伤分割上,该方法的精度优于PointNet ++㊁DGCNN(Dynamic Graph Convolutional Neural Networks)等方法,提高了分割结果的精度与有效性㊂关键词:点云分割;动态图卷积;特征更新;损伤分类中图分类号:TP391.41文献标志码:A Cloud Segmentation Method of Surface Damage Point Based on Feature Adaptive Shifting⁃DGCNNZHANG Wenrui,WANG Congqing(School of Automation,Nanjing University of Aeronautics and Astronautics,Nanjing 210016,China)Abstract :The cloud data of metal part surface damage point requires high local feature analysis ability of the segmentation network,and the traditional algorithm with weak local feature analysis ability can not achieve the ideal segmentation effect for the data set.The relative damage volume and other features are selected to classify the metal surface damage,and the damage is divided into six categories.This paper proposes a method to extract the attention feature of 3D map containing spatial scale area information.The obtained spatial scale area feature is used in the design of feature update network module.Based on the feature update module,a feature updated dynamic graph convolution network is constructed for point cloud semantic segmentation.The experimental results show that the proposed method is helpful for more effective point cloud segmentation to extract the local features of point cloud.In metal surface damage segmentation,the accuracy of this method is better than pointnet++,DGCNN(Dynamic Graph Convolutional Neural Networks)and other methods,which improves the accuracy and effectiveness of segmentation results.Key words :point cloud segmentation;dynamic graph convolution;feature adaptive shifting;damage classification 0　引　言基于深度学习的图像分割技术在人脸㊁车牌识别和卫星图像分析领域已经趋近成熟,为获取物体更226吉林大学学报(信息科学版)第41卷完整的三维信息,就需要利用三维点云数据进一步完善语义分割㊂三维点云数据具有稀疏性和无序性,其独特的几何特征分布和三维属性使点云语义分割在许多领域的应用都遇到困难㊂如在机器人与计算机视觉领域使用三维点云进行目标检测与跟踪以及重建;在建筑学上使用点云提取与识别建筑物和土地三维几何信息;在自动驾驶方面提供路面交通对象㊁道路㊁地图的采集㊁检测和分割功能㊂2017年,Lawin等[1]将点云投影到多个视图上分割再返回点云,在原始点云上对投影分割结果进行分析,实现对点云的分割㊂最早的体素深度学习网络产生于2015年,由Maturana等[2]创建的VOXNET (Voxel Partition Network)网络结构,建立在三维点云的体素表示(Volumetric Representation)上,从三维体素形状中学习点的分布㊂结合Le等[3]提出的点云网格化表示,出现了类似PointGrid的新型深度网络,集成了点与网格的混合高效化网络,但体素化的点云面对大量点数的点云文件时表现不佳㊂在不规则的点云向规则的投影和体素等过渡态转换过程中,会出现很多空间信息损失㊂为将点云自身的数据特征发挥完善,直接输入点云的基础网络模型被逐渐提出㊂2017年,Qi等[4]利用点云文件的特性,开发了直接针对原始点云进行特征学习的PointNet网络㊂随后Qi等[5]又提出了PointNet++,针对PointNet在表示点与点直接的关联性上做出改进㊂Hu等[6]提出SENET(Squeeze⁃and⁃Excitation Networks)通过校准通道响应,为三维点云深度学习引入通道注意力网络㊂2018年,Li等[7]提出了PointCNN,设计了一种X⁃Conv模块,在不显著增加参数数量的情况下耦合较远距离信息㊂图卷积网络[8](Graph Convolutional Network)是依靠图之间的节点进行信息传递,获得图之间的信息关联的深度神经网络㊂图可以视为顶点和边的集合,使每个点都成为顶点,消耗的运算量是无法估量的,需要采用K临近点计算方式[9]产生的边缘卷积层(EdgeConv)㊂利用中心点与其邻域点作为边特征,提取边特征㊂图卷积网络作为一种点云深度学习的新框架弥补了Pointnet等网络的部分缺陷[10]㊂针对非规律的表面损伤这种特征缺失类点云分割,人们已经利用各种二维图像采集数据与卷积神经网络对风扇叶片㊁建筑和交通工具等进行损伤检测[11],损伤主要类别是裂痕㊁表面漆脱落等㊂但二维图像分割涉及的损伤种类不够充分,可能受物体表面污染㊁光线等因素影响,将凹陷㊁凸起等损伤忽视,或因光照不均匀判断为脱漆㊂笔者提出一种基于特征更新的动态图卷积网络,主要针对三维点云分割,设计了一种新型的特征更新模块㊂利用三维点云独特的空间结构特征,对传统K邻域内权重相近的邻域点采用空间尺度进行区分,并应用于对金属部件表面损伤分割的有用与无用信息混杂的问题研究㊂对邻域点进行空间尺度划分,将注意力权重分组,组内进行特征更新㊂在有效鉴别外邻域干扰特征造成的误差前提下,增大特征提取面以提高局部区域特征有用性㊂1　深度卷积网络计算方法1.1　包含空间尺度区域信息的三维图注意力特征提取方法由迭代最远点采集算法将整片点云分割为n个点集:{M1,M2,M3, ,M n},每个点集包含k个点:{P1, P2,P3, ,P k},根据点集内的空间尺度关系,将局部区域划分为不同的空间区域㊂在每个区域内,结合局部特征与空间尺度特征,进一步获得更有区分度的特征信息㊂根据注意力机制,为K邻域内的点分配不同的权重信息,特征信息包括空间区域内点的分布和区域特性㊂将这些特征信息加权计算,得到点集的卷积结果㊂使用空间尺度区域信息的三维图注意力特征提取方式,需要设定合适的K邻域参数K和空间划分层数R㊂如果K太小,则会导致弱分割,因不能完全利用局部特征而影响结果准确性;如果K太大,会增加计算时间与数据量㊂图1为缺损损伤在不同参数K下的分割结果图㊂由图1可知,在K=30或50时,分割结果效果较好,K=30时计算量较小㊂笔者选择K=30作为实验参数㊂在分析确定空间划分层数R之前,简要分析空间层数划分所应对的问题㊂三维点云所具有的稀疏性㊁无序性以及损伤点云自身噪声和边角点多的特性,导致了点云处理中可能出现的共同缺点,即将离群值点云选为邻域内采样点㊂由于损伤表面多为一个面,被分割出的损伤点云应在该面上分布,而噪声点则被分布在整个面的两侧,甚至有部分位于损伤内部㊂由于点云噪声这种立体分布的特征,导致了离群值被选入邻域内作为采样点存在㊂根据采用DGCNN(Dynamic Graph Convolutional Neural Networks)分割网络抽样实验结果,位于切面附近以及损伤内部的离群值点对点云分割结果造成的影响最大,被错误分割为特征点的几率最大,在后续预处理过程中需要对这种噪声点进行优先处理㊂图1　缺损损伤在不同参数K 下的分割结果图Fig.1　Segmentation results of defect damage under different parameters K 基于上述实验结果,在参数K =30情况下,选择空间划分层数R ㊂缺损损伤在不同参数R 下的分割结果如图2所示㊂图2b 的结果与测试集标签分割结果更为相似,更能体现损伤的特征,同时屏蔽了大部分噪声㊂因此,选择R =4作为实验参数㊂图2　缺损损伤在不同参数R 下的分割结果图Fig.2　Segmentation results of defect damage under different parameters R 在一个K 邻域内,邻域点与中心点的空间关系和特征差异最能表现邻域点的权重㊂空间特征系数表示邻域点对中心点所在点集的重要性㊂同时,为更好区分图内邻域点的权重,需要将整个邻域细分㊂以空间尺度进行细分是较为合适的分类方式㊂中心点的K 邻域可视为一个局部空间,将其划分为r 个不同的尺度区域㊂再运算空间注意力机制,为这r 个不同区域的权重系数赋值㊂按照空间尺度多层次划分,不仅没有损失核心的邻域点特征,还能有效抑制无意义的㊁有干扰性的特征㊂从而提高了深度学习网络对点云的局部空间特征的学习能力,降低相邻邻域之间的互相影响㊂空间注意力机制如图3所示,计算步骤如下㊂第1步,计算特征系数e mk ㊂该值表示每个中心点m 的第k 个邻域点对其中心点的权重㊂分别用Δp mk 和Δf mk 表示三维空间关系和局部特征差异,M 表示MLP(Multi⁃Layer Perceptrons)操作,C 表示concat 函数,其中Δp mk =p mk -p m ,Δf mk =M (f mk )-M (f m )㊂将两者合并后输入多层感知机进行计算,得到计算特征系数326第4期张闻锐,等:特征更新的动态图卷积表面损伤点云分割方法图3　空间尺度区域信息注意力特征提取方法示意图Fig.3　Schematic diagram of attention feature extraction method for spatial scale regional information e mk =M [C (Δp mk ‖Δf mk )]㊂(1) 第2步,计算图权重系数a mk ㊂该值表示每个中心点m 的第k 个邻域点对其中心点的权重包含比㊂其中k ∈{1,2,3, ,K },K 表示每个邻域所包含点数㊂需要对特征系数e mk 进行归一化,使用归一化指数函数S (Softmax)得到权重多分类的结果,即计算图权重系数a mk =S (e mk )=exp(e mk )/∑K g =1exp(e mg )㊂(2) 第3步,用空间尺度区域特征s mr 表示中心点m 的第r 个空间尺度区域的特征㊂其中k r ∈{1,2,3, ,K r },K r 表示第r 个空间尺度区域所包含的邻域点数,并在其中加入特征偏置项b r ,避免权重化计算的特征在动态图中累计单面误差指向,空间尺度区域特征s mr =∑K r k r =1[a mk r M (f mk r )]+b r ㊂(3) 在r 个空间尺度区域上进行计算,就可得到点m 在整个局部区域的全部空间尺度区域特征s m ={s m 1,s m 2,s m 3, ,s mr },其中r ∈{1,2,3, ,R }㊂1.2　基于特征更新的动态图卷积网络动态图卷积网络是一种能直接处理原始三维点云数据输入的深度学习网络㊂其特点是将PointNet 网络中的复合特征转换模块(Feature Transform),改进为由K 邻近点计算(K ⁃Near Neighbor)和多层感知机构成的边缘卷积层[12]㊂边缘卷积层功能强大,其提取的特征不仅包含全局特征,还拥有由中心点与邻域点的空间位置关系构成的局部特征㊂在动态图卷积网络中,每个邻域都视为一个点集㊂增强对其中心点的特征学习能力,就会增强网络整体的效果[13]㊂对一个邻域点集,对中心点贡献最小的有效局部特征的边缘点,可以视为异常噪声点或低权重点,可能会给整体分割带来边缘溢出㊂点云相比二维图像是一种信息稀疏并且噪声含量更大的载体㊂处理一个局域内的噪声点,将其直接剔除或简单采纳会降低特征提取效果,笔者对其进行低权重划分,并进行区域内特征更新,增强抗噪性能,也避免点云信息丢失㊂在空间尺度区域中,在区域T 内有s 个点x 被归为低权重系数组,该点集的空间信息集为P ∈R N s ×3㊂点集的局部特征集为F ∈R N s ×D f [14],其中D f 表示特征的维度空间,N s 表示s 个域内点的集合㊂设p i 以及f i 为点x i 的空间信息和特征信息㊂在点集内,对点x i 进行小范围内的N 邻域搜索,搜索其邻域点㊂则点x i 的邻域点{x i ,1,x i ,2, ,x i ,N }∈N (x i ),其特征集合为{f i ,1,f i ,2, ,f i ,N }∈F ㊂在利用空间尺度进行区域划分后,对空间尺度区域特征s mt 较低的区域进行区域内特征更新,通过聚合函数对权重最低的邻域点在图中的局部特征进行改写㊂已知中心点m ,点x i 的特征f mx i 和空间尺度区域特征s mt ,目的是求出f ′mx i ,即中心点m 的低权重邻域点x i 在进行邻域特征更新后得到的新特征㊂对区域T 内的点x i ,∀x i ,j ∈H (x i ),x i 与其邻域H 内的邻域点的特征相似性域为R (x i ,x i ,j )=S [C (f i ,j )T C (f i ,j )/D o ],(4)其中C 表示由输入至输出维度的一维卷积,D o 表示输出维度值,T 表示转置㊂从而获得更新后的x i 的426吉林大学学报(信息科学版)第41卷特征㊂对R (x i ,x i ,j )进行聚合,并将特征f mx i 维度变换为输出维度f ′mx i =∑[R (x i ,x i ,j )S (s mt f mx i )]㊂(5) 图4为特征更新网络模块示意图,展示了上述特征更新的计算过程㊂图5为特征更新的动态图卷积网络示意图㊂图4　特征更新网络模块示意图Fig.4　Schematic diagram of feature update network module 图5　特征更新的动态图卷积网络示意图Fig.5　Flow chart of dynamic graph convolution network with feature update 动态图卷积网络(DGCNN)利用自创的边缘卷积层模块,逐层进行边卷积[15]㊂其前一层的输出都会动态地产生新的特征空间和局部区域,新一层从前一层学习特征(见图5)㊂在每层的边卷积模块中,笔者在边卷积和池化后加入了空间尺度区域注意力特征,捕捉特定空间区域T 内的邻域点,用于特征更新㊂特征更新会降低局域异常值点对局部特征的污染㊂网络相比传统图卷积神经网络能获得更多的特征信息,并且在面对拥有较多噪声值的点云数据时,具有更好的抗干扰性[16],在对性质不稳定㊁不平滑并含有需采集分割的突出中心的点云数据时,会有更好的抗干扰效果㊂相比于传统预处理方式,其稳定性更强,不会发生将突出部分误分割或漏分割的现象[17]㊂2　实验结果与分析点云分割的精度评估指标主要由两组数据构成[18],即平均交并比和总体准确率㊂平均交并比U (MIoU:Mean Intersection over Union)代表真实值和预测值合集的交并化率的平均值,其计算式为526第4期张闻锐,等:特征更新的动态图卷积表面损伤点云分割方法U =1T +1∑Ta =0p aa ∑Tb =0p ab +∑T b =0p ba -p aa ,(6)其中T 表示类别,a 表示真实值,b 表示预测值,p ab 表示将a 预测为b ㊂总体准确率A (OA:Overall Accuracy)表示所有正确预测点p c 占点云模型总体数量p all 的比,其计算式为A =P c /P all ,(7)其中U 与A 数值越大,表明点云分割网络越精准,且有U ≤A ㊂2.1　实验准备与数据预处理实验使用Kinect V2,采用Depth Basics⁃WPF 模块拍摄金属部件损伤表面获得深度图,将获得的深度图进行SDK(Software Development Kit)转化,得到pcd 格式的点云数据㊂Kinect V2采集的深度图像分辨率固定为512×424像素,为获得更清晰的数据图像,需尽可能近地采集数据㊂选择0.6~1.2m 作为采集距离范围,从0.6m 开始每次增加0.2m,获得多组采量数据㊂点云中分布着噪声,如果不对点云数据进行过滤会对后续处理产生不利影响㊂根据统计原理对点云中每个点的邻域进行分析,再建立一个特别设立的标准差㊂然后将实际点云的分布与假设的高斯分布进行对比,实际点云中误差超出了标准差的点即被认为是噪声点[19]㊂由于点云数据量庞大,为提高效率,选择采用如下改进方法㊂计算点云中每个点与其首个邻域点的空间距离L 1和与其第k 个邻域点的空间距离L k ㊂比较每个点之间L 1与L k 的差,将其中差值最大的1/K 视为可能噪声点[20]㊂计算可能噪声点到其K 个邻域点的平均值,平均值高出标准差的被视为噪声点,将离群噪声点剔除后完成对点云的滤波㊂2.2　金属表面损伤点云关键信息提取分割方法对点云损伤分割,在制作点云数据训练集时,如果只是单一地将所有损伤进行统一标记,不仅不方便进行结果分析和应用,而且也会降低特征分割的效果㊂为方便分析和控制分割效果,需要使用ArcGIS 将点云模型转化为不规则三角网TIN(Triangulated Irregular Network)㊂为精确地分类损伤,利用图6　不规则三角网模型示意图Fig.6　Schematic diagram of triangulated irregular networkTIN 的表面轮廓性质,获得训练数据损伤点云的损伤内(外)体积,损伤表面轮廓面积等㊂如图6所示㊂选择损伤体积指标分为相对损伤体积V (RDV:Relative Damege Volume)和邻域内相对损伤体积比N (NRDVR:Neighborhood Relative Damege Volume Ratio)㊂计算相对平均深度平面与点云深度网格化平面之间的部分,得出相对损伤体积㊂利用TIN 邻域网格可获取某损伤在邻域内的相对深度占比,有效解决制作测试集时,将因弧度或是形状造成的相对深度判断为损伤的问题㊂两种指标如下:V =∑P d k =1h k /P d -∑P k =1h k /()P S d ,(8)N =P n ∑P d k =1h k S d /P d ∑P n k =1h k S ()n -()1×100%,(9)其中P 表示所有点云数,P d 表示所有被标记为损伤的点云数,P n 表示所有被认定为损伤邻域内的点云数;h k 表示点k 的深度值;S d 表示损伤平面面积,S n 表示损伤邻域平面面积㊂在获取TIN 标准包络网视图后,可以更加清晰地描绘损伤情况,同时有助于量化损伤严重程度㊂笔者将损伤分为6种类型,并利用计算得出的TIN 指标进行损伤分类㊂同时,根据损伤部分体积与非损伤部分体积的关系,制定指标损伤体积(SDV:Standard Damege Volume)区分损伤类别㊂随机抽选5个测试组共50张图作为样本㊂统计非穿透损伤的RDV 绝对值,其中最大的30%标记为凹陷或凸起,其余626吉林大学学报(信息科学版)第41卷标记为表面损伤,并将样本分类的标准分界值设为SDV㊂在设立以上标准后,对凹陷㊁凸起㊁穿孔㊁表面损伤㊁破损和缺损6种金属表面损伤进行分类,金属表面损伤示意图如图7所示㊂首先,根据损伤是否产生洞穿,将损伤分为两大类㊂非贯通伤包括凹陷㊁凸起和表面损伤,贯通伤包括穿孔㊁破损和缺损㊂在非贯通伤中,凹陷和凸起分别采用相反数的SDV 作为标准,在这之间的被分类为表面损伤㊂贯通伤中,以损伤部分平面面积作为参照,较小的分类为穿孔,较大的分类为破损,而在边缘处因腐蚀㊁碰撞等原因缺角㊁内损的分类为缺损㊂分类参照如表1所示㊂图7　金属表面损伤示意图Fig.7　Schematic diagram of metal surface damage表1　损伤类别分类Tab.1　Damage classification 损伤类别凹陷凸起穿孔表面损伤破损缺损是否形成洞穿××√×√√RDV 绝对值是否达到SDV √√\×\\S d 是否达到标准\\×\√\2.3　实验结果分析为验证改进的图卷积深度神经网络在点云语义分割上的有效性,笔者采用TensorFlow 神经网络框架进行模型测试㊂为验证深度网络对损伤分割的识别准确率,采集了带有损伤特征的金属部件损伤表面点云,对点云进行预处理㊂对若干金属部件上的多个样本金属面的点云数据进行筛选,删除损伤占比低于5%或高于60%的数据后,划分并装包制作为点云数据集㊂采用CloudCompare 软件对样本金属上的损伤部分进行分类标记,共分为6种如上所述损伤㊂部件损伤的数据集制作参考点云深度学习领域广泛应用的公开数据集ModelNet40part㊂分割数据集包含了多种类型的金属部件损伤数据,这些损伤数据显示在510张总点云图像数据中㊂点云图像种类丰富,由各种包含损伤的金属表面构成,例如金属门,金属蒙皮,机械构件外表面等㊂用ArcGIS 内相关工具将总图进行随机点拆分,根据数据集ModelNet40part 的规格,每个独立的点云数据组含有1024个点,将所有总图拆分为510×128个单元点云㊂将样本分为400个训练集与110个测试集,采用交叉验证方法以保证测试的充分性[20],对多种方法进行评估测试,实验结果由单元点云按原点位置重新组合而成,并带有拆分后对单元点云进行的分割标记㊂分割结果比较如图8所示㊂726第4期张闻锐,等:特征更新的动态图卷积表面损伤点云分割方法图8　分割结果比较图Fig.8　Comparison of segmentation results在部件损伤分割的实验中,将不同网络与笔者网络(FAS⁃DGCNN:Feature Adaptive Shifting⁃Dynamic Graph Convolutional Neural Networks)进行对比㊂除了采用不同的分割网络外,其余实验均采用与改进的图卷积深度神经网络方法相同的实验设置㊂实验结果由单一损伤交并比(IoU:Intersection over Union),平均损伤交并比(MIoU),单一损伤准确率(Accuracy)和总体损伤准确率(OA)进行评价,结果如表2~表4所示㊂将6种不同损伤类别的Accuracy 与IoU 进行对比分析,可得出结论:相比于基准实验网络Pointet++,笔者在OA 和MioU 方面分别在贯通伤和非贯通伤上有10%和20%左右的提升,在整体分割指标上,OA 能达到90.8%㊂对拥有更多点数支撑,含有较多点云特征的非贯通伤,几种点云分割网络整体性能均能达到90%左右的效果㊂而不具有局部特征识别能力的PointNet 在贯通伤上的表现较差,不具备有效的分辨能力,导致分割效果相对于其他损伤较差㊂表2　损伤部件分割准确率性能对比 Tab.2　Performance comparison of segmentation accuracy of damaged parts %实验方法准确率凹陷⁃1凸起⁃2穿孔⁃3表面损伤⁃4破损⁃5缺损⁃6Ponitnet 82.785.073.880.971.670.1Pointnet++88.786.982.783.486.382.9DGCNN 90.488.891.788.788.687.1FAS⁃DGCNN 92.588.892.191.490.188.6826吉林大学学报(信息科学版)第41卷表3　损伤部件分割交并比性能对比 Tab.3　Performance comparison of segmentation intersection ratio of damaged parts %IoU 准确率凹陷⁃1凸起⁃2穿孔⁃3表面损伤⁃4破损⁃5缺损⁃6PonitNet80.582.770.876.667.366.9PointNet++86.384.580.481.184.280.9DGCNN 88.786.589.986.486.284.7FAS⁃DGCNN89.986.590.388.187.385.7表4　损伤分割的整体性能对比分析　　出,动态卷积图特征以及有效的邻域特征更新与多尺度注意力给分割网络带来了更优秀的局部邻域分割能力,更加适应表面损伤分割的任务要求㊂3　结　语笔者利用三维点云独特的空间结构特征,将传统K 邻域内权重相近的邻域点采用空间尺度进行区分,并将空间尺度划分运用于邻域内权重分配上,提出了一种能将邻域内噪声点降权筛除的特征更新模块㊂采用此模块的动态图卷积网络在分割上表现出色㊂利用特征更新的动态图卷积网络(FAS⁃DGCNN)能有效实现金属表面损伤的分割㊂与其他网络相比,笔者方法在点云语义分割方面表现出更高的可靠性,可见在包含空间尺度区域信息的注意力和局域点云特征更新下,笔者提出的基于特征更新的动态图卷积网络能发挥更优秀的作用,而且相比缺乏局部特征提取能力的分割网络,其对于点云稀疏㊁特征不明显的非贯通伤有更优的效果㊂参考文献:[1]LAWIN F J,DANELLJAN M,TOSTEBERG P,et al.Deep Projective 3D Semantic Segmentation [C]∥InternationalConference on Computer Analysis of Images and Patterns.Ystad,Sweden:Springer,2017:95⁃107.[2]MATURANA D,SCHERER S.VoxNet:A 3D Convolutional Neural Network for Real⁃Time Object Recognition [C]∥Proceedings of IEEE /RSJ International Conference on Intelligent Robots and Systems.Hamburg,Germany:IEEE,2015:922⁃928.[3]LE T,DUAN Y.PointGrid:A Deep Network for 3D Shape Understanding [C]∥2018IEEE /CVF Conference on ComputerVision and Pattern Recognition (CVPR).Salt Lake City,USA:IEEE,2018:9204⁃9214.[4]QI C R,SU H,MO K,et al.PointNet:Deep Learning on Point Sets for 3D Classification and Segmentation [C]∥IEEEConference on Computer Vision and Pattern Recognition (CVPR).Hawaii,USA:IEEE,2017:652⁃660.[5]QI C R,SU H,MO K,et al,PointNet ++:Deep Hierarchical Feature Learning on Point Sets in a Metric Space [C]∥Advances in Neural Information Processing Systems.California,USA:SpringerLink,2017:5099⁃5108.[6]HU J,SHEN L,SUN G,Squeeze⁃and⁃Excitation Networks [C ]∥IEEE Conference on Computer Vision and PatternRecognition.Vancouver,Canada:IEEE,2018:7132⁃7141.[7]LI Y,BU R,SUN M,et al.PointCNN:Convolution on X⁃Transformed Points [C]∥Advances in Neural InformationProcessing Systems.Montreal,Canada:NeurIPS,2018:820⁃830.[8]ANH VIET PHAN,MINH LE NGUYEN,YEN LAM HOANG NGUYEN,et al.DGCNN:A Convolutional Neural Networkover Large⁃Scale Labeled Graphs [J].Neural Networks,2018,108(10):533⁃543.[9]任伟建,高梦宇,高铭泽,等.基于混合算法的点云配准方法研究[J].吉林大学学报(信息科学版),2019,37(4):408⁃416.926第4期张闻锐,等:特征更新的动态图卷积表面损伤点云分割方法036吉林大学学报(信息科学版)第41卷REN W J,GAO M Y,GAO M Z,et al.Research on Point Cloud Registration Method Based on Hybrid Algorithm[J]. Journal of Jilin University(Information Science Edition),2019,37(4):408⁃416.[10]ZHANG K,HAO M,WANG J,et al.Linked Dynamic Graph CNN:Learning on Point Cloud via Linking Hierarchical Features[EB/OL].[2022⁃03⁃15].https:∥/stamp/stamp.jsp?tp=&arnumber=9665104. [11]林少丹,冯晨,陈志德,等.一种高效的车体表面损伤检测分割算法[J].数据采集与处理,2021,36(2):260⁃269. LIN S D,FENG C,CHEN Z D,et al.An Efficient Segmentation Algorithm for Vehicle Body Surface Damage Detection[J]. Journal of Data Acquisition and Processing,2021,36(2):260⁃269.[12]ZHANG L P,ZHANG Y,CHEN Z Z,et al.Splitting and Merging Based Multi⁃Model Fitting for Point Cloud Segmentation [J].Journal of Geodesy and Geoinformation Science,2019,2(2):78⁃79.[13]XING Z Z,ZHAO S F,GUO W,et al.Processing Laser Point Cloud in Fully Mechanized Mining Face Based on DGCNN[J]. ISPRS International Journal of Geo⁃Information,2021,10(7):482⁃482.[14]杨军,党吉圣.基于上下文注意力CNN的三维点云语义分割[J].通信学报,2020,41(7):195⁃203. YANG J,DANG J S.Semantic Segmentation of3D Point Cloud Based on Contextual Attention CNN[J].Journal on Communications,2020,41(7):195⁃203.[15]陈玲,王浩云,肖海鸿,等.利用FL⁃DGCNN模型估测绿萝叶片外部表型参数[J].农业工程学报,2021,37(13): 172⁃179.CHEN L,WANG H Y,XIAO H H,et al.Estimation of External Phenotypic Parameters of Bunting Leaves Using FL⁃DGCNN Model[J].Transactions of the Chinese Society of Agricultural Engineering,2021,37(13):172⁃179.[16]柴玉晶,马杰,刘红.用于点云语义分割的深度图注意力卷积网络[J].激光与光电子学进展,2021,58(12):35⁃60. CHAI Y J,MA J,LIU H.Deep Graph Attention Convolution Network for Point Cloud Semantic Segmentation[J].Laser and Optoelectronics Progress,2021,58(12):35⁃60.[17]张学典,方慧.BTDGCNN:面向三维点云拓扑结构的BallTree动态图卷积神经网络[J].小型微型计算机系统,2021, 42(11):32⁃40.ZHANG X D,FANG H.BTDGCNN:BallTree Dynamic Graph Convolution Neural Network for3D Point Cloud Topology[J]. Journal of Chinese Computer Systems,2021,42(11):32⁃40.[18]张佳颖,赵晓丽,陈正.基于深度学习的点云语义分割综述[J].激光与光电子学,2020,57(4):28⁃46. ZHANG J Y,ZHAO X L,CHEN Z.A Survey of Point Cloud Semantic Segmentation Based on Deep Learning[J].Lasers and Photonics,2020,57(4):28⁃46.[19]SUN Y,ZHANG S H,WANG T Q,et al.An Improved Spatial Point Cloud Simplification Algorithm[J].Neural Computing and Applications,2021,34(15):12345⁃12359.[20]高福顺,张鼎林,梁学章.由点云数据生成三角网络曲面的区域增长算法[J].吉林大学学报(理学版),2008,46 (3):413⁃417.GAO F S,ZHANG D L,LIANG X Z.A Region Growing Algorithm for Triangular Network Surface Generation from Point Cloud Data[J].Journal of Jilin University(Science Edition),2008,46(3):413⁃417.(责任编辑:刘俏亮)。