下载文档原格式
图像处理课后习题第⼀章绪论1. 模拟图像处理与数字图像处理主要区别表现在哪些⽅⾯？（什么是图像？什么是数字图像？什么是灰度图像？模拟图像处理与数字图像处理主要区别表现在哪些⽅⾯？）图像：是对客观对象的⼀种相似性的、⽣动性的描述或写真。
数字图像：⼀种空间坐标和灰度均不连续的、⽤离散数字（⼀般⽤整数）表⽰的图像。
灰度图像：在计算机领域中，灰度数字图像是每个像素只有⼀个采样颜⾊的图像。
在数字图像领域之外，“⿊⽩图像”也表⽰“灰度图像”，例如灰度的照⽚通常叫做“⿊⽩照⽚”。
模拟图像处理与数字图像处理主要区别：模拟图像处理是利⽤光学、照相⽅法对模拟图像的处理。
（优点：速度快，⼀般为实时处理，理论上讲可达到光的速度, 并可同时并⾏处理。
缺点：精度较差，灵活性差，很难有判断能⼒和⾮线性处理能⼒）数字图像处理（称计算机图像处理，指将图像信号转换成数字格式并利⽤计算机对数据进⾏处理的过程）是利⽤计算机对数字图像进⾏系列操作，从⽽达到某种预期⽬的的技术.（优点：精度⾼，内容丰富，可进⾏复杂的⾮线性处理，灵活的变通能⼒，⼀只要改变软件就可以改变处理内容）2. 图像处理学包括哪⼏个层次？各层次间有何区别和联系？数字图像处理可分为三个层次：狭义图像处理、图像分析和图像理解。
狭义图像处理是对输⼊图像进⾏某种变换得到输出图像，是⼀种图像到图像的过程。
图像分析主要是对图像中感兴趣的⽬标进⾏检测和测量，从⽽建⽴对图像⽬标的描述，图像分析是⼀个从图像到数值或符号的过程。
图像理解则是在图像分析的基础上，基于⼈⼯智能和认知理论研究图像中各⽬标的性质和它们之间的相互联系，对图像内容的含义加以理解以及对原来客观场景加以解译，从⽽指导和规划⾏动。
区别和联系：狭义图像处理是低层操作，它主要在图像像素级上进⾏处理，处理的数据量⾮常⼤；图像分析则进⼊了中层，经分割和特征提取，把原来以像素构成的图像转变成⽐较简洁的、⾮图像形式的描述；图像理解是⾼层操作，它是对描述中抽象出来的符号进⾏推理，其处理过程和⽅法与⼈类的思维推理有许多类似之处。
第一章概论一、数字图像与像素数字图像是由一个个的像素（Pixel）构成的，各像素的值(灰度，颜色)一般用整数表示。
二、数字图像处理的目的1、提高图像的视觉质量。
2、提取图像中的特征信息。
3、对图像数据进行变换、编码和压缩。
三、工程三层次图像处理、图像分析和图像理解图像理解符号目标像素高层中层低层高低抽象程度数据量操作对象小大语义图像分析图像处理四、图像处理硬件系统组成图像输入设备（采集与数字化设备，如数码相机），图像处理设备（如PC机）和图像输出设备（如显示器，打印机）第二章数字图像处理基础一、图像数字化过程----采样与量化模拟图像的数字化包括采样和量化两个过程。
细节越多，采样间隔应越小。
把采样后得到的各像素的灰度值进一步转换为离散量的过程就是量化。
一般，灰度图像的像素值量化后用一个字节(8bit)来表示。
二、采样、量化与图像质量的关系采样点数越多，图像质量越好；量化级数越多，图像质量越好。
为了得到质量较好的图像采用如下原则：对缓变图像，细量化，粗采样，以避免假轮廓。
对细节化图像，细采样，粗量化，以避免模糊。
三、图像尺寸、数据量、颜色数量的计算灰度图像的像素值量化后用一个字节(8bit)来表示。
彩色图像的像素值量化后用三个字节(24bit)来表示。
一幅512X512（256K）的真彩色图像，计算未压缩的图像数据量是多少？（必考）图像总像素：512px*512px=256K总数据量：256K*3Byte=768KB一幅256X256（64K）的真彩色图像，计算未压缩的图像数据量是多少？图像总像素：256px*256px=64K总数据量：64K*1Byte=64KB四、数字图像类型二值图像、灰度图像、索引颜色图像)和真彩色图像。
五、数字图像文件的类型jpg、bmp、tif、gifJPEG采用基于DCT变换的压缩算法,为有损压缩。
六、图像文件三要素文件头、颜色表、图像数据七、读取一个图像，并将其尺寸缩小0.5倍，将缩小后的图像旋转30度。
数字图像处理作业----第三次1、 什么是图像增强？常见算法有哪些？典型算法的程序实现，其优缺点？结果对比。
1.1图像增强的定义为了改善视觉效果或者便于人和机器对图像的理解和分析，根据图像的特点或存在的问题采取的简单改善方法或者加强特征的措施称为图像增强。
一般情况下，图像增强是按特定的需要突出一幅图像中的某些信息，同时削弱或去除某些不需要的信息的处理方法，也是提高图像质量的过程。
图像增强的目的是使图像的某些特性方面更加鲜明、突出，使处理后的图像更适合人眼视觉特性或机器分析，以便于实现对图像的更高级的处理和分析。
图像增强的过程往往也是一个矛盾的过程：图像增强希望既去除噪声又增强边缘。
但是，增强边缘的同时会同时增强噪声，而滤去噪声又会使边缘在一定程度上模糊，因此，在图像增强的时候，往往是将这两部分进行折中，找到一个好的代价函数达到需要的增强目的。
传统的图像增强算法在确定转换函数时常是基于整个图像的统计量，如：ST转换，直方图均衡，中值滤波，微分锐化，高通滤波等等。
这样对应于某些局部区域的细节在计算整幅图的变换时其影响因为其值较小而常常被忽略掉，从而局部区域的增强效果常常不够理想，噪声滤波和边缘增强这两者的矛盾较难得到解决。
1.2 图像增强的分类及方法图像增强可分成两大类：频率域法和空间域法。
前者把图像看成一种二维信号，对其进行基于二维傅里叶变换的信号增强。
采用低通滤波（即只让低频信号通过）法，可去掉图中的噪声；采用高通滤波法，则可增强边缘等高频信号，使模糊的图片变得清晰。
具有代表性的空间域算法有局部求平均值法和中值滤波（取局部邻域中的中间像素值）法等，它们可用于去除或减弱噪声。
图像增强的方法是通过一定手段对原图像附加一些信息或变换数据，有选择地突出图像中感兴趣的特征或者抑制(掩盖)图像中某些不需要的特征，使图像与视觉响应特性相匹配。
在图像增强过程中，不分析图像降质的原因，处理后的图像不一定逼近原始图像。
基于多特征融合的图像中人物交互检测方法摘要本发明公开了一种基于多特征融合的图像中人物交互检测方法，利用目标检测算法检测出图片中所有实例信息，包括人体位置信息以及物体位置和类别信息等，然后输入训练好的人物交互行为识别网络，检测待测图片中人物对之间的交互行为。
本发明在利用位姿捕获交互关系的全局空间配置的基础上，关注于人与物体交集区域提供的有效信息，学习更加精细的局部特征，增加了正确人物交互对匹配的概率，并借助短期记忆选择模块对人和物体及其背景区域信息进行有效的筛选利用，通过各类特征的融合，提高了人物交互检测的精度。
权利要求1.一种基于多特征融合的图像中人物交互检测方法，其特征在于：其操作步骤为：步骤1：输入原始图片；步骤2：目标检测；步骤3：构建人物交互识别网络；步骤4：检测待测图片人物交互行为；在所述步骤2中，利用目标检测算法检测出图片中所有实例信息，包括人体位置信息以及物体位置和类别信息后，输入训练好的人物交互行为识别网络，检测待测图片中人物对之间的交互行为；在所述步骤3中，人物交互识别网络采用多支流神经网络结构，包括成对支流、交集支流和短期记忆选择支流，网络对图片中＜人-物体＞实例对各类特征进行了学习训练。
2.根据权利要求1所述的基于多特征融合的人物交互检测方法，其特征在于：在所述步骤2中，目标检测的过程为：采用训练好的目标检测器对输入图片进行目标检测，得到人的候选框b h以及人的置信度s h和物体的候选框b o以及物体的置信度s o，其中下标h表示人体、o 表示物体。
3.根据权利要求1所述的基于多特征融合的人物交互检测方法，其特征在于：在所述步骤3中，构建人物交互识别网络包括以下步骤：1)提取整张图片卷积特征：使用经典残差网络ResNet-50对原始输入图片进行卷积特征提取，得到整张图片的全局卷积特征图F，与目标检测结果的人体位置b h、物体位置b o一起作为人物交互检测网络的输入；2)构建成对支流：根据给定的人物边界框生成一幅具有两个通道的二进制图像B h,o，将其输入包含两个卷积层两个池化层的浅层卷积神经网络，两个卷积层卷积核大小都是5×5，卷积核的数量分别为64和32，池化层均为最大池化；然后经过平铺位置特征图，得到位置特征向量f sp，其中下标sp表示人和物体相对位置，之后将向量输入全连接层分类器和sigmoid激活函数得到位置特征支流在各交互类别上分类结果其中上标a∈{1,...,A}是所对应的交互类别，其中A是所有交互类别数；3)构建交集支流：首先根据人与物体位置求取人物对交集边界框坐标b inter，其中下标inter表示人与物体的交集，并利用感兴趣区域池化操作ROI Pooling在全局卷积特征图F上截取交集区域卷积特征，之后使用残差块Res对特征进行优化，并通过全局平均池化层GAP后得到人物对交集区域特征f inter；同时，对图片人体关键点检测结果进行编码，在每个人物对的最小外接矩形框中，模型对不同关节点之间按COCO数据集提供的骨架模型用不同灰度值的连线连接，用于表征身体的不同部位，其中COCO数据集是由微软公司制作的适用于各类计算机视觉任务的大型公开数据集；矩形框内其余区域像素值都设为0，并且将矩形框调整至一个固定尺度64×64，得到位姿特征图；然后通过两个卷积池化层提取位姿特征f pose，其中下标pose表示人体位姿，两个卷积层卷积核大小都是5×5，卷积核的数量分别为32和16，池化层均采用最大池化；然后将交集区域特征f inter与位姿特征f pose进行拼接并通过两个全连接层进行特征融合得到f inter-pose，将其输入全连接层分类器和sigmoid函数得到交集特征支流A维分类结果4)构建短期记忆选择支流：首先根据人体位置坐标b h在全局卷积特征图F上进行ROI Pooling操作提取人体区域特征，之后再利用残差块Res优化特征并通过全局平均池化GAP得到池化后的人体特征向量f h；根据物体位置坐标b o在全局卷积特征图F上进行ROI Pooling操作提取物体区域特征，之后利用残差块Res优化特征并通过全局平均池化GAP得到池化后的物体视觉特征向量其中上标vis表示语义特征，并选取Google-News数据集上预训练后的可公开使用的Word2vec向量作为物体语义特征，针对每一个物体类别的标签可提取一个300维的语义特征向量其中上标sem表示语义特征；之后将物体的语义特征向量与视觉特征向量拼接后经过一个全连接层，最终获得1024维的物体特征向量f o；对于共同区域的视觉特征，首先根据人和物体的边界框计算最小外接矩形，即两个边界框的并集区域b union，其中下标union表示人与物体并集，之后在卷积特征图上通过共同区域边界框坐标进行ROI Pooling操作规范化到7×7固定大小，之后经过残差块和全局平均池化提取得到2048维的视觉特征向量之后与成对支流输出的位置特征向量f sp硬连接，并送入全连接层得到1024维融合后的共同区域特征f union；最后将人体特征f h，物体特征f o和人和物体共同区域特征f union输入短期记忆选择模块，短期记忆选择模块由两个门控循环单元(Gated Recurrent Unit,GRU)单元组成，将共同区域特征f union作为短期记忆模块的初始状态，第一个GRU单元输入为人的表征f h，第二个单元输入为物体的表征f o，最后经由短期记忆选择模块的输出状态得到表征f hoi，经过全连接层分类器和sigmoid函数得到短期记忆选择支流分类结果5)训练人物交互识别网络：三个支流共同构成整个人物交互识别网络，将训练集中的样本作为人物交互行为识别网络的输入，计算三支流的交叉熵损失函数之和，利用梯度下降法更新网络参数，直到优化达到最大次数，则终止训练，得到训练好的人物交互行为识别网络。
基于二维希尔伯特变换的相位一致模型图像特征检测方法王珂;肖鹏峰【摘要】相位一致方法是从频域中的相位信息理论中延伸出的一种图像特征检测方法.其原理是指图像特征如跃级边缘、线形、屋脊形和马赫带等,总发生在相位的最大叠合处.该原理通过构造局部能量模型,并经标准化后,度量其图像各个位置的相位一致值.在前人的基础上对该模型进行改进,提出以二维的希尔伯特变换代替一维希尔伯特变换,从而在全方向上考虑各点的相位一致.改进算法后,相位一致模型的分子部分,即局部能量,是利用去DC(Direct Current,直流)分量算子和二维希尔伯特变换算子以卷积的形式求取,从而简化算法实现过程.同时为了抑制噪音的影响,在相位一致模型中的分母部分中引入了图像DC分量.最后以自然图像和遥感图像为试验对象进行图像特征检测,结果表明该改进方法可以有效地提取图像特征.【期刊名称】《测绘学报》【年(卷),期】2010(039)006【总页数】7页(P605-610,617)【关键词】相位一致;二维希尔伯特变换;局部能量;图像特征检测【作者】王珂;肖鹏峰【作者单位】南京大学地理与海洋科学学院地理信息科学系,南京,210093;南京大学地理与海洋科学学院地理信息科学系,南京,210093【正文语种】中文【中图分类】TP751.1图像特征的检测和提取被认为是数字图像处理中的关键部分。
图像特征包含了大部分的图像信息,所以基于图像特征的提取占据着重要地位。
尽管学者们对图像特征提取的方法研究进行了数年,但是其方法仍然有不足之处。
基于图像的灰度值的特征提取方法在特征提取领域中应用最为广泛。
在此类方法发展过程中,Roberts[1]、Prewitt[2]、Sobel[3]、Marr[4]等人作出重大贡献。
为了减少图像噪声的影响, Canny[5]、Kundu[6]和Bergholm[7]通过设定阈值的方法来优化某些模型。
基于灰度的特征提取仅仅对于边缘有很好的效果,但是在图像空间,某个特征是由多个不同的特征混合组成的。
1引言光缆交接箱是用于光缆接入网中主干光缆与配线光缆交接处的端口设备，简称光交箱，通常安装在户外。
目前主要的前端维护方式是技术人员定期外出巡检，排查故障端口以及用表格记录每个端口的状态。
由于光交箱大体安装在街道，内部布线杂乱，端口数量大，给维护工作带来很大困难。
使用移动设备对光缆交接箱拍照，然后利用数字图像识别技术分析箱体上的端口状态，可以大大减化任务、降低成本、提高准确性。
在图像中定位并识别端口属于计算机视觉中的目标检测任务。
传统目标检测方法[1-3]首先在给定的图像上生成一批候选区域，然后对这些区域手工定义提取特征，最后采用模板匹配或者用分类器对特征向量进行分类。
该类方法存在区域选择策略没有针对性、手工设计的特征对于多样性的变化没有很好的鲁棒性等问题。
现代目标检测方法主要利用卷积神经网络（CNN ）自动提取特征能力，将目标定位与分类作为回归任务，依赖于高性能的计算硬件来完成。
其中具有代表性的二阶光缆交接箱端口状态的视觉检测方法何景晖，敖银辉，赵伟良（广东工业大学机电工程学院，广州510006）摘要:针对光缆交接箱端口人工识别效率低、准确度差的问题，提出一种用于端口定位与端口识别的视觉检测方法，以实现端口检测过程自动化。
该方法对输入图像进行标准化，结合光交箱的物理结构与霍夫圆检测，实现对光交箱图像中所有端口区域的自适应分割；定义端口的梯度直方图与颜色为支持向量机分类器的训练特征，同时设计基于卷积神经网络的分类器，用于对未能正确判断的端口作二次识别，确保有效地权衡检测速度与准确率。
实验结果表明，该方法能够准确检测每个端口位置与识别状态，对自然场景下采集的图像能够达到98%的识别精度与平均0.02秒的处理速度。
关键词：光缆交接箱；端口检测；图像处理；目标检测DOI ：10.3969/j.issn.1002-2279.2021.02.014中图分类号:TP391.4文献标识码:A 文章编号：1002-2279（2021）02-0053-05A Visual Detection Method for Port State of Optical CableCross Connection CabinetHE Jinghui,AO Yinhui,ZHAO Weiliang(School of Electromechanical Engineering,Guangdong University of Technology,Guangzhou 510006,China )Abstract:Aiming at the problems of low efficiency and poor accuracy of manual identification of optical cable cross connection cabinet port,a visual detection method for port location and port identification is proposed to realize automation of port detection process.The method standardizes the input images,combines the physical structure of the optical cable cross connection cabinet with the Hough circle detection,and realizes the adaptive segmentation of all port areas in the optical cabinet images.The gradient histogram and color of ports are defined as the training features of SVM classifier,and a classifier based on convolutional neural network is designed for secondary recognition of ports which can not be judged correctly,thus ensuring the effective trade -off between detection speed and accuracy.Experimental results show that the method can accurately detect the position and recognition status of each port,and can achieve 98%recognition accuracy and average processing speed of 0.02seconds for images collected in natural scenes.Key words:Optical cable cross connection cabinet;Port detection;Image processing;Object detection作者简介：何景晖（1995—），男，广东省湛江市人，硕士研究生，主研方向：图像处理，深度学习，目标检测。
第一章位图的基础知识现代计算机和其他电子设备进行和完成的一系列工作为图像采集、获取、编码、存储、和传输，图像的合成和产生、图像的显示、绘制、和输出，图像变换、增强、恢复和重建，特征的提取和测量，目标的检测、表达和描述，序列图像的校正，图像数据库的建立、索引、查询和抽取，图像的分类、表示和识别，3D景物的重建复原，图像模型的建立，图像知识的利用和匹配，图像场景的解释和理解，以及基于它们的推理、判断、决策和行为规划。
图像增强图像增强是用以改善供人观看的图像的主观质量，而不一定追究图像降质的原因。
图像复原找出图像降质的原因，并尽可能消除它，使图像恢复本来面目。
常用的恢复有纠正几何失真、从已知图像信号和噪声信号的统计入手，用Wiener滤波等方法来改善信噪比。
图像变换图像处理的方法可以分为两大类空域法和频域法。
常用的图像变换有傅里叶变换、DCT变换、小波变换等。
图像编码根据香农的率失真真理，在传输和存储时，都可对数字图像进行一定方式编码，删除其中冗余信息，实现不失真压缩，或在容许失真限度内的进行有失真压缩，以换取更大的压缩率。
图像配准可以近似的看成匹配的过程，简单地说就是根据图像的某系区域或者特征，在另一幅图中找到对应的区域或者特征。
图像配准在图像识别、图像拼接、三维图像的重建等方面有着重要的应用。
图像分析和特征提取图像分析的内容分为特征提取、符号描述、目标检测、今晚匹配和识别等几个部分。
图像特征和指图像场中可用作标志的属性，其中有些是视觉直接感受到自然特征，如区域的亮度、彩色、纹理、或轮廓等有些事需要通过变换或测量才可得到的人为特征，如各种变换频谱、直方图、矩等。
图像特征提取就是从图像中提取出某些可能涉及到高层语义信息的图像特征。
目标和运动检测自动目标检测和交互目标检测。
图像分割人能方便地佛纳甘一副图像中找出感性趣的物体和区域，而要让计算机做到这一点需要他客观的测度，使之能按照灰度、颜色或几何特征性质等把一些物体或区域加以分离。
第一章基础图像f，选择点扩散函数分量矩阵h c和h r，根据某种主观标准，输出图像g比f更好，图像增强、平滑及锐化。
在某一特征上比f突出，图像分割和特征选择。
起源：用于人类判读（如视觉）的图像信息的改善；用于自动化机器感觉的存储、传输及表达的图像数据处理。
“图”是物体反射或透射光的分布；“像”是人的视觉系统所接受的图在人脑中所形成的印象或认识。
（直观形象，易懂，信息量大）（r 射线图像，x射线图像，紫外波段图像，可见光与红外波段图像，微波波段图像，无线电波段图像。
）发展：实时性、智能化、网络化、普及化、低成本。
模拟图像：空间坐标和幅度都连续变化。
特征：处理正确、具有再现性；容易控制；处理的多样性。
输入&数字化、计算机、显示&记录设备。
链码：描述物体的边界，链码中的符号一般对应于图像基元的邻接关系。
可以用静态数据结构表示，也可以用动态数据结构来表示，且这样在节省存储空间方面更合适。
行程编码（用于图像矩阵中符号串的表示，传真机）：适用于计算机生成的图形图像。
分层结构：将图像描述成若干不同粒度的层次，使算法可以根据需要将处理控制在较小的数据量上；只有必要时，处理才会在最细的数据分辨率上进行。
要考虑：图像数据结构的表示层次，规范的图像数据结构（矩阵（图像获取设备的直接输出，摄像机&扫描仪），链码，行程编码，拓扑数据结构，关系结构），分层数据结构（金字塔，四叉树（每个结点有四个子结点，如果父结点有4个与它的值一样的子结点，则无需保留这些子结点））。
采样（坐标的数字化，空间分辨率）把空间上连续的图像分割成离散的像素的集合。
（采样间隔必须小于2倍的图像函数上线频带的倒数，即满足二维采样定理。
特别是对含有大量细节信息的图像区域，需增加采样点，否则会出现棋盘效应）量化（幅值的数字化，灰度级）：把像素的灰度变成离散的整数值。
BMP：位图，标准图像文件格式，包含的图像信息较丰富，通常无压缩，但占用的空间大。
车辆参数检测算法第四章车辆参数检测算法车辆参数检测算法就是通过对图像的处理来判断在摄像机视场中有无车辆存在，它不但可以作为车牌自动识别系统的前处理，在车辆流量测量和无人值班停车场等领域也可以独立应用。
本系统可检测的参数有:车平均流量、瞬时速度、平均车速、车头时距、总流量、车密度、平均占有率这些参数的检测都以车辆存在的检测为基础4. 1图像预处理图像采集过程中，往往带有噪声信号这些噪声通常是在图像拍摄、传输和数字化的过程中，由于摄像器材、外部环境等干扰因素而混杂入图像信号中这样的图像是无法进行目标的检狈(和识别的因此，必须首先对采集到的图像进行滤波除噪处理，降低噪声信号对图像的干扰同时，为获取清晰的图像，还要对图像进行变换，进行图像增强处理，以改善图像的质量这种对图像进行的，旨在改善图像质量的处理过程，就是图像的预处理目前，在滤波除噪的处理上，一般有两种方式:一种是对像素灰度直接处理的灰度空间变换，另一种是对图像进行频谱域处理的频谱变换技术在图像噪声表现为孤立噪声点，其像素值和周围点有显著差别的情况下，可以用空间变换中的邻域平均和中值滤波等方法来抑制噪声;在噪声为高频干扰的情况下，可以采用低通滤波来处理;若想增强图像的对比度，常用的方法是灰度直方图变换和函数变换法四图像的灰度直方图变换处理是通过改变原始图f象像素在各灰度级上的概率分布来实现的通过对图像的灰度值进行统计可以得到一个一维离散的图像灰度统计直方图函数该直方图函数实际上是图像的各灰度级的分布情况的反映在实际应用中直方图的变换主要有均衡变换和规定变换两种，而后者又可根据灰度级映射规则的不同而分为单映射规则和组映射规则两种本系统所得图像的主要噪声为孤立噪声点，因此采用的图像预处理算法是先通过中值滤波进行图像平滑，然后通过直方图均衡化进行图像增强，以备后续图像处理算法使用为了增强算法的实时性，仅对虚拟检测器(以下简称检测器)位置上的局部图像进行图像预处理，包括车辆存在检测器和速度检测器4.1.1图像平滑图像平滑主要是力了消除噪声噪声并不限于人眼可见的失真和变形，有些曝声只有在进行图像处理时才可琢发现。
