鱼眼图像校正算法研究

—190—鱼眼图像校正及拼接的研究与实现崔汉国，陈 军，王大宇（海军工程大学船舶与动力学院，武汉 430033）摘 要：鱼眼图像视角大，两幅图片即可拼接成全景图，但鱼眼图像存在严重变形。

该文利用场景中直线的鱼眼投影曲线，使用球面透视投影约束，得到径向和切向变形参数，实现了鱼眼图像的校正。

基于待拼接图像之间重叠部分亮度差最小的原理，确定了重叠区域，通过在重叠区域间的融合，实现了图像的无缝拼接。

校正及拼接结果表明，该方法能得到较为满意的效果。

关键词：鱼眼图像；全景图像；图像拼接；球面透视Study and Implementation of Distortion Correction andMosaics of Fisheye ImagesCUI Hanguo, CHEN Jun, WANG Dayu(College of Naval Architecture and Power Engineering, Naval University of Engineering, Wuhan 430033)【Abstract 】Though only two fisheye images can be mosaicked into one panorama image because of its wide angle of view, it has severe ing spherical perspective projection (SPP) constraint on fisheye image’s curves of space line’s projection, radial and tangential distortion parameters are calculated, thus distortion correction of fisheye image is accomplished in the paper. According to minimum brightness difference between overlap area of images to be mosaicked, panorama images mosaics based on image fission on overlap area is discussed in the paper.Satisfactory correction and mosaics results are obtained.【Key words 】Fisheye image; Panorama image; Image mosaics; Spherical perspective计 算 机 工 程Computer Engineering 第33卷 第10期Vol.33 No.10 2007年5月May 2007·多媒体技术及应用· 文章编号：1000—3428(2007)10—0190—03文献标识码：A中图分类号：TP3911 概述水下作战环境的模拟是现代作战指挥决策智能化的基础之一，研究水下作战环境的模拟具有重要的军事意义。

鱼眼图像校正算法（基于⼏何模型）（2D）这是根据2013⼀个期刊上的⼩论⽂《基于⼏何成像模型的鱼眼镜头图像校正算法和技术研究》中的校正原理式(11)和式(12)编写的，其实这两个式⼦给出的是⼆维的校正⽅法，就跟之前的经度坐标校正差不多都是平⾯校正，所以我不知道这篇论⽂中给出式(6)⼲嘛？有什么⽤？还有这论⽂⾥说校正后的图像宽为w，⾼为h，这两个参数怎么确定呢？在没校正之前我怎么知道校正后的图像是怎样⼤⼩的？有谁知道吗，如果有，请告诉我。

这⾥，根据这两个式⼦编程其实很简单，我令校正和畸变鱼眼图⼀样⼤⼩，即2Rx2R。

function C=jihemoxing(A,R)%基于⼏何成像模型的鱼眼镜头图像校正算法和技术研究w=2*R;h=2*R;xo=w/2;yo=h/2;f=2*R/pi;for u=1:wfor v=1:hho=sqrt((u-xo)^2+(v-yo)^2);h1=f*atan2(ho,f);x=h1*(u-xo)/ho+xo;y=h1*(v-yo)/ho+yo;x=round(x);y=round(y);C(u,v,1)=A(x,y,1);C(u,v,2)=A(x,y,2);C(u,v,3)=A(x,y,3);endendC=uint8(C);这是M⽂件其中A是鱼眼图，R是鱼眼图半径实验结果如下：A=imread('F:\orl_zhifangtu\s3.jpg');[A,R]=kuaisusaomiao(A,40);C=jihemoxing(A,R);>> imshow(C)⽽原畸变鱼眼图是这样的：可以看到⽤这篇论⽂的⽅法校正其实不怎么好丢失了原图的信息当然这可能和我将校正后的图规定为2Rx2R有关于是我将M⽂件⾥的校正后的图的⼤⼩改⼤改成了3Rx3R这样重新试了下A=imread('F:\orl_zhifangtu\s3.jpg');[A,R]=kuaisusaomiao(A,40);>> w=3*R;>> h=3*R;>> xo=w/2;yo=h/2;f=2*R/pi;for u=1:wfor v=1:hho=sqrt((u-xo)^2+(v-yo)^2);h1=f*atan2(ho,f);x=h1*(u-xo)/ho+xo;y=h1*(v-yo)/ho+yo;x=round(x);y=round(y);if(x>2*R || y>2*R || x<1 || y<1)continue;endC(u,v,1)=A(x,y,1);C(u,v,2)=A(x,y,2);C(u,v,3)=A(x,y,3);endendC=uint8(C);>> imshow(C)结果：所以应该不是改预设图像⼤⼩的问题有谁知道那个wxh怎么确定的告诉我啊我⽐较了⼀下经度坐标校正的效果经度坐标校正的效果如下：这样⼀⽐较很明显看到这篇论⽂的校正效果不够好和经度坐标校正⽐起来差了很多都是尚未插值的⽐较的明显看得出来感觉是不是这个算法不好还有⼀个期刊上发表的《鱼眼图像校正和配准算法研究》这上⾯的校正原理我觉得没交代清楚⽽是直接给出了公式，从⽬标图像到鱼眼图像反向映射的公式(3)(4)(5)，既然给出来了那就按照这个直接写哦：A=imread('F:\orl_zhifangtu\s3.jpg');[A,R]=kuaisusaomiao(A,40);[m,n,k]=size(A);for i=1:mfor j=1:ntheta=i/R;fi=j/R;x=R*cos(fi)*sin(theta);y=R*sin(fi);z=R*cos(fi)*cos(theta);u=R*cos(1/tan(y/x))/tan(sqrt(x^2+y^2)/z);v=R*sin(1/tan(y/x))/tan(sqrt(x^2+y^2)/z);u=round(u);v=round(v);if(u<1||v<1||u>m||v>n)continue;endC(i,j,1)=A(u,v,1);C(i,j,2)=A(u,v,2);C(i,j,3)=A(u,v,3);endend>> imshow(C)结果原图和校正图如下：这是什么东西明明按照公式写的很简单啊是期刊上那三个公式错了没原理？？我觉得我没写错这个乱七⼋糟的图是公式的原因吧。

鱼眼图像校正算法研究与实现张宁;刘天键【摘要】鱼眼镜头广泛应用于全景监控领域,本文介绍如何对鱼眼图像进行校正,并对特定角度下拍摄的鱼眼图像提出了一种简单、快速、实用性强的鱼眼图像校正方法,同时给出具体算法的推导,实验表明该方法能取得比较满意的效果.%The fisheye lens is widely used in the field of panoramic monitoring,this paper describes how to correct the distortion of fisheye image,and introduces a simple,fast,practical fisheye image correction method for fisheye images taken under specific angle.Also the detailed formulas are presented in this pater.Experiments show that the method can achieve satisfactory results.【期刊名称】《闽江学院学报》【年(卷),期】2012(033)005【总页数】3页(P74-76)【关键词】鱼眼图像;畸变;校正【作者】张宁;刘天键【作者单位】闽江学院物理学与电子信息工程系,福建福州350121;闽江学院物理学与电子信息工程系,福建福州350121【正文语种】中文【中图分类】TP391全景视觉是指一次获得大于半球视场(360°×180°)的三维空间的全部视觉信息，鱼眼镜头具有较大视场是构建全景视觉最简单有效的方法之一，但鱼眼镜头所拍摄的图像会有非常严重的变形，需要将这些变形图像恢复为人们习惯的图像，方便对其进行后续的处理.摄像机标定技术是一种精确恢复的算法，但其针对特定的镜头，且计算复杂度较高，在实时系统中占据的时间开销大.本文进一步寻找一种简单，快速，实用性强的鱼眼图像校正方法，可以达到处理鱼眼镜头实时校正要求.在将鱼眼图像恢复成人们所习惯的图像前，首先要提取出鱼眼图像有效区域，然后求出圆形有效区域的半径R和圆心坐标(X0，Y0).鱼眼图像有效区域的提取常用扫描线逼近法，具体算法简单可行，见文献［1］.求得半径R和圆心坐标(X0，Y0)后可以裁剪原鱼眼图像，取出有效区域，并对有效区域利用校正算法进行校正. 对于镜头朝前的鱼眼图像如图1来说，对其校正常用的主要有两种算法，一种是用球面坐标定位校正［2］，另一种是球面透视投影约束算法［3－4］.1)球面坐标定位校正这种方法是用球面的经纬线近似表示鱼眼图像中景物的变形，每一条经度上的不同像素在校正过的图像中具有相同的列坐标值，经度越大的其扭曲程度越大.设原始鱼眼图像的像素点用A(X，Y)表示，其对应校正后图像像素用Al(U，V)表示，二者之间关系如下：2)球面透视投影约束算法假设空间任意一点P坐标为(x，y，z)，连接原点O和空间点P得到射线OP，这条射线与球面x2+y2+z2=R2相交于点p，将点p投影到与鱼眼镜头光轴z轴垂直的XOY平面上得到鱼眼图像的成像点P1，假设其坐标为(u，v)，如图3所示，各坐标之间关系如下：由以上结论可知，若XOY平面上原始鱼眼图像的像素点用A(X，Y)表示，其对应校正后图像像素用Al(U，V)表示，二者之间关系应如下：应用上述两种方法校正鱼眼图像得到的效果图如图4，图5所示，由校正效果可以看出，采用球面透视投影约束算法校正效果较为理想.(3)特定角度拍摄的鱼眼图像校正对在镜头朝上(下)的鱼眼图像校正常用的算法有基于球面透视的柱面模型的等弧长映射方法［5］等，由于其较为复杂，这里推导一种比较简单可行的方法，描述如下：图6为原始鱼眼图像要将其展开为矩形全景图7，已知鱼眼图像半径为R，圆心为(X0，Y0).在鱼眼图像上绘制半径为R/2的同心圆，若鱼眼图像上任意一点像素为P(X，Y)，连接像点P及圆心得到线段OP，其与Y轴的夹角为θ.为了得到比较满意的展开结果，让校正后的全景图7的长为图6中半径为R/2的同心圆周长(R×π)，宽为半径R，此时与A(X，Y)对应的全景展开图上的校正点像素点Al(U，Y)，二者之间要满足关系如下：图8为对仰视角度下拍摄的鱼眼镜图像以及应用上述方法得到的全景图，从图上可以看出校正后的全景图是沿着鱼眼图像的Y轴切割，并以负Y轴为起点得到的，效果较好.本文应用球面坐标定位校正方法和球面透视投影约束算法校正镜头朝前的鱼眼图像，对仰视角度下拍摄的鱼眼图像校正提出了一种简单、快速、实用性强的鱼眼图像校正方法，不需要构建复杂的柱面模型，也不需要考虑鱼眼镜头的参数，完成了全景图像展开，效果较好，在全景监控中的图像畸变校正问题有一定的参考价值.刘天键(1975－)，男，福建闽清人，闽江学院物理学与电子信息工程系副教授.【相关文献】［1］王大宇，崔汉国，陈军.鱼眼图像轮廓提取及校正研究［J］.计算机工程与设计，2007，28(12)：2 878－2 882.［2］陈明伟，徐丹东.球面坐标定位校正鱼眼图片并合成全景图的方法［J］.云南民族大学学报：自然科学版，2004，7(13)：214－217.［3］英向华，胡占义.一种基于球面投影约束的鱼眼镜头校正方法［J］.计算机学报，2003，26(12)：1 702－1 708.［4］黄有度，苏化明.一种鱼眼图像到透视投影图像的变换模型系统［J］.仿真学报，2005，17(1)：29－32［5］周辉，罗飞，李慧娟，等.基于柱面模型的鱼眼影像校正方法的研究［J］.计算机应用，2008，28(10)：216－218［6］Liu H，Pi W，Zha H.Motion detection for multiple moving targets by using an omnidirectional camera［C］//Proc IEEE Intl Conf on Robotics，Intelligent Systems and Signal Processing，2003(1)：422 － 426.［7］皮文凯，刘宏，查红彬.基于自适应背景模型的全方位视觉人体运动检测［J］.北京大学学报：自然科学版，2004，40(3)：61－63.［8］邓松杰，周松斌，程韬波.利用鱼眼镜头生成全景图像的方法［J］.工程图学学报，2010(1)：135－138.。

基于失真中心精确估计的鱼眼图像畸变校正算法研究的开题报告一、选题背景与意义鱼眼镜头在近年来成为了高清摄像技术中的重要组成部分之一，它可以将更广阔的视野呈现在用户面前。

但是，由于鱼眼镜头制造的时候存在着一定的生产误差，因此此时所制造的图像中往往会出现各种各样的畸变，这对于后续的图像处理和分析，不仅会影响到图像精度的准确性，更会降低用户对图像的观感。

鱼眼图像的畸变校正技术就是针对这样的问题而提出的一种方案，它主要是将摄像机内行成像方式所产生的畸变进行校正，并最终将图像恢复到一种类似于自然人类所感知到的视角的状态。

因此，对鱼眼图像畸变校正算法的研究，能够在很大程度上提高图像的质量和观感，也是当前图像处理领域内的一个热门研究方向，对于计算机视觉、图像识别等领域的发展，具有非常重要的意义。

二、研究目标本论文的主要研究目标是：基于失真中心精确估计的鱼眼图像畸变校正算法。

通过研究总结鱼眼图像的成像原理和产生的畸变类型，提出一种基于失真中心的精确估计算法，可以在高保真度的前提下完成鱼眼图像的畸变校正。

在此基础上，结合深度学习中的一些模型和方法，设计一种高性能、高精度的鱼眼图像畸变校正算法。

三、研究内容与方法（1）研究整理鱼眼图像成像原理，分析鱼眼镜头的畸变类型，并总结出当前常见的畸变校正方法。

（2）基于失真中心精确估计的鱼眼图像畸变校正算法。

提出一种数据驱动的方法，通过分析鱼眼图像的成像形式，提出一种基于失真中心的精确估计算法，并通过实验来验证它的效果。

（3）基于深度学习的鱼眼图像畸变校正算法。

结合深度学习中的一些模型和方法，设计一种高性能、高精度的鱼眼图像畸变校正算法，并通过对比实验来评估它的效果。

四、研究难点1. 如何快速准确估计失真中心。

2. 针对不同类型的畸变，如何设计不同的畸变校正方法。

3. 如何在不影响图像质量的前提下，提高畸变校正的速度和准确度。

4. 如何结合深度学习技术，提高鱼眼图像畸变校正算法的性能和精度。

鱼眼图像畸变校正算法司 磊 朱学玲（安徽新华学院 信息工程学院 安徽 合肥 230088）摘 要： 根据鱼眼镜头成像的特点，选择合适的图像畸变校正算法，标定鱼眼图像的中心和半径，用标定得到的参数进行校正，推出校正模型，方法简单，易于实现，并对鱼眼图的畸变矫正问题提出意见与看法。

关键词： 鱼眼图像；畸变矫正；图像预处理；图像增强中图分类号：TP391 文献标识码：A 文章编号：1671－7597（2012）1110166－02鱼眼图像的畸变矫正是以某种独特的变换方式将一副鱼眼 2 有关鱼眼图片的粗略校正图像转换为理想图像的操作，这种操作在全方位视觉导航中具1）求取鱼眼图像行和列的比值有重要的作用，是系统自动识别、跟踪和定位目标所必须的基将投射生成标准圆变换为鱼眼图片并求取图片中心点的方础操作。

法与普通相机照相原理不同，对于提取出来的鱼眼图片的轮1 畸变图像的校正原理廓，我们先假定一个阈值，比如设一个灰度值30，用软件勾勒描绘出校正鱼眼图片大概的轮廓，然后先求出该轮廓的中心点根据畸变图像特点标定坐标图，求取标定点像素的理想值坐标，根据轮廓的图形和鱼眼图像的中心点的坐标，可计算出和实际值，同时生成坐标映射表，再把坐标映射表用于畸变图畸变图像的圆半径，从而求取鱼眼图像的中心点坐标和鱼眼图像的校正程序后，即可得到无畸变图像，具体处理过程如下：像的粗略轮廓的图像的半径相对比，以便于将鱼眼图像的大概1）标定坐标轮廓重新调整处理，变的更为精确和直观。

假定畸变校正的鱼镜头中心的畸变可以忽略为零，以镜头为中心，离镜头越眼图片的半径中的行坐标曲线和列坐标曲线不相等，则我们需远的地方畸变越大。

以镜头为中心标定坐标图，对图像进行坐要将畸变校正的鱼眼图像中的园的半径的曲线与下面的公式相标的标定，按正方形均匀排列圆点，如图1所示。

乘，然后就可以变换为普通的标准圆的图像。

下面公式中（u，v）是畸变校正的鱼眼图片的中心点，β为畸变校正的鱼眼图像行和列的比值。

基于几何成像模型的鱼眼镜头图像校正算法和技术研究李根;费章君;杨仕友【摘要】鱼眼镜头是一种具有广视场角的摄像机镜头,广泛应用于大场景视频监控领域,但其成像存在严重的非线性径向畸变,违反人类的视觉习惯,且为测量和模式识别等应用带来了不便.为了实现鱼眼镜头图像的校正,提出了一种基于几何成像模型的鱼眼镜头校正算法和技术,通过研究鱼眼镜头成像模型,根据鱼眼镜头类型采用了相应的几何模型校正图像;以“等距投影”模型为例提出了校正公式和实现方法.最后针对工程应用的实时性要求,提出了基于缓存的快速优化方法以及在保证一定精度的前提下快速实现双线性插值的优化方法.研究结果表明,这种新方法可以高效地完成鱼眼镜头图像校正,比传统方法适用面更广,更易实现.【期刊名称】《机电工程》【年(卷),期】2013(030)010【总页数】5页(P1268-1272)【关键词】鱼眼镜头;径向畸变校正;图像处理;视频监控【作者】李根;费章君;杨仕友【作者单位】浙江大学电气工程学院,浙江杭州310007;南自信息技术有限公司,江苏南京210012;浙江大学电气工程学院,浙江杭州310007【正文语种】中文【中图分类】TP391.40 引言由于鱼眼镜头具有视场角广（可达180 °）的优点，特别适合于大场景视频监控应用，近年来在视频监控领域的应用日渐广泛。

由于鱼眼镜头拍摄图像带有大量的桶形径向畸变[1]，故鱼眼图像不符合人类视觉习惯。

为解决这个问题，国内外学者提出了多种方法以校正鱼眼镜头图像。

应用最早的方法为基于多项式模型的校正算法[2-3]，Basu 等[4]提出了基于对数运算的FET 变换方法（Fish-Eye Transform），以及基于抛物面成像模型的漫游及深度恢复算法[5-6]，Kedzierski 等人[7]提出了一种基于微分几何的精确校正算法，Wang 等人[8]提出了基于参数方程的鱼眼镜头畸变数学模型，并将主光轴偏转也包含在内。

基于鱼眼相机的图像校正算法研究作者：师佳佳薛赛飞李小龙张旭韩芳来源：《电脑知识与技术》2022年第02期摘要：鱼眼镜头作为一种超广角镜头，具有鱼眼镜头焦距小，视角开阔等特点，使得鱼眼镜头在获得大信息量图像的同时，也带来严重的畸变，需要经过校正才能达到更好的视觉效果，因此研究鱼眼图像校正问题具有重要的现实意义。

本文主要介绍了鱼眼图像的不同校正方法，并重点研究了基于等距投影模型的鱼眼图像校正算法，最后通过对比实验，验证了等距投影模型的校正算法在鱼眼校正中的优势。

关键词：鱼眼图像;等距投影;校正算法中图分类号：TP18 文献标识码：A文章编号：1009-3044（2022）02-0076-03鱼眼相机由于具有超广角镜头，视觉范围广阔，信息量大，对于近距离拍摄大范围景物非常便捷，易于实现大范围的180°全向无死角监控，在虚拟现实、智能交通、安防监控、智能机器人视觉导航等众多领域得到广泛的应用。

但是，由于鱼眼镜头是采用多镜组结构设计，这些镜组在获得超大视场成像的同时，也带来了严重的径向畸变。

为了达到更好的视觉效果，同时适应特定的应用场合，通常需要对鱼眼图像进行校正，校正方法通常包括两个步骤[1，2]：坐标变换和鱼眼图像插值，前者是建立失真图像与校正图像之间的坐标变换关系，后者是对坐标变换后产生的空像素进行插值填充。

基于鱼眼相机的图像校正算法有不同的分类方法，按照校正算法是否涉及点的空间信息，分为2D校正和3D校正算法[3，4，5]，其中，2D校正算法不涉及点的空间信息，直接确定鱼眼图像与校正图像之间的对应点的坐标变换关系，而3D校正算法是从3D空间的角度来考虑鱼眼图像的校正。

按照是否借助外部设备进行标定，分为基于投影变换的校正方法和基于标定的校正方法[6]，基于投影变换的校正算法是基于已有投影模型，采用多项式拟合优化目标函数的方法，估计模型参数，导出校正图像;基于标定的校正算法，主要借助于标定设备如标定板对鱼眼图像内外参数进行标定等。

提取鱼眼图像轮廓的算法改进及图像校正常丹华;赵丹;杨峰明;赵国立【摘要】The use of fisheye lens causes strong distortions in the resulted images. Accurate contour extraction of the fisheye image is a prerequisite for image correction. Traditional algorithm is ineffective to suppress the noises and can not be used when massive black pixels appear in the fisbeye image's circular outline area. So an improved tangent method of fisheye image contour extraction is proposed in this paper. The experiment results show that the proposed algorithm can exact the center and radius of the fisbeye images and has obvious superiority of high precision and good real-time. Finally, a satisfactory effect of fisheye image distortion correction is achieved by applying spherical coordinate orientation.%用鱼眼镜头拍摄的图像具有严重的变形,精确地提取鱼眼图像的轮廓是进行图像校正的前提.针对传统的提取鱼眼图像轮廓的算法对噪点抑制能力不强,在有效区域存在大量黑色像素时算法失效等缺点,本文提出了一种改进的提取鱼眼图像轮廓的切线法.实验表明,该算法能准确定位鱼眼图像的圆心坐标和半径,精度高、实时性好,具有明显的优越性.最后,本文用球面坐标定位法对图像进行变形校正,取得了很好的效果.【期刊名称】《激光与红外》【年(卷),期】2012(042)004【总页数】4页(P448-451)【关键词】鱼眼镜头;轮廓提取;切线法;变形校正【作者】常丹华;赵丹;杨峰明;赵国立【作者单位】燕山大学信息科学与工程学院,河北秦皇岛066004;燕山大学信息科学与工程学院,河北秦皇岛066004;燕山大学信息科学与工程学院,河北秦皇岛066004;燕山大学信息科学与工程学院,河北秦皇岛066004【正文语种】中文【中图分类】TP3911 引言在一般的工业光电图像检测中，由于需要监测的视场小，用普通的镜头即可满足要求，但在一些特殊的测量领域，如机器人导航［1］、虚拟实景技术、大视场、大范围公共场所安全监控等，由于需要监测的范围很大，用单一的普通的成像镜头达不到要求，基于鱼眼镜头的全方位视觉系统有广泛的市场需求。

《工业控制计算机》2017年第30卷第10期95鱼眼图像畸变校正技术研究Research on Distortion Correction Technique of Fish-eye Image周小康1饶鹏2袁3朱秋煜1陈忻2袁3 (1上海大学通信与信息工程学院，上海200444;2中国科学院上海技术物理研究所，上海200083;3中国科学院红外探测与成像技术重点实验室，上海200083)摘要：鱼眼摄像机所拍摄的图像都伴有一定程度上的畸变，为了使鱼眼图像符合人类视觉习惯，鱼眼图像的畸变校正显 得十分重要。

首先在原有线扫描提取鱼眼有效区域算法上提出优化算法，减少了鱼眼图像重复扫描率，对鱼眼有效圆区域半 径进行修正，改善了圆形有效区域提取的效率。

然后提出了基于等距投影的鱼眼摄像机成像系统的几何校正模型，通过反向 映射思维，先假设出目标图像大小，反向求出畸变图像与校正图像的几何关系，从而进行图像畸变校正。

通过改变几何校正 模型中目标图像的宽度w、高度h与源鱼眼图像有效区域半径R的几何关系，改变目标图像的视场范围，最后通过cubic 插值法进行鱼眼校正图像颜色恢复。

关键词：鱼眼镜头，等距投影模型，几何模型Abstract:In this paper,an optimization algorithm is proposed to extract the fisheye effective region algorithm in the origi­nal line scan,which reduces the repetition rate of the fisheye image and corrects the radius of the effective circle of the fish eye to improve the efficiency of circular effective region extraction.Then,the geometric correction model of the fisheye camer­a imaging system based on isometric projection is proposed in this paper.Finally,the color correction of the fisheye correc­tion image is performed by the cubic interpolation method.Keywords:fisheye lens,Isometric projection model,geometric model鱼眼镜头具有焦距短、视场大的特点，其视场能达到180毅至270。

据《硅谷》杂志2012年第21期刊文称，根据鱼眼镜头成像的特点，选择合适的图像畸变校正算法，标定鱼眼图像的中心和半径，用标定得到的参数进行校正，推出校正模型，方法简单，易于实现，并对鱼眼图的畸变矫正问题提出意见与看法。

关键词：鱼眼图像；畸变矫正；图像预处理；图像增强鱼眼图像的畸变矫正是以某种独特的变换方式将一副鱼眼图像转换为理想图像的操作，这种操作在全方位视觉导航中具有重要的作用，是系统自动识别、跟踪和定位目标所必须的基础操作。

1畸变图像的校正原理根据畸变图像特点标定坐标图，求取标定点像素的理想值和实际值，同时生成坐标映射表，再把坐标映射表用于畸变图像的校正程序后，即可得到无畸变图像，具体处理过程如下：1）标定坐标镜头中心的畸变可以忽略为零，以镜头为中心，离镜头越远的地方畸变越大。

以镜头为中心标定坐标图，对图像进行坐标的标定，按正方形均匀排列圆点，如图1所示。

2）图像预处理先通过图像的、突出边缘细节；然后再用二值化处理增强调节对比度的图像，但部分样板点和背景的对比的差值较大，所以是设定一个阈值对整幅图像进行二值化，最后再对二值化后的图像再次进行中值滤波的方法处理，再次使用中值滤波方法可以有效的去除畸变图像中的部分椒盐噪声的影响。

二值化的主要作用是可以提高畸变校正图像的质量，预处理图像可以为点阵样板圆点中心的确定提供重要的作用。

3）圆点中心的确定由于图像畸变的影响，经过图像预处理后的畸变校正图像仍然是不规则的实心圆，然而样板中的确定的圆点却是规则排列的，所以可以在畸变校正的样板图像上把各个圆点的重心近似的替换为圆点中心，找出一个圆点的重心作为理想畸变校正样板图像上与之对应的点，并找出该点处于二维平面坐标之中与之距离之和最大的圆点，从各个圆点的坐标之中找出与之距离之和最大的圆点坐标，该点坐标即为畸变图像中与之相对应的点的坐标。

再找出理想的点阵样板图像和该畸变校正图像中各圆点中心的位置，计算出点与点之间的垂直距离，即可得到点阵样板图像中各点之间的偏移量，从而可以描绘和构建畸变校正图像上的各个点之间偏移量的曲面。

鱼眼相机校正计算
鱼眼相机校正是一种对鱼眼相机拍摄图像进行畸变校正的技术，其计算步骤如下：- 提取相机校准参数：首先需要获取鱼眼相机的校准参数，包括镜头的畸变模型和相机的内外参数。

这些参数描述了鱼眼镜头的光学特性和相机的成像几何。

- 畸变校正：使用相机校准参数，对图像中的畸变进行校正。

这可以通过重新映射每个像素来实现，使得图像的线条和形状更加直线和自然。

- 透视变换：鱼眼矫正后的图像通常会变成圆形或者半球形，需要进行透视变换以使其恢复为标准的矩形或正方形。

透视变换可以通过调整图像的投影方式来实现。

- 图像裁剪：在透视变换之后，通常会产生扭曲或黑边。

进行图像裁剪可以去除无效区域和边缘部分，使图像保持完整且无失真。

鱼眼相机校正计算需要考虑相机的光学特性、成像几何和图像处理算法等多个因素。

具体的计算方法和步骤可能因不同的应用场景和需求而有所差异。

小型微型计算机系统Journal of Chinese Computer Systems 2021年3月第3期 Vol.42 No. 3 2021针对鱼眼图像边缘校正缺失的快速校正算法李江华，李恩德(江西理工大学信息工程学院，江西赣州341000)E-mail：liende123@126. com摘要：针对鱼眼图像校正中水平方向畸变以及边缘缺失的问题，通过引入可控参数控制边缘部分的校正范围，同时融合三角 计算以及参数变换，获取校正关系，使映射面与鱼眼图像达到最佳匹配结果.获取校正关系后运用双线性插值算法对校正图像 进行插值运算以填充图像.实验表明，算法对视图主要区域和边缘部分畸变的校正取得较好效果，边缘部分信息流失较少，主视 图区域畸变角度明显减小，校正后图像与未畸变源图像相比结构相似性高，尽可能大的保留鱼眼图像信息，算法效率提高，算法 运行时间缩短近50%.该鱼眼图像校正算法在校正效率以及校正效果上都有显著提高，具有可行性和有效性.关键词：图像校正;边缘校正;插值算法;校正关系中图分类号：TP399 文献标识码:A 文章编号：丨000-丨220(2021)03^0578^06Fast Correction Algorithm for Missing Fisheye Image Edge CorrectionLI Jiang-hua,LI En-de(School of Information Engineering,Jiangxi University of Science and Technology.Ganzhou 341000,China)Abstract ： Aiming at the problems of horizontal distortion and missing edges in fisheye image correction, controllable parameters are introduced to control the correction range of the edge part, while triangulation calculation and parameter transformation are combined to obtain the correction relationship, so that the mapping surface and the fisheye image reach the maximum. Best match results. After ob­taining the correction relationship, a bilinear interpolation algorithm is used to interpolate the corrected image to fill the image. Experi­ments show that the algorithm achieves better results in correcting the distortion of the main area and edge parts of the view, with less loss of information in the edge parts,and the distortion angle of the main view area is significantly reduced. The structural similarity between the corrected image and the undistorted source image is high. The fisheye image information is kept as large as possible,the algorithm efficiency is improved,and the algorithm running time is shortened by nearly 50%. The fisheye image correction algorithm has significantly improved the correction efficiency and the correction effect,and is feasible and effective.Key w ords：image correction；edge correction；interpolation algorithm；correction relationshipi引言近年来，各个领域对于计算机视觉技术的应用日愈广泛.尤其在机器人视觉及视频监测领域，更宽的视野是基本需求，机器人视觉需要对尽可能大的视野内的目标做出实时而准确 的判断来获取导航信息.除了在机器人视觉领域，在大单位视 频监控及虚拟实景等领域中，鱼眼镜头因其特有的大视角所 形成的宽视场的优势，基于鱼眼的成像系统受到越来越多的 关注[11.然而由于鱼眼相机引入了径向畸变，鱼眼图像除中 心小部分区域外都存在失真，这不同于正常人类视觉习惯.为 从鱼眼镜头摄像机获得一幅普通的矩形图像,恢复实际场景 问题则需要对鱼眼图像进行校正，准确的鱼眼扭曲校正至关 重要.鱼眼图像的校正方法一般分为基于标定的校正法和基 于投影变换模型.其中基于投影变换模型的校正法是寻找一 种能够将球面图像映射到平面图像的方法.基于标定的校正 方法需要建立对于镜头的复杂数学模型，同时需要对设备进行标定，甚至需要相机的内部参数，校正成本高且对于人眼视 觉观察并无显著提升.为简化传统校正算法复杂度，提高校正后的视觉效果及 提升校正算法的可行性和有效性，使鱼眼图像更符合人类视 觉习惯同时尽可能全面的获取鱼眼图像内完备客观的物景信 息，国内外相关领域研究人员提出了一系列有价值的算法.Stenfan Hensel[2;等人通过结合对校正参数的估计，对鱼 眼图像的径向畸变进行校正，实验结果验证了此算法在针对 特定畸变问题方面的可行性.Zhang131等人在建立椭圆函数 模型的基础上初步校正鱼眼图像，其次将椭圆函数模型中的 参数进行调整从而对图像进行修正以获得更好的校正效果. Zhangi4]等人通过分步校正方法.第一步将经纬度校正以自 适应的形式进行展开,进而利用霍夫变换检测直线，其次，以统一性优化直线方向检查直线从而以获得校正图像，实验结 果表明，此算法在主要视野内物体完整且线条自然方面取得 较好校正效果.上述方法在鱼眼图像的边缘效果、算法适应性收稿日期：202CK)3-30 收修改稿日期：202(M)5-1I基金项目：国家自然科学基金项目（61963018 )资助；江西省教育厅课题项目 (GW1705I6)资助.作者简介：李江华，男，1976年生，博士，副教授,C C F会员，研究方向为数字水印、数据工程、语义Web;李恩德（通讯作者），男，1996年生，硕士，研究方向为鱼眼图像校正算法研究.李江华等:针对鱼眼图像边缘校正缺失的快速校正算法579 3期以及效率方面都存在着局限性,对于鱼眼图像的完整性保持 方面也不够理想.如椭圆函数模型在校正过程中造成鱼眼图 像中心画面的缺失.鱼眼图像映射到椭球面，再将半球面的像 素点根据特定的映射关系映射到平面上.而在此过程中，边缘 部分的损失较大，对于边缘物景的缺失必定影响信息的获取.Tien-Ying K u o[51等人利用加权联合残差细化获得更好 的畸变参数并产生更准确的鱼眼失真图像，经过验证表明该 方法可以充分校正径向变形和拉伸边界的鱼眼图像，但是此 算法在设计中存在算法复杂度过高，时间复杂度较大，实现较 为繁琐.M a:6]在通过改进传统经度坐标校正，提出了一种通 过位置不同求取不同圆心坐标与半径的算法,有效校正了桶 形畸变.Sim针对畸变问题，在经线模型的基础上提出改进算 法.该算法在经线模型基础上以校正算法和修正算法两部分进 行,改进算法校正后通过半圆模型修正校正图以达到理想效 果.此算法摒除繁琐过程，以整体模型实验以取得理想结果. Z hao181等针对不同区域畸变率不同，划分鱼眼图像有效区域, 该算法改善图像横纵畸变问题，同时存在边缘模糊，边缘区域 信息缺失的问题.W e i[9]针对鱼眼图像桶形畸变大的问题，通 过地球仪经纬线的思想加以改进以得到双经度球面，经过相应 的映射公式将图像转换，再建立与图像对应的异向经度坐标体 系，在此基础上展开映射图以得到完整校正图，然而此算法通 过引人极点来映射时会对极点附近的边缘部分拉伸严重.故本文在上述前提下，在球面透视投影和经讳映射的基 础上,对模拟镜头球面进行了改进，同时为应对鱼眼图像边缘 部分校正后仍存在一定量失真的问题,提出了相对应的边缘 部分校正算法与之结合，针对边缘部分进行修正，解决了鱼眼 图像畸变问题.2相关研究2.1鱼眼图像成像系统在鱼眼相机成像的过程中普通相机与鱼眼相机存在较大 差别，其中在于相机视角达到往常相机不能达到的视野时，图像趋于无穷大，于是鱼眼相机为满足相应要求从而产生一定 量的畸变，且主要为径向畸变[u>].鱼眼图像点与空间点成像 关系可以总结如图1所示.图1鱼眼镜头成像模型等距模型:r=•f〇(1)等立体角投影模型:r=/sin(0/2)(2)正交投影模型=/sin汐(3)体视投影模型:r=_A a n(0/2)(4)其中4是镜头光轴与人射光线的夹角^是成像点到图像主点的距离亦即像高,/为焦距.本文中，利用等距模型作为 鱼眼图像成像投影模型.由于上述鱼眼图像的成像原理，鱼眼图像在成像的过程 中在垂直和水平方向都发生了一定量的畸变，边缘部分的畸 变尤其明显.2.2传统单位球面的确定传统的球面透视投影模型由英向华，胡占义[12]提出，其 基本原理为建立空间直线与畸变鱼眼图像上相对应曲线的映 射关系，且该映射为球面大圆.如图1所示,<?是球面点，其坐标为<7(0，《P),与畸变图像点的关系如下：{^j= r+ r2 + r3 + <:4r4 + r5e= e'以畸变中心建立极坐标以表示畸变点的/•与仏.选取合 适的点进行拟合,进而得到畸变图像点到单位球面的映射关 系，即求出公式(5)中的参数最优值.在获得鱼眼图像映射的 单位球面后，下一步为建立球面的外切正方体,将球面点映射 到正方体的各个表面.3鱼眼图像校正过程3.1鱼眼有效区域提取在鱼眼图像的校正过程中，所有工作的前提是将畸变鱼 眼图像的有效区域提取出来，并同时计算出鱼眼图像有效区 域的半径和畸变中心用于下一步的图像校正.鱼眼图像的有 效区域的传统提取算法有面积统计法，最小二乘拟合法，区域 增长法和扫描线逼近法[13_~文在已有提取算法的前提下，利 用扫描线逼近法的思想加人中垂线的作用，以缩短提取时间，增加提取效率为目的，对提取过程进行改进.提取算法示意图 如图2所示.原始鱼眼图像图2提取算法示意图Fig.2 Extraction algorithm diagramFig. 1Fisheye lens imaging model其中;C点与;coy平面的点m的映射过程即为鱼眼图像的 成像过程.成像后的平面上m与成像中心〇的距离称之为像 髙.像高的多少取决于投影成像模型函数[11].鱼眼成像过程 中投影函数以及其表达式如下所示：在提取过程中，第一步先将设置一个合适的阈值;16]将鱼 眼图片二值化处理，在此基础上设置第二个扫描阈值，以逐行 逐列扫描法从图片左方开始进行扫描，确定鱼眼图片左切点 后过此切点做鱼眼图像的左边界的垂线，在此垂线上做像素 点的遍历，通过扫描阈值确定右切点.在确定左右切点之后，580小型微型计算机系统2021 年做此条线段的中垂线，以相同方式确定上下切点.以《 •m的鱼眼图片为例，此种鱼眼图像提取方法计算量为：n•(m-2R)/2 + (n-2R)~(m-2R)/2(6)3.2获取校正关系3.2.1中心区域映射关系本文通过改进提取算法提取到鱼眼图像有效区域以及其半径和畸变中心后，提出改进的双垂面鱼眼图像校正方法，具体流程如下：第1步找到鱼眼图像的畸变点U,y)，将其转化为极坐标形式（r，a).假设鱼眼镜头的半视角为心，人射角为0.e= r-dm/R(7)假设球面半径为&,球面上各点的坐标（0,c〇,如图所示,其直角坐标为U,y,z),将球面上各个点的坐标转换成经讳度坐标(0',/).第2步将球面图像映射到平面图像上，在以往算法理论中往往需要在球面周围建立外切正方体，以映射到各个正方体的表面上,不同角度范围的点映射到不同的正方体表面上，最后再进行拼接.本文中,为避免繁琐的计算过程以及图像拼接的过程，首先采用主视图基于三角计算的双垂面映射法.如图3所示.图3双垂面示意图 图4映射图Fig.3 Double vertical plane Fig.4 M a p首先本文以互相垂直的两个映射面中一个面进行算法解释，如图4所示.有任一点位于球面,在已确定的球体中心〇周围存在圆面与平面/4S C D，平面/1S C Z)为映射平面，连接圆面上点与球中心可得说'相交于点M是球面点f在平面上的投影点.根据如上映射关系，可找到球面图像到平面图像之间的映射关系.假设A在平面上的点坐标为U,y),图中线段的中点为是线段///的中点，平面图像长度为,宽为w,，球面图像长度为心，宽为vv2和A A/O E为直角三角形，圆心角乙尺〇£=乙她由图中可知，MiV= y- /!,/2，#〇= k根据勾股定理可得的长度：M〇= ^(y-由三角几何关系可得：Z. MOE=arctan(-LMOK-arctan(-+u N〇yh-,/2>-y)+(/-)2 w,/2 -j2■Uso)2L K O E^/_M O E-L M O K (8)(9)故A：£对应的弧长为：r w,/2I k e= R k * [arctan(—— .=)-V卜-夺)一％/2-义—”(10)同理,在纵轴方向上= vv/2= /ra，同样根据三角几何关系可得：QO= J[~2~x)+(/«〇)2V W'(11)hiKQ=y~Y故A：Q对应的弧长为：v-/i,/21k q=/?a 'arctan(....，~r^)(12)■J(w,/2 -x)+ (l NO)以上通过建立校正关系逐个将经纬坐标点映射至平面图 像，同样地，另外一个与此映射面互相垂直的映射面以相同的方法映射相对应的球面图像部分.3.2.2调整参数在传统校正算法中，球面半径一般等于鱼眼图像半径或 者是以单位一作为半径进行计算，但是本文考虑到现实中存在的误差，为了更好的进行球面映射，使得到的球面映射图更客观,校正效果更好，本文采用可调整参数来设置球面半径.本文得到球面的方法为选取原始图像上的一条弧线，在 其上选取若干点进行直线拟合，在本文中，利用最小二乘法进行直线拟合.为获取更合适的球面半径，文中引人相关系数 作为评价指标.1(X,-X)(Y:-Y)(13)其中，（V,.)为弧线上点对应于校正图像上的点坐标,为选取拟合点横纵坐标的平均值.本文选取相关系数最 接近1的心，且满足在[〇.8R,1.2R]的范围内.3.2.3 边缘校正本文在校正完鱼眼图像的主视图区域后，针对边缘部分 的校正采用边缘部分动态视野经纬校正法对边缘畸变部分进行校正，以满足更好的整体校正效果.鱼眼畸变图像边缘部分如图5所示.图5边缘示意图Fig.5 Edge diagram相对于传统校正法中将映射面进行固定而言，本文将映李江华等:针对鱼眼图像边缘校正缺失的快速校正算法581 3期射面进行动态可调整化处理改进.引人a ngfe变量对主视图 以及边缘部分进行控制，建立映射面与ang/e的关系，同时对 边缘部分进行区域整合.已知映射面的宽度为％，建立起与 ang/e的关系：=心〇•(2 •ton(ang/e •77/360)) (14)在此基础之上，寻找各个参数之间最合适的关系,建立对 于边缘部分与主视图部分最优的校正效果.对于横轴上面的畸变，可将其看作在纬线上的畸变，将不同 的纬线看作在同一条轴上的同心圆，设畸变点所在纬线的圆 心z坐标为A,则此圆的圆心坐标为〇,+(J t。