下载文档原格式
第55卷 第1期吉林大学学报(理学版)V o l .55 N o .1 2017年1月J o u r n a l o f J i l i nU n i v e r s i t y (S c i e n c eE d i t i o n )J a n 2017d o i :10.13413/j .c n k i .jd x b l x b .2017.01.18鱼眼视频图像畸变的实时校正方法吕耀文,安 喆,徐熙平(长春理工大学光电工程学院,长春130022)摘要:采用鱼眼图像的球面投影模型,提出一种基于鱼眼透镜球面投影的实时校正方法.该方法将鱼眼图像映射在5个图像平面上,解决了鱼眼视频图像畸变严重,观测视觉体验效果较差的问题;根据图像在计算机中的内存布局,对校正算法中的空间映射计算和内存存储空间进行了优化,提高了算法的执行效率,减少了算法的内存消耗.实验结果表明,该方法能显著改善鱼眼图像的显示效果,对单帧图像的处理时间仅为18.37m s,能满足鱼眼视频图像实时校正的需要.关键词:图像校正;鱼眼图像;实时处理;球面投影中图分类号:T P 391 文献标志码:A 文章编号:1671-5489(2017)01-0103-06R e a l -T i m eC o r r e c t i o n M e t h o d f o rF i s h e y eV i d e o I m a ge sD i s t o r t i o n L ÜY a o w e n ,A NZ h e ,X U X i p i n g(S c h o o l o f O p t i c a lE n g i n e e r i n g ,C h a n g c h u nU n i v e r s i t y o f S c i e n c e a n dT e c h n o l o g y ,C h a n g c h u n 130022,C h i n a )A b s t r a c t :U s i n g s p h e r i c a l p r o j e c t i o n m o d e lo ff i s h e y ei m a g e ,w e p r o p o s e dar e a l -t i m ec o r r e c t i o n m e t h o db a s e do n s p h e r i c a l p r o j e c t i o n .T h em e t h o dm a d e t h e f i s h e y e i m a g em a p i n5i m a g e p l a n e ,s o a s t o s o l v e t h e p r o b l e mo f s e r i o u s d i s t o r t i o n a n d p o o r v i s u a l e f f e c t s f o r f i s h e y e v i d e o .A c c o r d i n g t o t h e l a y o u to f 2D i m a g e d a t a a l l o c a t i o n si n m e m o r y ,t h e s p a c e m a p p i n g c a l c u l a t i o n a n d m e m o r y m a n a g e m e n tw e r e o p t i m i z e d i n t h e c o r r e c t i o n a l g o r i t h m.T h e e f f i c i e n c y o f t h e a l g o r i t h m w a s i m p r o v e d a n d t h em e m o r y c o n s u m p t i o no f t h e a l g o r i t h m w a s r e d u c e d .T h e e x p e r i m e n t a l r e s u l t s s h o wt h a t t h e m e t h o d c a n s i g n i f i c a n t l y i m p r o v e t h e v i s u a l e f f e c t so f f i s h e y e i m a g e s ,a n d t h e r u n n i n g t i m eo f s i n g l e f r a m e i m a g e i s o n l y 18.37m s ,w h i c h c a n s a t i s f y t h e n e e d o f r e a l -t i m e f i s h e y e v i d e o i m a g e c o r r e c t i o n .K e y w o r d s :i m a g e c o r r e c t i o n ;f i s h e y e i m a g e ;r e a l -t i m e p r o c e s s i n g ;s p h e r i c a l p r o j e c t i o n 收稿日期:2016-06-13.作者简介:吕耀文(1987 ),男,汉族,博士,讲师,从事数字图像处理和机器学习的研究,E -m a i l :l u o h o n g j u a n 05@163.c o m.基金项目:国家自然科学基金(批准号:11474041)和吉林省科技发展计划项目青年基金(批准号:20160520018J H ).鱼眼摄像机具有视场广㊁信息量丰富及制造成本低等优点,在安全监控㊁机器人导航㊁智能交通和全景展示等领域应用广泛[1-3].但由于鱼眼镜头在光学设计结构上将180ʎ的场景映射到单个成像平面探测器上,导致鱼眼图像畸变严重,观测视觉体验效果较差.因此通过后期软件处理技术校正鱼眼畸变图像,提高人眼观测视觉舒适度,已成为鱼眼摄像机应用的关键技术.目前,鱼眼图像的畸变校正方法主要分为两类:基于标定的校正方法[4-5]和基于投影变换模型的校正方法[1-2,6-7].基于标定的校正算法主要通过借助外部设备对鱼眼图像的畸变多项式系数进行标定,以获得畸变源图像到校正目标图像的点到点映射关系,从而实现鱼眼图像的畸变校正功能.主要包括基于射影几何中的对极几何[4,8]和消隐点[5]约束的标定方法㊁采用交叉衍射光学元件(C D O F )的标定法[9]㊁直线投影不变约束的圆拟合[10]和高斯拟合法[11-12]以及平面棋盘点位置坐标的标定方法[8].这些方法对鱼眼镜头的投影过程建立了复杂的数学模型,校正精度较高,但需要专用的标定设备和复杂的软件算法实现,且校正目的是为了获得数学模型上的对应,对于人眼视觉的观察并没有较大提升.基于投影模型的校正方法主要包括经纬映射投影法[1]㊁球面模型投影法[2]㊁柱面投影法[6]㊁数字畸变模型投影法[7]和椭球面模型投影法[13].模型投影法以一种简化的投影模型近似鱼眼镜头的复杂光学成像原理,虽然校正精度不如标定法,但具有校正原理简单㊁实现方便和视觉效果改善显著等优点.目前的校正方法多数只考虑最后的校正结果,未考虑校正算法的复杂性和实时性.因此,本文以鱼眼透镜的球面投影模型为基础,结合图像的内存布局方式,采用映射查找的方法,实现一种针对鱼眼视频图像畸变的实时校正方法.1鱼眼图像校正算法1.1图像的几何变换鱼眼图像的校正归属于图像的几何变换应用.几何变换包含两个基本操作:1)目标图像与源图像的空间映射关系,即目标图像的某个像素点在源图像中的空间位置,但这个映射的空间位置可能不一定为整数;2)灰度插值,典型的灰度插值按计算复杂度从低到高依次为最近邻插值㊁双线性插值和二次插值.图1为图像几何变换的示意图.1.2鱼眼图像的球面投影模型鱼眼图像的投影模型定义了校正图像与鱼眼图像的空间映射关系.图2为鱼眼图像的球面投影模型,其中:点s为校正目标图像上点p到鱼眼图像上的映射点,是球面点p1到鱼眼图像平面的垂直映射;p1是鱼眼图像中心点o和点p的连线o p与映射球的交点.映射关系确定后,要实现图像的校正,还需要解决两个问题:1)校正图像平面的空间位置;2)校正图像的大小.图1图像几何变换示意图F i g.1S c h e m a t i c d i a g r a mo f i m a g eg e o m e t r i c t r a n s f o r m a t i o n图2鱼眼图像的球面投影模型F i g.2S p h e r i c a l p r o j e c t i o nm o d e lo f f i s h e y e i m a g e校正图像中心c与鱼眼图像中心o的距离变化等效于图像的放大与缩小,不影响最终校正图像的视觉效果;直线o c的角度变化产生了不同视角下的校正图像.如果校正图像太小会导致校正图像中包含的鱼眼图像信息过少,需要很多张校正图像才能覆盖鱼眼图像中的所有信息,导致校正算法复杂㊁计算量大且不便于观察者观看.图3为球面投影映射的切面图,鱼眼图像中的等距线段s1和s2在校正目标图像中产生了明显的大小差异,所以若校正图像过大,将导致校正图像的非线性畸变.因此,为了充分展现鱼眼图像的视觉信息,并减少校正图像由于球面映射导致的图像畸变,本文以包围半球最小长方体的5个面为校正平面,分别命名为顶视图㊁左视图㊁右视图㊁前视图和后视图,如图4所示.1.3校正方法下面从校正平面中的任一像素点p(j j,k k)开始,计算点p在鱼眼图像中对应点s的图像坐标(x,y).1)点p在o-x y z三维坐标系中坐标(u,v,w)的计算.顶视图为u=j j-R,v=k k-R,w=R;(1) 401吉林大学学报(理学版)第55卷图3 球面投影映射的切面图F i g .3 S e c t i o n c u t o f s p h e r i c a l p r o j e c t i o nm a p p i ng 图4 鱼眼图像校正平面F i g .4 C o r r e c t i o n p l a n e s o f f i s h e y e i m a ge 前视图为u =j j -R , v =-R , w =R -k k ;(2)后视图为u =j j -R , v =R , w =R -k k ;(3)左视图为u =-R , v =j j -R , w =R -k k ;(4)右视图为u =-R , v =j j -R , w =R -k k .(5)其中R 为鱼眼透镜圆形图像的半径.2)映射点s 在x o y 平面中坐标(x 1,y 1)的计算.(x 1,y1)等效于映射球上点p 1的x 坐标分量和y 坐标分量,因此由几何关系可得x 1=R u /(u 2+v 2+w 2)1/2, y 1=R v /(u 2+v 2+w 2)1/2.(6) 3)点s 的图像坐标(x ,y )为x =x 1+c x , y =y 1+c y ,(7)其中(c x ,c y )为坐标中心点o 在鱼眼图像中的图像坐标,即为鱼眼图像圆心的图像坐标.本文中鱼眼图像的中心和半径采用文献[13]的方法确定.校正图像到鱼眼图像的映射关系确定后,即可采用灰度插值算法实现鱼眼图像的校正.基于实时性的考虑,本文选择最近邻插值法.2 图像的内存布局及算法优化计算机只能处理存储在计算机内存中的数据.C P U 以寻址的方式读取计算机内存中的待处理数据,处理完毕后,又以寻址的方式写入到计算机内存中.该过程表现在编程语言上,对应为指针地址的赋值㊁指针所指内存空间的取值和赋值.计算机的寻址是一个一维过程,即计算机对内存的操作并未区分行和列,只以一个统一的32b i t (或64b i t )地址映射内存.二维图像以某种数据结构连续存储在计算机内存中,因此采用一维的寻址方式扫描二维图像的像素可提高算法的效率.以一维的方式正确扫描二维图像数据需要确定图像在计算机中的内存布局.二维图像变成一维排列有两种方式:1)列优先方式,即扫描以列为方向,MA T L A B 软件就是采用这种扫描方式;2)行优先方式,即扫描以行为方向,计算机视觉图像处理库O p e n c v 采用行优先方式.本文采用V i s u a l S t u d i o 2010和O p e n c v 2.3工具开发鱼眼图像校正算法,因此重点说明行优先方式.对于图像中的第i 行第j 列位置的一维寻优地址a d 为a d =i ˑC O L S +j ,(8)其中C O L S 为二维图像的列数.2.1 映射计算优化成像模型与鱼眼摄像机获得的图像内容无关,因此对鱼眼视频的每张图像采用的校正方法均一501 第1期 吕耀文,等:鱼眼视频图像畸变的实时校正方法601吉林大学学报(理学版)第55卷致.为了避免重复映射关系计算,本文采用数组存储映射关系,在程序启动时,初始化该一维数组,一维数组的序号为校正目标图像内存布局的一维地址偏移量,其对应的存储值为映射鱼眼图像像素点的一维地址偏移量.在视频图像校正过程中采用数组读取的方式查找映射.2.2内存存储空间优化将计算变为映射查找可提高程序的执行效率,但映射查找表的存储需要消耗计算机的内存.本文需要校正5个视图,以1Kˑ1K分辨率图像计算,需要提前开销12M B的内存(顶视图需要1Kˑ1K 的索引,4个侧视图分别需要1Kˑ0.5K的索引,每个索引对应4B y t e的整数),因此存储映射表的内存消耗是图像大小的12倍.为了降低程序对系统内存的损耗,通过分析图4发现4个侧视映射平面是对称的,并且鱼眼图像的成像区域是一个圆,具有旋转对称性,因此4个侧视图只需要1个映射表就能完成鱼眼图像的侧视图校正.本文存储前视图的映射表,对于另外3个侧视图的校正,采用绕图像中心旋转的方式完成.例如,对于右视图的校正,将鱼眼图像旋转90ʎ即可变右视图为前视图.同理后视图和左视图的旋转角度分别为180ʎ和-90ʎ.图像90ʎ的旋转等效为二维图像矩阵的转置,180ʎ的图像旋转对应二维图像矩阵的上下翻转.矩阵的转置和翻转在计算机处理中只是二维数据的重新排列,其计算时间较少.因此,可通过矩阵的转置和翻转,将4个侧视映射表变为1个侧视映射表,在不降低算法运行效率的前提下,映射表的存储空间由12倍的图像大小降为6倍,显著提高了计算机内存的利用效率.优化后的程序流程如图5所示.图5优化后的程序流程F i g.5F l o wc h a r t o f o p t i m i z e d p r o g r a m3实验为验证本文算法的效果和性能,使用鱼眼摄像机分别采集了会议室和办公室两个不同场景的鱼眼视频图像,截取视频中的某一帧原始图像如图6(A)和图7(A)所示.实验平台采用W i n d o w s10专业版32位操作系统,I n t e l i33.3G H z双核C P U,4G B内存,开发环境为V i s u a l S t u d i o2010和O p e n c v2.3库.3.1校正效果实验对鱼眼图像进行校正,其校正结果分别如图6和图7所示.由图6和图7可见,原始图像中畸变直线,如图6(A)中的会议桌㊁长方形投影幕布的黑边框㊁遮挡玻璃门的连接线,图7(A)中的灯管㊁窗框和办公隔断等都已经校正成了直线.此外,由于校正映射平面改变引起视角变化而产生的4个视图相对于原图更符合人的观察习惯,如图6前视图中的矿泉水和花,图7左视图中的人,相对于原始图像,它们在校正图像中更容易被人眼观察和识别.3.2算法优化结果用本文优化方法对校正算法进行优化实验,算法优化前和优化后的运行时间列于表1.图6 会议室鱼眼图像校正结果F i g .6 C o r r e c t i o n r e s u l t s o f f i s h e y e i m a ge s i n c o nf e r e n c e r o om 图7 办公室鱼眼图像校正结果F i g .7 C o r r e c t i o n r e s u l t s o f f i s h e y e i m a ge s i nof f i c e r o o m 表1 算法运行时间(m s )T a b l e 1 R u n n i ng t i m e (m s )o f a l go r i t h m s 算法会议室办公室优化前102.69102.69映射优化12.6212.47内存优化18.3718.64 程序的计时采用O p e n c v 中提供的两个高精度计时函数g e t T i c k C o u n t ()和g e t T i c k F r e q u e n c y()701 第1期 吕耀文,等:鱼眼视频图像畸变的实时校正方法801吉林大学学报(理学版)第55卷完成.表1中的运行时间为程序运行1000次的平均值.由表1可见:1)运行时间与场景无关,这是因为校正算法并不需要图像像素的灰度值;2)算法映射优化后,运行时间由原来的102m s降为12m s;3)采用矩阵的转置和翻转优化程序内存后,运行时间只增加了6m s,却节约了50%的内存空间.在实际应用中,可根据实际情况在程序运行效率和计算机内存占用间进行平衡.实验结果表明,经过优化后的算法完全可满足针对30帧/s鱼眼视频图像的实时校正.综上所述,本文针对鱼眼图像畸变严重㊁视觉效果差的问题,在深入分析鱼眼透镜球面投影模型的基础上,实现了一种采用映射查找法的实时校正方法.该方法选择包围半球最小长方体的5个面为校正平面,既充分展现了鱼眼图像的视觉信息,又减少了校正图像由于球面映射引起的图像畸变.本文从图像在计算机的内存布局出发,通过映射查找表和矩阵的转置与翻转,对算法从时间和空间上进行了优化.本文优化方法可以推广到其他有关图像几何校正(包括基于其他数学模型的鱼眼透镜图像校正)的算法实现中,优化方法具有一般性.实验结果表明,本文方法能显著改善鱼眼图像的显示效果,并满足鱼眼视频图像实时校正的要求.参考文献[1]魏利胜,周圣文,张平改,等.基于双经度模型的鱼眼图像畸变矫正方法[J].仪器仪表学报,2015,36(2):377-385.(W E IL i s h e n g,Z HO U S h e n g w e n,Z HA N G P i n g g a i,e t a l.D o u b l eL o n g i t u d e M o d e lB a s e dC o r r e c t i o n M e t h o d f o rF i s h-E y e I m a g eD i s t o r t i o n[J].C h i n e s e J o u r n a l o f S c i e n t i f i c I n s t r u m e n t,2015,36(2):377-385.)[2]赵瑞,郝书珍.一种大视角鱼眼图像校正算法的实现[J].河北农业大学学报,2014,37(3):106-110.(Z HA O R u i,HA O S h u z h e n.I m p l e m e n t a t i o no fC o r r e c t i o n A l g o r i t h m f o rL a r g e A n g l eF i s h e y eI m a g e s[J].J o u r n a l o fA g r i c u l t u r eU n i v e r s i t y o fH e b e i,2014,37(3):106-110.)[3]祝海江,徐晓波,周靖林.基于球面透视投影旋转矩阵的鱼眼图像匹配[J].光学学报,2013,33(2):0215001.(Z HU H a i j i a n g,X U X i a o b o,Z HO UJ i n g l i n.F i s h e y e I m a g eM a t c h i n g B a s e do nR o t a t i o n M a t r i xu n d e rS p h e r i c a l P e r s p e c t i v eP r o j e c t i o n[J].A c t aO p t i c aS i n i c a,2013,33(2):0215001.)[4] K a n n a l aJ,B r a n d tSS.A G e n e r i cC a m e r a M o d e l a n dC a l i b r a t i o n M e t h o df o rC o n v e n t i o n a l,W i d e-A n g l e,a n dF i s h-E y eL e n s e s[J].I E E ET r a n s a c t i o n sP a t t e r nA n a l y s i s a n d M a c h i n e I n t e l l i g e n c e,2006,28(8):1335-1340.[5] H u g h e sC,D e n n y P,G l a v i n M.E q u i d i s t a n t F i s h-E y eC a l i b r a t i o n a n dR e c t i f i c a t i o nb y V a n i s h i n g P o i n tE x t r a c t i o n[J].I E E ET r a n s a c t i o n s o nP a t t e r nA n a l y s i s a n d M a c h i n e I n t e l l i g e n c e,2010,32(12):2289-2296.[6]霍薇薇,王作栋,高萌萌,等.基于坐标投影的鱼眼图像校正方法研究[J].电子测量技术,2014,37(5):25-28.(HU O W e i w e i,WA N GZ u o d o n g,G A O M e n g m e n g,e t a l.M e t h o do f F i s h e y e I m a g eC o r r e c t i o nB a s e do nC o o r d i n a t eP r o j e c t i o n[J].E l e c t r o n i cM e a s u r e m e n tT e c h n o l o g y,2014,37(5):25-28.)[7] HO U W e n g u a n g,D I N G M i n g y u e,Q I N N a n n a n,e t a l.D i g i t a l D e f o r m a t i o nM o d e l f o r F i s h e y e I m a g eR e c t i f i c a t i o n[J].O p t i c sE x p r e s s,2012,20(20):22252-22261.[8] H a r t l e y RI,K a n g SB.P a r a m e t e r-F r e eR a d i a lD i s t o r t i o nC o r r e c t i o nw i t hC e n t e ro fD i s t o r t i o nE s t i m a t i o n[J].I E E ET r a n s a c t i o n s o nP a t t e r nA n a l y s i s a n d M a c h i n e I n t e l l i g e n c e,2007,29(8):1309-1321.[9] A r f a o u iA,T h i b a u l tS.F i s h e y e L e n s C a l i b r a t i o n U s i n g V i r t u a l G r i d[J].A p p l i e d O p t i c s,2013,52(12):2577-2583.[10] H u g h e sC,M c F e e l y R,D e n n y P,e ta l.E q u i d i s t a n t(fθ)F i s h-E y eP e r s p e c t i v e w i t h A p p l i c a t i o ni n D i s t o r t i o nC e n t r eE s t i m a t i o n[J].I m a g eV i sC o m p u t,2010,28:538-551.[11]王栋,朱明.利用图像畸变对称性实现相机中心位置标定[J].电子器件,2007,30(3):1003-1005.(WA N GD o n g,Z HU M i n g.C a m e r a sI m a g eC e n t e r M e a s u r e m e n t M e t h o dB a s e do fD i s t o r t e dS y mm e t r y[J].C h i n e s e J o u r n a l o fE l e c t r o nD e v i c e s,2007,30(3):1003-1005.)[12] HU A N GF u y u,WA N G Y o n g z h o n g,S H E N X u e j u,e t a l.M e t h o df o rC a l i b r a t i n g t h eF i s h e y eD i s t o r t i o nC e n t e r[J].A p p l i e dO p t i c s,2012,51(34):8169-8177.[13]杨中伟,杨鸣.基于椭球面模型的鱼眼图像校正方法[J].光学仪器,2014,37(2):127-131.(Y A N GZ h o n g w e i,Y A N G M i n g.A F i s h e y eI m a g eC o r r e c t i o n M e t h o dB a s e do nE l l i p s o i d M o d e l[J].O p t i c a l I n s t r u m e n t s,2014, 37(2):127-131.)(责任编辑:韩啸)。
Final Cut Pro中的鱼眼修正和镜头校正技巧在视频编辑领域中，鱼眼镜头是一种非常流行的选择，可以提供广角视野，带来独特的视觉效果。
然而，由于镜头的特性，鱼眼效果也会导致图像的畸变和扭曲。
为了纠正这些问题，Final Cut Pro提供了一些强大的工具和技巧来执行鱼眼修正和镜头校正。
首先，让我们看看如何进行鱼眼修正。
通过以下步骤，您可以快速轻松地纠正鱼眼镜头引起的畸变。
1.在Final Cut Pro中打开您的项目，并将需要进行鱼眼修正的视频片段拖到时间轴中。
2.选择您要进行修正的片段，然后点击顶部工具栏中的“视频修复”按钮。
3.在视频修复选项卡中，找到并点击“鱼眼”选项。
4.在“鱼眼”选项下，您可以看到可以控制畸变纠正强度的滑块。
根据您的需要，调整滑块直到您满意的效果。
您还可以通过点击“自动校正”按钮让Final Cut Pro自动进行校正，但这可能不总是达到理想效果。
5.在应用了修正后，您可以通过比较修正前后的画面来评估结果。
如果需要进一步的微调，您可以重新调整滑块或使用其他工具。
除了鱼眼修正外，Final Cut Pro还提供了一个功能强大的镜头校正工具，可以修正因摄影时相机或镜头倾斜引起的图像扭曲。
以下是如何使用Final Cut Pro中的镜头校正工具进行校正的步骤：1.选择需要进行校正的视频片段，并进入“视频修复”选项卡。
2.在视频修复选项中，找到并点击“镜头校正”选项。
3.在镜头校正选项中，您可以调整视频的角度、旋转和缩放参数。
使用这些参数，您可以纠正摄像机或镜头倾斜引起的图像扭曲。
4.通过调整参数，预览校正后的画面，并与未校正的画面进行比较。
确保校正后的图像看起来更自然且没有明显的扭曲。
5.完成校正后，将修正效果应用到视频片段中，并检查整个项目的一致性。
通过Final Cut Pro的鱼眼修正和镜头校正工具，您可以轻松修复由于使用鱼眼镜头和相机/镜头倾斜引起的图像畸变和扭曲。
学号：S********硕士学位论文基于双线性插值的鱼眼镜头校正算法研究与实现研究生姓名： 刘洁 学科、专业： 软件工程 二○一七年三月分类号：TP751 密级：可公开U D C：编号：基于双线性插值的鱼眼镜头校正算法研究与实现Research and Implementation of Fisheye Lens Correction Algorithm based on Bilinear Interpolation学位授予单位及代码：长春理工大学（10186）工程领域名称及代码：软件工程（083500）研究方向：图像处理与模式识别申请学位级别：硕士指导教师：姚洪涛研究生：刘洁论文起止时间：2015.09—2016.12摘要鱼眼镜头的广阔视角满足了监控的应用和广阔视野方面的需求，在现实生活中的应用具有重要的意义，但是鱼眼镜头图像的畸变却在实际应用中带来了不方便，通过模式识别和人工智能方法对物景进行分类和分析，加强对景物的分析和图像的理解，20 世纪 60 年代以来，机器学习领域在图像分析方面已有许多研究成果，图像分析同图像处理等研究内容紧密相关，而且相互交叉重叠。
因此，有必要对于鱼眼镜头的畸变进行矫正，本文主要对基于双线性插值的鱼眼镜头矫正算法进行了研究，第一步主要阐述了本文的研究背景、研究目的、研究意义，然后文献综述了鱼眼图像畸变及其校正的相关研究，然后简要概述论文的主要研究内容。
然后阐释了鱼眼镜头结构和工作原理、鱼眼镜头光学特性分析、鱼眼图像的处理过程，简要讨论了鱼眼镜头的设计难点及设计思路。
对鱼眼镜头畸变模型展开分析，阐述了其径向及其它畸变，主要对射影不变性及球面坐标定位校正算法、多项式拟合近似变形方程校正算法、球面透视投影校正算法、抛物面投影校正算法进行具体的分析和仿真。
分析了鱼眼镜头的标定方法，着重探讨了张正友标定和基于焦点的相机标定方法两种方法，并进行了相关的参数优化。
用公式拟合表示了径向畸变，用于相机畸变系数的标定，最后，研究了经典的相机标定方法：张正友标定:这个方法具备传统标定的精度以及自标定简便易行的优势，应用于各大领域，本文说明了该方法的原理，并用该方法标定了鱼眼相机，最后基于校正插值的方法，提出了一种改进后的鱼眼图像畸变校正算法，并通过仿真实验得出比较精确的参数，最终得出实验结果。
鱼眼图像校正算法研究与实现张宁;刘天键【摘要】鱼眼镜头广泛应用于全景监控领域,本文介绍如何对鱼眼图像进行校正,并对特定角度下拍摄的鱼眼图像提出了一种简单、快速、实用性强的鱼眼图像校正方法,同时给出具体算法的推导,实验表明该方法能取得比较满意的效果.%The fisheye lens is widely used in the field of panoramic monitoring,this paper describes how to correct the distortion of fisheye image,and introduces a simple,fast,practical fisheye image correction method for fisheye images taken under specific angle.Also the detailed formulas are presented in this pater.Experiments show that the method can achieve satisfactory results.【期刊名称】《闽江学院学报》【年(卷),期】2012(033)005【总页数】3页(P74-76)【关键词】鱼眼图像;畸变;校正【作者】张宁;刘天键【作者单位】闽江学院物理学与电子信息工程系,福建福州350121;闽江学院物理学与电子信息工程系,福建福州350121【正文语种】中文【中图分类】TP391全景视觉是指一次获得大于半球视场(360°×180°)的三维空间的全部视觉信息，鱼眼镜头具有较大视场是构建全景视觉最简单有效的方法之一，但鱼眼镜头所拍摄的图像会有非常严重的变形，需要将这些变形图像恢复为人们习惯的图像，方便对其进行后续的处理.摄像机标定技术是一种精确恢复的算法，但其针对特定的镜头，且计算复杂度较高，在实时系统中占据的时间开销大.本文进一步寻找一种简单，快速，实用性强的鱼眼图像校正方法，可以达到处理鱼眼镜头实时校正要求.在将鱼眼图像恢复成人们所习惯的图像前，首先要提取出鱼眼图像有效区域，然后求出圆形有效区域的半径R和圆心坐标(X0，Y0).鱼眼图像有效区域的提取常用扫描线逼近法，具体算法简单可行，见文献［1］.求得半径R和圆心坐标(X0，Y0)后可以裁剪原鱼眼图像，取出有效区域，并对有效区域利用校正算法进行校正. 对于镜头朝前的鱼眼图像如图1来说，对其校正常用的主要有两种算法，一种是用球面坐标定位校正［2］，另一种是球面透视投影约束算法［3－4］.1)球面坐标定位校正这种方法是用球面的经纬线近似表示鱼眼图像中景物的变形，每一条经度上的不同像素在校正过的图像中具有相同的列坐标值，经度越大的其扭曲程度越大.设原始鱼眼图像的像素点用A(X，Y)表示，其对应校正后图像像素用Al(U，V)表示，二者之间关系如下：2)球面透视投影约束算法假设空间任意一点P坐标为(x，y，z)，连接原点O和空间点P得到射线OP，这条射线与球面x2+y2+z2=R2相交于点p，将点p投影到与鱼眼镜头光轴z轴垂直的XOY平面上得到鱼眼图像的成像点P1，假设其坐标为(u，v)，如图3所示，各坐标之间关系如下：由以上结论可知，若XOY平面上原始鱼眼图像的像素点用A(X，Y)表示，其对应校正后图像像素用Al(U，V)表示，二者之间关系应如下：应用上述两种方法校正鱼眼图像得到的效果图如图4，图5所示，由校正效果可以看出，采用球面透视投影约束算法校正效果较为理想.(3)特定角度拍摄的鱼眼图像校正对在镜头朝上(下)的鱼眼图像校正常用的算法有基于球面透视的柱面模型的等弧长映射方法［5］等，由于其较为复杂，这里推导一种比较简单可行的方法，描述如下：图6为原始鱼眼图像要将其展开为矩形全景图7，已知鱼眼图像半径为R，圆心为(X0，Y0).在鱼眼图像上绘制半径为R/2的同心圆，若鱼眼图像上任意一点像素为P(X，Y)，连接像点P及圆心得到线段OP，其与Y轴的夹角为θ.为了得到比较满意的展开结果，让校正后的全景图7的长为图6中半径为R/2的同心圆周长(R×π)，宽为半径R，此时与A(X，Y)对应的全景展开图上的校正点像素点Al(U，Y)，二者之间要满足关系如下：图8为对仰视角度下拍摄的鱼眼镜图像以及应用上述方法得到的全景图，从图上可以看出校正后的全景图是沿着鱼眼图像的Y轴切割，并以负Y轴为起点得到的，效果较好.本文应用球面坐标定位校正方法和球面透视投影约束算法校正镜头朝前的鱼眼图像，对仰视角度下拍摄的鱼眼图像校正提出了一种简单、快速、实用性强的鱼眼图像校正方法，不需要构建复杂的柱面模型，也不需要考虑鱼眼镜头的参数，完成了全景图像展开，效果较好，在全景监控中的图像畸变校正问题有一定的参考价值.刘天键(1975－)，男，福建闽清人，闽江学院物理学与电子信息工程系副教授.【相关文献】［1］王大宇，崔汉国，陈军.鱼眼图像轮廓提取及校正研究［J］.计算机工程与设计，2007，28(12)：2 878－2 882.［2］陈明伟，徐丹东.球面坐标定位校正鱼眼图片并合成全景图的方法［J］.云南民族大学学报：自然科学版，2004，7(13)：214－217.［3］英向华，胡占义.一种基于球面投影约束的鱼眼镜头校正方法［J］.计算机学报，2003，26(12)：1 702－1 708.［4］黄有度，苏化明.一种鱼眼图像到透视投影图像的变换模型系统［J］.仿真学报，2005，17(1)：29－32［5］周辉，罗飞，李慧娟，等.基于柱面模型的鱼眼影像校正方法的研究［J］.计算机应用，2008，28(10)：216－218［6］Liu H，Pi W，Zha H.Motion detection for multiple moving targets by using an omnidirectional camera［C］//Proc IEEE Intl Conf on Robotics，Intelligent Systems and Signal Processing，2003(1)：422 － 426.［7］皮文凯，刘宏，查红彬.基于自适应背景模型的全方位视觉人体运动检测［J］.北京大学学报：自然科学版，2004，40(3)：61－63.［8］邓松杰，周松斌，程韬波.利用鱼眼镜头生成全景图像的方法［J］.工程图学学报，2010(1)：135－138.。
基于 DSP 的鱼眼图像实时校正系统的实现张宝峰;马志军;朱均超;冯为嘉【期刊名称】《激光与红外》【年(卷),期】2015(000)002【摘要】鱼眼图像视角大，图像信息量丰富，但是其所拍摄的图像具有较大的畸变失真，需要对其进行畸变校正。
基于嵌入式 DSP 系统，采用经纬映射法对鱼眼图像进行畸变校正，校正过程中不需要标定靶标，方便快捷，且其效果较好。
实验结果表明，该系统能够获得较好的校正效果，使用嵌入式 DSP 系统，运算响应速度快，运算时间短，且能够满足实时性要求。
%As the distortion of fish-eye images is very serious,the distortion should be corrected.Based on embedded DSP system,the distortion of fish-eye images is corrected by using the longitude-latitude projection method.This method does not require any calibration equipment during the correction,and the operation is easy.Experiment results show that this method has better correction effect.After using embedded DSP system,the operation speed is fast and the spended time is short.It can meet the real-time requirement.【总页数】4页(P181-184)【作者】张宝峰;马志军;朱均超;冯为嘉【作者单位】天津理工大学天津市复杂系统控制理论及应用重点实验室，天津300384;天津理工大学天津市复杂系统控制理论及应用重点实验室，天津 300384;天津理工大学天津市复杂系统控制理论及应用重点实验室，天津 300384;天津师范大学计算机与信息工程学院，天津 300387【正文语种】中文【中图分类】TH74【相关文献】1.基于DSP的弹载视频图像实时消旋系统实现 [J], 马威;陶声祥;张敬修2.基于FPGA与DSP的实时视频图像偏色校正系统 [J], 周桢3.基于多 DSP ＋ FPGA 图像实时解码系统的设计与实现 [J], 叶伟;符广平;周安4.基于FPGA+DSP的实时图像处理系统设计与实现 [J], 罗戈亮;鲁新平;李吉成5.基于DSP嵌入式实时图像处理系统的设计与实现 [J], 刘燕;陈兴文;李敏因版权原因，仅展示原文概要，查看原文内容请购买。
基于失真中心精确估计的鱼眼图像畸变校正算法研究的开题报告一、选题背景与意义鱼眼镜头在近年来成为了高清摄像技术中的重要组成部分之一，它可以将更广阔的视野呈现在用户面前。
但是，由于鱼眼镜头制造的时候存在着一定的生产误差，因此此时所制造的图像中往往会出现各种各样的畸变，这对于后续的图像处理和分析，不仅会影响到图像精度的准确性，更会降低用户对图像的观感。
鱼眼图像的畸变校正技术就是针对这样的问题而提出的一种方案，它主要是将摄像机内行成像方式所产生的畸变进行校正，并最终将图像恢复到一种类似于自然人类所感知到的视角的状态。
因此，对鱼眼图像畸变校正算法的研究，能够在很大程度上提高图像的质量和观感，也是当前图像处理领域内的一个热门研究方向，对于计算机视觉、图像识别等领域的发展，具有非常重要的意义。
二、研究目标本论文的主要研究目标是：基于失真中心精确估计的鱼眼图像畸变校正算法。
通过研究总结鱼眼图像的成像原理和产生的畸变类型，提出一种基于失真中心的精确估计算法，可以在高保真度的前提下完成鱼眼图像的畸变校正。
在此基础上，结合深度学习中的一些模型和方法，设计一种高性能、高精度的鱼眼图像畸变校正算法。
三、研究内容与方法（1）研究整理鱼眼图像成像原理，分析鱼眼镜头的畸变类型，并总结出当前常见的畸变校正方法。
（2）基于失真中心精确估计的鱼眼图像畸变校正算法。
提出一种数据驱动的方法，通过分析鱼眼图像的成像形式，提出一种基于失真中心的精确估计算法，并通过实验来验证它的效果。
（3）基于深度学习的鱼眼图像畸变校正算法。
结合深度学习中的一些模型和方法，设计一种高性能、高精度的鱼眼图像畸变校正算法，并通过对比实验来评估它的效果。
四、研究难点1. 如何快速准确估计失真中心。
2. 针对不同类型的畸变，如何设计不同的畸变校正方法。
3. 如何在不影响图像质量的前提下，提高畸变校正的速度和准确度。
4. 如何结合深度学习技术，提高鱼眼图像畸变校正算法的性能和精度。
IT 大视野Digital Space P .35有一件声音互动的公共空间作品——秋千。
这件作品在设计中融合了音乐的元素，每一架秋千都代表了不同的乐器，如钢琴、吉他、竖琴等等。
当用户在秋千上来回荡漾的时候，各种不同的秋千便会发出不同乐器的声音，演奏各种不同的乐曲和更佳复杂的旋律。
此外，在视觉上，每一个秋千在使用的时候也会发出不同的颜色，便于用户识别。
这种独特的创作音乐的方式激发了人们游玩和体验的欲望，也增进了人与人之间、人与公共空间之间的交流，从而迅速吸引用户，广受欢迎。
此外，嗅觉也是感官中的重要一个方面，它作为设计信息表达的手段，在人的记忆中可以保留的最持久，甚至可以超过其他感官。
产品设计中的嗅觉体验通常是利用其为来和用户进行交流，借助产品散发出来的气味来吸引用户。
Yasuaki kakehi 设计的作品“hanahana”就是通过香味来识别。
作品的名字中的“hana”源于日文，代表了“鼻子”，同时又包含“花”的意思。
作品中每个虚拟的花朵都有一种可以识别不同香味的接收器，当用户将带有香味的树叶形状的纸片为它“授粉”的时候，接收器会判断不同的味道，从而使虚拟花绽开不同的形状和颜色，并且吸引蜂鸟或者蝴蝶的动画。
作品人造星空在半椭圆形球体的天幕上铺设了3000多个节能灯，来模拟“星辰”，并利用黑镜反射出7000多颗“星辰”。
作品用光、影、声、色多方面感官调动观众，并结合智能交互设备，当观众置身于作品当中，向“星空”喊出密语，这些密语可以使星星变亮或者变暗，一旦喊出终极“密语”，所有星星都会亮起。
这是观众如同站在宇宙中心，整个过程中，观众可以体验到孤独、静谧、惊喜、深思、浪漫等等，获得美好的沉浸式体验。
图表 4人造星空（四）情感智能化美国著名认知心理学家唐纳德曾提出“情感化设计”，在他看来，好的设计不能只关注用户简单的物质与功能需求，更重要的是使用户在使用的过程中出发情感共鸣。
情感化设计可以更好地弥补技术所来带了冰冷和陌生感，弱化“科技”与“情感”之间的矛盾，实现产品和用户的情感交流才是一种好的设计。
《工业控制计算机》2017年第30卷第10期95鱼眼图像畸变校正技术研究Research on Distortion Correction Technique of Fish-eye Image周小康1饶鹏2袁3朱秋煜1陈忻2袁3 (1上海大学通信与信息工程学院，上海200444;2中国科学院上海技术物理研究所，上海200083;3中国科学院红外探测与成像技术重点实验室，上海200083)摘要：鱼眼摄像机所拍摄的图像都伴有一定程度上的畸变，为了使鱼眼图像符合人类视觉习惯，鱼眼图像的畸变校正显 得十分重要。
首先在原有线扫描提取鱼眼有效区域算法上提出优化算法，减少了鱼眼图像重复扫描率，对鱼眼有效圆区域半 径进行修正，改善了圆形有效区域提取的效率。
然后提出了基于等距投影的鱼眼摄像机成像系统的几何校正模型，通过反向 映射思维，先假设出目标图像大小，反向求出畸变图像与校正图像的几何关系，从而进行图像畸变校正。
通过改变几何校正 模型中目标图像的宽度w、高度h与源鱼眼图像有效区域半径R的几何关系，改变目标图像的视场范围，最后通过cubic 插值法进行鱼眼校正图像颜色恢复。
关键词：鱼眼镜头，等距投影模型，几何模型Abstract:In this paper,an optimization algorithm is proposed to extract the fisheye effective region algorithm in the original line scan,which reduces the repetition rate of the fisheye image and corrects the radius of the effective circle of the fish eye to improve the efficiency of circular effective region extraction.Then,the geometric correction model of the fisheye camera imaging system based on isometric projection is proposed in this paper.Finally,the color correction of the fisheye correction image is performed by the cubic interpolation method.Keywords:fisheye lens,Isometric projection model,geometric model鱼眼镜头具有焦距短、视场大的特点，其视场能达到180毅至270。
