Interactive Museum Guide:Fast and Robust Recognition of Museum Objects
Herbert Bay,Beat Fasel and Luc Van Gool
Computer Vision Laboratory(BIWI),ETH Zurich
Sternwartstr.7,8092Zurich,Switzerland
{bay,bfasel,vangool}@vision.ee.ethz.ch
Abstract.In this paper,we describe the application of the novel SURF
(Speeded Up Robust Features)algorithm[1]for the recognition of objects
of art.For this purpose,we developed a prototype of a mobile interactive
museum guide consisting of a tablet PC that features a touchscreen and
a webcam.This guide recognises objects in museums based on images
taken by the https://www.doczj.com/doc/cc14755444.html,ing di?erent image sets of real museum objects,
we demonstrate that both the object recognition performance as well as
the speed of the SURF algorithm surpasses the results obtained with
SIFT,its main contender.
1Introduction
Many museums still present their exhibits in a rather passive and non-engaging way.The visitor has to search through a booklet in order to?nd descriptions about the objects on display.However,looking for information in this way is a quite tedious procedure.Moreover,the information found does not always meet the visitor’s speci?c interests.One possibility of making exhibitions more at-tractive to the visitor is to improve the interaction between the visitor and the objects of interest by means of a guide.In this paper,we present an interactive museum guide that is able to automatically?nd and instantaneously retrieve information about the objects of interest using a standard tablet PC.Undoubt-edly,technological developments will lead to less heavy and downsized solutions in the near future.The focus of this paper is on the vision component used to recognise the objects.
1.1Related Work
Recently,several approaches have been proposed that allow visitors to inter-act via an automatic museum guide.Kusunoki et al.[2]proposed a system for children that uses a sensing board,which can rapidly recognise type and loca-tions of multiple objects.It creates an immersing environment by giving audio-visual feedback to the children.Other approaches include robots that guide users through museums[3,4].However,such robots are di?cult to adapt to di?erent environments,and they are not appropriate for individual use.An interesting
approach using hand-held devices,like mobile phones,was proposed by[5],but their recognition technique seems not to be very robust to viewing angle or lighting changes.
Various object recognition methods have been investigated in the last two decades.More recently,SIFT[6]and its variants such as PCA-SIFT[7]and GLOH[8]have been successfully applied for many image matching applications. In this paper,we show that the new SURF(Speeded Up Robust Features)al-gorithm[1]surpasses SIFT in both speed and recognition accuracy.
1.2Interactive Museum Guide
The proposed interactive,image-based museum guide is invariant to changes in lighting,translation,scale,rotation and viewpoint variations.Our object recogni-tion system was implemented on a Tablet PC using a conventional USB webcam for image acquisition,see Figure1.This hand-held device allows the visitor to simply take a picture of an object of interest from any position and is provided, almost immediately,with a detailed description of the latter.
Fig.1.Tablet PC with the USB webcam?xed on the screen.The interface of the object recognition software is operated via a touchscreen.
An early prototype of this museum guide was shown to the public during the 150years anniversary celebration of the Federal Institute of Technology(ETH) in Zurich,Switzerland[9].The descriptions of the recognised objects of art are
read to the visitors by a synthetic computer voice.This enhances the convenience of the guide as the visitors can focus on the objects of interest instead of reading the object descriptions on the screen of the guide.
In order to demonstrate the recognition capabilities of our latest implemen-tation,we created a database with objects on display in the Landesmuseum.A sample image of each of the20chosen objects is shown in Figure2.
Fig.2.Sample images of the20chosen art objects from the Landesmuseum.
The remainder of this paper is organised as follows.First,we introduce our object recognition system in detail(Section2).Then,we present and discuss results obtained for a multi-class task(Section3),and?nally conclude with an overall discussion and some?nal remarks(Section4).
2Object Recognition System
We developed an object recognition system that is based on interest point corre-spondences between individual image pairs.Input images,taken by the user,are compared to all model images in the database.This is done by matching their respective interest points.The model image with the highest number of matches with respect to the input image is chosen as the one which represents the object the visitor is looking for.
Fig.3.Left to right:the(discretised and cropped)Gaussian second order partial derivatives in y-direction and xy-direction,and our approximations thereof using box ?lters.The grey regions are equal to zero.
Furthermore,we propose a new object identi?cation strategy based on the mean Euclidean distance between all matching pairs.The latter proved to yield better results than the aforementioned traditional approach.
In the following sub-sections we shortly describe the SURF algorithm.Then, we present the new object selection strategy.
2.1Fast Interest Point Detection
The SURF feature detector is based on the Hessian matrix.Given a point x= (x,y) in an image I,the Hessian matrix H(x,σ)in x at scaleσis de?ned as
follows
H(x,σ)=
L xx(x,σ)L xy(x,σ)
L xy(x,σ)L yy(x,σ)
,(1)
where L xx(x,σ)is the convolution of the Gaussian second order derivative
?2?x2g(σ)with the image I in point x,and similarly for L xy(x,σ)and L yy(x,σ). In contrast to SIFT,which approximates Laplacian of Gaussian(LoG)with
Di?erence of Gaussians(DoG),SURF approximates second order Gaussian deriva-tives with box?lters,see Figure3.Image convolutions with these box?lters can be computed rapidly by using integral images as de?ned in[10].The entry of an integral image IΣ(x)at location x=(x,y) represents the sum of all pixels in the base image I of a rectangular region formed by the origin and x.
IΣ(x)=i≤x
i=0
j≤y
j=0
I(i,j)(2)
Once we have computed the integral image,it is strait forward to calculate the sum of the intensities of pixels over any upright,rectangular area.
The location and scale of interest points are selected by relying on the deter-minant of the Hessian.Hereby,the approximation of the second order derivatives is denoted as D xx,D yy,and D xy.By choosing the weights for the box?lters adequately,we?nd as approximation for the Hessian’s determinant
det(H approx)=D xx D yy?(0.9D xy)2.(3)
Fig.4.Left:Detected interest points for a Sun?ower?eld.This kind of scenes show clearly the nature of the features obtained from Hessian-based detectors.Middle:Haar wavelet?lters used with SURF.Right:Detail of the Gra?ti scene showing the size of the descriptor window at di?erent scales.
For more details,see[1].Interest points are localised in scale and image space by applying a non-maximum suppression in a3×3×3neighbourhood.Finally, the found maxima of the determinant of the approximated Hessian matrix are interpolated in scale and image space.
2.2Interest Point Descriptor
In a?rst step,SURF constructs a circular region around the detected interest points in order to assign a unique orientation to the former and thus gain in-variance to image rotations.The orientation is computed using Haar wavelet responses in both x and y direction as shown in the middle of Figure4.The Haar wavelets can be easily computed via integral images,similar to the Gaus-sian second order approximated box?lters.Once the Haar wavelet responses are computed,they are weighted with a Gaussian withσ=2.5s centred at the interest points.In a next step the dominant orientation is estimated by summing the horizontal and vertical wavelet responses within a rotating wedge,covering
an angle ofπ
3in the wavelet response space.The resulting maximum is then
chosen to describe the orientation of the interest point descriptor.
In a second step,the SURF descriptors are constructed by extracting square regions around the interest points.These are oriented in the directions assigned in the previous step.Some example windows are shown on the right hand side of Figure4.The windows are split up in4×4sub-regions in order to retain some spatial information.In each sub-region,Haar wavelets are extracted at regularly spaced sample points.In order to increase robustness to geometric deformations and localisation errors,the responses of the Haar wavelets are weighted with a Gaussian,centred at the interest point.Finally,the wavelet responses in horizontal d x and vertical directions d y are summed up over each sub-region.Furthermore,the absolute values|d x|and|d y|are summed in order to obtain information about the polarity of the image intensity changes.Hence,
Fig.5.The descriptor entries of a sub-region represent the nature of the underlying intensity pattern.Left:In case of a homogeneous region,all values are relatively low.Middle:In presence of frequencies in x -direction,the value of P |d x |is high,but all others remain low.If the intensity is gradually increasing in x -direction,both values P d x and P |d x |are high.
the underlying intensity pattern of each sub-region is described by a vector
v =( d x , d y , |d x |, |d y |).(4)
The resulting descriptor vector for all 4×4sub-regions is of length 64.See Fig-ure 5for an illustration of the SURF descriptor for three di?erent image intensity patterns.Notice that the Haar wavelets are invariant to illumination bias and additional invariance to contrast is achieved by normalising the descriptor vector to unit length.
Rotation-invariant object recognition is not always necessary.Therefore,a scale-invariant-only version of the SURF descriptor was introduced in [1]and denoted ’Upright SURF’(U-SURF).Indeed,in the scenario of a hand-held in-teractive museum guide,where the museum visitor holds the device in both hands,it is save to assume that images of objects are mostly taken in an upright position.Therefore,U-SURF can be used as an alternative descriptor with the bene?t of both increased speed and discrimination power.U-SURF is faster than SURF as it does not perform the orientation related computations.
In this paper,we compare the results for SURF,referred to as SURF-64,and some alternative version (SURF-36,SURF-128)as well as for the upright counterparts (U-SURF-64,U-SURF-36,U-SURF-128)that are not invariant to image rotation.The di?erence between SURF and its variants lies in the dimen-sion of the descriptor.SURF-36extracts the descriptor vector from equation (4)for only 3×3subregions.SURF-128is an extended version of SURF that treats sums of d x and |d x |separately for d y <0and d y ≥0.Similarly,the sums of d y and |d y |are split up according to the sign of d x .This doubles the number of features (128instead of 64)resulting in a more distinctive descriptor,which is not much slower to compute,but slower to match due to its higher dimensional-ity (but still faster to match than SIFT).The fast matching speed for all SURF versions is achieved by a single step added to the indexing based on the sign of
the Laplacian(trace of the Hessian matrix)of the interest point.The sign of the Laplacian distinguishes bright blobs on a dark background from the inverse situation.’Bright’interest points are only matched against other‘bright’inter-est points and similarly for the‘dark’ones.This minimal information permits to almost double the matching speed and it comes at no computational costs, as it has already been computed in the interest point detection step.
2.3Object Recognition
Traditional object recognition methods rely on model images,each representing a single object in isolation.In practice,however,the necessary segmentation is not always a?ordable or even possible.For our object recognition application,we use model images where the objects are not separated from the background.Thus, the background also provides features for the matching task.In any given test image,only one object or object group that belongs together is assumed.Hence, object recognition is achieved by image matching.Extracted interest points of the input image are compared to the interest points of all model images.In order to create a set of interest point correspondences M,we used the nearest neighbour ratio matching strategy[11,6,12].This states that a matching pair is detected if its Euclidean distance in descriptor space is closer than0.8times the distance to the second nearest neighbour.
The selected object is the one?guring in the model image with the highest recognition score S R.This score is traditionally the number of total matches in M.However,the presence of mismatches often lead to false detections.This can be avoided with the help of the following new alternative for the estimation of the recognition score.Hereby,we calculate the mean Euclidean distance to the individual nearest neighbours for each image pair.This value is typically smaller for corresponding image pairs than for non-corresponding ones,and it does not depend on the number of extracted features in the individual images.Hence,we maximise the following recognition score
S R=argmax
i
N i
N i
j=1
d2
ij
(5)
and chose the object for which the mean distance of its matches is smallest.N i denotes the number of matches in image i.Furthermore,d ij is the Euclidean dis-tance in the descriptor space between a matching pair of keypoints.The matching criteria is that this distance is closer than0.8times the distance to the second nearest neighbour.
3Experimental Results
For each of the20objects of art in our database,images of size320×240were taken from di?erent viewing angles.This allows for some degree of view-point independence.The database includes a total of205model images.These are
grouped in two model sets(M1and M2)with105and100images,respectively. The reasons for the choice of two di?erent model sets are the use of two di?erent cameras and the presence of di?erent lighting conditions.Moreover,less model images for a given object represents a more challenging situation for object recognition.
For similar reasons,we built3di?erent test sets(T1-T3)with a total of 116images(42,34,40).Each set contains one or more images of all objects. These objects of art are made of di?erent materials,have di?erent shapes and encompass wooden statues,paintings,metal and stone items as well as objects enclosed in glass cabinets which produce interfering re?ections.The images were taken from substantially di?erent viewpoints under arbitrary scale,rotation and varying lighting conditions.
The test image sets were evaluated on each of the model sets.The obtained recognition results are shown in Table1and2.Listed are the results for the Method Time Recognition Rate Total D(s)+M(s)T1/M1T2/M1T3/M1T1/M2T2/M2T3/M2(%) SURF-3619+2681798571947881.0 SURF-6419+38887990691007883.6 SURF-12819+5981919071977583.5 U-SURF-3616+2674799074917580.2 U-SURF-6416+3886858874947883.8 U-SURF-12816+5983949576948086.5 SIFT136+8379889076917582.7 Table1.Image matching results for di?erent SURF versions and SIFT.Listed are both the total detection D(s)and matching time M(s)for all3test sets combined with the model sets.
standard recognition score based on the maximum number of matches(Table1) and the mean Euclidean distance(Table2)as described in Equation(5).It can be seen that most versions of SURF outperform SIFT for most test sets while being substantially faster for both computation and matching.The recognition rates for the new recognition score,based on the mean Euclidean distance,increase up to10%.Note that both the SIFT and SURF descriptors were applied on the same interest points for all experiments.The reported computation times were achieved on a Linux Tablet PC equipped with an Intel Pentium M processor running at1.7GHz.
Figures6and7show cases where SURF and SIFT fail to recognise the same foreground objects.On the bottom of Figure6,two image pairs are displayed where the foreground object is not correctly recognised by the SURF algorithm. Note however,that a correct match was found for valid objects that are visible in the background.In contrast,SIFT did not?nd enough matches to allow for
Method Time Recognition Rate Total D(s)+M(s)T1/M1T2/M1T3/M1T1/M2T2/M2T3/M2(%) SURF-3619+2686889076977384.5 SURF-6419+3883918883978387.1 SURF-12819+59888593791008588.0 U-SURF-3616+268610098811008591.1 U-SURF-6416+38869493811008589.4 U-SURF-12816+59869495861009091.5 SIFT136+83839110076948086.9 Table2.Image matching results for di?erent SURF versions and SIFT with the new matching strategy.Listed are both the total detection D(s)and matching time M(s) for all test sets combined with the model sets.
a correct recognition of model objects situated either in the foreground or the background of the depicted test images.
Figures8and9show cases,where either SIFT or SURF fail to recognise the correct foreground object.Note that the goblet shown in the top row of Figure8 was twice not correctly recognised by SIFT.Not a single match was found on the object itself,but many on the enclosing showcase.However,many model objects contained in the database are enclosed in showcases and can thus lead to false matches when it comes to the recognition of the foreground object of interest.
Figure9(left)shows a case where only SURF produces a false recognition. Notice that many false matches were found between the object of interest and a background object that is not part of the model database.Hence,test objects can be falsely recognised due to model images that contain similar arbitrary background objects that are not part of the objects of interest.
Finally,Figure9(right)shows a successfully recognised object.In that spe-ci?c case,the background information was helpful for the recognition of the object.
4Discussion and Conclusion
In this paper,we described the functionality of an interactive museum guide, which allows to robustly recognise museum exhibits under di?cult environmental conditions.Our guide is robust to scale(SURF,U-SURF)and rotation(SURF). Changes of the viewing angle are covered by the overall robustness of the de-scriptor up to some extent.This museum guide is running on standard low-cost hardware.
4.1Object Recognition
With the computational e?ciency of SURF,object recognition can be performed instantaneously for the20objects on which we tested the di?erent schemes.The
images were taken with a low-quality webcam.However,this a?ected the results only up to a limited extent.Note that in contrast to the approach described in[5], all the tested schemes do not use colour information for the object recognition task.This is one of the reasons for the above-mentioned recognition robustness under various lighting conditions.We experimentally veri?ed that illumination variations,caused by arti?cial and natural lighting,lead to low recognition re-sults when colour was used as the only source of information.
The fact that our model images include background information can be help-ful for the recognition of objects.Especially in cases where the objects of interest are too similar or do not provide enough robust and discriminant features,back-ground information may allow to recognise the object successfully.However,if a dominating background object is present in the test image,our recognition methods?nd more matches on the object in the background rather than on the one in the foreground and this leads to a false recognition,see Figure6.
4.2Automatic Room Detection
With a larger number of objects to be recognised,the matching accuracy and speed decrease.Also,additional background clutter can enter the database that may generate mismatches and thus lead to false detections.However,in a typical museum the proposed interactive museum guide has to be able to cope with ten-thousands of objects with possibly similar appearance.A solution to this problem would be to determine the visitor’s location by adding a Bluetooth receiver to the interactive museum guide that can pick up signals emitted from senders placed in di?erent exhibition rooms of the museum[9].This information can then be used to reduce the search space for the extraction of relevant objects.Hence,the recognition accuracy is increased and the search time reduced.Moreover,this information can be used to indicate the user’s current location in the museum. 5Acknowledgements
The authors gladly acknowledge the?nancial support provided by the Toyota corporation.We also gratefully acknowledge the support by the Swiss National Museum in Zurich,Switzerland.
References
1.Bay,H.,Tuytelaars,T.,Van Gool,L.:SURF:Speeded up robust features.In:
ECCV.(2006)
2.Kusunoki,F.,Sugimoto,M.,Hashizume,H.:Toward an interactive museum guide
with sensing and wireless network technologies.In:WMTE2002,Vaxjo,Sweden.
(2002)99–102
3.Burgard,W.,Cremers,A.,Fox,D.,H¨a hnel,D.,Lakemeyer,G.,Schulz,D.,Steiner,
W.,Thrun,S.:The interactive museum tour-guide robot.In:Fifteenth National Conference on Arti?cial Intelligence(AAAI-98).(1998)
4.Thrun,S.,Beetz,M.,Bennewitz,M.,Burgard,W.,Cremers,A.,Dellaert,F.,
Fox,D.,H¨a hnel,D.,Rosenberg,C.,Roy,N.,Schulte,J.,Schulz,D.:Probabilistic algorithms and the interactive museum tour-guide robot minerva.International Journal of Robotics Research19(11)(2000)972–999
5.F¨o ckler,P.,Zeidler,T.,Bimber,O.:Phoneguide:Museum guidance supported
by on-device object recognition on mobile phones.Research Report54.7454.72, Bauhaus-University Weimar,Media Faculty,Dept.Augmented Reality(2005) 6.Lowe,D.G.:Distinctive image features from scale-invariant keypoints,cascade
?ltering approach.International Journal of Computer Vision60(2)(2004)91–110 7.Ke,Y.,Sukthankar,R.:PCA-SIFT:A more distinctive representation for local
image descriptors.In:Proceedings of IEEE Conference on Computer Vision and Pattern Recognition.(2004)506–513
8.Mikolajczyk,K.,Schmid,C.:A performance evaluation of local descriptors.PAMI
27(10)(2005)1615–1630
9.Bay,H.,Fasel,B.,Van Gool,L.:Interactive museum guide.In:The Seventh In-
ternational Conference on Ubiquitous Computing UBICOMP,Workshop on Smart Environments and Their Applications to Cultural Heritage.(2005)
10.Viola,P.,Jones,M.:Rapid object detection using a boosted cascade of simple
features.In:Computer Vision and Pattern Recognition.(2001)
11.Baumberg,A.:Reliable feature matching across widely separated views.In:Com-
puter Vision and Pattern Recognition.(2000)774–781
12.Mikolajczyk,K.,Schmid,C.:A performance evaluation of local descriptors.In:
Computer Vision and Pattern Recognition.Volume2.(2003)257–263
https://www.doczj.com/doc/cc14755444.html,mon image matching mistakes.Both SIFT(top row)and SURF(bottom row)fail to recognise the same test objects.In each of the four two-image combinations, test images are shown on the top and matched model images on the bottom.
https://www.doczj.com/doc/cc14755444.html,mon image matching mistakes.Both SIFT(top row)and SURF(bottom row)fail to recognise the same test object.In each of the four two-image combinations, test images are shown on the top and matched model images on the bottom.
Fig.8.Individual image matching mistakes produced by SIFT.In each of the four image combinations,test images are shown in the top row and the matched model image in the bottom row.
Fig.9.Individual image matching mistake produced by SURF (left)and a successfully recognised object (right).The test image is shown on the top and the matched model image on the bottom.
function MovingTargetDetectionByMMI() %Moving Target Detection %Based on Maximun Mutual Information % %EDIT BY PSL@CSU %QQ：547423688 %Email：anyuezhiji@https://www.doczj.com/doc/cc14755444.html, %2012-06-01 %读文件 Im1=imread('001.jpg'); Im2=imread('002.jpg'); Im3=imread('003.jpg'); Im1=rgb2gray(Im1); Im2=rgb2gray(Im2); Im3=rgb2gray(Im3); tic; d12=GetDifferenceImg(Im2,Im1); d23=GetDifferenceImg(Im2,Im3); d=d12.*d23; se =; for i=1:4 d = imfilter(d,se); end for i=1:2 d = medfilt2(d,); end %%d=abs((d12-d23).^0.7); d=uint8(d/max(max(d))*255); level = graythresh(d); BW = im2bw(d,level); s=regionprops(BW,'BoundingBox'); figure(1)
subplot(2,2,1); imshow(uint8(d12/max(max(d12))*255)); title('参考帧与前一帧的差值') subplot(2,2,2); imshow(uint8(d23/max(max(d23))*255)); title('参考帧与后一帧的差值') subplot(2,2,3); imshow(BW); title('由前后帧得出的差值') subplot(2,2,4); imshow(Im2); %imshow(d); rectangle('Position',s(1).BoundingBox,'Curvature',,'LineWidth',2,'LineStyle','--','EdgeColor', 'r') title('参考帧与检测结果') %求相邻两帧重合部分差值主函数 function outImg=GetDifferenceImg(R,F) =dwt2(R,'db1'); =dwt2(F,'db1'); CA1=uint8(CA1); CA2=uint8(CA2); fprintf('\n------PSO start\n'); =PSO(CA1,CA2); while mi<1.2 =PSO(CA1,CA2); end fprintf('tx:%f ty:%f ang:%f mi:%f\n',pa(1),pa(2),pa(3),mi); fprintf('------PSO end\n\n'); %pa=; fprintf('------Powell start\n'); mi_old=0; while abs(mi-mi_old)>0.01
关于目标自动跟踪智能 摄像机的探讨 【摘要】：智能一体化球型摄像机在视频监控领域发挥着越来越重要的作用,而目标检测与自动跟踪逐渐成为球型摄像机的一个重要发展方向。本文实现了智能球型摄像机控制系统软件功能,并在PC上实现了目标检测,在此基础上将检测到的目标信息处理后通过PC串口发送给球型摄像机,球型摄像机控制云台运动,从而实现目标跟踪.以自动跟踪为特点的球型摄像机被誉为“解放人力的运动的跟踪技术”，采用这种摄像机的监控系统可以智能地探测、跟踪运动目标，实现对运动目标的自动跟踪、录像、报警，彻底改变了视频监控系统只能作为辅助系统的局面。 【关键词】智能球形摄像机；目标检测；自动跟踪 一、概述 智能追踪高速球型摄像机是专为IP网络监控系统而设计的.搭载新一代电子活动目标识别和追踪技术，实现全方位无盲点监控.代表新一代安防监控产品的发展潮流。集成了全天候防护罩、云台和数字解码器及多种变焦功能的彩色／黑白一体化摄像机。全天候防护罩符合国际标准IP66防护等级，内置自动恒温装置。可适用于恶劣环境，安装方式采用吊装或壁装。球机可在水平方向实现360°无限位旋转，垂直方向180°旋转。 智能追踪高速球型摄像机支持自动追踪、定时追踪、越界追踪、报警追踪四种追踪模式的设置。也支持手动追踪模式。用户可以根据自己的需求进行灵活编排。智能追踪高速球型摄像机支持系统接力追踪，当某个智能追踪球的活动目标逃离当前追踪画面，系统自动通知附近路线的智能追踪球启动追踪模式或者通知周围的普通摄像机启动活动目标检测功能。从而实现了球机到球机、球机到枪机、枪机到球机、枪机到球机的智能接力追踪。同时智能追踪高速球型摄像机支持绊线检测功能。用户可以在画面上设置虚拟的周界，当有活动目
目标识别技术 摘要： 针对雷达自动目标识别技术进行了简要回顾。讨论了目前理论研究和应用比较成功的几类目标识别方法：基于目标运动的回波起伏和调制谱特性的目标识别方法、基于极点分布的目标识别方法、基于高分辨雷达成像的目标识别方法和基于极化特征的目标识别方法，同时讨论了应用于雷达目标识别中的几种模式识别技术：统计模式识别方法、模糊模式识别方法、基于模型和基于知识的模式识别方法以及神经网络模式识别方法。最后分析了问题的可能解决思路。 引言： 雷达目标识别技术回顾及发展现状 雷达目标识别的研究始于"20世纪50年代，早期雷达目标特征信号的研究工作主要是研究达目标的有效散射截面积。但是，对形状不同、性质各异的各类目标，笼统用一个有效散射面积来描述，就显得过于粗糙，也难以实现有效识别。几十年来，随着电磁散射理论的不断发展以及雷达技术的不断提高，在先进的现代信号处理技术条件下，许多可资识别的雷达目标特征信号相继被发现，从而建立起了相应的目标识别理论和技术。 随着科学技术的飞速发展，一场以信息技术为基础、以获取信息优势为核心、以高技术武器为先导的军事领域的变革正在世界范围内兴起，夺取信息优势已成为夺取战争主动权的关键。电子信息装备作为夺取信息优势的物质基础，是推进武器装备信息化进程的重要动力，其总体水平和规模将在很大程度上反映一个国家的军事实力和作战能力。 雷达作为重要的电子信息装备，自诞生起就在战争中发挥了极其重要的作用。但随着进攻武器装备的发展，只具有探测和跟踪功能的雷达也已经不能满足信息化战争的需要，迫切要求雷达不仅要具有探测和跟踪功能，而且还要具有目标识别功能，雷达目标分类与识别已成为现代雷达的重要发展方向，也是未来雷达的基本功能之一。目标识别技术是指：利用雷达和计算机对遥远目标进行辨认的技术。目标识别的基本原理是利用雷达回波中的幅度、相位、频谱和极化等目标特征信息，通过数学上的各种多维空间变换来估算目标的大小、形状、重量和表面层的物理特性参数，最后根据大量训练样本所确定的鉴别函数，在分类器中进行识别判决。目标识别还可利用再入大气层后的大团过滤技术。当目标群进入大气层时，在大气阻力的作用下，目标群中的真假目标由于轻重和阻力的不同而分开，轻目标、外形不规则的目标开始减速，落在真弹头的后面，从而可以区别目标。 所谓雷达目标识别，是指利用雷达获得的目标信息，通过综合处理，得到目标的详细信息（包括物理尺寸、散射特征等），最终进行分类和描述。随着科学技术的发展，武器性能的提高，对雷达目标识别提出了越来越高的要求。 目前，目标识别作为雷达新的功能之一，已在诸如海情监控系统、弹道导弹防御系统、防空系统及地球物理、射电天文、气象预报、埋地物探测等技术领域发挥出很大威力。为了提高
运动目标图像的识别与跟踪 本文主要目的是将视频摄像头中的运动目标从背景中提取出来，并加以跟踪。首先考虑的是常见的目标检测的算法，其次考虑对于噪声的滤除，最后是对运动目标的跟踪。 一、基本目标检测算法 我们主要考虑的目标检测的算法主要有三种，光流场法、背景模型法以及时域差分法。 1.1光流场法 光流主要是图像亮度模式的表现运动。而光流场则是指灰度模式的表面运动。一般条件下，我们可以根据图像的运动，进行估算相对运动。 光流场法的基本理论是光流场基本方程： 0=++t y x I vI uI (1.1) 式中我们根据亮度守恒，利用泰勒公式展开，忽略高阶项与二次项。其中x I 、y I 和t I 是图像在对数轴x 、y 两个方向和t 的的导数，()v u ,就是这个点的光流坐标。 光流场法的目标检测，在摄像机运动时候也可以做出判断，但是图像的噪声太过明显，使得计算数据庞杂，计算的公式更加复杂，这样并不适合我们的对于目标跟踪的高精度的摄像系统。 1.2背景模型法 背景模型法，也被称为背景差法，主要利用当前的图像和背景的图像的二值化做差，然后取阈值，分割运动目标。 首先根据： ()()()y x b y x f y x D t t t ,,,-= (1.2) 我们可以得到当前的图像帧数()y x f t ,和背景图像的帧数),(y x b t 做差，然后以公式对图像进行二值化的处理。 ???≤>=)(,0)(,1),(BackGround T D ForeGround T D y x P t t t (1.3) 上面),(y x P t 是二值化模板图。假设某一区域大于一个给定的面积的时候，该区域就是我们要找的目标区域。 背景模型法的算法简单，可以快速反应，并且可以提供运动目标的大略特征等数据。但是对于复杂背景下，比如人流较大的公共场所，或者有光照等干扰时，就需以其他的算法以不断更新背景信息来进行弥补。
C o g n e x V i s i o n P r o软件简介及其目标识别定位功 能 This manuscript was revised by the office on December 10, 2020.
C o g n e x V i s i o n P r o软件简介及其目标识别定位功能 1、VisionPro主要功能：图像预处理、图像拼接、图像标定、几何校 正、定位、OCV\ID、图像几何测量、结果分析等，该软件可以直接和国际大多数相机相连，包括模拟、1394、千兆网相机等，且可以直接输出检测结果，提供二次开发接口、支持点net。在其QuickBuild环境中无需任何代码编程，只需拖拉操作就可以完成检查文件的设置，检测结果输出，可进行快速开发。 QuickBuild能与用户自己编写的点net程序无缝连接，实现数据共享，用户可以使用自己的I/O板。 2、VisionPro软件与Halcon对比： 开发方式：VIsionPro可以拖拉式图形编程，非常形象，同时也可以使用API函数编程，增加灵活性。VisionPro的QuickBuild提供更加高效快速的编程界面，能够迅速融合到用户程序中。QuickBuild提供许多成熟的视觉检测工具和设置界面，使用QuickBuild做评估测试和开发的效率远高于Halcon的Hdevelop。而Halcon只能用函数编程，没有图形编程界面，开发效率低于VisonPro。 视觉工具和函数：VisonPro的PatMax定位工具和颜色识别工具优于 Halcon的类似工具。特别是PatMax定位工具可在图像模糊、对比度低、目标形变严重的情况下实现更稳定的定位和目标识别功能，得到了行业内广泛的认可。 支持的相机：两种开发软件都支持大多数相机，都可以编写自定义的 驱动。编写自定义驱动，Halcon提供更好的接口。 Cognex VisionPro软件的测试版可在下载 VisionPro定位工具简介： 安装完VisionPro后，有很多演示例程可以运行，且可以进行图像仿真。 以下是其中的一小部分以及我们客户中使用到的一些。 存在透视形变情况下的定位与高度识别 PatMax定位识别功能演示，形变、模糊、强干扰都不受影响 晶元定位 强干扰图像定位 对多目标在各种对比度情况下的稳定定位 严重缺失情况下的定位 强干扰下的OCV
河海大学 毕业论文 ATR自动目标识别及定位精度研究 专业年级98测量一班 学生姓名衣冰、廖晟、张福 指导教师黄腾 陈光保 评阅人 2002年６月
目录 前言 (2) 第一章ATR的使用意义及介绍 (3) §１，１工程建筑物安全监测自动化的意义 (3) §１，2 ATR自动目标识别及定位精度研究的意义 (3) §１，３TCA2003全站仪简介 (4) §1，4 ATR自动目标识别及定位 (5) 1，4，1原理简介 (5) 1，4，2精确定位 (5) 1，4，3 ATR测量的过程 (7) 1，4，4 目标跟踪反馈环 (7) 1，4，5目标跟踪 (8) §1，5自动观测软件 (8) 1，5，1自动观测软件简介 (8) 1，5，2操作步骤 (9) 第二章ATR外业实验部分 (11) §2，1网形的选择 (11) §2，2实验的具体步骤 (12) 2，2，1 ATR测角及观测成果 (12) 2，2，2人工测角及观测成果 (31) 2，2，3边长反算角度 (35) 第三章数据处理及精度分析 (37) §3，1边长反算角度 (37) §3，2成果比较及精度分析 (39) §3，3.精密测角的误差影响 (42) §3，4.测量时的具体情况 (42) §3，5 TCA2003 (43) 第四章外文资料及翻译 (46) 第五章结语 (51)
前言 随着科学技术的发展，测量行业在技术和仪器上都有了长足的发展，给这个行业带来了勃勃生机和前进力量。ATR技术就是电子技术和自动化技术不断发展的结果。全站仪是智能型测量仪器，被誉为测量机器人。它利用自控马达和CCD相机来完成搜索目标、精确照准和自动观测三个过程，来实现自动测量。本实验使用TCA2003全站仪和开发的自动测量程序，进行多种情况下（不同距离、不同大气环境等）的自动观测实验，并且与人工测量和精密测边反算角度作比较，来评定ATR的测量精度，并寻求高精度的ATR观测条件。并得出相应结论，供今后使用查询。 关键词： ATR 全站仪精度分析自动观测TCA2003
目标检测、跟踪与识别技术与现代战争 【摘要】本文讨论目标检测、跟踪与识别技术在现代战争各个领域中的应用，总结目标识别技术的发展方向，提出目标识别技术工程化实现方法，同时本文介绍了国外目标识别的现状及发展趋势，提出了现代战争应采用综合识别系统解决目标识别问题的建议。 关键词目标检测；目标跟踪；目标识别；雷达；人工神经网络；精确制导 1．引言 随着现代科学技术的飞速发展及其在军事领域内日益广泛的应用，传统的作战思想、作战方式已发生根本性的变化。从第一次海湾战争到科索沃战争，特别是刚刚结束的海湾战争，空中精确打击和空地一体化作战已经成为最重要的作战形式。集指挥、控制、通信、计算机、情报、监视侦察于一体的C ISR 已成为取得战场主动权，赢得最后胜利的关键因素。目标识别技术是雷达智能化、信息化的重要技术支撑手段。在现代化战争中，目标识别技术在预警探测、精确制导、战场指挥和侦察、敌我识别等军事领域都有广泛的应用前景，已受到了世界各国的关注。 现代战争中取得战场制信息权的关键之一是目标属性识别。现代战争的作战环境十分复杂，作战双方都在采用相应的伪装、隐蔽、欺骗和干扰等手段和技术，进行识别和反识别斗争。因此仅仅依靠一种或少数几种识别手段很难准确地进行目标识别，必须利用多个和多类传感器所收集到的多种目标属性信息，综合出准确的目标属性，进行目标检测，跟踪后进行识别。 2．目标检测、跟踪与识别技术在现代战争中的应用 2．1 目标检测、跟踪与识别技术在预警探测上的应用 目标检测、跟踪与识别技术对于弹道导弹的预警工作有重要的作用。弹道导弹一般携带多个弹头，其中可能包含核弹头或大规模杀伤的弹头以及常规弹头，预警雷达必须具备对目标进行分类和识别真假弹头的能力，将核弹头或大规模杀伤的弹头分离出来，为弹道导弹防御(BMD)系统进行目标攻击和火力分配提供依据。早期的BMD系统假设只有一个核弹头，多弹头分导技术的出现，使问题转化为雷达的多目标识别问题，加上电子对抗技术的广泛使用，给目标识别技术带来很大困难。另外，预警雷达还要对空中目标或低空目标进行探测，对来袭目标群进行分类识别。利用星载雷达以及远程光学望远镜等观测设备，可以对外空目标进行探测，对外空来袭目标进行分类和识别，达到早期预警的工作。
自动目标识别和照准技术总结Summary of automatic target recognization and sighting Technology
主要内容 1. 自动目标识别和照准技术的定义 2. 自动目标识别技术的发展历史及研究现状 3. 全站仪自动目标识别的原理和过程 4.目标识别技术的效果评估
1.自动目标识别和照准技术的定义自动识别与照准技术： 应用一定的识别装置，通过被识别目标和识别装置之间的接近活动，完成目标识别、照准与跟踪后，经过图像处理识别光斑与中心定位，自动地获取被识别目标的相关信息，并提供给后台的计算机处理系统来完成相关后续处理的一种技术。
ATR发展简史 自1958 年Barton通过AN/FPS-16 雷达对前苏联人造卫星Spuknit II 的外形特征作出准确论断，世界各国对于雷达ATR 技术的研究已有五十年历史。自动识别技术在全球范围内得到了迅猛发展，初步形成了一个包括条码技术、磁条磁卡技术、IC卡技术、光学字符识别、射频技术、声音识别及视觉识别等集计算机、光、磁、物理、机电、通信技术为一体的高新技术学科。此外，ATR 技术在军事、测绘领域、医学CT 诊断、生物特征识别、手写输入、语音鉴别等民用领域中也受到了广泛重视，并取得了长足的进步。
条码识别技术：售货员通过扫描仪扫描商品的条码，获取商品的名称、价格，输入数量，后台POS 系统即可计算出该批商品的价格，从而完成顾客的结算。 ATR 技术的分类及应用 生物识别技术:声音识别、人脸识别、指纹 识别 图像识别技术:车牌识别过程磁卡识别技术:用于制作信用卡、银行卡、地铁卡、公交卡、门票卡、电话卡；电子游戏卡、车票、机票以及各种交通收费卡等 123 4
目标识别技术 2009-11-27 20:56:41| 分类：我的学习笔记| 标签：|字号大中小订阅 摘要： 针对雷达自动目标识别技术进行了简要回顾。讨论了目前理论研究和应用比较成功的几类目标识别方法：基于目标运动的回波起伏和调制谱特性的目标识别方法、基于极点分布的目标识别方法、基于高分辨雷达成像的目标识别方法和基于极化特征的目标识别方法，同时讨论了应用于雷达目标识别中的几种模式识别技术：统计模式识别方法、模糊模式识别方法、基于模型和基于知识的模式识别方法以及神经网络 模式识别方法。最后分析了问题的可能解决思路。 引言： 雷达目标识别技术回顾及发展现状 雷达目标识别的研究始于"20世纪50年代，早期雷达目标特征信号的研究工作主要是研究达目标的有效散射截面积。但是，对形状不同、性质各异的各类目标，笼统用一个有效散射面积来描述，就显得过于粗糙，也难以实现有效识别。几十年来，随着电磁散射理论的不断发展以及雷达技术的不断提高，在先进的现代信号处理技术条件下，许多可资识别的雷达目标特征信号相继被发现，从而建立起了相应的目标 识别理论和技术。 随着科学技术的飞速发展，一场以信息技术为基础、以获取信息优势为核心、以高技术武器为先导的军事领域的变革正在世界范围内兴起，夺取信息优势已成为夺取战争主动权的关键。电子信息装备作为夺取信息优势的物质基础，是推进武器装备信息化进程的重要动力，其总体水平和规模将在很大程度上反 映一个国家的军事实力和作战能力。 雷达作为重要的电子信息装备，自诞生起就在战争中发挥了极其重要的作用。但随着进攻武器装备的发展，只具有探测和跟踪功能的雷达也已经不能满足信息化战争的需要，迫切要求雷达不仅要具有探测和跟踪功能，而且还要具有目标识别功能，雷达目标分类与识别已成为现代雷达的重要发展方向，也是未来雷达的基本功能之一。目标识别技术是指：利用雷达和计算机对遥远目标进行辨认的技术。目标识别的基本原理是利用雷达回波中的幅度、相位、频谱和极化等目标特征信息，通过数学上的各种多维空间变换来估算目标的大小、形状、重量和表面层的物理特性参数，最后根据大量训练样本所确定的鉴别函数，在分类器中进行识别判决。目标识别还可利用再入大气层后的大团过滤技术。当目标群进入大气层时，在大气阻力的作用下，目标群中的真假目标由于轻重和阻力的不同而分开，轻目标、外形不规则的目标开始减 速，落在真弹头的后面，从而可以区别目标。 所谓雷达目标识别，是指利用雷达获得的目标信息，通过综合处理，得到目标的详细信息（包括物理尺寸、散射特征等），最终进行分类和描述。随着科学技术的发展，武器性能的提高，对雷达目标识别 提出了越来越高的要求。 目前，目标识别作为雷达新的功能之一，已在诸如海情监控系统、弹道导弹防御系统、防空系统及地球物理、射电天文、气象预报、埋地物探测等技术领域发挥出很大威力。为了提高我国的军事实力，适应未来反导弹、反卫、空间攻防、国土防空与对海军事斗争的需要，急需加大雷达目标识别技术研究的力度雷达目标识别策略主要基于中段、再入段过程中弹道导弹目标群的不同特性。从结构特性看，飞行中段
视觉目标检测算法说明 1.功能 通过安装在战车上的摄像头，检测视野范围内的敌方战车。 2.算法： 2.1目标检测与识别 1.颜色检测 采集大量敌方机器人的图片数据，并进行训练，得到对方机器人的颜色区间， 并以此为阈值对整幅图像进行颜色检测，找到疑似敌方机器人的区域，量化 成二值图。 2.滤除噪声点 对得到的二值图像进行开运算处理，滤除颜色检测结果中的噪声点。 3.连通区域检测 对图像中的疑似区域进行连通区域检测，计算出每个疑似区域的外部轮廓， 用矩形近似表示。 4.连通区域合并 根据连通区域之间的距离和颜色相似性，将距离接近且相似性高的连通区域 进行合并。 5.形状和大小过滤 对大量敌方机器人图片进行训练，得到对方机器人的形状信息（例如长宽比） 和大小信息（面积），并以此为依据将不符合的区域过滤掉。 经过以上五步的处理，可以初步得到敌方机器人的位置、大小和形状信息。 2.2目标运动跟踪 对上步中的检测结果进行运动跟踪。 1.状态估计 根据上一时刻地方机器人的运动状态（包括位置和速度），估算当前时刻机 器人的运动状态。 2.轨迹关联 根据位置和颜色信息，对当前时刻机器人的估计状态和检测结果进行关联。 3.状态更新 若上一步中关联成功，更新当前时刻的运动状态。 通过对检测结果进行运动跟踪，可以计算出当前时刻敌方机器人的运动速度和方 向。 2.3预估提前量
1.评估延迟时间 根据己方机器人实际的调试情况，通过多次试验和统计的方法，估算己方机器人从接收命令到炮弹（或子弹）击中目标区域的时间延时（包括图像处理 时间、落弹时间和炮弹飞行时间）。 2.计算提前量 根据延迟时间和敌方机器人的运动速度，计算炮弹发射的提前量，补偿到敌方机器人的运动状态中。 3.总结： 对于机器人战车中的敌方目标检问题，有很多种方法可以实现，视觉检测只是其中的一种方法，而基于颜色识别的目标检测也只是视觉算法中比较简单有效的一种。所以，本段代码只是抛砖引玉的一个样本，适用范围只针对于2014年RoboMasters夏令营的场地和战车，希望可以看到大家更加简单有效的算法。
第九章图像目标探测与跟踪技术 主讲人：赵丹培 宇航学院图像处理中心 zhaodanpei@https://www.doczj.com/doc/cc14755444.html, 电话：82339972
目录 9.1 概论 9.2 目标检测与跟踪技术的发展现状9.3 目标检测与跟踪技术的典型应用9.4 图像的特征与描述 9.5 目标检测方法的基本概念与原理9.6 目标跟踪方法涉及的基本问题
9.1 概论 1、课程的学习目的 学习和掌握目标探测、跟踪与识别的基本概念和术语，了解一个完整信息处理系统的工作流程，了解目标探测、跟踪与识别在武器系统、航空航天、军事领域的典型应用。了解目标检测、跟踪与识别涉及的关键技术的发展现状，为今后从事相关的研究工作奠定基础。 2、主要参考书： 《目标探测与识别》，周立伟等编著，北京理工大学出版社； 《成像自动目标识别》，张天序著，湖北科学技术出版社； 《动态图像分析》，李智勇沈振康等著，国防工业出版社；
引言：学习目标检测与跟踪技术的意义 ?现代军事理论认为，掌握高科技将成为现代战争取胜的重要因素。以侦察监视技术、通信技术、成像跟踪技术、精确制导技术等为代表的军用高科技技术是夺取胜利的重要武器。 ?成像跟踪技术是为了在战争中更精确、及时地识别敌方目标，有效地跟踪目标，是高科技武器系统中的至关重要的核心技术。 ?例如：一个完整的军事战斗任务大致包括侦察、搜索、监视以及攻击目标和毁伤目标。那么快速的信息获取和处理能力就是战争胜利的关键，因此，目标的实时探测、跟踪与识别也成为必要的前提条件。
?随着现代高新技术的不断发展及其在军事应用领域中的日益推广，传统的作战形态正在发生着深刻的变化。 1973年的第四次中东战争，1982年的英阿马岛之战，1991年的海湾战争及1999年的科索沃战争，伊拉克战争等都说明了这一点。西方各军事强国都在积极探索对抗武器，特别是美国更是投入了巨大的物力、人力和财力积极研制弹道导弹防御系统。而图像检测、跟踪和识别算法作为现代战场信息环境作战成败的关键，具备抗遮挡、抗丢失和抗机动鲁棒性的智能跟踪器，将是现代战场作战必备品，具有广泛的应用前景。
《图像检测、跟踪与识别技术》论文 论文题目： 图像检测、跟踪与识别技术与现代战争 专业：探测制导与控制技术 学号：35152129 姓名：刘孝孝
目标检测、跟踪与识别技术与现代战争 【摘要】本文讨论目标检测、跟踪与识别技术在现代战争各个领域中的应用，总结目标识别技术的发展方向，提出目标识别技术工程化实现方法，同时本文介绍了国外目标识别的现状及发展趋势，提出了现代战争应采用综合识别系统解决目标识别问题的建议。 关键词目标检测；目标跟踪；目标识别；雷达；人工神经网络；精确制导 1．引言 随着现代科学技术的飞速发展及其在军事领域内日益广泛的应用，传统的作战思想、作战方式已发生根本性的变化。从第一次海湾战争到科索沃战争，特别是刚刚结束的海湾战争，空中精确打击和空地一体化作战已经成为最重要的作战形式。集指挥、控制、通信、计算机、情报、监视侦察于一体的C ISR 已成为取得战场主动权，赢得最后胜利的关键因素。目标识别技术是雷达智能化、信息化的重要技术支撑手段。在现代化战争中，目标识别技术在预警探测、精确制导、战场指挥和侦察、敌我识别等军事领域都有广泛的应用前景，已受到了世界各国的关注。 现代战争中取得战场制信息权的关键之一是目标属性识别。现代战争的作战环境十分复杂，作战双方都在采用相应的伪装、隐蔽、欺骗和干扰等手段和技术，进行识别和反识别斗争。因此仅仅依靠一种或少数几种识别手段很难准确地进行目标识别，必须利用多个和多类传感器所收集到的多种目标属性信息，综合出准确的目标属性，进行目标检测，跟踪后进行识别。 2．目标检测、跟踪与识别技术在现代战争中的应用 2．1 目标检测、跟踪与识别技术在预警探测上的应用 目标检测、跟踪与识别技术对于弹道导弹的预警工作有重要的作用。弹道导弹一般携带多个弹头，其中可能包含核弹头或大规模杀伤的弹头以及常规弹头，预警雷达必须具备对目标进行分类和识别真假弹头的能力，将核弹头或大规模杀伤的弹头分离出来，为弹道导弹防御(BMD)系统进行目标攻击和火力分配提供依据。早期的BMD系统假设只有一个核弹头，多弹头分导技术的出现，使问题转化为雷达的多目标识别问题，加上电子对抗技术的广泛使用，给目标识别技术带来很大困难。另外，预警雷达还要对空中目标或低空目标进行探测，对来袭目标群进行分类识别。利用星载雷达以及远程光学望远镜等观测设备，可以对外空目标进行探测，对外空来袭目标进行分类和识别，达到早期预警的工作。 2．2 目标检测、跟踪与识别技术在精确制导上的应用 精确制导方式很多，包括主动式、半主动式和被动式寻的制导方式，通过设在精确制导武器
视频目标检测与跟踪算法综述 1、引言 运动目标的检测与跟踪是机器视觉领域的核心课题之一，目前被广泛应用在 视频编码、智能交通、监控、图像检测等众多领域中。本文针对视频监控图像的运动目标检测与跟踪方法，分析了近些年来国内外的研究工作及最新进展。 2、视频监控图像的运动目标检测方法 运动目标检测的目的是把运动目标从背景图像中分割出来。运动目标的有效分割对于目标分类、跟踪和行为理解等后期处理非常重要。目前运动目标检测算法的难点主要体现在背景的复杂性和目标的复杂性两方面。背景的复杂性主要体现在背景中一些噪声对目标的干扰，目标的复杂性主要体现在目标的运动性、突变性以及所提取目标的非单一性等等。所有这些特点使得运动目标的检测成为一项相当困难的事情。目前常用的运动目标检测算法主要有光流法、帧差法、背景相减法，其中背景减除法是目前最常用的方法。 2.1 帧差法 帧差法主要是利用视频序列中连续两帧间的变化来检测静态场景下的运动目标，假设(,)k f x y 和(1)(,)k f x y +分别为图像序列中的第k 帧和第k+1帧中象素点(x ，y)的象素值,则这两帧图像的差值图像就如公式2-1 所示： 1(1)(,)(,)k k k Diff f x y f x y ++=- (2-1) 2-1式中差值不为0的图像区域代表了由运动目标的运动所经过的区域（背景象素值不变），又因为相邻视频帧间时间间隔很小，目标位置变化也很小，所以运动目标的运动所经过的区域也就代表了当前帧中运动目标所在的区域。利用此原理便可以提取出目标。下图给出了帧差法的基本流程：1、首先利用2-1 式得到第k 帧和第k+1帧的差值图像1k Diff +；2、对所得到的差值图像1k Diff +二值化（如式子2-2 示）得到Qk+1；3、为消除微小噪声的干扰，使得到的运动目标更准确，对1k Q +进行必要的滤波和去噪处理，后处理结果为1k M +。 111255,,(,)0,,(,)k k k if Diff x y T Q if Diff x y T +++>?=?≤? （T 为阈值） （2-2）
C o g n e V i s i o n P r o软件简介及其目标识别定位 功能 文档编制序号：[KKIDT-LLE0828-LLETD298-POI08]
Cognex VisionPro 软件简介及其目标识别定位功能 1、VisionPro主要功能：图像预处理、图像拼接、图像标定、几何校正、定位、OCV\ID、图像几何测量、结果分析等，该软件可以直接和国际大多数相机相连，包括模拟、1394、千兆网相机等，且可以直接输出检测结果，提供二次开发接口、支持点net。在其QuickBuild环境中无需任何代码编程，只需拖拉操作就可以完成检查文件的设置，检测结果输出，可进行快速开发。 QuickBuild能与用户自己编写的点net程序无缝连接，实现数据共享，用户可以使用自己的I/O板。 2、VisionPro软件与Halcon对比： 开发方式：VIsionPro可以拖拉式图形编程，非常形象，同时也可以使用API函数编程，增加灵活性。VisionPro的QuickBuild提供更加高效快速的编程界面，能够迅速融合到用户程序中。QuickBuild提供许多成熟的视觉检测工具和设置界面，使用QuickBuild做评估测试和开发的效率远高于Halcon的Hdevelop。而Halcon只能用函数编程，没有图形编程界面，开发效率低于VisonPro。 视觉工具和函数：VisonPro的PatMax定位工具和颜色识别工具优于Halcon的类似工具。特别是PatMax定位工具可在图像模糊、对比度低、目标形变严重的情况下实现更稳定的定位和目标识别功能，得到了行业内广泛的认可。 支持的相机：两种开发软件都支持大多数相机，都可以编写自定义的驱动。编写自定义驱动，Halcon提供更好的接口。 Cognex VisionPro软件的测试版可在下载
在全站仪目标方向观察中，主要有目标照准，度盘读数两大步骤。 下面以徕卡自动化全站仪的ATR技术为例，介绍自动目标识别与照准的基本原理一原理简介 自动目标识别部件被安装在全站仪的望远镜上，红外光束通过光学部件被同轴地投影在望远镜上，从物镜发射出去，反射回来的光束，形成光点由内置CCD传感器接收，其位置以CCD传感器中心作为参考点来精确的确定。假如CCD传感器中心与望远镜光轴调整正确，则可从CCD传感器的光点的位置直接计算并输出以ATR方式测得的水平方向和垂直角。 图带ATR望远镜结构示意图 与人工照准目标存在视准差一样，ATR同样存在视准差。ATR视准差的校正是提高其测量精度的重要环节。测定ATR视准差时，必须人工将望远镜对准棱镜中心，望远镜十字丝提供的视准线与CCD传感器中心之间的水平和垂直方向上的偏差由仪器计算并储存下来，用于ATR方式测量时角度改正。 如果在测角中既用ATR方式，又用人工方式，检查并校准ATR视准是十分必要。因为只有这样，两种方法才能达到最佳匹配。 二目标精准照准 ATR自动识别并照准目标主要有三个过程：目标搜索过程，目标照准过程和测量过程。在人工粗略找准棱镜后，启动ATR，首先进行目标搜索过程。在现场内如果无发现棱镜，望远镜在马达的驱动下按螺旋式或矩形式连续搜索目标，如图所示。ATR一旦探测到棱镜，望远镜马上停止搜索，即刻进入目标照准过程。
ATR的CCD传感器接收到经棱镜反射过来的照准光点，如果该光点偏离棱镜中心，CCD 传感器则计算出该偏移量，并按该偏移量驱动望远镜直接移向棱镜中心，如图所示。当望远镜十字丝中心偏离棱镜中心在预定的限差之内后，望远镜停止运动，ATR测量十字丝中心和棱镜中心间的水平和垂直剩余偏差，并对水平角和垂直角进行校正。所以，虽然在望远镜视场内看到十字丝中心没有精准地照准棱镜中心，但仪器显示的水平角和垂直角实际是以棱镜中心为准。之所以采用这种目标照准方式，主要是为了优化测量速度，因为要望远镜十字丝中心准确定位于棱镜中心是比较困难的。 图ATR角度修正与照准 ATR需要一块棱镜配合进行目标识别，因为ATR的角度测量和距离测量同时进行。在每一次ATR测量过程中，十字丝中心相对棱镜中心的角度偏移量都要重新测定，并相应改正水平方向和垂直角，进而精确地测量出距离或计算出目标点坐标。图给出了ATR的目标识别，照准与测量的流程图。 当使用ATR方式进行测量时，由于其望远镜不需要对目标调焦或人工照准，因此，不但加快了测量速度，并且测量精度与观察员的水平无关，测量结果更加可靠。 图ATR目标自动识别与照准流程图
雷达目标识别发展趋势 雷达具备目标识别功能是智能化的表现，不妨参照人的认知过程，预测雷达目标识别技术的发展趋势： (1)综合目标识别 用于目标识别的雷达必将具备测量多种目标特征的手段，综合多种特征进行目标识别。我们人类认知某一事物时，可以通过观察、触摸、听、闻、尝，甚至做实验的方法认知，手段可谓丰富，确保了认知的正确性。 目标特征测量的每种手段会越来越精确，就如同弱视的人看东西，肯定没有正常人看得清楚，也就不能认知目标。 识别结果反馈给目标特征测量，使目标特征测量成为具有先验信息的测量，特征测量精度会有所提高，识别的准确程度也会相应提高。 雷达具备同时识别目标和背景的功能。人类在观察事物的时候，不仅看到了事物的本身，也看到了事物所处的环境。现有的雷达大多通过杂波抑制、干扰抑制等方法剔除了干扰和杂波，未来的雷达系统需要具备识别目标所处背景的能力，这些背景信息在战时也是有用的信息。 雷达具备自适应多层次综合目标识别能力。用于目标识别的雷达虽然需要具备测量多种目标特征的手段，但识别目标时不一定需要综合所有的特征，这一方面是因为雷达系统资源不允许，另一方面也是因为没有必要精确识别所有的目标。比如司机在开车时，视野中有很多目标，首先要评价哪几个目标有威胁，再粗分类一下，是行人还是汽车，最后再重点关注一下靠得太近、速度太快的是行人中的小孩子还是汽车中的大卡车。 (2)自学习功能 雷达在设计、实现、装备的过程中，即具备了设计师的基因，但除了优秀的基因之外，雷达还需要具有学习功能，才能在实战应用中逐渐成熟。 首先，要具有正确的学习方法，这是设计师赋予的。对于实际环境，雷达目标识别系统应该知道如何更新目标特征库、如何调整目标识别算法、如何发挥更好的识别性能。 其次，要人工辅助雷达目标识别系统进行学习，这就如同老师和学生的关系。在目标识别系统学习时，雷达观测已知类型的合作目标，雷达操作员为目标识别系统指出目标的类型，目标识别系统进行学习。同时还可以人为的创造复杂的电磁环境，使目标识别系统能更好地适应环境。 (3)多传感器融合识别 多传感器的融合识别必定会提高识别性能，这是毋容置疑的。这就好比大家坐下来一起讨论问题，总能讨论出一个好的结果，至少比一个人说的话更可信。但又不能是通过投票的方式，专家的话肯定比门外汉更有说服力。多传感器融合识别需要具备双向作用的能力。 并不是给出融合识别的结果就结束了，而是要利用融合识别的结果反过来提高各个传感器的识别性能，这才是融合识别的根本目的所在。反向作用在一定程度上降低了人工辅助来训练目标识别系统的必要性，也减少了分别进行目标识别试验的总成本。
第35卷第3期2007年6月 浙江工业大学学报 JO U RN A L OF ZHEJIA N G U N IV ERSIT Y OF T ECH N OL O GY V ol.35N o.3Jun.2007 收稿日期:2006-11-26 基金项目:浙江省自然科学基金资助项目(Y105314) 作者简介:古 辉(1956)),男,山西孝义人,教授,硕士生导师,研究方向为多媒体应用技术和信息处理技术. 自然场景下果实目标的识别和定位 古 辉1,芦亚亚1,丁维龙1,王 杰2,张维统1 (1.浙江工业大学信息工程学院,浙江杭州310032;2.浙江工业大学机电工程学院,浙江杭州310032) 摘要:通过分析目前果蔬图像中识别果蔬对象存在的问题,研究了果蔬采摘机器人视觉中的两大难题:识别果蔬和定位果蔬.在此大背景下,研究提出了一种结合多种颜色特征和纹理特征进行分割的方法,有效解决果蔬目标和背景颜色差异较小时的果蔬对象识别问题.同时,提出一种全新的理念解决果实被部分遮挡时中心点和采摘点确定问题.另外,为了克服已有的类球形果蔬的定位方法不能适用于偏斜下垂生长的果蔬定位、不能有效定位叠加的多个果蔬的不足,利用几何校正方法,研究提供一种能够适应于偏斜下垂生长的果蔬定位的方法,能有效定位叠加的多个果蔬.经实验证明,效果良好. 关键词:自然场景;颜色;纹理;果实目标;识别;定位中图分类号:T P391.41 文献标识码:A 文章编号:1006-4303(2007)03-0267-07 The recognizing and locating method for fruit objects under nature scenes GU H ui 1 ,LU Ya -ya 1 ,DING We-i lo ng 1 ,WA NG Jie 2 ,ZH ANG We-i tong 1 (1.Colleg e of Inform ation Engineering,Zhejiang University of Techn ology,H an gzhou 310032,Ch ina;2.College of M echanical Engineering,Zhejian g Un iversity of T echnology,H angzhou 310032,C hina) Abstract:T his paper discussed about the mo st difficult problems in the vision o f harvesting ro -bot,including r ecognizing and lo cating pro blem ex isted in the reco gnition of the fruit o bject in fruit images.A new seg mentation metho d combined w ith color features and tex ture features is presented,in w hich the recognitio n problem w ith little differ ence betw een w ith the target and the backg round is solved.It also put fo rw ar d a no vel conception to reso lve the locating center and ab -scission point under the conditio n that the fruit or v eg etables are partially sheltered.Meanw hile,in order to o vercom e the dem er its of the going locating m ethods w hich unfits fo r the declining fruit,a new lo cating metho d based o n the technique of g eometry co rrection fitting for the decl-i ning fruits and locating the abscission points under the conditio n that fruits ar e overlapped by each other is presented.It is pr oved by ex periments that it w ill w or k w ell under the nature scenes. Key words:nature scene;co lor;tex ture;fr uit o bject;recog nition;lo catio n
军队、金融、通讯、电力数据中心 目标识别与涉密资产安全管理系统 技术白皮书 浩海易通科技（北京）有限公司 一、引言 随着我军信息化建设的飞速发展，部队的信息化程度越来越高，各种纸质文件、涉密载体，涉密介质（移动硬盘、U盘、笔记本电脑等）被广大官兵大量使用，这些纸质文件、涉密载体及介质存在着种类杂乱，可靠性差，效率低下，借阅审批均为纸上办公，携带进出无法记录、查询等问题，经常出现泄密现象，给部队涉密载体安全造成了重大的威胁。主要体现在两个方面： 一是使用和管理的矛盾突出。由于纸质文件、涉密载体在部队中使用的范围广，数量大，管理的难度很大。目前部队为提高纸质文件、涉密载体的安全管理，采取了一些保密措施，研制了一些保密软件及管理系统，但这些保密软件及系统只是对这些纸质文件、涉密载体的借阅以表格、文档等形式进行了简单的统计记录，并且过程、细节、详细时间都难以达到准确、安全，管理和技术维护都比较繁琐，造成即不保证安全，管理使用又很不方便，不利于在部队基层推广使用。 二是管理模式落后，高科技管控手段欠缺。各部门的纸质文件、涉密载体，来源复杂、形式多样，管理、存放、下发时非常的繁琐和棘手，管理过程中，没有有效的监控、监管手段，容易造成涉密人员非法带出，极有可能造成丢失、泄密事件的发生，具有重大的安全隐患。 因此，部队需要一种适合军队平时和站时使用、能提供较强涉密载体安全管理措施即可靠又方便使用的涉密载体安全管理系统。 TIIS目标识别安全管理系统（以下简称TIIS）是基于RFID技术并针对单位人员、纸质文件管理和涉密载体（笔记本电脑、保密移动硬盘、保密U盘、刀片服务器等）安全需求而研制开发的一套检测控制系统。 二、系统硬件部分 2．1 915M超高频RFID读写器 物理特征：长：29.5cm；宽：30cm；高：8cm； 重量：3kg，安装：垂直方向， 环境：工作温度：-20℃-55℃ 存放温度：-40℃-85℃ 湿度：相对湿度10％-95％； 工业等级：IP-53，4个TNC双向天线端口，为每个端口分别配置一个独立的传输和接受天线； 电源：能适应110-240VAC车载电源DC伏60瓦 RFID频率范围800MHz或900MHz， 波段接口：10/100BASET以太网（RJ-45连接器），最大读取速度1000tag/S，最小标签速度：660ft/min 2．2 915M超高频RFID天线 物理特征：长：30cm；宽：30cm；高：4cm重量：2.27kg 安装配置：2*2安全螺栓，水平面距离5.875英寸，垂直距离2.75英寸， 工作温度：-20℃-55℃存放温度：-40℃-85℃ 前后比：20DB 最高增益：6dBiL 增益平稳度：0.5DB 三、系统软件部分 3．1 编目系统功能 主要是针对文件，笔记本电脑，移动硬盘等目标载体信息进行录入，编辑，移交登记。3．2 检索系统功能