Lucas．Kanade方法是一种基于像素递归的光流算法，就是预测校正型的位移估算器。预测值可以作为前一个像素位置的运动估算值，或作为当前像素邻域内的运动估算线性组合。据该像素上的位移帧差的梯度最小值，对预测作进一步的修正。
Lucas和Kanade[371假设在一个小的空间邻域Q上运动矢量保持恒定，然后使用加权最小二乘方(weightedleast—squares)估计光流。在一个小的空间邻域Q上，光流估计误差定义为
高斯金字塔
第32卷第8期2007年8月武汉大学学报?信息科学版 G eomatics and Information Science of Wuhan University Vol.32No.8Aug.2007 收稿日期:2007205212。 项目来源:国家自然科学基金资助项目(40301040)。 文章编号:167128860(2007)0820680204文献标志码:A 一种基于图像金字塔光流的特征跟踪方法 江志军1 易华蓉2 (1 武汉大学测绘遥感信息工程国家重点实验室,武汉市珞喻路129号,430079) (2 广东商学院旅游与环境学院,广州市赤沙路21号,510320) 摘 要:推导并实现了一种基于图像金字塔光流的角点特征跟踪方法。实验结果表明,该方法在不同运动幅度和运动方式下的检测跟踪性能较好,能够有效地应用于长序列图像的特征跟踪。关键词:图像金字塔;光流;特征跟踪中图法分类号:P237.3 特征检测与跟踪是基于连续图像序列的运动 结构重建问题[1](struct ure f rom motion ,SFM )研究的重要基础和关键技术环节,在航空航天、移动机器人定位、移动量测、交通等领域有着广泛的应用。图像特征的定义及检测方法多种多样,其中最常用的是角点特征[2]。基于梯度光流的角点跟踪方法实现起来相对简单,计算复杂度较低,而且能够得到相当精确的跟踪,如L K 方法[3]。然而,该类方法在应用中也有局限性,如仅适用于小图像运动[4],要求相邻图像间的目标运动小于1个像素。 本文方法基于图像金字塔的分层结构与多分辨率特征,同级别的图像分辨率层次上动态扩展。 1 角点特征检测 对三维重建应用而言,角点是图像的一个重 要的局部特征,它最小化了图像上重要的形状信息[2]。在有图像噪声和区域变形的情况下,特征跟踪考虑到图像上多方向强度(灰度)变化为一种稳定的结构,设想围绕图像中的每个像素点来建立某个小的窗口,使该窗口在不同方向上滑动一个小的距离,并计算该窗口内所有像素强度变化的平均值。如果在所有方向滑动时,窗口内的强度变化都超过了某一门限值,那么该点即可视为检测得到的待跟踪角点。 假设窗口滑动向量为h =(u ,v )T ,定义窗口像素的灰度方差和SSD 作为滑动后强度变化的度量(对彩色图像,首先进行灰度化处理)。对图像上任一像素点p =(x ,y )T ,则有: SSD (p )= ∑W ‖I (p )-I (p +h )‖2 (1) 对I (p +h )在p 点处作一阶泰勒展开近似: I (p +h )=I (p )+I x u +I y v (2) 代入式(1)中并写成矢量形式可得: SSD (p )= ∑W ‖D I h ‖2 =∑ W h T D T I D I h , D I =(I x ,I y ) T (3) 定义 D = ∑ W D T I D I = A C C B (4) 式中,A = ∑ W I x 2 ;B = ∑W I y 2 ;C = ∑W I x I y 。A 、 B 、 C 可使用各种常用梯度算子从图像上计算得 到,本文使用Sobel 算子[5]。SSD 表达式可简写为: SSD (p )=h T Dh (5) 对于n ×n 方阵M ,可以看作是n 维欧氏空 间的线性变换,其特征矢量确定了缩放变换的方向,而其特征值表征该方向上的缩放大小,即可以根据D 的特征值来确定图像强度变化的幅度。 若‖h ‖=α,λ1、λ2为2×2方阵D 的两个特征值,且λ1≤λ2,则
using System; using System.Collections.Generic; using https://www.doczj.com/doc/618289699.html,ponentModel; using System.Data; using System.Drawing; using System.Linq; using System.Text; using System.Windows.Forms; using System.Diagnostics; using System.Runtime.InteropServices; using Emgu.CV; using Emgu.CV.CvEnum; using Emgu.CV.Structure; using Emgu.CV.UI; namespace ImageProcessLearn { public partial class FormImageSegment : Form { //成员变量 private string sourceImageFileName = "wky_tms_2272x1704.jpg";//源图像文件名 private Image
基于OpenCV的三种光流算法实现源码及测试结果 本文包括三种基于OpenCV的光流算法实现源码及测试结果。具体为HS算法，LK算法，和ctfLK算法，算法的原实现作者是Eric Yuan，这里是作者的博客主页：http://eric-yuan.me。本文对这三种光流算法进行了相关调试及结果验证，供大家在自己的项目开发中参考。 1.第一种：HS光流法（作者HORN 和SCHUNCK） #include"opencv2/core/core.hpp" #include"opencv2/imgproc/imgproc.hpp" #include"opencv2/highgui/highgui.hpp" #include
它是一种运动模式，这种运动模式指的是一个物体、表面、边缘在一个视角下由一个观察者（比如眼睛、摄像头等）和背景之间形成的明显移动。光流技术，如运动检测和图像分割，时间碰撞，运动补偿编码，三维立体视差，都是利用了这种边缘或表面运动的技术。 光流的概念:(Optical flow or optic flow)二维图像的移动相对于观察者而言是三维物体移动的在图像平面的投影。 有序的图像可以估计出二维图像的瞬时图像速率或离散图像转移。 光流算法： 它评估了两幅图像的之间的变形，它的基本假设是体素和图像像素守恒。它假设一个物体的颜色在前后两帧没有巨大而明显的变化。基于这个思路，我们可以得到图像约束方程。不同的光流算法解决了假定了不同附加条件的光流问题。 Lucas–Kanade算法： 这个算法是最常见，最流行的。它计算两帧在时间t 到t + δt之间每个每个像素点位置的移动。由于它是基于图像信号的泰勒级数，这种方法称为差分，这就是对于空间和时间坐标使用偏导数。 图像约束方程可以写为I(x,y,z,t) = I(x+ δx,y+ δy,z+ δz,t+ δt) I(x, y,z, t)为在（x,y,z）位置的体素。 我们假设移动足够的小，那么对图像约束方程使用泰勒公式，我们可以
得到： H.O.T. 指更高阶，在移动足够小的情况下可以忽略。从这个方程中我们可以得到： 或者 我们得到： V x,V y,V z分别是I(x,y,z,t)的光流向量中x，y，z的组成。, , 和则是图像在(x,y,z,t)这一点向相应方向的差分。 所以 I x V x + I y V y + I z V z= ?I t。 写做： 这个方程有三个未知量，尚不能被解决，这也就是所谓光流算法的光圈问题。那么要找到光流向量则需要另一套解决的方案。而Lucas-Kanade算法是一个非迭代的算法： 假设流(Vx,Vy,Vz)在一个大小为m*m*m(m>1)的小窗中是一个常数，那么从像素 1...n, n = m3中可以得到下列一组方程： 三个未知数但是有多于三个的方程，这个方程组自然是个超定方程，也就是说方程组内有冗余，方程组可以表示为：
基于金字塔变换的图像融合算法 有关多尺度分解方法的研究，始于1983年Burt P.J.和Adelson E.H.提出的拉普拉斯金字塔变换(Laplacian Pyramid ，LP)。其他金字塔变换方法大多是在此结构及其派生结构的基础上建立起来的。 按照塔式结构形成方法的不同，金字塔变换可分为高斯—拉普拉斯金字塔、梯度金字塔、比率低通金字塔、形态学金字塔等。 1、 拉普拉斯金字塔 在LP 分解中，首先对原始图像()0,f i j 进行低通滤波；然后进行下采样，得到低频分量，即原始图像的近似分量，再对该低频分量进行上采样，对上采样得到的分量进行高通滤波，并将高通滤波后的分量与原始图像进行差分，最后得到拉普拉斯分解后的高频带通分量。对过程中每一次分解产生的低频分量迭代进行上述操作，生成一个低频信号和一系列的带通信号，从而实现多尺度的分解。具体算法如下： 按照下式对原始图像()0,f i j (),2n N N N ?=进行高斯滤波，将图像分解为半分辨率的低频分量和整分辨率的高频分量： )2,2](*[),(01j i g f j i f = 式(2-1) []100(,)(,)*(,)h i j f i j f g i j == 式(2-2) 在间隔抽样后的图像上迭代进行该过程，经过n 次迭代得到(),k h i j 和最终的低频图像(),n f i j 。 图像的解码过程以相反的次序进行。从最后一幅图像(),n f i j 开始，对每一幅抽样图像(),k f i j 都进行一个增频采样并与(),g i j 卷积进行内插。增频采样是在采样点之间插入零的过程，所得结果被添加到下一幅(前一幅)图像()1,k f i j -上，再对所得图像重复执行这一过程，这个过程能无误差地重建出原始图像。由于(),k h i j 图像在很大程度上降低了相关性和动态范围，因此可以使用较粗的量化等级，实现一个很大程度的图像压缩。 在源图像进行拉普拉斯金字塔分解的基础上，Burt P.J.选取绝对值最大的系数作为融合后的系数。这是因为在高频子带中，绝对值较大的系数包含着更多的信息，它们往往对应于图像中的边缘、线条及区域边界等重要信息。 2、 梯度金字塔 1992年，Burt P.J.提出了基于梯度金字塔的图像融合算法。梯度金字塔的每一分解层都包含着水平、竖直及两对角线方向的细节信息。梯度金字塔分解能很好地提取出图像的边缘信息。
运动目标检测之Lucas-Kanade 光流算法读书笔记 视觉是人类感知自身周围复杂环境最直接有效的手段之一，而在现实生活中大量有意义的视觉信息都包含在运动中，人眼对运动的物体和目标也更敏感，能够快速的发现运动目标。随着计算机技术、通信技术、图像处理技术的不断发展，计算机视觉己成为目前的热 点研究问题之一。而运动目标检测是计算机视觉研究的核心课题之一，融合了图像处理、模式识别、人工智能、自动控制、计算机等众多领域的先进技术，在军事制导、视觉导航、视频监控、智能交通、医疗诊断、工业产品检测等方面有着重要的实用价值和广阔的发展 前景。 一目标检测 运动目标检测运动目标检测是指从序列图像中将运动的前景目标从背景图像中提取出 来。目前,已有的运动目标检测方法按照算法的基本原理可以分为三类:背景差分法，帧间差 分法和光流法。 1 背景差分法 背景差分法又称背景减除法，背景差分法的原理是将当前帧与背景图像进行差分来得到 运动目标区域，但是需要构建一幅背景图像，这幅背景图像必须不含运动目标，并且应该能不断的更新来适应当前背景的变化，构建背景图像的方法有很多，比较常用的有基于单个高 斯模型的背景构建，基于混合高斯模型的背景构建，基于中值滤波器的背景构造，基于卡尔曼滤波器的背景构造，基于核函数密度估计的背景模型构造。 缺点：因为要求背景是静止的，所以背景的变化，场景中有很多干扰，比如场景中 有树枝和叶子在风中晃动、水面的波动等等，还有照明的变化和天气的变化等都可能影响检 测的结果 2 帧间差分法 帧间差分法是一种通过对视频图像序列中相邻两帧作差分运算来获得运动目标轮廓的 方法，它可以很好地适用于存在多个运动目标和摄像机移动的情况。当监控场景中出现异常 物体运动时，帧与帧之间会出现较为明显的差别，两帧相减，得到两帧图像亮度差的绝对值，
摘要 运动目标检测方法是研究如何完成对视频图像序列中感兴趣的运动目标区域的“准确定位”问题。光流场指图像灰度模式的表面运动，它可以反映视频相邻帧之间的运动信息，因而可以用于运动目标的检测。MATLAB这种语言可移植性好、可扩展性强，再加上其中有丰富的图像处理函数，所以利用MATLAB 软件来用光流法对运动目标的检测中具有很大的优势。本设计主要可以借助matlab软件编写程序，运用Horn-Schunck算法对图像前后两帧进行处理，画出图像的光流场。而图像的光流场每个像素都有一个运动矢量，因此可以反映相邻帧之间的运动，分析图像的光流场就可以得出图像中的运动目标的运动情况。 关键字：光流法；Horn-Schunck算法；matlab
目录 1光流法的设计目的 (1) 2光流法的原理 (1) 2.1光流法的介绍 (1) 2.1.1光流与光流场的概念 (1) 2.1光流法检测运动目标的原理 (2) 2.1.1光流场计算的基本原理 (2) 2.2.2基于梯度的光流场算法 (2) 2.2.3Horn-Schunck算法 (3) 2.2.4光流法检测运动目标物体的基本原理概述 (5) 3光流法的程序具体实现 (6) 3.1源代码 (6) 3.1.1求解光流场函数 (6) 3.1.2求导函数 (9) 3.1.3高斯滤波函数 (9) 3.1.4平滑性约束条件函数 (10) 3.1.5画图函数 (10) 4仿真图及分析 (12) 结论 (13) 参考文献 (14)
1 光流法的设计目的 数字图像处理，就是用数字计算机及其他有关数字技术，对图像进行处理，以达到预期的目的。随着计算机的发展，图像处理技术在许多领域得到了广泛应用，数字图像处理已成为电子信息、通信、计算机、自动化、信号处理等专业的重要课程。 数字图像处理课程设计是在学习完数字图像处理的相关理论后，进行的综合性训练课程，其目的是：使学生进一步巩固数字图像处理的基本概念、理论、分析方法和实现方法；增强学生应用Matlab编写数字图像处理的应用程序及分析、解决实际问题的能力；尝试所学的内容解决实际工程问题，培养学生的工程实践能力。 运动目标检测是数字图像处理技术的一个主要部分，近些年来，随着多媒体技术的迅猛发展和计算机性能的不断提高，动态图像处理技术日益受到人们的青睞，并且取得了丰硕的成果，广泛应用于交通管理、军事目标跟踪、生物医学等领域。 因此，基于光流法，实现运动目标的检测是本文的研究对象。结合图书馆书籍、网上资料以及现有期刊杂志，初步建立起运动目标检测的整体思路和方法。 2 光流法的原理 2.1 光流法的介绍 2.1.1 光流与光流场的概念 光流是指空间运动物体在观测成像面上的像素运动的瞬时速度，它利用图像序列像素强度数据的时域变化和相关性来确定各自像素位置的“运动”，即反映图像灰度在时间上的变化与景物中物体结构及其运动的关系。将二维图像平面特定坐标点上的灰度瞬时变化率定义为光流矢量。视觉心理学认为人与被观察物体
一种基于矢量数据的瓦片金字塔算法 李海亭 武汉市勘测设计研究院 工程师，博士 摘要 由于响应速度一度成为互联网电子地图的发展瓶颈，随着瓦片地图技术的出现，地图的拖动、缩放以及不同比例尺下的快速浏览都有了很大的改善。近年来，许多互联网电子地图供应商（包括Google、Baidu、Mapbar、灵图等）都使用了这一技术。瓦片地图本质上就是把人们通用的地图作为主要地图背景，并采用预先生成的方法存放在服务器端，然后根据用户提交的不同请求，把相应的地图瓦片发送给客户端的过程。由于客户端请求的地图是预先生成，不需像传统的WebGIS那样对用户的请求进行实时计算和绘图，所以瓦片地图技术能够在地图的显示方面具有速度的优越性。地图瓦片是如何生成的，如何根据用户的请求范围实时地将相关瓦片反馈给用户，这需要建立一个良好的索引机制。本文根据基于瓦片地图机制的武汉市公益地图网（https://www.doczj.com/doc/618289699.html,）的实际开发应用，提出了一种基于矢量数据的瓦片金字塔算法，并探讨了该算法引发的地图变形问题及其修正方法。 关键词：瓦片金字塔；网格索引；地图变形；步长修正 1 前言 瓦片索引是当今网络电子地图发布的主要技术手段，它采用预生成思想将地图进行横向分幅和纵向分级，然后根据用户请求动态检索相应的图块并自动完成拼接。对全球进行空间划分的方法归纳起来主要有以下两种:等间隔空间划分和等面积空间划分。但在平面电子地图的表达中，瓦片索引在本质上则是地图投影变换和空间索引的融合运用，该索引模型的建立过程须根据其应用特点参考不同地图投影的变形规律。因此，瓦片索引方法研究同样也是适应新型地图产品而派生的新的研究领域，它是地图投影学研究的一个延伸。本文首先介绍基于矢量数据的地图瓦片金字塔概念，然后提出了一种采用网格索引的瓦片金字塔算法。本文还在分析该算法在特定区域引发的地图变形问题的同时进一步探讨了如何通过地图瓦片的长宽修正和经纬度步长修正两种方法解决变形问题。
运动目标检测之Lucas-Kanade光流算法读书笔记 视觉是人类感知自身周围复杂环境最直接有效的手段之一，而在现实生活中大量有意义的视觉信息都包含在运动中，人眼对运动的物体和目标也更敏感，能够快速的发现运动目标。随着计算机技术、通信技术、图像处理技术的不断发展，计算机视觉己成为目前的热点研究问题之一。而运动目标检测是计算机视觉研究的核心课题之一，融合了图像处理、模式识别、人工智能、自动控制、计算机等众多领域的先进技术，在军事制导、视觉导航、视频监控、智能交通、医疗诊断、工业产品检测等方面有着重要的实用价值和广阔的发展前景。 一目标检测 运动目标检测运动目标检测是指从序列图像中将运动的前景目标从背景图像中提取出来。目前,已有的运动目标检测方法按照算法的基本原理可以分为三类:背景差分法，帧间差分法和光流法。 1背景差分法 背景差分法又称背景减除法，背景差分法的原理是将当前帧与背景图像进行差分来得到运动目标区域，但是需要构建一幅背景图像，这幅背景图像必须不含运动目标，并且应该能不断的更新来适应当前背景的变化，构建背景图像的方法有很多，比较常用的有基于单个高斯模型的背景构建，基于混合高斯模型的背景构建，基于中值滤波器的背景构造，基于卡尔曼滤波器的背景构造，基于核函数密度估计的背景模型构造。 缺点：因为要求背景是静止的，所以背景的变化，场景中有很多干扰，比如场景中有树枝和叶子在风中晃动、水面的波动等等，还有照明的变化和天气的变化等都可能影响检测的结果 2帧间差分法 帧间差分法是一种通过对视频图像序列中相邻两帧作差分运算来获得运动目标轮廓的方法，它可以很好地适用于存在多个运动目标和摄像机移动的情况。当监控场景中出现异常物体运动时，帧与帧之间会出现较为明显的差别，两帧相减，得到两帧图像亮度差的绝对值，
3.2.1 Farneback 算法原理剖析 该算法的总体思想就是首先通过多项式展开变换逼近两帧图像中的每个像素，然后通过观察一个多项式如何在平移下进行精确变换，最终从多项式展开系数中推导得到位移场。 1.多项式展开 多项式展开的思想[5]是将每个像素点的邻域近似表示为多项式，我们可以构造 f x ~x T Ax +b T x +c (4-1) 其中x 是该像素点的位置坐标 m ,n ，A 是一个对称矩阵 a 1a 2 a 2a 1 ， b 是一个二维向量 b 1,b 2 ， c 是一个标量，系数要根据加权最小二乘法对相邻信号值进行估计。 将f x 展开 f x ~c +b 1m +b 2+a 1m 2+a 2m 2+2a 2mn (4-2) 这里实际上将二维信号空间转换成了以 1,a ,b ,a 2,b 2,ab 作为基函数的六维信号空间，我们表示图像就需要一个六维向量。在编程中，为了简化计算，我们舍弃了其中的常数项，六维空间便转化为五维空间。 2.位移估计 由于多项式展开的结果是每个邻域近似表示为多项式，因此我们首先分析多项式经过理想平移的情况。 初始图像信号 f 1 x =x T A 1x +b 1T x +c 1 (4-3) 经过全局位移d ，构建得到新的信号f 2 f 2 x =f 1 x ?d (4-4) = x ?d T A 1(x ?d )+b 1T (x ?d )+c 1 =x T A 1x + b 1?2A 1d T x +d T A 1d ?b 1T d +c 1 将多项式中的系数等效 A 2=A 1 (4-5) b 2=b 1?2A 1d (4-6) c 2=d T A 1d ?b 1T d +c 1 (4-7) 得 f 2(x )=x T A 2x +b 2T x +c 2 (4-8) 通过方程(4-6)，我们可以求解得到d 2A 1d =?(b 2?b 1) (4-9) d =?12 A 1?1 (b 2?b 1) (4-10) 3.结合实际考虑
2018年6月图 学 学 报 June2018第39卷第3期JOURNAL OF GRAPHICS V ol.39No.3一种视频微表情检测的改进光流算法 李秋宇1，张玉明2，杨福猛3，詹曙1 (1. 合肥工业大学计算机与信息学院，安徽合肥 230009； 2. 芜湖职业技术学院电气工程学院，安徽芜湖 241000； 3. 安徽信息工程学院，安徽芜湖 241000) 摘要：微表情是人们在试图隐藏自己真实情感时表现出的不受自主神经控制、持续时间短暂，强度十分微弱的面部表情。由于微表情与谎言识别有着密切的联系，其公共安全、侦查讯问、临床医学等领域有很大的应用前景。针对人为识别微表情十分困难的问题，提出一种基于Horn-Schunck (HS)光流法改进并应用于微表情自动检测的方法。使用预条件Gauss-Seidel迭代方法改进了HS光流法，加快了收敛速度。通过在自发微表情数据库CASME中进行实验，该验证方法在微表情检测中有很好的效果。 关键词：微表情检测；光流法；预条件迭代 中图分类号：TP 391 DOI：10.11996/JG.j.2095-302X.2018030448 文献标识码：A 文章编号：2095-302X(2018)03-0448-05 An Improved Optical Flow Algorithm for Micro Expression Detection in the Video Sequence LI Qiuyu1, ZHANG Yuming2, YANG Fumeng3, ZHAN Shu1 (1. School of Computer and Information, Hefei University of Technology, Hefei Anhui 230009, China; 2. School of Electrical Engineering, Wuhu Institute of Technology, Wuhu Anhui 241000, China; 3. Anhui Institute of Information Technology, Wuhu Anhui 241000, China) Abstract: Micro-expression is a kind of short-duration subtle expression which is not controlled by the autonomic nervous system. Micro-expression appears when a person is attempting to conceal his true emotion. Micro-expression detection boasts great application prospects in many fields, such as public security, investigation and interrogation as well as clinical medicine due to its close relationship with lie detection. Automatic detection of micro-expressions has come to the fore in research, because it is of great difficulty to artificially identify micro-expression . This paper proposes an improved algorithm based on the Horn-Schunck (HS) optical flow for automatic micro-expression detection. In this study, the pre-conditioned Gauss-Seidel iterative method is employed to improve the HS optical flow method, which accelerates the convergence rate. Experiments in the spontaneous micro-expression database CASME show that the propounded method exerts an excellent effect on the detection of micro-expression. Keywords: micro-expression detection; optical flow; preconditioned iteration 第一作者：李秋宇(1993-)，男，安徽霍邱人，硕士研究生。主要研究方向为计算机视觉、深度学习。E-mail：lqy@https://www.doczj.com/doc/618289699.html, 通信作者：詹曙(1968-)，男，安徽合肥人，教授，博士。主要研究方向为三维人脸图像分析和识别、医学影像分析和医学成像系统。 E-mail：shu_zhan@https://www.doczj.com/doc/618289699.html, 万方数据
Web3.0的到来后基于互联网营销模式层出不穷，seo就是其中一块炙手可热的领域。本人对百度算法跟踪研究已近5年的时间，我主要从事的是算法逆向，一直以来，也跟着我现在所在的网彩传播得SEO团队一起，也就是通过一些相关指标来判断百度排名规则。 在叙述百度算法之前我先讲一下我在前不久之前看到百度搜索研发部博客中的一篇文章《浅谈网页搜索排序中的投票模型》里面叙述了美国的选举制度，这其实就是百度的其中一种投票体系的原型，我是这么认为的。用一张简单的图来阐述一下整个过程： 看了上图我相信大家都应该明白，排序的残产生应该是在“总数据库”和百度服务器之间发生的变化，百度蜘蛛会采集很多内容回来，全部存放入总服务器，总服务器通过规则判断筛选后最终在web 服务器上放出页面给出排序，其实就是在“总数据库”发生了一些列的算法变化。当然我这边阐述的内容中的各个服务器和名称全部是我个人定义，但基本的逻辑应该是如此的，按照数据分析的原则：数据收集——数据处理——数据分析仪——数据展现，其实就很能概括百度这一行为。 虽然百度一方面做着推广竞价，一方面又希望给广大用户一个良好的检索体验，可能很多seoer 又恨又爱，但是根据官方的各种文本我们还是姑且相信百度搜索研发部门还是希望给用户一个好的检索体验。 说到了这里我不得不用一张图来给大家展示一下，什么是金字塔模型：
看了这图后，可能有限人应该会有质疑，这很像漏斗原理，对！没错，就跟漏斗原理很像，但是没用金字塔来的励志，大家都希望能够获得金字塔最高峰。 排序筛选过程又是如何的呢？我们引用一下百度搜索研发部文章内的一段内容： “系统里有n个网页，有m个特征（页面质量、页面内容丰富度、页面超链、文本相关性等）对n个网页有不同的打分，如何根据这些特征的”投票“，选出最适合放在第一位的网页呢？ 从选举的例子中，我们可以得到的几个启示： 1. 设计算法时，要避免出现“赢者通吃”带来的信息丢失问题。 2. 不要因为某几个特征特别好，就把某个网页排到最前，或者因为某几个特征特别差，就把某个网页抛弃。 3. 最合适放在首位的网页不一定是在每个特征上都最好，而应该是能够兼顾所有特征，综合表现最好的那个。 4. 搜索引擎使用者对搜索结果的点击行为，可以看成是对搜索结果进行的“投票”，这样的“投票”信息的使用方式，也要注意考虑是否会带来选举过程中出现的种种不合理。
光流的概念是Gibson在1950年首先提出来的。它是空间运动物体在观察成像平面上的像素运动的瞬时速度，是利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到上一帧跟当前帧之间存在的对应关系，从而计算出相邻帧之间物体的运动信息的一种方法。一般而言，光流是由于场景中前景目标本身的移动、相机的运动，或者两者的共同运动所产生的。其计算方法可以分为三类：（1）基于区域或者基于特征的匹配方法； （2）基于频域的方法； （3）基于梯度的方法； 简单来说，光流是空间运动物体在观测成像平面上的像素运动的“瞬时速度”。光流的研究是利用图像序列中的像素强度数据的时域变化和相关性来确定各自像素位置的“运动”。研究光流场的目的就是为了从图片序列中近似得到不能直接得到的运动场。 光流法的前提假设： （1）相邻帧之间的亮度恒定； （2）相邻视频帧的取帧时间连续，或者，相邻帧之间物体的运动比较“微小”；（3）保持空间一致性；即，同一子图像的像素点具有相同的运动 这里有两个概念需要解释： 运动场，其实就是物体在三维真实世界中的运动； 光流场，是运动场在二维图像平面上的投影。
如上图所示，H中的像素点(x,y)在I中的移动到了(x+u,y+v)的位置，偏移量为(u,v)。 光流法用于目标检测的原理：给图像中的每个像素点赋予一个速度矢量，这样就形成了一个运动矢量场。在某一特定时刻，图像上的点与三维物体上的点一一对应，这种对应关系可以通过投影来计算得到。根据各个像素点的速度矢量特征，可以对图像进行动态分析。如果图像中没有运动目标，则光流矢量在整个图像区域是连续变化的。当图像中有运动物体时，目标和背景存在着相对运动。运动物体所形成的速度矢量必然和背景的速度矢量有所不同，如
function Y = fuse_lap(M1, M2, zt, ap, mp) %Y = fuse_lap(M1, M2, zt, ap, mp) image fusion with laplacian pyramid % % M1 - input image A % M2 - input image B % zt - maximum decomposition level % ap - coefficient selection highpass (see selc.m) % mp - coefficient selection base image (see selb.m) % % Y - fused image % (Oliver Rockinger 16.08.99) % check inputs M1=imread('F:/w1.bmp'); M2=imread('F:/w2.bmp'); [z1 s1] = size(M1); [z2 s2] = size(M2); z=min(z1,z2); s=min(s1,s2); Ma1=M1(1:z,1:s); Ma2=M2(1:z,1:s); [Z1 S1]=size(Ma1); [Z2 S2]=size(Ma2) if (Z1 ~= Z2) || (S1 ~= S2) error('Input images are not of same size'); end; M1=double(Ma1)/255; M2=double(Ma2)/255; % define filter mp=1;ap=1;zt=6; w = [1 4 6 4 1] / 16; % cells for selected images E = cell(1,zt); % loop over decomposition depth -> analysis for i1 = 1:zt % calculate and store actual image size [z s] = size(M1); zl(i1) = z; sl(i1) = s; % check if image expansion necessary if (floor(z/2) ~= z/2), ew(1) = 1; else ew(1) = 0; end;
基于opencv中光流法的运动 行人目标跟踪与检测 一、课题研究背景及方法 行人检测具有极其广泛的应用：智能辅助驾驶，智能监控，行人分析以及智 能机器人等领域。从2005年以来行人检测进入了一个快速的发展阶段，但是也存在很多问题还有待解决，个人觉得主要还是在性能和速度方面还不能达到一个权衡。 早期以静态图像处理中的分割、边缘提取、运动检测等方法为主。例如 （1）以Gavrila为代表的全局模板方法：基于轮廓的分层匹配算法，构造了将近2500个轮廓模板对行人进行匹配, 从而识别出行人。为了解决模板数量众多而引起的速度下降问题，采用了由粗到细的分层搜索策略以加快搜索速度。另外，匹配的时候通过计算模板与待检测窗口的距离变换来度量两者之间的相似性。 （2）以Broggi为代表的局部模板方法：利用不同大小的二值图像模板来对人头和肩部进行建模，通过将输入图像的边缘图像与该二值模板进行比较从而识别行人，该方法被用到意大利Parma大学开发的ARGO智能车中。 （3）以Lipton为代表的光流检测方法：计算运动区域内的残余光流； （4）以Heisele为代表的运动检测方法：提取行人腿部运动特征； （5）以Wohler为代表的神经网络方法：构建一个自适应时间延迟神经网络来判断是否是人体的运动图片序列； 以上方法，存在速度慢、检测率低、误报率高的特点。 2、行人检测的研究现状
（1）基于背景建模的方法：分割出前景，提取其中的运动目标，然后进一步 提取特征，分类判别；在存在下雨、下雪、刮风、树叶晃动、灯光忽明忽暗等场 合，该方法的鲁棒性不高，抗干扰能力较差。且背景建模方法的模型过于复杂，对 参数较为敏感。 （2）基于统计学习的方法：根据大量训练样本构建行人检测分类器。提取的 特征一般有目标的灰度、边缘、纹理、形状、梯度直方图等信息，分类器包括神经 网络、SVM，adaboost等。该方法存在以下难点： （a）行人的姿态、服饰各不相同； （b）提取的特征在特征空间中的分布不够紧凑； （c）分类器的性能受训练样本的影响较大； （d）离线训练时的负样本无法涵盖所有真实应用场景的情况； 尽管基于统计学习的行人检测方法存在着诸多的缺点，但依然有很多人将注 意力集中于此。 行人检测国外研究情况： 法国研究人员Dalal在2005的CVPR发表的HOG+SVM的行人检测算法(Histograms of Oriented Gradients for Human Detection, Navneet Dalel,Bill Triggs, CVPR2005)。 Dollar 在 2010 年 BMVC 的《The fastest pedestrian detector in the west》一文中提出了一种新的思想，这种思想只需要训练一个标准 model,检测N/K（K ≈10）然后其余的 N-N/K 种大小的图片的特征不需要再进行这种复杂的计算，而是跟据这 N/K 次的结果，由另外一种简单的算法给估计出来，这种思 想实现的基础是大小相近的图像的特征可以被足够精确的估计出来；同年，德国
光流法 光流是一种简单实用的图像运动的表达方式，通常定义为一个图像序列中的图像亮度模式的表观运动，即空间物体表面上的点的运动速度在视觉传感器的成像平面上的表达。 中文名：光流法属于:简单实用的图像运动 表示:一种几何变化分为:匹配的方法频域的方法梯度的方法 人类主要通过眼睛，耳朵和大脑来获取、处理与理解获得的信息。然而图像具有最直观、明了、让人一看就懂的特质，因为人们获取信息70%以上依靠视觉，20%左右依靠听觉，10%左右依靠触觉和嗅觉，这就是为什么“百闻不如一见”，一幅图像说明一切问题，胜过千言万语。 计算机视觉这一领域的先驱可追溯到很早的时候，但是直到20世纪70年代后期，当计算机的性能提高到足以处理诸如图像这样的大规模数据时，计算机视觉才得到了正式的关注和发展。计算机视觉就是用各种成象系统代替视觉器官作为输入敏感手段，由计算机来代替大脑完成处理和解释，也包括对视觉信息的采集，传输，处理，存储与理解等过程。计算机视觉最终研究目标就是使计算机能像人那样通过视觉观察和理解世界，具有自主适应环境的能力，要经过长期的努力才能达到的目标。因此，在实现最终目标以前，人们努力的中期目标是建立一种视觉系统，这个系统能依据视觉敏感和反馈的某种程度的智能完成一定的任务。计算机视觉应用领域较广泛，包括航空航天、卫星照片、军事导弹精确制导、移动机器人视觉导航、工业自动化系统、医学辅助诊断等。 计算机视觉系统的结构形式很大程度上依赖于其具体应用方向。有些是独立工作的，用于解决具体的测量或检测问题，也有些作为某个大型复杂系统的组成部分出现，比如工业控制系统，汽车导航系统。计算机视觉系统的具体实现方法同时也由其功能决定，有些是预先固定的，有些是在运行过程中自动学习调整。尽管如此，以下几个功能却几乎是每个计算机系统都需要具备的。 图像获取，一幅数字图像是由一个或多个图像感知器产生的，例如摄像机，红外遥感摄像仪，雷达，超声波接收器等，所产生的图片包括二维图像，三维图像或者一个图像序列。 预处理，在对图像实施具体的计算机视觉方法来提取某种特定的信息前，首先通过一种或一些方法预先对图像进行处理，以满足后继图像处理的要求，包括二次取样，平滑去噪，提高对比度等。 特征提取，是使用计算机提取图像信息，检查每个像素确定该像素是否代表一个特征，例如边缘提取，边角检验，斑点检验。图像分割，对图像进行分割来提取有价值的信息用于后继处理的部分。 光流法的基本原理
金字塔LK光流算法 constint MAX_CORNERS = 500; void CImageExampleDlg::OnBnClickedButton8() { // TODO: Add your control notification handler code here IplImage* imgA = cvLoadImage("F://program//Book//Chapter4//OpticalFlow0.jpg",CV_LOAD_IMAGE_GRAYSCALE); IplImage* imgB = cvLoadImage("F://program//Book//Chapter4//OpticalFlow1.jpg",CV_LOAD_IMAGE_GRAYSCALE); CvSizeimg_sz = cvGetSize( imgA ); int win_size = 10; IplImage* imgC = cvLoadImage("F://program//Book//Chapter4//OpticalFlow1.jpg",CV_LOAD_IMAGE_UNCHANGED); // The first thing we need to do is get the features // we want to track. // IplImage* eig_image = cvCreateImage( img_sz, IPL_DEPTH_32F, 1 ); IplImage* tmp_image = cvCreateImage( img_sz, IPL_DEPTH_32F, 1 ); int corner_count = MAX_CORNERS; CvPoint2D32f* cornersA = new CvPoint2D32f[ MAX_CORNERS ]; cvGoodFeaturesToTrack( imgA, eig_image, tmp_image, cornersA, &corner_count, 0.01, 5.0, 0, 3, 0, 0.04 ); cvFindCornerSubPix( imgA, cornersA, corner_count, cvSize(win_size,win_size), cvSize(-1,-1), cvTermCriteria(CV_TERMCRIT_ITER|CV_TERMCRIT_EPS,20,0.03) ); // Call the Lucas Kanade algorithm // char features_found[ MAX_CORNERS ]; float feature_errors[ MAX_CORNERS ]; CvSizepyr_sz = cvSize( imgA->width+8, imgB->height/3 ); IplImage* pyrA = cvCreateImage( pyr_sz, IPL_DEPTH_32F, 1 ); IplImage* pyrB = cvCreateImage( pyr_sz, IPL_DEPTH_32F, 1 ); CvPoint2D32f* cornersB = new CvPoint2D32f[ MAX_CORNERS ]; cvCalcOpticalFlowPyrLK( imgA,