camshift

0
0
0
0
0
0
0
0
0
总计点数为： 251980 个像素点， 而模板图片分辨率为 586*430， 586*430=251980； 在某些情况下也会近似相等， 这是因为在计算点的分布过程中有近似的过程，将 概率值进行四舍五入。
图 3.7 目标概率分布柱状图 将目标概率分布直方图以柱状图图的形式表示出来如图 3.7 所示，柱状图图的每 一区段颜色即为目标模板的颜色区段；
M pq x p y q * f x, y dxdy p, q 0,1,......
最常用的，物体的零阶矩表示了图像的“质量” ： （3.1）
M 00 f x, y dxdy
一阶矩 M 01 , M 10 用于确定图像质心 X c , Yc ：
初始化变 量，窗口
停止系 统？
Y
N
释放图像 获取图像
销毁窗口 释放图像 退出
显示图像
目标已 选定？
N
Y
重新选定 目标？
Y
显示图像
N
在图像中画 出目标 图像转换为 HSV颜色空间
选定 目标？
N
Y
获取图像 H分量 CamShift获取 目标，并更新 搜索窗口 获取初始搜索 框，获取目标区 域，转化为HSV 颜色空间
由窗口获取子图， 并计算子图零阶 矩，一阶矩二阶矩
窗口阶矩分别为： m00,m10,m01,m11,m20,m02
重新计算目 标中心
Xc=m10/m00+window.x Yc=m01/m00+window.y
自适应计算搜 索窗口长、 宽、方向
更新目标连通 区域，目标包 围窗口
图 3.11 CamShift 算法流程图 如图 3.11 所示的 CamShift 算法流程图， CamShift 可以分为两大部分， 第一部 分 MeanShift 查找目标（MeanShift 将在 3.4 中介绍） ，第二部分自适应调整搜索
图 3.1 HSV 标准色轮 如图 3.1 所示，HSV 色彩属性模式是根据色彩的三个基本属性：色度、饱和 度和明度来确定颜色的一种方法。 色度（Hue）是色彩的基本属性，就是平常所说的颜色名称，如红色、黄色 等，依照在上图的标准色轮上的位置，区 0-360 度的数值（也有用 0-100%的方 法确定的） 。 饱和度（Saturation）是指色彩的纯度，越高色彩越纯，越低则逐渐变灰，取 0-100%的数值。 明度（Value）也叫亮度，取 0-100%。 HSV 颜色模型在计算机图形学中有广泛的应用，在实际应用中，标准色轮经 常被用来描述 HSV 颜色模型。 在标准色轮中 H 是由圆环区域表示的， S 和 V 是由 三角形区域表示的。这样表示情况下，要表示一个特定的颜色，首先在圆环区域
一 二 三 图像处理： 3.1 基础知识介绍： 3.1.1HSV 颜色空间： 3.1.1.1 HSV 颜色空间介绍（圆锥图） ，选取 HSV 颜色空间原因（主要参考维基中文网： /w/index.php?title=HSV%E8%89%B2%E5%BD%A9%E5%B1%9 E%E6%80%A7%E6%A8%A1%E5%BC%8F&variant=zh-tw ； /wiki/HSL_and_HSV）
迭代次数> 终止次数
Y
N
计算初始搜索 框零阶矩，一 阶矩
更新目标连 通区域
终止 计算目标中 心偏移量
根据新的目标 中心调整搜索 窗口
N
目标中心偏移量 <终止精度
Y
终止
图 3.12 MeanShift 流程图 如图 3.12 所示， MeanShift 算法为不断计算搜索窗口中心， 移动搜索窗口的过程； 3.4.2 MeanShift 运行过程为：
选定 H 值，然后在三角形区域中选择 V 和 S，就可以得到一种颜色的 HSV 描述。 3.1.1.2HSV 颜色空间示例：
（a）RGB 颜色空间下原图像
（b）HSV 颜色空间下 H 分量
（c）HSV 颜色空间下 S 分量
（d）HSV 颜色空间下 V 分量
图 3.2 HSV 颜色空间示例 如图 3.2 给出了在 RGB 颜色空间下的一幅图像以及该图像的 H、S、 V 分量的图像。 3.1.1.3 采用 HSV 颜色空间原因： 由于 RGB 色彩空间对光照亮度变化比较敏感， 为了减少光照亮度变化对跟踪 效果的影响， 本文所采用的 CamShift 算法要求将图像由 RGB 色彩空间转换为 HSV 色彩空间后进行处理。 3.1.2 图像阶矩（参考 Visual Pattern Recognition by Moment Invariants） 矩矩在统计学中被用来反映随机变量的分布情况，推广到力学中，它被用作 刻画空间物体的质量分布。 同样的道理，如果我们将图像的灰度值看作是一个二 维或三维的密度分布函数， 那么矩方法即可用于图像分析领域并用作图像特征的 提取。 在图像处理中，矩特征主要表征了图像区域的几何特征,又称为几何矩，由于 其具有旋转、平移、尺度等特性的不变特征，所以又称其为不变矩。在图像处理 中， 几何不变矩可以作为一个重要的特征来表示物体，可以据此特征来对图像进 行分类等操作。 如果将图像的灰度值看作是一个三维的概率密度分布函数 f x, y ， 那么该图 像的 p q 阶几何距可以定义为
输入：方向投影 图，初始搜索框， 目标连通区域，搜 索终止条件
初始化相关 变量
MeanShift方 法查找目标
放大包围目 标的窗口
Window.X-tolerance Window.Y-tolerance Width+2*tolerance Height+2*tolerance 这里tolerance为十个像素点
根据目标颜色 概率分布计算 图像方向投影
根据H分量计 算目标颜色 概率分布
图 3.3 图像处理流程图 3.2.2 图像处理流程概述
图 3.4 RGB 颜色空间下原图像 首先，通过摄像头拍照采集图像，采集到的图像在 RGB 颜色空间中表示如图 显示出来如图 3.4 所示；
图 3.5ቤተ መጻሕፍቲ ባይዱ目标模板放大图像 然后， 在原图像中选定一块区域作为目标模板，放大后的图像如图 3.5 所示；
图 3.10 CamShift 查找到目标图 根据图像方向投影图，以及给定的搜索终止条件、初始搜索框，对二值图像进行 CamShift 搜索目标，搜索到目标后保存目标图像坐标，并在图像中将目标画出 来，如图 3.10 所示。在图 3.10 中，红色椭圆为搜索到目标的椭圆形包围圈，黑 色框为初始搜索框，蓝色框为下一次搜索的初始搜索框，白色框为 MeanShift 搜索到的包围框，绿色框为 CamShift 搜索到目标的包围框。 这样就完成了一次搜索目标的整个过程， 在以后的搜索目标过程中只需要采用第 一次计算得到的目标模板概率分布即可，而初始搜索框采用上一次 CamShift 得 到的蓝色搜索框即可。 下面将分别介绍 CamShift 算法以及 CamShift 算法中用到的 MeanShift 算法。 3.3 CamShift 算法： 3.3.1 CamShift 算法流程为：
图 3.6 HSV 颜色空间下目标模板图像 接着，将目标模板图像转换为 HSV 颜色空间下，目标模板 HSV 图像如图 3.6 所示； 根据目标模板 H 分量计算概率分布， 概率分布即为对应某一段颜色区域目标 模板中点的个数，该模板对应的概率分布如表 3.1 所示； 表 3.1 目标模板像素点点分布表 89474 160681 1825 0 0 0 0
图 3.8 HSV 颜色空间下原图像 同样的，将原图像转换为 HSV 颜色空间如图 3.8 所示； 接下来根据目标模板颜色概率分布直方图和原图像的 H 分量计算图像方向投影 图，将图像参考目标颜色转换为二值图像：
图 3.9 原图像反向投影图 如图 3.9 显示了原图像的反向投影图，对比图 3.4 和图 3.9，图 3.9 中白色的点 为颜色与模板颜色相近的点；
2
2
（3.8）
对每一幅图像来说，先采用 MeanShift 算法计算出目标包围窗口，再通过公式 （3.5）-（3.8）的方法自适应的计算出下一幅图像的初始搜索窗口的长和宽。 3.4 3.4.1 MeanShift 算法： MeanShift 算法流程图
输入方向投影 图，初始搜索 框，终止条件
初始化变量
图 3.13 MeanShift 算法第一张图像 如图 3.13 显示了 MeanShift 算法的第一张图像， 图中白色方框即为初始搜索框， 初始搜索框是预先给定的；
M 20 x 2 I x, y ; M 02 y 2 I x, y
x y x y
（3.5）
目标主轴（图 3.10 中椭圆主轴）方向角为：
M 2 11 X cYc M 00 arctan M 2 M 02 2 20 X Y c c M 00 M 00 2 M a 20 X c2 M 00
（3.2）
X M 10 M 00 c Yc M 01 M 00
若将坐标原点移至 X c , Yc 处，就得到图像的中心矩：
U pq x X c * y Yc * f x, y dxdy
p q
（3.3）
（3.4）
这些矩都满足图像平移、伸缩和旋转不变性。 3.2 图像处理整体流程 3.2.1 图像处理整体流程图如图 3.3 所示；
窗口的长、宽、方向，本章节主要介绍 CamShift 的自适应过程。 3.3.2 CamShift 算法概述（参考 基于 CamShift 的目标跟踪算法） 近年来，MeanShift 算法以其无需参数、快速模式匹配的特性被广泛应用到 目标跟踪领域。 但是 MeanShift 算法缺乏必要的模型更新，其固定不变的核函数 窗宽影响了跟踪的准确性， 在目标存在明显尺度变化时， 会导致尺度定位不准确， 甚至造成目标的丢失。 针对以上问题，Bradski 提出了 CamShift(continuously adaptive mean shift)算法，该算法是以颜色直方图为目标模式的目标跟踪算法。与 MeanShift 算法相比，CamShift 算法能够自动调节窗口大小以适应被跟踪目标在图像中的 大小，然而该算法也有不足之处，在大面积颜色干扰情况下,该算法不能实现有 效的跟踪. MeanShift 是为了静态的概率分布而设计的算法， 而 CamShift 是为了动态的 概率分布而设计的算法。将二者结合起来，对于一个图像序列来说，概率分布是 动态的，采用 CamShift 查找这些图像序列中的目标，对于序列中的一幅图像来 说，概率分布是静态的，采用 MeanShift 查找这幅图像中的目标。这样就可以实 现实时的搜索目标在图像中的坐标。 对本文来说之所以采用 CamShift 这种方法是因为 CamShift 方法运算效率高, 编程实现较为简单,并且目标是颜色一致的球体,在球体颜色与周围环境能够明 显区分时能够获得较好的效果. 是一种应用颜色信息的跟踪算法,在跟踪过程 中,CamShift 利用目标的颜色直方图模型得到每帧图像的颜色投影图,并根据上 一帧的结果自适应调整搜索窗口的位置和大小,从而使得当前图像中目标的尺寸 和中心位置. 3.3.3 CamShift 算法自适应调整搜索窗口过程（参考 Computer Vision Face Tracking For Use in a Perceptual User Interface） 对于图像 I x, y （反向投影图）来说，图像二阶矩为：