GIST特征提取的异构并发流计算实现

ＣｏｍｐｕｔｅｒＥｎｇｉｎｅｅｒｉｎｇａｎｄＡｐｐｌｉｃａｔｉｏｎｓ计算机工程与应用　２０１５，５１（６）　１３９　

ＧＩＳＴ特征提取的异构并发流计算实现　

仲济源，梅魁志，温哲西　

ＺＨＯＮＧ　Ｊｉｙｕａｎ，ＭＥＩ　Ｋｕｉｚｈｉ，ＷＥＮ　Ｚｈｅｘｉ　

西安交通大学电子与信息工程学院，西安７　１　００４９　

Ｓｃｈｏｏｌ　ｏｆ　Ｅｌｅｃｔｒｏｎｉｃ　ａｎｄ　Ｉｎｆｏｒｍａｔｉｏｎ　Ｅｎｇｉｎｅｅｒｉｎｇ，Ｘｉ’ａｎ　Ｊｉａｏｔｏｎｇ　Ｕｎｉｖｅｒｓｉｔｙ，Ｘｉ’ａｎ　７　１　００４９，Ｃｈｉｎａ　

ＺＨＯＮＧ　Ｊｉｙｕａｎ，ＭＥＩ　Ｋｕｉｚｈｉ，ＷＥＮ　Ｚｈｅｘｉ．Ｐａｒａｌｌｅｌ　ｓｔｒｅａｍ　ｃｏｍｐｕｔｉｎｇ　ｉｍｐｌｅｍｅｎｔａｔｉｏｎ　ｏｆ　ＧＩＳＴ　ａｌｇｏｒｉｔｈｍ　ｏｎ　ｈｅｔｅｒｏ－　ｇｅｎｅｏｕｓ　ｐｌａｔｆｏｒｍ．Ｃｏｍｐｕｔｅｒ　Ｅｎｇｉｎｅｅｒｉｎｇ　ａｎｄ　Ａｐｐｌｉｃａｔｉｏｎｓ，２０１５，５１（６）：１３９－１４４．　

Ａｂｓｔｒａｃｔ：Ｔｏ　ｅｘｔｒａｃｔ　ｔｈｅ　ｇｌｏｂａｌ　ｆｅａｔｕｒｅ　ｏｆ　ＧＩＳＴ，ａ　ｈｅｔｅｒｏｇｅｎｅｏｕｓ　ＣＰＵ＋ＧＰＵ　ｃｏｌｌａｂｏｒａｔｉｖｅ　ｃｏｍｐｕｔｉｎｇ　ａｎｄ　ｏｐｔｉｍｉｚａｔｉｏｎ　ｉｓ　

ｆｉｒｓｔｌｙ　ｉｍｐｌｅｍｅｎｔｅｄ：ＣＰＵ　ｉｓ　ｕｓｅｄ　ｔｏ　ｃｏｍｐｌｅｔｅ　ｔｈｅ　ｔａｓｋｓ　ｏｆ　ｓｍａｌｌ　ａｍｏｕｎｔ　ｏｆ　ｃａｌｃｕｌａｔｉｏｎｓ　ａｎｄ　ｉｒｒｅｇｕｌａｒ　ｄａｔａ　ｏｐｅｒａｔｉｏｎｓ，ｓｕｃｈ　

ａｓ　ｉｍａｇｅ　ｑｕａｎｔｉｚａｔｉｏｎ　ａｎｄ　ｌｉｎｅａｒ　ｅｘｔｅｎｓｉｏｎ，ｗｈｉｌｅ　ｕｓｉｎｇ　ＧＰＵ　ｔｏ　ｃｏｍｐｌｅｔｅ　ｔｈｅ　ｔａｓｋｓ　ｗｉｔｈ　ｃｏｍｐｕｔｅ—ｉｎｔｅｎｓｉｖｅ　ａｎｄ　ｈｉｇｈｌｙ　ｐａｒ－　ａｌｌｅｌ　ｄａｔａ　ｏｐｅｒａｔｉｏｎｓ，ｓｕｃｈ　ａｓ　ｆｉｌｔｅｒｉｎｇ，Ｇａｂｏｒ　ｆｅａｔｕｒｅ　ｅｘｔｒａｃｔｉｎｇ　ａｎｄ　ｄｉｍｅｎｓｉｏｎ　ｒｅｄｕｃｉｎｇ．Ｆｏｒ　ｐｒｏｃｅｓｓｉｎｇ　ｉｍａｇｅ　ｓｅｑｕｅｎｃｅｓ，　

ｔｈｅ　ｔｈｒｅａｄ　ｐｏｏｌ　ｔｅｃｈｎｏｌｏｇｙ　ｉｓ　ｉｎｔｒｏｄｕｃｅｄ　ｏｎ　ｔｈｅ　ＣＰＵ　ｓｉｄｅ．Ｔｈｒｏｕｇｈ　ｔｈｅ　ｕｓｅ　ｏｆ　ｅａｃｈ　ｔｈｒｅａｄ　ｂｉｎｄｉｎｇ　ａ　ＣＵＤＡ　ｓｔｒｅａｍ　ｆｏｒ　ｏｎｅ　ｉｍａｇｅ，ｔｈｅ　ｐａｒａｌｌｅｌ　ｓｔｒｅａｍ　ｃｏｍｐｕｔｉｎｇ　ｆｏｒ　ｍｕｌｔｉｐｌｅ　ｉｍａｇｅｓ　ｂｅｔｗｅｅｎ　ＣＰＵ　ａｎｄ　ＧＰＵ　ａｎｄ　ｔｈｅ　ｓｔｒｅａｍｉｎｇ　ｄａｔａ　ｔｒａｎｓｍｉｓｓｉｏｎ　

ｄｅｌａｙ　ｈｉｄｄｅｎ　ａｒｅ　ａｃｈｉｅｖｅｄ．Ｍｏｒｅｏｖｅｒ　ｔｈｒｅａｄ　ｐｏｏｌ　ｔｅｃｈｎｏｌｏｇｙ　ａｌｓｏ　ｏｆｆｅｒｓ　ｔｈｅ　ｍｅｔｈｏｄｓ　ｏｆ　ｔｈｒｅａｄ　ｐｒｅ—ｃｒｅａｔｉｎｇ，ｐｒｅ－ａｌｌｏｃａｔｉｎｇ　ｏｆ　ｒｅｓｏｕｒｃｅｓ　ａｎｄ　ｒｕｎｎｉｎｇ　ｔｈｒｅａｄ　ｎｕｍｂｅｒ　ｃｈａｎｇｉｎｇ　ｏｎ　ｒｅｓｏｕｒｃｅ，ｗｈｉｃｈ　ｃａｎ　ｉｍｐｒｏｖｅ　ｔｈｅ　ｃｏｍｐｕｔｉｎｇ　ｅｆｆｉｃｉｅｎｃｙ　ｏｆ　ＧＰＵ　

ｓｃｈｅｄｕｌｅｄ　ｂｙ　ｔｈｅ　ＣＰＵ．Ｕｎｄｅｒ　ｔｈｅ　ｓａｍｅ　ｃｏｍｐｕｔｉｎｇ　ａｃｃｕｒａｃｙ，ｅｘｐｅｒｉｍｅｎｔｓ　ｓｈｏｗ　ｔｈａｔ　ＧＩＳＴ　ｉｍｐｌｅｍｅｎｔａｔｉｏｎ　ｏｎ　ｈｅｔｅｒｏｇｅ－　

ｎｅｏｕｓ　ｃｏｍｐｕｔｉｎｇ　ｐｌａｔｆｏｒｍｓ　ｆｏｒ　ｉｍａｇｅｓ　ｒｅａｃｈｅｓ　８．３５～９．３　１　ｔｉｍｅｓ　ｓｐｅｅｄｕｐ　ｏｆ　ｔｈｅ　ｒｕｎｎｉｎｇ　ｏｎ　ｔｒａｄｉｔｉｏｎａｌ　ＣＰＵ　ｐｌａｔｆｏｒｍ．ａｎｄ　ｈａｓ　ａｎ　ｕｐｇｒａｄｉｎｇ　ｒａｔｅ　ｏｆ　１０．０％－３７．２％ｆｏｒ　ｉｍａｇｅ　ｓｅｑｕｅｎｃｅｓ　ｄａｔａ　ｗｈｉｌｅ　ｕｓｉｎｇ　ｔｈｅ　ｔｈｒｅａｄ　ｐｏｏ１．　

Ｋｅｙ　ｗｏｒｄｓ：ＧＩＳＴ；Ｃｏｍｐｕｔｅ　Ｕｎｉｆｉｅｄ　Ｄｅｖｉｃｅ　Ａｒｃｈｉｔｅｃｔｕｒｅ（ＣＵＤＡ）；ｔｈｒｅａｄ　ｐｏｏｌ；ｈｅｔｅｒｏｇｅｎｅｏｕｓ　ｃｏｍｐｕｔｉｎｇ　

摘要：针对图像ＧＩＳＴ全局特征提取算法的计算任务，实现了ＣＰＵ＋ＧＰＵ异构协同计算与优化：使用ＣＰＵ完成图像　量化、线性延拓等小计算量、不规则的数据运算，使用ＧＰＵ完成滤波、Ｇａｂｏｒ特征提取、降维等计算密集、高度并行的　

数据运算。面向图像序列的计算扩展，在ＣＰＵ端引入线程池技术，通过每个线程都绑定一个ＣＵＤＡ流处理一幅图像　

的方法，实现了多幅图像并发流处理和流内数据传输延时的隐藏；利用线程池技术提供线程预创建、资源预分配及　

根据资源消耗情况的线程数量动态增减等方法，提高了ＣＰＵ对ＧＰＵ计算资源的调度使用效率。实验结果表明，在　保证同等精度的前提下，基于异构计算平台的图像ＧＩＳＴ特征提取方法相比传统ＣＰＵ平台达到８．３５～９．３１倍的加速　

比，在使用线程池之后算法处理图像序列数据时速度进一步提升１０．０％～３７．２％。　

关键词：ＧＩＳＴ特征；统一计算设备架构（ＣＵＤＡ）；线程池；异构计算　

文献标志码：Ａ　中图分类号：ＴＰ３９１．４　ｄｏｉ：１０．３７７８／ｊ．ｉｓｓｎ．１００２．８３３１．１４０７．０４９０　

１　引言　图像特征提取是目标识别、场景分类等计算机视觉　

应用的重要任务，其算法复杂且计算量较大，因此对计　

算能力提出了更高的要求。由于受到传统ＣＰＵ架构的　限制，单纯通过增加内核数量已经不能显著提升ＣＰＵ　

计算性能　】，而ＧＰＵ强大的并行计算能力为包括图像特　

征提取算法在内的高计算并行度任务提供了良好的实　现平台，其计算优势体现为：ＧＰＵ采用的ＳＩＭＴ（Ｓｉｎｇｌｅ　

Ｉｎｓｔｒｕｃｔｉｏｎ　Ｍｕｌｔｉｐｌｅ　Ｔｈｒｅａｄｓ，单指令多线程）指令架构　

能够显著提升浮点计算能力。ＧＰＵ存储器层次更丰富、　

缓存体系更高效　，具有更强的数据吞吐能力等。　

异构协同计算系统由于结合了ＣＰＵ的逻辑处理能　

力和ＧＰＵ的并行计算能力等优点，在计算密集型任务　

中得到广泛应用。Ｓｉｎｈａ　ＳＮｔ　等实现了基于异构计算平　

基金项目：国家高技术研究发展计￣（８６３）（Ｎｏ．２０１２ＡＡ０１０９０４）；国家自然科学基金（Ｎｏ．６１３７５０２３）。　作者简介：仲济源（１９８９一），男，硕士；梅魁志，通讯作者，男，副教授，研究领域为图像／视觉信息处理，嵌入式系统软件及应用；　温哲西（１９９０一），男，硕士生。Ｅ—ｍａｉｌ：ｍｅｉｋｕｉｚｈｉ＠ｍａｉｌ．ｘｊｔｕ．ｅｄｕ．ｃｎ　收稿日期：２０１４．０８．０１　修回日期：２０１４—０９—１６　文章编号：１００２—８３３１（２０１５）０６．０１３９．

０６　ＣｏｍｐｕｔｅｒＥｎｇｉｎｅｅｒｉｎｇａｎｄＡｐｐｌｉｃａｔｉｏｎｓ计算机工程与应用　

台的ＳＩＦＴ［ｓ－６］算法，对分辨率为６４０￣４８０的图像相比ＣＰＵ　

平台获得了１０倍加速比，采用ＯｐｅｎＧＬ编程语言，其优　

点是可以跨平台，但代码执行效率不如ＣＵＤＡ架构。此　

外，异构计算也常用于加速计算机图形学算法，如凸包　

的并行化计算　等。　

Ｏｌｉｖａ和Ｔｏｒｒａｌｂａ提出的ＧＩＳＴ全局特征提取算法　，　

在场景分类应用中获得了较高的识别正确率。图像ＧＩＳＴ　

特征是一种基于全局信息的语义描述符，其核心是通过　

Ｇａｂｏｒ变换提取全局特征。Ｊａｉｎ等实现了基于异构计算　

平台的ＧＩＳＴ算法　，对分辨率为５１２×５１２的图像获得　

５．８倍加速比，但其使用的ＣＰＵ与ＧＰＵ具体性能参数未　

列出。Ｊｏｈｎｓｏｎ等利用ＣＵＤＡ平台，实现了基于ＧＩＳＴ特　

征的照片收集系统ｎ”，但未给出所测试图像集的图像数　

量和分辨率，无法得出其具体的加速指标。本文通过有　

效划分计算任务实现了单幅图像ＧＩＳＴ特征提取算法，　

在处理图像序列ＧＩＳＴ特征提取时，提出并引入网络服　

务器领域的线程池技术，在异构计算平台的两端同时实　

现并发处理，提高了ＣＰＵ对ＧＰＵ计算资源的调度效率。　

２　ＧＩＳＴ算法原理与异构计算平台实现　

２．１　ＧＩＳＴ全局特征提取算法原理　

ＧＩＳＴ算法对输入图像做滤波预处理后，利用多尺　度多方向（默认４个尺度８个方向）的Ｇａｂｏｒ滤波器组ｕ　。　

提取图像的全局特征，最后对特征降维得到１×５１２的向　量即为ＧＩＳＴ特征向量，其中Ｇａｂｏｒ滤波器特征提取（即　

Ｇａｂｏｒ变换）是整个算法的核心。　

本文使用的二维Ｇａｂｏｒ变换核函数（即二维高斯包　

络下的复变函数波），其定义式为：　

ｇ　（ｘ，　）＝ａ－ｒａｇ　．　．　（　，Ｙ　）　（１）　

＝　唧　善＋舌　

＝ａ－ｍ　ｘ・ＣＯＳ０＋　・ｓｉｎ０）　（３）　

Ｙ　＝ａ－ｍ（一　・ｓｉｎＯ＋ｙ・ＣＯＳ０１　（４）　

其中，０＝ｎｎ／ｋ，ｎ　ｅ［ｏ，ｋ］；ａ＞１，ｍ　ｅ［ｏ，Ｓ］；ｋ为总方向个　

数，Ｓ为总尺度个数；ａ　为尺度变换系数。通过改变ｍ，　

ｎ的取值，即可获得一组尺度和方向均不同的滤波器。　

在Ｇａｂｏｒ变换具体实现时，本文采用将Ｇａｂｏｒ滤波　

器和图像数据经过快速傅里叶变换（ＦＦＴ）分别映射到　

频域，使用频域相乘代替时域卷积，可以降低计算量提　

高实时性。有：　

ｗ　＝　ｇ　＝ｉｆｆｔ（ｆｆｔ（Ｉ）・ｆｆｔ（　））　（５）　

其中，　为Ｇａｂｏｒ变换结果；　为预处理后图像数据；　

ｇ　为Ｇａｂｏｒ变换核函数。　

该算法中包含的图像傅里叶变换与反变换、滤波处　

理、Ｇａｂｏｒ滤波器组频域矩阵创建、３２次频域矩阵点乘、　降维等操作计算密集且高度并行，将其分配到ＧＰＵ完　成。算法中包含的图像量化、线性延拓等操作计算量小　

且不规则，将其分配到ＣＰＵ完成。　

２．２　ＧＩＳＴ算法的异构计算平台实现　

基于异构计算平台的单幅图像ＧＩＳＴ特征提取算法　

总体架构如图１所示。包括图像预处理、Ｇａｂｏｒ滤波器　

组创建、全局特征提取、降维四个模块，采用基于ＰＣＩ．ｅ　总线的数据传输通道串联异构计算系统的ＣＰＵ指令执　

行通道和ＧＰＵ指令执行通道。　

ＣＰＵ　

ＣＰＵ读图像　图像预处理　（ＣＰＵ处理部分）　

参数准备　核函数启动　

计算结果　存入文件　ＰＣＩ．ｅ总线　数据传输　核函数启动　［＝＝　

数据传输　垫　一一一一一一１／＞　

数据传输　Ｌ————］　＼ｒ———————一　ＧＰＵ　

图像预处理　（ＧＰＵ处理部分）　

构造Ｇａｂｏｒ滤　波器组频域矩阵　

全局特征提取　

降维得到　ＧＩＳＴ特征向量　

ＣＰＵ指令执行通道数据传输通道ＧＰＵ指令执行通道　图１　基于异构计算平台的ＧＩＳＴ算法总体设计　

２．２．１图像预处理　

图像预处理包括灰度化、像素点量化、线性延拓、滤　

波处理四个部分。其中线性延拓是指以图像边界为对　称轴做像素点的镜像映射，延拓图像以便后续滤波处　

理。灰度化、量化以及线性延拓虽然很容易提取并行性，　

但计算量不大，如若使用ＧＰＵ会带来额外开销（核函数　

启动延时，数据传输延时等），选择用ＣＰＵ来完成较合　

理，这可使ＣＰＵ与ＧＰＵ负载更加均衡。滤波处理包含　

两个步骤：第一步是低通滤波，去除高频成分，保留图像　

轮廓。第二步是局部对比度的归一化。算法根据线性　延拓之后的图像大小自适应确定滤波器的构造参数，这