在windows下Sphinx\Coreseek的配置安装与测试
一、安装：
1. 安装Python
2.6 Windows (x86)（必须，32位系统和64位系统均安装该版本）：
从ActiveState官方网站下载ActivePython 2.6 Windows (x86)，然后安装；
您也可从华军软件园下载ActivePython 2.6 Windows (x86)，然后安装；
2. 安装 Microsoft Visual C++ 2005 Redistributable Package (x86)（必须，32位系统和64位系统均安装该版本）：
从微软官方网站下载Microsoft Visual C++ 2005 Redistributable Package (x86)，然后安装；
3. 安装 Coreseek-3.2.13（必须）：【2010年11月14日更新，支持命令行中文搜索测试】
从Coreseek官方网站下载
https://www.doczj.com/doc/ce11104860.html,/uploads/csft/3.2/coreseek-3.2.13-win32.zip
解压coreseek-3.2.13-win32.zip到coreseek-3.2.13-win32目录，重命名为sphinx，任意存放。
二、coreseek中文全文检索测试
直接运行coreseek-3.2.13-win32目录下的test.cmd文件，如果没出任何问题，则一切测试正常，相关手工命令测试请访问：
https://www.doczj.com/doc/ce11104860.html,/products-install/install_on_windows/
三、部分命令的说明使用
这一切命令的输入都在“cmd命令提示符”窗口里操作，假如：把sphinx目录放在D盘下，以下的所有例子将以这路径操作，不再说明。
1)、创建全部索引：
（注：这里的索引不是数据库里的索引，是不同的概念，这只对于coreseek
而言，别混淆）
bin\indexer –c etc\csft_mysql.conf --all
备注：其中etc\csft_mysql.conf就是刚才的配置文件相对路径；如果修改了数据库中的数据，则要重建索引，类似于刷新，因为创建索引后会自动把数据库中的数据存储到内存中，所以必须重建索引。
2)、创建个别索引：
bin\indexer –c etc\csft_mysql.conf 索引名称1 索引名称2 …
3)、启动搜索服务：
bin\searchd –c etc\csft_mysql.conf --console
备注：启动服务后，当前的cmd窗口不能使用，使用搜索服务时不能关掉窗口，如想在cmd窗口中进行操作，可另打开一个cmd窗口。
4)、停止搜索服务：
直接Ctrl+C
5)、搜索关键字：
bin\search –c etc\csft_mysql.conf –a 关键字1 关键字2 …
四、连接mysql数据库及搜索内容：
在etc\下有两个配置文件csft.conf 和csft_mysql.conf ，其中第一个是测试安装成功与否，跟数据库无关；第二个是与数据库连接，相关参数大家可以用编辑器打开参考（建议不要用记事本）；往后要配置自己的文件，可以参考
csft_mysql.conf文件内容的格式，往下我们以例子讲解。
1、创建数据库test ，编码为utf-8，数据库SQL脚本如下：
（如果不懂得这一步的，可以去参数有关mysql数据库资料）
CREATE TABLE test.documents
(
id INTEGER PRIMARY KEY NOT NULL AUTO_INCREMENT,
group_id INTEGER NOT NULL,
group_id2 INTEGER NOT NULL,
date_added DATETIME NOT NULL,
title VARCHAR(255) NOT NULL,
content TEXT NOT NULL
);
REPLACE INTO test.documents ( id, group_id, group_id2, date_added, title, content ) VALUES
( 1, 1, 5, NOW(), '测试文档第一条', 'this is my test document number one. also checking search within phrases.' ),
( 2, 1, 6, NOW(), '测试文档第二条', 'this is my test document number two' ),
( 3, 2, 7, NOW(), '其它文档', 'this is another group' ),
( 4, 2, 8, NOW(), '第四条文档', 'this is to test groups' );
2、配置数据库文件，这里使用官方准备好的配置文件csft_mysql.conf ，里
面已配置好与数据库test连接，及对数据表的查询等。
详细说明请访问官网：https://www.doczj.com/doc/ce11104860.html,/products-install/mysql/ 3、创建索引，这里创建csft_mysql.conf配置中的全部索引
在cmd中输入bin\indexer –c etc\csft_mysql.conf --all
成功创建索引后的信息
4、启动coreseek搜索服务
在cmd中输入bin\searchd –c etc\csft_mysql.conf --console
成功启动服务后的信息
5、实现搜索功能
在documents表中，搜索字段content中的内容含有“document”字符串的记录
在另一个cmd中输入bin\search –c etc\csft_mysql.conf –a document
搜索后显示的信息
这里把搜索到的记录信息显示出来，其中title=?????? ，这是乱码问题，具体解决方法可以参考官方资料，这里不详细说明。
五、PHP与coreseek检索引擎实现搜索
如果要将搜索结果应用到自己的PHP程序之中，请使用api目录下对应的api 接口测试。
1、将api目录下的sphinxapi.php 文件拷贝到PHP网站的目录下，这里我把它放在根目录下。
2、在根目录下创建index.php文件，代码如下：
//注意文件的编码格式需要保存为为UTF-8格式
require ( "sphinxapi.php" );
$cl = new SphinxClient ();
$cl->SetServer ( '127.0.0.1', 9312);
//以下设置用于返回数组形式的结果
$cl->SetArrayResult ( true );
/*
//ID的过滤
//$cl->SetIDRange(3,4);
//sql_attr_uint等类型的属性字段，需要使用setFilter过滤，类似SQL的WHERE group_id=2
//$cl->setFilter('group_id',array(2));
//sql_attr_uint等类型的属性字段，也可以设置过滤范围，类似SQL的WHERE group_id2>=6 AND group_id2<=8
//$cl->SetFilterRange('group_id2',6,8);
*/
//取从头开始的前20条数据，0,20类似SQl语句的LIMIT 0,20
//$cl->SetLimits(0,20);
//在做索引时，没有进行sql_attr_类型设置的字段，可以作为“document”，进行全文搜索
$res = $cl->Query ( ' document ', "*" ); //"*"表示在所有索引里面同时搜索，"索引名称"则表示搜索指定的
//如果需要搜索指定全文字段的内容，可以使用扩展匹配模式：
//$cl->SetMatchMode(SPH_MATCH_EXTENDED);
//$res=cl->Query( '@title 测试' , "*")
echo '
';';print_r($res['matches']);
print_r($res);
echo '
?>
3、创建全部索引，启动搜索服务，相关操作可参考以上“四、连接mysql 数据库及搜索内容”。
4、运行index.php文件，查看搜索结果：
从结果中看，总共搜索出两条记录，全部存储在一个数组中。
Array
(
[0] => Array
(
[id] => 1
[weight] => 1
[attrs] => Array
(
[group_id] => 1
[date_added] => 1290775649
)
)
[1] => Array
(
[id] => 2
[weight] => 1
[attrs] => Array
(
[group_id] => 1
[date_added] => 1290775649
)
)
)
Array
(
[error] =>
【本次查询的错误信息】
[warning] =>
[status] => 0
[fields] => Array
(
[0] => title
[1] => content
)
[attrs] => Array
[group_id] => 1
[date_added] => 2
)
[matches] => Array 【匹配到的文档信息】
(
[0] => Array
(
[id] => 1 【文档的ID】
[weight] => 1
[attrs] => Array
(
[group_id] => 1
[date_added] => 1290775649
)
)
[1] => Array
(
[id] => 2
[weight] => 1
[attrs] => Array
(
[group_id] => 1
[date_added] => 1290775649
)
)
)
[total] => 2 【本次查询返回的结果数目，例如翻页等使用】
[total_found] => 2 【整个系统包含的结果数目】
[time] => 0.001 【查询使用的时间】
[words] => Array 【分词结果】
(
[document] => Array
(
[docs] => 2 【该词汇匹配到的文档数目】
[hits] => 2 【该词汇出现的次数】
)
)
这是本人经过几天的努力，摸索出来的一点点经验，希望能帮助有需要的朋友们！如有疑问请留言，我会尽量帮忙！谢谢!
编辑推荐 ◆书中内容侧重于以MPI库为基础开发并行应用程序，对MP规范定义的各项功能和特征在阐述其特点基础上均配以实例加以说明和印证。 ◆书中所附实例尽量采用独立的功能划分，其中的代码片段可直接用于并行应用程序开发 ◆在讲述基本原理的同时，注重对各项消息传递和管理操作的功能及局限性、适用性进行分析从而使熟读此书的读者能够编写出适合应用特点，易维护、高效率的并行程序。 ◆与本书配套的电子教案可在清华大学出版社网站下载。 本书简介 本书旨在通过示例全面介绍MP1并行程序开发库的使用方法、程序设计技巧等方面的内容，力争完整讨论MP1规范所定义的各种特征。主要也括MPI环境下开发并行程序常用的方法、模式、技巧等 内容。在内容组织上力求全面综合地反映MPl-1和MPI-2规范。对MPI所定义的各种功能、特征分别
给出可验证和测试其工作细节的示例程序 目录 第1章 MPI并行环境及编程模型 1.1 MPICH2环境及安装和测试 1.1.1 编译及安装 1.1.2 配置及验汪 1.1.3 应用程序的编译、链接 1.1.4 运行及调试 1.1.5 MPD中的安全问题 1.2 MPI环境编程模型 1.2.1 并行系统介绍 1.2.2 并行编程模式 1.2.3 MPI程序工作模式 1.3 MPI消息传递通信的基本概念 1.3.1 消息 1.3.2 缓冲区 1.3.3 通信子 1.3.4 进样号和进程纰 1.3.5 通价胁议 1.3.6 隐形对象 第2章 点到点通信 2.1 阻糍通信 2.1.1 标准通信模式 2.1.2 缓冲通信模式 2.1.3 就绪通信模式 2.1.4 同步通信模式 2.1.5 小结 2.2 非阻塞通信 2.2.1 通信结束测试 2.2.2 非重复的非阻塞通信 2.2.3 可醺复的非阻塞通信 2.2.4 Probe和Cancel 2.3 组合发送接收 2.3.1 MPl_Send,MPI_RecvoMPl_Sendreev 2.3.2 MPI_Bsend←→MPl_Sendrecv 2.3.3 MPI_Rsend←→MPI_Sendrecv 2.3.4 MPl_Ssend←→MPl_Sendrecv 2.3.5 MPl_lsend←→MP1一Sendrecv 2.3.6 MPl_Ibsend←→MPI_Sendrecv 2.3.7 MPI_Irsend←→MPI_Sendrecv 2.3.8 MPl_Issend,MPI_Irecv←→MPI_Sendrecv 2.3.9 MPI Send_init←→MPl_Sendrecv 2.3.10 MPI一Bsendj init←→MPl_Sendrecv 2.3.11 MPI_Rsend_init←→MPI_Sendrecv 2.3.12 MPl_Ssend_init,MPl_Recv_init←→MPl_Sendrecv 2.4 点到点通信总结
第27卷 第3期河北理工学院学报Vol127 No13 2005年8月Journa l of Hebe i I n stitute of Technology Aug.2005 文章编号:100722829(2005)0320041203 MP I并行编程环境及程序设计 杨爱民1,陈一鸣2 (11河北理工大学理学院,河北唐山063009;21燕山大学理学院,河北秦皇岛066004)关键词:MP I;并行编程;消息传递 摘 要:通过对MP I原理和特点的研究,给出了并行MP I程序的基本设计思路和执行过程,并 实现了向量相加的并行计算。 中图分类号:TP316 文献标识码:A 0 引 言 近几十年来,大规模和超大规模的并行机取得了快速发展,由于各种原因,开发商对用户提供的必要支持,如它们各自专有的消息传递包NX、EU I、P VM等,虽然在特定平台上具有很优越的性能,但是从应用程序来看,可移植性差。1992年11月,在Supercomputi ong’92会议上,正式成立了一个旨在建立一个消息传递标准平台的MP I(Message Passing I nterface)论坛,该论坛不仅包括了许多P VM、Exp ress等的研制者及并行程序用户,还吸收了许多著名计算机厂商的代表。论坛于1994年5月,公布了MP I标准。MP I是一种为消息传递而开发的广泛使用的标准,它为消息传递建立了一个可移植的、高效、灵活的标准。 1 MP I的原理与特征 MP I是一个函数库,而不是一门语言,它是一种消息传递模型,它的最终目的是服务于进程间通信。MP I作为一个并行程序库的开发平台,为用户编写和运行程序提供了便利的条件。由于MP I是基于消息传递机制构建的系统,因此它在体系结构为分布存储的并行机中有很宽阔的应用空间,它可以应用在各种同构和异构的网络平台中。它的编程语言可以为Fortran77/90、C/C++。在Fortran77/90、C/C++语言中都可以对MP I的函数进行调用,它作为一种消息传递模式的并行编程环境,MP I并行程序要求将任务进行划分,同时启动多个进程并发的执行,而各个进程之间通过MP I的库函数来实现其中的消息传递。 MP I与其它并行编程环境相比,显著的特点有: (1)可移植性强,能同时支持同构和异构的并行计算; (2)可伸缩性强,允许并行结构中的节点任意增加或减少; (3)能很好的支持点对点通信和集体通信方式; (4)对C语言和Fortran语言的支持,使其能很好的满足各种大规模科学和工程计算的需要。 这样,以MP I作为公共消息传递接口的并行应用程序就可以不作任何改动的移植到不同种类和型号的并行机上,也能够正常运行,或者移到网络环境中也一样。 2 MP I的基本函数 MP I为消息传递和相关操作提供了功能强大的库函数,MPl-1中有128个,MP I-2中有287个库函数。但是从理论上来说,MP I的所有通信功能都可以用它的6个基本调用来完成,即使用这6个函数可以实现所有的消息传递并行程序。这六个函数分别为呼(Fortran77语言的调用格式来描述): (1)MP I初始化 MP I程序的初始化工作通过调用MPl l N I T(I ERROR)来实现,所有MP I程序的第一条可执行语句都是 收稿日期:2004210221 基金项目:河北省自然科学基金项目(E2004000245) 作者简介:杨爱民(19782),男,河北顺平人,河北理工大学理学院教师,硕士。
国家973项目高性能计算环境支持讲座 MPI与PETSc 莫则尧 （北京应用物理与计算数学研究所）
个人介绍 莫则尧，男，汉族，1971年7月生，副研究员：●1992年国防科技大学应用数学专业本科毕业； ●1997年国防科技大学计算机应用专业并行算法 方向博士毕业； ●1999年北京应用物理与计算数学数学博士后流 动站出站，并留所工作； ●主要从事大规模科学与工程并行计算研究。
消息传递并行编程环境MPI 一、进程与消息传递 二、MPI环境的应用现状 三、MPI并行程序设计入门（程序例1） 四、初步的MPI消息传递函数 五、作业一 六、先进的MPI函数 七、MPI并行程序示例2（求解- u=f）； 八、MPI环境的发展 九、作业二
一、进程与消息传递 1．单个进程（process ） ● 同时包含它的执行环境（内存、寄存器、程序计数器等），是操作系统中独立存在的可执行的基本程序单位； ● 通俗理解：串行应用程序编译形成的可执行代码，分为“指令”和“数据”两个部分，并在程序执行时“独立地申请和占有”内存空间，且所有计算均局限于该内存空间。 2．单机内多个进程： ● 多个进程可以同时存在于单机内同一操作系统：由操作系统负责调度分时共享处理机资源（CPU 、内存、存储、外设等）； ● 进程间相互独立（内存空间不相交）：在操作系统调度下各自独立地运行，例如多个串行应用程序在同一台计算机中运行； ● 进程间可以相互交换信息：例如数据交换、同步等待，内存
些信息在进程间的相互交换，是实现进程间通信的唯 一方式； ●最基本的消息传递操作：发送消息（send）、接受消 息（receive）、进程同步（barrier）、规约（reduction）； ●消息传递的实现：共享内存或信号量，用户不必关心； 3．包含于通过网络联接的不同计算机的多个进程： ●进程独立存在：进程位于不同的计算机，由各自独立 的操作系统调度，享有独立的CPU和内存资源； ●进程间相互信息交换：消息传递； ●消息传递的实现：基于网络socket机制,用户不必关 心； 4．消息传递库函数: ●应用程序接口（API）：提供给应用程序（FORTRAN、 C、C++语言）的可直接调用的完成进程间消息传递
MPI并行编程系列二快速排序 阅读：63评论：0作者：飞得更高发表于2010-04-06 09：00原文链接在上一篇中对枚举排序的MPI并行算法进行了详细的描述和实现，算法相对简单，采用了并行编程模式中的单程序多数据流的并行编程模式。在本篇中，将对快速排序进行并行化分析和实现。本篇代码用到了上篇中的几个公用方法，在本篇中将不再做说明。 在本篇中，我们首先对快速排序算法进行描述和实现，并在此基础上分析此算法的并行性，确定并行编程模式，最后给出该算法的MPI实现。 一、快速排序算法说明 快速排序时一种最基本的排序算法，效率相对较高。其基本思想是：在当前无序数组R[1,n]中选取一个记录作为比较的"基准"，即作为排序中的"轴"。经过一趟排序后，当前无序数组R[1,n]就会以这个轴为核心划分为两个无序的子区r1[1,i-1],r2[i,n]。其中左边的无序子区都会比"轴"小，右边的无序子区都会比"轴"大。这样下一趟排序，我们就可以对这两个子区用同样的方法进行划分排序，知道所有的无序子区中的记录均排好为止。 根据算法的说明，快速排序时一个典型的递归算法，算法描述如下： 无序数组R[1],R[2],.,R[n] quick_sort(R,start,end) if(start end) r=partion(R,start,end) quick_sort(R,start,r-1) quick_sort(R,r+1,end) endif end quick_sort方法partion的作用就是选取"轴"，并将数组分为两个无序子区，并将该"轴"的最终位置返回，在这里我们选择数组的第一个元素为"轴"，其算法描述为： partion(R,start,end) r=R[start] while(start end)
MPI 并行编程系列二快速排序 阅读：63 评论：0作者：飞得更高发表于2010-04-06 09 ：00 原文链接 在上一篇中对枚举排序的MPI并行算法进行了详细的描述和实现，算法相对简单，采用了并行编程模式中的单程序多数据流的并行编程模式。在本篇中，将对快速排序进行并行化分析和实现。本篇代码用到了上篇中的几个公用方法，在本篇中将不再做说明。 在本篇中，我们首先对快速排序算法进行描述和实现，并在此基础上分析此 算法的并行性，确定并行编程模式，最后给出该算法的MPI实现。 一、快速排序算法说明 快速排序时一种最基本的排序算法，效率相对较高。其基本思想是：在当前 无序数组R[1,n] 中选取一个记录作为比较的"基准" ，即作为排序中的"轴" 。经过一趟排序后，当前无序数组R[1,n] 就会以这个轴为核心划分为两个无序的子区r1[1,i-1],r2[i,n] 。其中左边的无序子区都会比"轴"小，右边的无序子区都会比" 轴" 大。这样下一趟排序，我们就可以对这两个子区用同样的方法进行划分排序，知道所有的无序子区中的记录均排好为止。 根据算法的说明，快速排序时一个典型的递归算法，算法描述如下：无序数组R[1],R[2],.,R[n] quick_sort(R,start,end) if(start end) r=partion(R,start,end) quick_sort(R,start,r-1) quick_sort(R,r+1,end) endif end quick_sort 方法partion 的作用就是选取" 轴" ，并将数组分为两个
无序子区，并将该" 轴" 的最终位置返回，在这里我们选择数组的第一个元素为"轴" ，其算法描述为： partion(R,start,end) r=R[start] while(start end) while((R[end]=r)&&(start end)) end- end ehile R[start]=R[end] while((R[start]r)&&(start end)) start++ end wile R[end]=R[start] end while R[start]=r return start end partion 该排序算法的性能好坏主要取决于" 轴" 的选定，即无序数组的划分是否均衡。最好的情况下，无序数组每次都会被划为两个均等的无序子区，这是算法的负责度为o(nlogn) ；最坏的情况，无序数组每次划分都是左边n-1 个元素，右边0 个元素，这时算法的复杂度为 o(n A2)。在通常的情况下，该算法的复杂度会依然保持在o(nlogn) ，上只不过具有更高的常数因子。因此，选定一个有效地"轴"，成为该算法的关键。一般情况下，会选定无序数组的第一个，中间或者是最后一个元素作为算法的"轴"，我们可以对着三个元素进行比较，取大小居中的那个元素作为该算法的" 轴" 。 、快速排序算法的串行实现 确定在什么条件下终止递归操作。主函数代码如下： 1：void quick_sort_function(int*array,int start,int last){2
并行计算课程报告 题目：MPI并行编程环境概要指导老师：阮幼林教授 学院：信息工程学院 班级：信息研1001班 姓名：余华 学号：104972102820 时间：2011年01-10
摘要 随着科技的发展，新一代的计算机，无论计算能力和计算速度，都比旧的计算机优越。但人类对高性能计算的需求，也不断提高.除了增强处理器本身的计算能力外，并行处理是一种提高计算能力的有效手段.从前，并行处理要采用昂贵的专用计算机，随着个人计算机及网络成本下降，现已广泛用分布式网络计算机系统进行并行处理。在分布网络计算机系统中，采用消息传递方法实现进程间的通讯。当前流行基于消息传递的并行编程环境是MPI(Message Passing Interface)。 关键词：消息传递；消息传递接口；并行编程； Abstract Because of the development of technology, the new generation of computer should be better than the former ones in the power and speed of computing. But the people's demand of high performance of computing is increasing too. In addition to enhancing the computing power of the processor, parallel processing is also an efficient way to enhance the power of computing. In the past, the parallel processing can only run on the expensive and special computers. As the cost of personal computers and networks decreased, and now, it is popular to process the parallel processing on the distributed network computing systems. In the distributed network computing systems, message passing is used for the communication between processes. MPI (Message Passing Interface) are common development environments of parallel processing based on message passing. Keyword：Message passing; Message passing interface; Parallel programming;
中南大学 CENTRAL SOUTH UNIVERSITY 基于MPI的并行计算程序设计测试报告 学院：软件学院 专业：软件工程 学号： 姓名： 指导教师： 20**-**-**
基于MPI的并行计算程序设计测试报告 一．并行计算概述 1.采用并行计算的原因： ?串行程序速度提升缓慢。从串行程序的发展来讲，一方面，物理速度渐变发展，芯片速度每18个加快一倍，而内存传输率每年加快9%。另一方面，物理极限无法突破，芯片晶体管接近了原子极限，传输速度不可能超过光速。 ?可以加快速度。更短的时间内解决相同的问题，相同的时间内解决更多的复杂的问题。 ?可以加大规模。并行计算可以计算更大规模的问题。 2.并行计算简介 并行计算（Parallel Computing）是指同时使用多种计算资源解决计算问题的过程。为执行并行计算，计算资源应包括一台配有多处理机（并行处理）的计算机、一个与网络相连的计算机专有编号，或者两者结合使用。并行计算的主要目的是快速解决大型且复杂的计算问题。此外还包括：利用非本地资源，节约成本，使用多个“廉价”计算资源取代大型计算机，同时克服单个计算机上存在的存储器限制。为利用并行计算，通常计算问题表现为以下特征：1.将工作分离成离散部分，有助于同时解决；2.随时并及时地执行多个程序指令；3.多计算资源下解决问题的耗时要少于单个计算资源下的耗时。 对并行处理的需求极大的促进了并行技术的发展，因此许多大规模并行计算机系统相继问世，如PVP、SMP、MPP、DSM等。但传统的并行系统的高成本性、专用性、系统规模的不可伸缩性等使其难以推广到普通的商业应用和科学计算中。高性能集群系统因其性能价格比高、高可复用性、强可扩展性、用户编程方便等优点在科学研究中得到了广泛的应用。并行计算机系统的出现就需要对程序进行并行设计，这种需求使得各种不同的并行编程环境得到了很大发展。现行高性能计算机系统中使用的并行编程环境主要有两种：PVM(Parallel Virtual Machine)和MPI(Message Passing Interface)。PVM的开发始于1988年，由美国橡树岭国家实验室发起。目前很多人采用MPI作为并行开发环境。 3.并行计算的相关内容 ?存储方式。共享内存：ccNUMA,SMP；分布式内存：MPP,Cluster。 ?三种计算模式。Uniprocessor,shared memory,distribute memory. ?并行化分解方法。任务分解：多任务并行执行；功能分解：分解被执行的计算；区域分解:分解被执行的数据。 ?并行算法的分类。按运算的基本对象：分数值并行算法和非数值并行算法。按进程间的依赖关系：分同步并行算法，异步并行算法和纯并行算法。按并行计算的任务大小：分粗粒度并行算法，中粒度并行算法和细粒度并行算法。