基于SQLite的中文全文检索研究与实现
摘要：随着手机、平板电脑等移动智能设备的快速发展，曾经在PC 上运行的各种应用系统需要同时在移动智能设备上实现，从而带动了移动智能设备上的数据存储、数据检索等方面的需求。SQLite作为轻量的嵌入型数据库具有更好的实时性、系统开销小、底层控制能力强等优点。探讨并实现了使用SQLite作为数据存储方案并实现中文全文检索的原理与实现方案，为在移动智能设备上基于SQLite的中文信息检索应用探索了一条新途径。
关键词：中文全文检索；SQLite；MMSEG
纵向比较，LIKE检索的耗时增加百分比基本与记录数的增加百分比一致。MATCH检索的耗时增加百分比只有记录数增加百分比的一半左右；横向比较，在同等实验数据下，LIKE检索的耗时是MATCH 检索耗时的5～10倍以上。随着数据量的进一步增加，MATCH检索在耗时上的优势愈加明显。
4 结语
SQLite的小巧、快速与稳定的特点，使得其在需要数据库支持的嵌入式设备、手机软件、中小型CMS（Content Management System）站点等方面成为最佳的选择，同时此类应用中硬件设备的性能提升伴随着数据量的高速增长，因而研究基于SQLite的中文全文检索具有广阔的应用前景。
参考文献：
https://www.doczj.com/doc/d58167144.html,/linchunhua/article/details/7184439 sqlite数据库只用一个文件就ok，小巧方便，所以是一个非常不错的嵌入式数据库，SQLite 大量的被用于手机，PDA，MP3播放器以及机顶盒设备。 Mozilla Firefox使用SQLite作为数据库。 Mac计算机中的包含了多份SQLite的拷贝，用于不同的应用。 PHP将SQLite作为内置的数据库。 Skype客户端软件在内部使用SQLite。 SymbianOS(智能手机操作平台的领航)内置SQLite。 AOL邮件客户端绑定了SQLite。 Solaris 10在启动过程中需要使用SQLite。 McAfee杀毒软件使用SQLite。 iPhones使用SQLite。 Symbian和Apple以外的很多手机生产厂商使用SQLite。 下面就sqlite中的常用命令和语法介绍 https://www.doczj.com/doc/d58167144.html,/download.html可下载不同操作系统的相关版本sqlite gedit 也可以使用火狐中的插件sqlite manager 新建数据库 sqlite3 databasefilename 检查databasefilename是否存在，如果不存在就创建并进入数据库（如果直接退出，数据库文件不会创建）如果已经存在直接进入数据库对数据库进行操作 sqlite中命令: 以.开头,大小写敏感（数据库对象名称是大小写不敏感的） .exit .help 查看帮助针对命令 .database 显示数据库信息；包含当前数据库的位置 .tables 或者.table 显示表名称没有表则不显示 .schema 命令可以查看创建数据对象时的SQL命令； .schema databaseobjectname查看创建该数据库对象时的SQL的命令；如果没有这个数据库对象就不显示内容，不会有错误提示 .read FILENAME 执行指定文件中的SQL语句 .headers on/off 显示表头默认off .mode list|column|insert|line|tabs|tcl|csv 改变输出格式，具体如下 sqlite> .mode list sqlite> select * from emp; 7369|SMITH|CLERK|7902|17-12-1980|800||20 7499|ALLEN|SALESMAN|7698|20-02-1981|1600|300|30 如果字段值为NULL 默认不显示也就是显示空字符串
—94— 一种基于Lucene 的中文全文检索系统 苏潭英1，郭宪勇2，金 鑫3 （1. 解放军信息工程大学电子技术学院，郑州 450004；2. 北京飞燕技术公司，北京 100072；3. 解放军通信指挥学院，武汉 430010）摘 要：在开源全文索引引擎Lucene 的基础上，设计了一个中文全文检索系统模型，该模型系统由7个模块组成，索引模块、检索模块是其中的核心部分。论述了模型的整体结构，分析设计了索引及检索模块，通过具体的索引技术和检索技术来提高整个系统的检索效率。该系统增加了加密模块，实现对建立的全文索引进行加密处理，增强了信息的安全性。 关键词：全文检索；Lucene ；倒排索引 Chinese Full-text Retrieval System Based on Lucene SU Tan-ying 1, GUO Xian-yong 2, JIN Xin 3 (1. Institute of Electronic Technology, PLA Information Engineering University, Zhengzhou 450004; 2. Technology Company of Beijing Feiyan, Beijing 100072; 3. Institute of PLA Communication Command, Wuhan 430010) 【Abstract 】This paper proposes a model of Chinese full-text retrieval system based on Lucene which is an open source full-text retrieval engine,and expatiates its frame. This model is composed of seven modules, among which the index module and the search module are the core parts. It designs them concretely, and improves the search efficiency of the full-text retrieval system with index technology and search technology. The system model concludes an encryption module to encrypt the index and increases the system security. 【Key words 】full-text retrieval; Lucene; inverse index 计 算 机 工 程Computer Engineering 第33卷 第23期 Vol.33 No.23 2007年12月 December 2007 ·软件技术与数据库· 文章编号：1000—3428(2007)23—0094—03 文献标识码：A 中图分类号：TP391 1 中文全文检索系统 全文检索技术是一个最普遍的信息查询应用，人们每天在网上使用Google 、百度等搜索引擎查找自己所需的信息，这些搜索引擎的核心技术之一就是全文检索。随着文档处理电子化、无纸化的发展，图书馆、新闻出版、企业甚至个人的电子数据激增，如何建立数据库、管理好自己的数据，是亟待解决的问题，而全文检索是其中一个非常实用的功能。全文检索产品实际上是一个内嵌该项技术的数据库产品[1]。 西文的全文检索已有许多成熟的理论与方法，其中，开放源代码的全文检索引擎Lucene 是Apache 软件基金会Jakarta 项目组的一个子项目，它的目的是为软件开发人员提供一个简单易用的工具包，方便在目标系统中实现全文检索的功能。很多项目使用了Lucene 作为其后台的全文索引引擎，比较著名的有： (1)Jive ：Web 论坛系统； (2)Cocoon ：基于XML 的Web 发布框架，全文检索部分使用了Lucene ； (3)Eclipse ：基于Java 的开放开发平台，帮助部分的全文索引使用了Lucene 。 Lucene 不支持中文，但可以通过扩充它的语言分析器实现对中文的检索。本文在深入学习研究Lucene 的前提下，设计了一个中文的全文检索系统，对其核心的索引模块和检索模块进行了阐释，并添加了加密模块对索引信息加密，增强了系统的安全性。 2 系统的总体结构 本模型总体上采用了Lucene 的架构。Lucene 的体系结构如表1所示，它的源代码程序由7个模块组成。 表1 Lucene 的组成结构 模块名 功能 org.apache.Lucene.search 搜索入口 org.apache.Lucene.index 索引入口 org.apache.Lucene.analysis 语言分析器 org.apache.Lucene.queryParser 查询分析器 org.apache.Lucene.document 存储结构 org.apache.Lucene.store 底层IO/存储结构 org.apache.Lucene.util 一些公用的数据结构 本文通过扩充Lucene 系统来完成中文的全文检索系统，Lucene 包含了大量的抽象类、接口、文档类型等，需要根据具体应用来定义实现，本文对其作了如下扩充修改： (1)按照中文的词法结构来构建相应的语言分析器。Lucene 的语言分析器提供了抽象的接口，因此，语言分析(analyser)是可以定制的。Lucene 缺省提供了2个比较通用的分析器SimpleAnalyser 和StandardAnalyser ，但这2个分析器缺省都不支持中文，因此，要加入对中文语言的切分规则，需要对其进行修改。 (2)按照被索引的文件的格式对不同类型的文档进行解析，进而建立全文索引。例如HTML 文件，通常需要把其中的内容分类加入索引，这就需要从org.apache.lucene.子document 中定义的类Document 继承，定义自己的HTMLDocument 类，然后将之交给org. apache.lucene.index 模块写入索引文件。Lucene 没有规定数据源的格式，只提供 作者简介：苏潭英(1981－)，女，硕士研究生，主研方向：数据库全文检索；郭宪勇，高级工程师；金 鑫，硕士研究生 收稿日期：2007-01-10 E-mail ：sutanyingwendy@https://www.doczj.com/doc/d58167144.html,
使用Oracle全文索引搜索文本 不使用Oracle text功能,也有很多方法可以在Oracle数据库中搜索文本.可以使用标准的INSTR 函数和LIKE操作符实现。 SELECT *FROM mytext WHERE INSTR (thetext, 'Oracle') > 0; SELECT * FROM mytext WHERE thetext LIKE '%Oracle%'; 有很多时候，使用instr和like是很理想的, 特别是搜索仅跨越很小的表的时候.然而通过这些文本定位的方法将导致全表扫描,对资源来说消耗比较昂贵,而且实现的搜索功能也非常有限，因此对海量的文本数据进行搜索时，建议使用oralce提供的全文检索功能建立全文检索的步骤步骤一检查和设置数据库角色首先检查数据库中是否有CTXSYS用户和CTXAPP脚色。如果没有这个用户和角色，意味着你的数据库创建时未安装intermedia功能。你必须修改数据库以安装这项功能。默认安装情况下，ctxsys用户是被锁定的，因此要先启用ctxsys 的用户。步骤二赋权在ctxsys用户下把ctx_ddl的执行权限赋于要使用全文索引的用户，例： grant execute on ctx_ddl to pomoho; 步骤三设置词法分析器(lexer) Oracle实现全文检索，其机制其实很简单。即通过Oracle专利的词法分析器(lexer),将文章中所有的表意单元(Oracle 称为term)找出来，记录在一组以dr$开头的表中，同时记下该term 出现的位置、次数、hash 值等信息。检索时，Oracle 从这组表中查找相应的term，并计算其出现频率，根据某个算法来计算每个文档的得分(score),即所谓的‘匹配率’。而lexer则是该机制的核心，它决定了全文检索的效率。Oracle 针对不同的语言提供了不同的lexer, 而我们通常能用到其中的三个： n basic_lexer: 针对英语。它能根据空格和标点来将英语单词从句子中分离，还能自动将一些出现频率过高已经失去检索意义的单词作为‘垃圾’处理，如if , is 等，具有较高的处理效率。但该lexer应用于汉语则有很多问题，由于它只认空格和标点，而汉语的一句话中通常不会有空格，因此，它会把整句话作为一个term,事实上失去检索能力。以‘中国人民站起来了’这句话为例，basic_lexer 分析的结果只有一个term ,就是‘中国人民站起来了’。此时若检索‘中国’，将检索不到内容。 n chinese_vgram_lexer: 专门的汉语分析器，支持所有汉字字符集(ZHS16CGB231280 ZHS16GBK ZHT32EUC ZHT16BIG5 ZHT32TRIS ZHT16MSWIN950 ZHT16HKSCS UTF8 )。该分析器按字为单元来分析汉语句子。‘中国人民站起来了’这句话，会被它分析成如下几个term: ‘中’，‘中国’，‘国人’，‘人民’，‘民站’，‘站起’，起来’，‘来了’，‘了’。可以看出，这种分析方法，实现算法很简单，并且能实现‘一网打尽’，但效率则是差强人意。 n chinese_lexer: 这是一个新的汉语分析器，只支持utf8字符集。上面已经看到，chinese vgram lexer这个分析器由于不认识常用的汉语词汇，因此分析的单元非常机械，像上面的‘民站’，‘站起’在汉语中根本不会单独出现，因此这种term是没有意义的，反而影响效率。chinese_lexer的最大改进就是该分析器能认识大部分常用汉语词汇，因此能更有效率地分析句子，像以上两个愚蠢的单元将不会再出现，极大提高了效率。但是它只支持utf8, 如果你的数据库是zhs16gbk字符集，则只能使用笨笨的那个Chinese vgram lexer. 如果不做任何设置，Oracle 缺省使用basic_lexer这个分析器。要指定使用哪一个lexer, 可以这样操作： 第一．当前用户下下建立一个preference(例：在pomoho用户下执行以下语句) exec ctx_ddl.create_preference ('my_lexer', 'chinese_vgram_lexer');
开源(Opensource)：这是它最强大的地方。开源，意味着你可以品读它的源码，你可以随时修改它，加入你自己的特性，而这一切完全免费的。开源，是一种精神。 实现部分 好了，现在从实现的角度来谈谈个人体会，这也是我比较关注的。 SQLite是一款优秀的嵌入式数据库管理系统，这里有两层含义：一是它经常作为动态库嵌入到应用程序； 另外一方面它通常用于嵌入式设备或其它要求较低的桌面应用。如果把它作为内存数据库，个人觉得不是很适合。毕竟，它的写并发性不是很好，此时，TimesTen也许会更好，Berkey DB也许是一个不错的选择。SQLite这样的嵌入式数据库与主存数据库的应用场景、实现以及对资源的需求都是不一样的。 (1)事务处理 事务的核心问题有两个：并发控制和恢复。解决了并发控制和恢复问题的系统，就能允许它的用户假设程序是原子的(atomically)执行的——好像没有其它的程序同时执行；而且是可靠的(reliably)——不会产生失败。原子性和可靠性的抽象，则称为事务(transaction)。其实，事务并不是DBMS的专利，任何分布式系统，都面对并发和恢复问题，而解决的方法就是事务，只不过，我们更常听到DBMS中的事务。 并发控制保证事务的原子执行，它使得交错执行的事务看起来是一个接一个的顺序执行的，完全没有交错执行。如果交错执行的结果与顺序执行的结果一致，则称为串行化(serializable)。 恢复使得数据库仅仅包含那些正常完成的事务的结果。如果事务在执行的过程中发生错误，不能继续进行，恢复算法必须清除部分完成事务产生的影响。 ?并发控制 SQLite只支持库级锁，库级锁意味着什么？——意味着同时只能允许一个写操作，也就是说，即事务T1在A表插入一条数据，事务T2在B表中插入一条数据，这两个操作不能同时进行，即使你的机器有100个CPU，也无法同时进行，而只能顺序进行。表级都不能并行，更别说元组级了——这就是库级锁。但是，SQLite尽量延迟申请X锁，直到数据块真正写盘时才申请X锁，这是非常巧妙而有效的。 ?恢复 SQLite的恢复技术是影子分页技术(shadow paging)技术的典型代表。 DBMS的常用恢复技术有影子分页技术与基于日志的技术，前者在早其数据库管理系统中用到，比如Sys tem R，现代DBMS中已经很难见到它的身影了。 影子分页技术与基于日志技术相比，优点是实现简单，消除了写日志记录的开销，恢复的速度也快(不需要redo和undo)。影子分页的缺点就是事务提交时要输出多个块，这使得提交的开销很大，而且以块为单位，很难应用到允许多个事务并发执行的情况——这是它致命的缺点。 (2)查询处理 SQLite的查询处理本质上就是一个SQL编译器和一个虚拟机。而实现这些功能只用了十多个文件，整个实现实现简单而有效，但是也存在一些问题。首先，SQLite字典数据很简单，实际上它的字典就一个表s qlite_mater，所有的信息都是通过对sqlite_master中SQL语句进行解析获取的，而解析一个SQL语句，都需要进行词法分析、语法分析、甚至虚拟机代码的生成。而这一过程是很需要时间的，而且，查询计划也没有重用。其次，查询优化还比较简单，特别是连接操作，只通过循环来做(MySQL也一样)。但是，仅仅数万代码，我们不能对它要求太苛求。 (3)存储模型
linux中截取字符串cut命令用法简介: 语法：cut -cnum1-num2 fileName 使用权限：所有使用者 说明：显示每行从开头算起num1 到num2 的文字。 例子： shell>> cat fileName test2 this is a test content shell>> cut -c1-6 fileName ## print 开头算起前6 个字元 test2 this i -c m-n 表示显示每一行的第m个字元到第n个字元。例如： liubi 23 140004 # cut -c 1-5,10-14 file liubi -f m-n 表示显示第m栏到第n栏(使用tab分隔)。例如： liubi 23 14000 # cut -f 1,3 file liubi 14000 -c 和－f 参数可以跟以下子参数： m 第m个字符或字段 m- 从第m个字符或字段到文件结束 -n 从第1个到第n个字符或字段 m-n 从第m个到第n个字符或字段 我们经常会遇到需要取出分字段的文件的某些特定字段，例如/etc/password就是通过":"分隔各个字段的。可以通过cut命令来实现。例如，我们希望将系统账号名保存到特定的文件，就可以： cut -d: -f 1 /etc/passwd > /tmp/users -d用来定义分隔符，默认为tab键，-f表示需要取得哪个字段 如： 使用|分隔 cut -d’|’ -f2 1.test>2.test 使用:分隔 cut -d’:’ -f2 1.test>2.test 这里使用单引号或双引号都行。 /var/tmp/easypbx/ |-- etc | `-- asterisk |-- usr | |-- include | | |-- asterisk
在应用中加入全文检索功能 ——基于java的全文索引引擎lucene简介 作者：车东 email: https://www.doczj.com/doc/d58167144.html,/https://www.doczj.com/doc/d58167144.html, 写于：2002/08 最后更新： 版权声明：可以任意转载，转载时请务必以超链接形式标明文章原始出处和作者信息及本声明 https://www.doczj.com/doc/d58167144.html,/tech/lucene.html 关键词：lucene java full-text search engine chinese word segment 内容摘要： lucene是一个基于java的全文索引工具包。 1.基于java的全文索引引擎lucene简介：关于作者和lucene的历史 2.全文检索的实现：luene全文索引和数据库索引的比较 3.中文切分词机制简介：基于词库和自动切分词算法的比较 4.具体的安装和使用简介：系统结构介绍和演示 5.hacking lucene：简化的查询分析器，删除的实现，定制的排序，应用接口的扩展 6.从lucene我们还可以学到什么 基于java的全文索引/检索引擎——lucene lucene不是一个完整的全文索引应用，而是是一个用java写的全文索引引擎工具包，它可以方便的嵌入到各种应用中实现针对应用的全文索引/检索功能。 lucene的作者：lucene的贡献者doug cutting是一位资深全文索引/检索专家，曾经是v-twin搜索引擎(apple的copland操作系统的成就之一)的主要开发者，后在excite担任高级系统架构设计师，目前从事于一些internet底层架构的研究。他贡献出的lucene的目标是为各种中小型应用程序加入全文检索功能。 lucene的发展历程：早先发布在作者自己的https://www.doczj.com/doc/d58167144.html,，后来发布在sourceforge，2001年年底成为apache基金会jakarta的一个子项目：https://www.doczj.com/doc/d58167144.html,/lucene/ 已经有很多java项目都使用了lucene作为其后台的全文索引引擎，比较著名的有： ?jive：web论坛系统； ?eyebrows：邮件列表html归档/浏览/查询系统，本文的主要参考文档“thelucene search engine: powerful, flexible, and free”作者就是eyebrows系统的主要开发者之一，而eyebrows已 经成为目前apache项目的主要邮件列表归档系统。 ?cocoon:基于xml的web发布框架，全文检索部分使用了lucene ?eclipse:基于java的开放开发平台，帮助部分的全文索引使用了lucene
法规标准库及全文检索系统 一、产品研发背景 为了使电力企业相关人员更方便的查询到国家、行业发布的各种法律、法规及行业标准，避免企业自己搜索各种文件时，不能保证文件信息、版本的正确性和及时性，提高工作效率。开发法规标准库及全文检索系统。 二、产品特点 内容齐全 由中电方大上传和管理软件数据库中文件，上传文件包括电力行业的法律、法规、行业标准和各企业集团规定，还包含一些对这些法律、法规解读的文章或论文，对法律、法规进行更深层次的挖掘理解。企业在生产、培训时使用该软件可以更方便的查询到需要的文件。 文件实时更新 系统中的文件由中电方大进行管理，对每一个文件的过期或作废等，中电方大都保持实时更新，保持系统的与时俱进，保证文件为实时适用的最新版本。 文件查询方便 文件的查询搜索功能，即能输入文件名或关键字在数据库中全部搜索，又能按照法律、法规、标准或是生效年份等不同条件进行查询搜索。 全文所搜功能 此功能是系统的一大亮点。为了便于查询文件及对应文件内容的搜索，系统支持全文搜索功能。如在搜索界面输入“压力容器”，在结果列表中即会显示相关文件的名称，也会显示部分带有关键字的内容。
三、产品功能 系统支持相关法律法规的全面搜索及预览功能。 四、产品解决问题 系统解决了企业在需要获取相关法规文件时不能确定文件的准确性、最新性等问题。 五、提供的产品服务 ◆提供本产品终身更新服务 ◆提供功能个性化开发服务 六、产品适用范围 产品适用于各类企业 七、公司简介 北京中电方大科技股份有限公司，成立于2004年，新三板挂牌上市公司（证券代码430411，简称：中电方大）。 本公司是处于软件和信息技术服务业的安全与应急服务提供商，为电力企业用户提供安全与应急管理及信息化及对应的整体解决方案。公司于2012年获得国家电监会（现国家能源局）颁发的电力安全生产标准化一级评审机构资质，从事发电企业、电力建设企业的安全生产标准化评审业务。于2014年获得国家能源局指定的电力安全培训机构资质，为发电企业、电网企业相关负责人和安全生
目录 Qt4访问sqlite数据库 (2) RedHat 9 Linux下在QT3.1中连接SQLite3全过程详细记录 (6) 基于ARM-Linux的SQLite嵌入式数据库技术 (17) 关于在qt中如何连接sqlite3数据库的问题 (23) SQLite 完整中文FAQ (32) C/C++中调用SQLITE3的基本步骤 (40) SQLite嵌入式数据库系统的研究与实现 (50)
Qt4访问sqlite数据库 https://www.doczj.com/doc/d58167144.html,/index.php/2008/09/qt-sqlite/ sqlite简介 sqlite 是一款轻量级的、基于文件的嵌入式数据库，2000年就已经诞生，经过7年多的发展，直到今天已经成为最流行的嵌入式数据库，包括google在内的公司在其桌面软件中亦使用sqlite 存储用户数据。由此可以看出，已经没有任何理由去怀疑sqlite的稳定性了。 sqlite的优势 1. 免配置，和access一样，只要把数据库文件通过ftp上传到服务器上就可以使用，不需要服务器的额外支持 2. 备份方便，因为只是一个文件，只要复制一份该文件，就能备份整个数据库 3. 虽然是轻量级数据库，但他支持最大2tb 的单个库文件。 4. 快，无与伦比的快。经过实际测试，在几百万记录的情况下，sqlite的插入和查询速度和mysql 不分上下，快于sql server，10倍于access （但这并不意味着它可以替代sql server ） 用QT操作sqlite 由于sqlite属于轻量级的数据库，不需要配置，不需要安装，也不需要管理员，所以也就没必要像操作mysql等数据库一样的设置主机，用户和密码了。样例如下： 1 2 3 4 5 6 7 8 9 10 11 12 #include
Sqlite3教程 一、基本命令 1、进入命令行环境： 显示版本号，并告诉每一条SQL语句必须用分号；结尾2、命令行帮助：
3、退出命令行环境 或者 二、数据库相关命令 1、创建（或打开）一个新的数据库：文件名 若文件存在，刚打开该文件；若文件不存在，则创建一个*.db数据库文件。 导入SQL语句文件。
、列出所有数据表： 4、显示数据库结构： 用一些SQL语句描述数据库的结构。 5、显示表的结构：表名 6、导入数据：文件名表名 若导入csv文件，设置分隔符为逗号。 、导出数据：文件名 查询结果默认在终端显示，查询表格结构，语句查询表格数据。设置查询目标后，查询结果显示在设置的文件中 文件名 然后输入sql查询语句，查询的结果显示在设置的文件中，不在终端显示 运行恢复导出到终端（标准输出）。 导出数据到excle表格中 设置分隔符为逗号： 设置导出文件名，后缀为csv： 查询语句：表名
三、数据显示命令 运行表名，显示全表的内容 1.设置分隔符：分隔符 默认分隔符是“|”。 2.设置显示模式：模式
默认的是list显示模式，一般使用column模式。 3.显示标题栏： 4.设置每一列的显示宽度： 5.列出当前显示格式设置情况： 四、数据库基本操作 1.数据库定义语言DDL 在关系型数据库中，数据库中的表table、视图、索引、关系和触发器等等，构成了数据库的架构。在SQL语句中，专门有一些语句用来定义数据库架构，这些语句被称为“数据库定义语言”，即DDL。 SQLite数据库引擎支持下列三种DDL语句： ●CREATE：创建 ●ALTER TABLE：改变表的结构 ●DROP：删除
Sphinx 全文搜索引擎 1:索引与全文索引的概念 数据库中,表中的行特别多,如何快速的查询某一行,或者某一个文章中的单词, 索引--->查询速度快 全文索引-->针对文章内容中的单词各做索引 2:mysql支不支持全文索引? 答:支持, 但是 A:innoDB引擎在5.5,及之前的版本不支持(5.7实测可以在innodb上建fulltext),只能在myisam 引擎上用fulltext B: mysql的全文索引功能不够强大 C: 无法对中文进行合理的全文索引----- mysql.无法进行中文分词. 注意: 全文索引的停止词 停止词是指出现频率极高的单词, 不予索引. 如果某单词出现频率50%以上,列为停止词 或者是经过统计的常用词,也列为停止词---如is, are , she, he, this 等等 就像中文中: “的”,”是”,”呵呵” 总结: 我们要对中文做全文搜索引擎,需要解决2个问题 1: 性能提高,用第3方的全文搜索引擎工具,如sphinx, solr等 2: 中文分词! (如mmseg)
编译安装sphinx+mmseg == coreseek 官网: https://www.doczj.com/doc/d58167144.html, 0: 安装工具包 yum install make gcc gcc-c++ libtool autoconf automake imake libxml2-devel expat-devel 1: 下载解压源码,ls查看 csft-4.1 mmseg-3.2.14 README.txt testpack 其中-- csft-4.1是修改适应了中文环境后的sphinx Mmseg 是中文分词插件 Testpack是测试用的软件包 2: 先安装mmseg 2.1: cd mmseg 2.2: 执行bootstrap脚本 2.3: ./configure --prefix=/usr/local/mmseg 2.4: make && make install 3: 再安装sphinx(coreseek) 3.1: 到其目录下执行buildconf.sh 3.2: ./configure --prefix=/usr/local/sphinx --with-mysql=/usr/local/mysql --with-mmseg --with-mmseg-includes=/usr/local/mmseg/include/mmseg/ --with-mmseg-libs=/usr/local/mmseg/lib/ 3.3: make install Sphinx的使用 分三个部分: 1: 数据源---要让sphinx知道,查哪些数据,即针对哪些数据做索引(可以定义多个源) 2: 索引配置--针对哪个源做索引, 索引文件放在哪个目录?? 等等 3: 搜索服务器----sphinx可以在某个端口(默认9312),以其自身的协议,与外部程序做交互. 具体的步骤: 1: 数据源典型配置 source test { type = mysql sql_host = localhost sql_user = root
SQL Server 全文索引查询T-SQL学习笔记之一(Full-text index) 2009-12-11 11:29 引言 这段时间为了提高海量字符串数据的查询效率，我对字段添加了全文索引。首先全文索引相对于传统的索引是有区别的，这是因为传统的索引主要是以首字母开始建立的索引，处理like 'keword%'这样的查询会很高效，但是如果查询时不限定首字母，而只是包含某个词，比如like '%keyword%'这样的查询，实际操作中无法使用传统索引加速查询效率，而只能一项一项比较了。 而全文索引正是提供了“包含”式查询机制，查询一个长字符串中是否包含给定关键词的功能，这无论是在搜索引擎或是网站的搜索平台都是很有用处的。 首先，推荐一本学习SQL Server全文索引的书籍，这本书详细的讲解了全文索引的方方面面，甚至还阐述许多设计搜索引擎的思想和方法。书名是《Pro Full-Text Search in SQL Server 2008》，是Apress出版的。 这本书的内容是按章划分的，同时由浅入深，从一般的技巧到高级的技巧。我这里就简单分享一下基本的全文查询方法，更多高级的技巧应该在实际应用中按需进行学习。 要实现全文查询，首先安装的SQL Server实例要支持全文查询服务，可以查看windows服务是否有全文索引服务。如果没有，则要重新安装SQL Server并选择添加功能，将Full-Text功能选中，然后再安装或升级。
有了全文查询服务，还不能直接进行查询，需要先在想要建立全文索引的字段上建立一个全文索引。方法是打开企业管理器，选择字段所在表格，然后点击右键，选择"Full-text inde”，然后选择"define Full-text index"就能进入设置面板。 需要注意的是，全文索引只能建立在Unique（唯一）字段上，并且每个表最多只能有一个全文索引字段，因此要慎重。然后按照提示建立全文索引即可（可以参见我推荐的那本书，会有一步一步操作的详细说明和注释） 建立好全文索引后，就能够运用T-SQL的全文查询语法进行全文查询了。 主要有两个语法，一个是contains，另一个是freetext Contains contains从字面上就能很好理解，即包含，比如我们在表Sample的一个字段Column里查询包含“世界末日”这个关键词的所有记录，该表一共有60万条记录，传统的查询语法是 select * from Sample where [Column] like '%世界末日%'
数据库中全文搜索与Like的差别 在SQL Server中，Like关键字可以实现模糊查询，即确定特定字符串是否与制定模式相匹配。这里的模式可以指包含常规字符和通配符。在模式匹配过程中，常规字符必须与字符串中指定的字符完全匹配。不过通过使用通配符可以改变这个规则，如使用?等通配符可以与字符串的任意部分相匹配。故Like关键字可以在数据库中实现模糊查询。 另外数据库库管理员也可以利用全文搜索功能对SQL Server数据表进行查询。在可以对给定的标进行全文查询之前，数据库管理元必须对这个数据表建立全文索引。全文索引也可以实现类似Like的模糊查询功能。如在一张人才简历表中查找符合特定字符串的信息等等。虽然说Like关键字与全文搜索在功能上大同小异，但是在实现细节上有比较大的差异。作为数据库管理员需要了解这个差异，并选择合适的实现模式。 一、查询效率上的差异。 通常情况下，Like关键字的查询效率还是比较快的。特别是对于结构化的数据，Like的查询效率、灵活性方面是值得称道的。但是对于一些非机构化的文本数据，如果通过Like 关键字来进行模糊查询的话，则其执行效率并不是很理想。特别是对于全文查询来说，其速度要慢得多。而且随着记录数量的增多，类似的差异更明显。如在一张表中，有三百万行左右的文本数据，此时如果利用Like关键字来查找相关的内容，则可能需要几分钟的时间才能够返回正确的结果。相反，对于同样的数据通过采用全文搜索功能的话，则可能只需要1分钟不到甚至更多的时间及可以返回结果。故当文本数据的行数比较多时，如在一万行以上，则此时数据库管理员若采用全文搜索功能的话，则可以比较明显的改善数据库的查询效率。 二、对空格字符的敏感性。 在数据库中如果采用Like关键字进行模糊查询，则在这个关键字后面的所有字符都有意义。如现在用户使用like “abcd ”(带有两个空格)查询时，则后面的空格字符对于Like 关键字也是敏感的。也就是说，如果用户利用上面这条语句进行查询时，则被查询的内容必须也是“abcd ”(带有两个空格)这种类型的数据才会被返回。如果被查询的内容是“abcd ”(不带空格或者带有一个空格)则数据库系统会认为这与查询条件不相符合，故不会返回相关的记录。故Like关键字对于空格是比较敏感的。为此在使用Like关键字时候需要特别注意这个问题。如果用户或者程序开发人员不能够确定abcd后面到底是否有空格，则可以通过通配符拉实现。即可以利用”%abcd%”为条件语句。如此的话，无论abcd前面或者后面是否有空格，则都会被查询出来。但是全文搜索的话，通常情况下系统会把空格忽略掉。即在全文搜索功能中，系统会先对查询条件语句进行优化。如果发现空格的话，则往往会实现把空格过滤掉。故全文搜索的话，对于空格等特殊字符往往是不敏感的。 三、对于一些特殊字符的处理要求。 由于数据类型不同，其数据存储方式也不同。为此某些特殊的数据类型可能无法通过Like关键字来实现模糊查询。如对于办好char和varchar数据的模式的字符串比较可能无法通过Like关键字来实现。也就是说，Like关键字后面带的条件语句仅对字符模式有效，不能够使用Like条件语句来查询格式化的二进制数据等等。为此如果数据库管理元要采用Like 关键字，则其必须了解每种数据类型的存储方式以及导致Like关键字比较失败的原因。知己知彼，百战百胜。只有如此数据库管理员才能够避免因为在不恰当的地方采用了Like关键字而造成查询的错误。不过值得高兴的是，Like关键字支持ASCII模式匹配与Unicode模式匹配。如果Like关键字的所有参数都为ASCII字符数据类型，则Like关键字会自动采用ASCII 模式匹配。如果其中任何一个参数为Unicode数据类型，则系统会把所有的参数都转换为Unicode数据类型，并执行Unicode模式匹配。另外需要注意的是，如果Like关键字加上Unicode的数据类型则后面条件语句的空格是有效的，即比较时会考虑到后面出现的空格。
Sqlite命令操作 建立数据库档案 用sqlite3建立数据库的方法很简单，只要在shell下键入（以下$符号为shell 提示号，请勿键入）： $ sqlite3 foo.db 如果目录下没有foo.db，sqlite3就会建立这个数据库。sqlite3并没有强制数据库档名要怎么取，如果你喜欢，也可以取个foo.icannameitwhateverilike 的档名。 在sqlite3提示列下操作 进入了sqlite3之后，会看到以下文字： SQLite version 3.1.3 Enter ".help" for instructions sqlite> 这时如果使用.help可以取得求助，.quit则是离开（请注意：不是quit） SQL的指令格式 所以的SQL指令都是以分号（;）结尾的。如果遇到两个减号（--）则代表注解，sqlite3会略过去。 建立资料表 假设我们要建一个名叫film的资料表，只要键入以下指令就可以了：
create table film(title, length, year, starring); 这样我们就建立了一个名叫film的资料表，里面有name、length、year、starring 四个字段。 这个create table指令的语法为： create table table_name(field1, field2, field3, ...); table_name是资料表的名称，fieldx则是字段的名字。sqlite3与许多SQL数据库软件不同的是，它不在乎字段属于哪一种资料型态：sqlite3的字段可以储存任何东西：文字、数字、大量文字（blub），它会在适时自动转换。 建立索引 如果资料表有相当多的资料，我们便会建立索引来加快速度。好比说： create index film_title_index on film(title); 意思是针对film资料表的name字段，建立一个名叫film_name_index的索引。这个指令的语法为 create index index_name on table_name(field_to_be_indexed); 一旦建立了索引，sqlite3会在针对该字段作查询时，自动使用该索引。这一切的操作都是在幕后自动发生的，无须使用者特别指令。 加入一笔资料 接下来我们要加入资料了，加入的方法为使用insert into指令，语法为：insert into table_name values(data1, data2, data3, ...); 例如我们可以加入
Android 调试桥(adb)是多种用途的工具，该工具可以帮助你管理设备或模拟器的状态。 可以通过下列几种方法加入adb: ?在设备上运行shell命令 ?通过端口转发来管理模拟器或设备 ?从模拟器或设备上拷贝来或拷贝走文件 下面对adb进行了介绍并描述了常见的使用. Contents 概要 发出adb命令 查询模拟器/设备实例 给特定的模拟器/设备实例发送命令 安装软件 转发端口 从模拟器/设备中拷入或拷出文件 Adb命令列表 启动shell命令 通过远程shell端运行sqllite3连接数据库 UI/软件试验程序Monkey 其它的shell命令 启用logcat日志 使用logcat命令 过滤日志输出 控制日志输出格式 查看可用日志缓冲区 查看stdout 和stderr Logcat命令列表 停止adb服务 概要 Android 调试系统是一个面对客户服务系统，包括三个组成部分: ?一个在你用于开发程序的电脑上运行的客户端。你可 以通过shell端使用adb命令启动客户端。其他 Android工具比如说ADT插件和DDMS同样可以产 生adb客户端. ?在你用于发的机器上作为后台进程运行的服务器。该 服务器负责管理客户端与运行于模拟器或设备上的 adb守护程序(daemon)之间的通信。.
?一个以后台进程的形式运行于模拟器或设备上的守 护程序(daemon)。. 当你启动一个adb客户端，客户端首先确认是否已有一个adb服务进程在运行。如果没有，则启动服务进程。当服务器运行，adb服务器就会绑定本地的TCP端口5037并监听adb客户端发来的命令，—所有的adb客户端都是用端口5037与adb服务器对话的. 接着服务器将所有运行中的模拟器或设备实例建立连接。它通过扫描所有5555到5585范围内的奇数端口来定位所有的模拟器或设备。一旦服务器找到了adb守护程序，它将建立一个到该端口的连接。请注意任何模拟器或设备实例会取得两个连续的端口——一个偶数端口用来相应控制台的连接，和一个奇数端口用来响应adb连接。比如说: 模拟器1，控制台：端口5554 模拟器1，Adb端口5555 控制台：端口5556 Adb端口5557... 如上所示，模拟器实例通过5555端口连接adb，就如同使用5554端口连接控制台一样. 一旦服务器与所有模拟器实例建立连接，就可以使用adb命令控制和访问该实例。因为服务器管理模拟器/设备实例的连接，和控制处理从来自多个adb客户端来的命令，你可以通过任何客户端(或脚本)来控制任何模拟器或设备实例. 以下的部分描述通过命令使用adb和管理模拟器/设备的状态。要注意的是如果你用，装有ADT 插件的Eclipse开发Android程序，你就不需要通过命令行使用adb。ADT插件已经透明的把adb集成到Eclipse中了，当然，如果必要的话你也可以仍然直接使用adb，比如说调试. 发出adb命令 发出Android命令：你可以在你的开发机上的命令行或脚本上发布Android命令，使用方法: adb [-d|-e|-s