二次开发随手记
我在哪里可以找到Piwik跟踪代码？
使用本页面描述的所有功能，您需要使用最新版本的跟踪代码。为你的网站上找到的跟踪代码，请按照下面的步骤：
登录到您的管理员或超级用户使用piwik帐户
点击设置访问管理区
点击网站列出的网站，你跟踪Piwik
你希望跟踪网站上点击查看跟踪代码
现在你可以复制和粘贴的JavaScript跟踪代码到你的网页，就在< /
标签。使用piwik的跟踪代码如下：
在你使用piwik的跟踪代码,{$piwik_url }取代piwik url， { $ idsite }取代将在你跟踪Piwik网站idsite 取代。
此代码可以看看那些你熟悉JavaScript有点奇怪，但那是因为它是由异步运行。换句话说，浏览器不会等待piwik.js下载文件来显示你的网页。
异步跟踪，配置和跟踪返回由全局数组
_paq执行的，独立的piwik.js异步加载。格式：
_paq.push([ 'API_method_name', parameter_list ]);
你也可以执行推送函数。比如说呢：
var visitor_id; _paq.push([ function() { visitor_id = this.getVisitorId(); }]);
或例如，拿一个自定义变量 variable (name,value) 使用异步代码：
_paq.push(['setCustomVariable','1','VisitorType','Member']); _paq.push([ function() { var customVariable = this.getCustomVariable(1); }]);
你可以推送_paq数组甚至在piwik.js文件被加载并运行。
如果你使用piwik的跟踪代码看起来不喜欢这一个，你可以使用过时的版本。旧版本仍然正常工作，将跟踪您的访客，但我们强烈建议您更新您的网页，使用最新的跟踪代码。
JavaScript的追踪功能,自定义显示在使用piwik网页名称
默认情况下，使用piwik使用当前页面的URL在piwik界面页面标题。如果你的URL是不简单的，或者如果你想自定义方式Piwik跟踪你的页面，你可以指定页面的标题中使用JavaScript代码。
一个常见的用途是设置HTML标题值作为文档的标题：
如果你跟踪多个子域，在同一个网站，你可能想让你的网页标题作为前缀的子域名很容易让你看到交通数据为每个子域。你可以在做这么简单：
高级用户还可以动态生成页面的名称，例如，PHP：
点击手动触发事件
默认情况下，页面视图，当JavaScript Piwik轨迹跟踪代码加载并执行在每个页面视图。然而，在现代的网站或Web应用程序的用户交互，并不涉及加载新页。例如，当用户点击一个链接JavaScript，或者当他
们点击一个标签（这将触发一个js事件），或当他们与用户的交互界面元素，你仍然可以使用piwik追踪这些相互作用。
与piwik跟踪任何用户交互或点击，您可以手动调用JavaScript函数
。例如，如果你想跟踪一个JavaScript菜单上单击，你可以写：
手动触发一个目标转换
默认情况下，目标在Piwik被定义为“匹配”的URL部分（开始，包含，或正则表达式匹配）。你还可以跟踪给定目标页面，下载，或网页链接点击。
在某些情况下，你可能想注册在其他类型的动作转换，例如：
当用户提交表单
当用户在超过一个给定的时间在网页上
当一个用户做一些互动的Flash应用程序
当用户提交了他的车并做了付款：你可以使用piwik的跟踪代码来支付网站将在你使用piwik数据库记录转换，在转换的制定的收益
触发一个目标使用Piwik JavaScript跟踪，你可以简单的做：
你也可以注册为这个目标转换一个自定义的收入。例如，您可以生成调用trackgoal动态确定交易收入：
跟踪电子商务订单，车的更新和产品/类别页面视图
启用电子商务跟踪
电子商务报告，默认是禁用的。为了使电子商务分析报告，点击设置>网页>编辑”并选择启用电子商务电子商务中列的下拉菜单。
电子商务是一个网站一旦启用，目标菜单将被重新命名为电子商务与目标并将显示电子商务报告。
如果你没有看到目标菜单，这可能是由于目标的插件被禁用。
去tosettings和pluginsto使目标插件。
电子商务跟踪
一旦您启用跟踪电子商务网站，你需要实现你网站上的各种电子商务互动跟踪。有三种主要的电子商务互动，跟踪与piwik：
电子商务订单（和产品），
电子商务车升级（产品），
产品（或类）的网页浏览。
以下各节说明如何设置电子商务跟踪，利用JavaScript跟踪电子商务跟踪方法
跟踪电子商务订单和购买的物品（需要）
跟踪电子商务订单和产品的详细信息将使piwik处理报告：
产品规格，
品名。
顶级产品类别在你的网上商店的电子商务性能概述。
电子商务订单跟踪，使用两个JavaScript函数：
addEcommerceItem(productSKU, productName, productCategory, price, quantity)这增加了一个产品的订单，并必须被调用的顺序为每个产品。productsku是一个必需的参数，它也建议，如果他们在你的电子商务商店可送你其他参数。
trackEcommerceOrder(orderId, grandTotal, subTotal, tax, shipping, discount)这一跟踪电子商务订单和数据发送到您的Piwik服务器，这两个订单和产品以前添加的。只有OrderID和grandTotal（即收入）是必需的。
要跟踪包含两个产品–这个代码的电子商务订单应插在“订单”网页的一个例子，一旦客人退房并颁发的付款。如果你正确安装使用piwik，你应该已经有了一个跟踪代码页。在电子商务的代码必须添加基于订单生成：[...]
// add the first product to the order
_paq.push(['addEcommerceItem',
"9780786706211", // (required) SKU: Product unique identifier
"Endurance: Shackleton's Incredible Voyage", // (optional) Product name
"Adventure Books", // (optional) Product 类型. You can also specify an array of up to 5 categories eg. ["Books", "New releases", "Biography"]
8.8, // (recommended) Product price
1 // (optional, default to 1) Product 数量
]);
// Here you can add other products in the order
[...]
// Specifiy the order details to Piwik server & sends the data to Piwik server
_paq.push(['trackEcommerceOrder',
"A10000123", // (required) Unique Order ID
35, // (required) 订单收入总额（包括税收，航运，和减去折扣）
30, // (optional)订单小计（不包括运费）
5.5, // (optional) 税收
4.5, // (optional) 运输费
false // (optional)折扣 (set to false for 未定义)
]);
// 我们建议离开的订单确认页面时候调用trackPageView（）
_paq.push(['trackPageView']);
[...]
关于函数的参数的重要事项：
price (parameter of addEcommerceItem() function), grandTotal, subTotal, tax, shipping, discount (parameters of trackEcommerceOrder() function)
必须提供为整数或浮点数，而不是字符串。例如，以下所有的值是无效的：“14.4美元”，“eur14.4″，4″”，“14.4″。下面的值是有效的：5，3.3，5.44。如果你的电子商务软件提供的值的字符串，你可以确定后的字符串不包含例如货币符号或字符，调用JavaScript函数parsefloat()：parseFloat（“554.20″）。请注意，不
支持JavaScriptparsefloat()逗号分隔的十进制值”25,3″所以你可能需要替换逗号用点再打parsefloat()。
orderId是一个独特的字符串的顺序标识符。如果包含trackecommerceorder()调用网页刷新由客户几个小时或几天的初始订单后，piwik将自动丢弃的顺序记录。您可以为不同的网站使用相同ID的订单号，但对于一个给定的网站，订单号必须是唯一的。
如果你打印出这些参数中的HTML代码，确保产品的型号，名称和类别带双引号，否则会创建JavaScript 语法错误。
跟踪添加到购物车和项目添加到购物车（可选）
每次有客人添加（或更新，删除）从他/她的车的一个项目，你可以使用Piwik跟踪最新的车小计以及在车左产品。跟踪车更新将允许你看到多少收入留在你的访客的车每一天/周/等，以及报告哪些产品是最经常在车左，这类产品往往是遗弃在车。另外，你可以想像每个访问，他们被遗弃在访客记录购物车的内容。
对于放弃一些常见的原因是：
航运价格高，
为新用户复杂的形式（“匿名结帐”选项缺乏），
复杂冗长的结帐过程，
慢的网站，
游客只是浏览网站或想总成本与竞争对手的比较。
当你改变你的网站以较低的放弃率，并增加你的收入，你可以使用Piwik理解如果你的变化作出积极的影响。
与piwik跟踪购物车，你会调用JavaScript函数trackecommercecartupdate()每次用户添加，更新或从购物车中删除一个产品。
示例包含两个产品的电子商务订单跟踪：
该代码是添加的每一次“购物车”的页面被加载，或当“加入购物车”按钮点击：
[...]
// add the first product to the order
_paq.push(['addEcommerceItem',
"9780786706211", // (required) SKU: Product unique identifier
"Endurance: Shackleton's Incredible Voyage", // (optional) Product name
["Adventure Books", "Best sellers"], // (optional) Product category, string or array of up to 5 categories
8.8, // (recommended) Product price
1 // (optional, default to 1) Product quantity
]);
// Here it is important to add all other products found in the cart, even the products not updated by the current "Add to cart" click
[...]
// Records the cart for this visit
_paq.push(['trackEcommerceCartUpdate',
15.5]); // (recommended) Cart amount
_paq.push(['trackPageView']);
跟踪产品的网页和类别页面视图（可选）
跟踪产品的网页浏览，和/或类别页面视图让Piwik过程的转化率为每一个产品和/或类别。
它是有用的知道哪些产品或者类别网页把访问者变成你的客户。例如，也许有些产品页面有低于平均水平的转化率，但产生高收益。你可能会提高这些产品的页面，并随着时间的推移，检查他们的转换率。
跟踪产品或类别页面视图，函数setecommerceview（productsku，ProductName，categoryName, price）时，就在调用piwiktracker。对产品/类别页面trackpageview()。
例如跟踪产品页面视图
在这个例子中，下面的代码添加到产品页面的书“Endurance ”category属于“Adventure Books”：[...]
// all parameters are optional, but we recommend to set at minimum productSKU and productName _paq.push(['setEcommerceView',
"9780786706211", // (required) SKU: Product unique identifier
"Endurance: Shackleton's Incredible Voyage", // (optional) Product name
"Adventure Books", // (optional) Product category, or array of up to 5 categories
20.11 // (optional) Product Price as displayed on the page
]);
_paq.push(['trackPageView']);
[...]
例如跟踪类别页面的视图
This code is added on the Category page “Adventure Books”
[...]
// on a category page, productSKU and productName are not applicable and are set to false
_paq.push(['setEcommerceView',
productSku = false, // No product on Category page
productName = false, // No product on Category page
category = "Adventure Books" // Category Page, or array of up to 5 categories
]);
_paq.push(['trackPageView']);
[...]
在使用piwik电子商务报告
在你使用piwik的界面，你可以找到电子商务报告通过点击主菜单的“电子商务与目标”。
假设你已经设置电子商务跟踪如上所述，piwik将提供以下电子商务报告
电子商务数据
电子商务订单
平均订单价值
电子商务的转化率
采购产品
弃车指标：废弃的车去，在车左收入
电子商务报告
电子商务概述：收入，订单，转化率，AOV（平均订单价值），等。
最好的productskus
最好的产品名称
最好的产品类别
电子商务的日志–显示所有包含一个电子商务订单的访问，所以你可以想象你的客户clickpath
改进的标准报告
现有的报告将包括在“收入”栏的“电子商务收入”处理。
这些标准的报告也将有一个新的度量列：“电子商务的转化率”
电子商务活动概览
默认情况下，piwik将显示电子商务系统for the selected日期范围，as well as a图显示历史收益for the selected度量。
最好的产品、最好的类别
Piwik过程上销售的产品列表，任何的产品度量下令：收入，购买量，独特的购买，平均价格，平均数量，访问或转化率。
你可以通过产品SKU的顶级产品报告，按产品名称或类别。
请注意，您可以通过在每一列的列名称访问帮助定义。
电子商务活动的日志
与piwik，您可以查看（实时！）详细的电子商务的日志，显示所有的访问使在你的网站上购买，以及在他们离开所有的游客都有产品废弃的购物车。
电子商务的度量标准的报告
现有的报告现在将显示在列列表的电子商务数据，使电子商务表现可以显示在任何现有的报告不仅在电子商务报告页。
先进的电子商务统计API
所有数据在用户界面的电子商务报告，也可以通过使用piwik分析API。
你可以很容易地在你的网站上购买的产品要求的列表，要么按产品型号，产品名称或产品类别。
每个条目返回以下指标：
Total revenue
Total quantity
Average price
Average quantity
Number of orders (or abandoned carts) containing this product
number of visits on the Product page
Conversion rate
总收入
总数量
平均价格
平均数量
订单数量（或废弃的车）包含该产品
在产品页面访问数
转化率
你可以要求这些报告的电子商务订单，也为废弃的车。
查看完整的文档和示例的链接：电子商务分析API参考
更多的信息
我们希望您喜欢使用Piwik跟踪你的电子商务商店（S），和电子商务分析可以帮助你从你的网站获得更多的收入，以及让你的客户满意。
对于列表中的功能要求，围绕电子商务跟踪和报告在使用piwik，看看票的电子商务分析功能要求。
如果您对本文档的任何意见或问题，请留言在论坛或在下面的反馈形式。
跟踪内部搜索的关键字，类别，和没有结果的搜索关键词
Piwik提供先进的网站搜索分析功能，让您跟踪你的访客如何使用你的网站内部的搜索引擎。默认情况下，使用piwik可以读取URL参数将包含搜索关键词。然而，你也可以记录网站搜索关键词手动使用
在你的搜索结果页面，你会叫相反
记录内部搜索请求。注：“关键词”参数是必需的，但类和searchcount是可选的
我们也强烈建议设置searchcount参数，如piwik将特别报告“没有结果的关键字，如“关键字进行搜索，但没有返回任何结果。它通常是了解用户搜索很有趣但没找到（吗？）在你的网站。在用户DOC了解网站搜索分析。
自定义变量
自定义变量是一个强大的功能，使您能够跟踪每一个访问自定义值，和/或每个页面视图。请参阅跟踪自定义变量文档页面的一般信息。
您可以联系到5自定义变量（名称和值）为每个访问你的网站，和/或多达5个自定义变量为每个页面视图。如果你设置自定义变量访问，当他回来的时候，1小时或2天之后，这将是一个新的访问和他/她的自定义变量将是空的。
有两个“范围”，您可以设定您的自定义变量。“范围”是函数的第四个参数
当scope = "visit" 范围=“参观”，自定义变量的名称和值将被存储在数据库的访问。你可以存储多达5个自定义变量的范围”，每一个访问”。
当 scope = "page" 范围=“页面”，自定义变量的名称和值将被存储为页面视图被跟踪。你可以存储多达5个自定义变量的范围”，为每个页面视图页面”。
自定义变量统计报告Piwik访问者>自定义变量下。自定义变量的范围“访问”和“页面”汇总报告。
设置一个访问自定义变量
这个函数是用来创建，或更新一个自定义变量的名称和值。例如，假设你要存储在每个访问用户的性别。你将存储自定义变量name = "gender", value = "male" or "female".
重要：一个给定的自定义变量名必须存储在相同的“指数”。例如，如果您选择存储变量name = "Gender" in index = 1 and you record another custom variable in index = 1
then the "Gender" variable将被删除并替换为新的自定义变量存储在index 1。
你只需要用 scope "visit" 范围“参观”一旦设置一个变量值，并将记录整个访问。
设置一个页面视图自定义变量
as well as跟踪自定义变量“参观”，它是有时useful to track自定义变量for each页面视图分别。For example，for a“新闻”网站或博客，categorized into one may be given条或几个类别。在这种情况下，你可以设置一个
如果文章是在体育和欧洲类别分类。自定义变量的报告将有多少访问量和页面浏览量在每个网站的类别报告。这个信息很难获得与标准Piwik报告因为他们报告的“最佳网页URL”和“最佳网页标题”这可能不
包含“类”的信息。
重要：它可以存储自定义变量的范围“访问”中的“指数”1，和存储一个不同的自定义变量范围的“页面”的“指数”1。因此，在技术上你可以跟踪你网站的每个网页最多10个自定义变量的名称和值（5个“网页”范围存储在实际的网页浏览，5个“参观”范围存储在访问）。
删除自定义变量
deleteCustomVariable (index, scope )
如果你创建了一个自定义变量，然后决定从一个访问或页面视图中删除该变量，你可以用deletecustomvariable。
坚持使用piwik服务器的更改，您必须在调用该函数
trackPageView();
取名字和一个自定义变量的值
getCustomVariable (index, scope )
此功能是有用的如果范围=“访问”scope = "visit".。
在这种情况下，自定义变量记录的访问时间第一方Cookie（上一次的操作，30分钟后）。你可以检索自定义变量的名称和值使用piwiktracker.getcustomvariable。如果在请求的索引没有自定义变量，它将返回false。
对于域和子域Cookie设置
Piwik使用第一方Cookie来记录一些信息（访问次数，原来的引荐，和独特的访客ID）。第一[方Cookie 保证较高的用户隐私（因为Cookie不发送给第三方服务器），并因此设置在大多数浏览器。
Piwik创建一组的每个域和子域的饼干。如果你想跟踪一些子域和分享准确统计同样的饼干，有必要定制Piwik跟踪代码。检查出的各种配置的例子。
如果你只跟踪一个域名或域中的一个单一的网站使用piwik
这是标准的使用案例。Piwik跟踪一个域名访问没有子域，在一个单一的Piwik网站。
如果你跟踪一个域名和若干子域在使用piwik一个网站
如果你想记录访问主域名以及其子，你想在所有领域分享饼干。您可以通过调用
在所有子域跟踪代码。
如果你跟踪域子目录，或在不同的网站页面Piwik
默认情况下，使用piwik只使用一个cookie的域名，和所有的网页和子目录。
有可能的情况下，你跟踪一个子目录作为一个单独的网站在使用piwik。如果访问者访问超过几个子目录，这将导致在您的报告不准确：一些网站上的时间，访问次数，转换引用，返回新的游客。在这个用例，你可以确保你的报告通过创建每个子路径，你在不同的网站跟踪不同的饼干留在Piwik准确。功能
setcookiepath()
用于设置cookie路径。
例如，如果你的网站的用户配置文件，你可以跟踪每个用户的个人资料页的分析作为一个独特的网站使用piwik。在主域的主页，你会使用默认跟踪代码。
在/用户/ myusername页，你会写：
有关跟踪Piwik网站和子域的更多信息，参见常见问题：如何配置Piwik监测的几个网站，域和子域
忽略特定域或子域中的“网页链接点击跟踪
默认情况下所有链接到其他比目前的域启用点击跟踪领域，每一个点击的将被视为一个网页链接。如果您使用多个域和子域，您可能会看到在您的区域出现在页>点击类型报告。
如果你只需要点击到外部网站的出现在你的自制的报告，你可以使用这个功能
setDomains()指定的别名域或子域列表。通配符（*域。例如。org）的支持，让你轻易忽略点击所有子域。
禁用下载网页链接跟踪
默认情况下，使用piwik的跟踪代码可以点击下载跟踪。禁用所有自动下载和网页链接跟踪，您必须删除通话的
enablelinktracking()
Java开源搜索引擎分类列表 Nutch 是一个开源Java 实现的搜索引擎。它提供了我们运行自己的搜索引擎所需的全部工具。包括全文搜索和Web爬虫。 Solr是一个高性能，采用Java5开发，基于Lucene的全文搜索服务器。文档通过Http利用XML加到一个搜索集合中。查询该集合也是通过http收到一个XML/JSON响应来实现。它的主要特性包括：高效、灵活的缓存功能，垂直搜索功能，高亮显示搜索结果，通过索引复制来提高可用性，提供一套强大Data Schema来定义字段，类型和设置文本分析，提供基于Web的管理界面等。 Egothor是一个用Java编写的开源而高效的全文本搜索引擎。借助Java的跨平台特性，Egothor能应用于任何环境的应用，既可配置为单独的搜索引擎，又能用于你的应用作为全文检索之用。 更多Egothor信息 Nutch Nutch 是一个开源Java 实现的搜索引擎。它提供了我们运行自己的搜索引擎所需的全部工具。包括全文搜索和Web爬虫。 更多Nutch信息 Lucene Apache Lucene是一个基于Java全文搜索引擎，利用它可以轻易地为Java软件加入全文搜寻功能。Lucene的最主要工作是替文件的每一个字作索引，索引让搜寻的效率比传统的逐字比较大大提高，Lucen提供一组解读，过滤，分析文件，编排和使用索引的API，它的强大之处除了高效和简单外，是最重要的是使使用者可以随时应自已需要自订其功能。 更多Lucene信息 Oxyus 是一个纯java写的web搜索引擎。 更多Oxyus信息 BDDBot BDDBot是一个简单的易于理解和使用的搜索引擎。它目前在一个文本文件(urls.txt)列出的URL中爬行，将结果保存在一个数据库中。它也支持一个简单的Web服务器，这个服务器接受来自浏览器的查询并返回响应结果。它可以方便地集成到你的Web站点中。 更多BDDBot信息 Zilverline Zilverline是一个搜索引擎，它通过web方式搜索本地硬盘或intranet上的内容。Zilverline 可以从PDF, Word, Excel, Powerpoint, RTF, txt, java, CHM,zip, rar等文档中抓取它们的内容来建立摘要和索引。从本地硬盘或intranet中查找到的结果可重新再进行检索。Zilverline支持多种语言其中包括中文。 更多Zilverline信息 XQEngine
大数据相关开源系统简介汇总 本片博客介绍大数据相关的开源系统以及他们对应的一句话简介, 对于各位想大概了解大数据都有哪些开源系统的同学有帮助。各种相关开源系统简介： 如下是Apache基金支持的开源软件 hdfs 跟GFS类似, 一个分布式文件系统。 mapreduce 跟Google的MapReduce类似, 一个典型的简单的分布式计算框架。 yarn 资源管理系统, 跟Mesos类比。 Avro 跟PB类似, 用于将数据结构序列化成字节码, 在不同的语言之间切换。 官方举例是将C转换给Pig。 BigTop 一个给Hadoop打包和测试的软件。其本来是cloudera公司自己给自己写的一个方便OP部署和搭建环境的工具, 不过因为写得不错, 已经成为了Apache顶级项目。目前支持系列Hadoop生态链中的软件: Zookeeper, Flume, HBase, Pig, Hive, Sqoop, Oozie, Whirr, Mahout, SolrCloud, Crunch, DataFu and Hue Chukwa 收集各种实时监控数据(比如日志)并固化到HDFS上的事情。 Drill Google的Dremel的开源版本。PB以上数据实时秒级查询。 Flume 用来做数据迁移的工具。支持数据包括Avro, files, 系统日志, 落地的系统包括HDFS, HBase。
HBase Google的BigTable的开源版本。宽列存储, 底层基于HDFS。 HCatalog 为HDFS做的一个管理metadata的系统。基于Hive, 提供服务给MapReduce, Pig, 将来会支持HBase。 Hive 支持HSQL, 将SQL转换成MapReduce任务。 Mahout 一个数据挖掘, 机器分析的算法库。 Oozie 用来管理Hadoop中的多轮任务的工具, 类似DAG管理工具。 Tez 也是多个任务的DAG管理工具, 但是其做得更底层，直接替代了MR的调度程序，多个任务之间的数据传递不用再落地到hdfs上了。 Pig 跟Hive类似, 提供比裸写MR更友好的界面, 然后翻译成MapReduce。只是Hive提供的是SQL, Pig提供的是更高级别的语言Pig-Latin, 供用户做数据挖掘和分析。 Sqoop Sql-to-Hadoop。将关系型数据库中的数据导入到Hadoop当中。 ZooKeeper 提供高可用的存储服务。内部采用paxos一致性协议。 Whirr 用于将Hadoop放到各种IaaS里面去运行的环境部署类项目。 Crunch
一、界面、广告以及速度搜索引擎在我们日常操作中的使用频率非常高，大家使用它的目的都非常明确，就是用它来搜寻需要的内容，而不会为搜索引擎的页面做过多的停留，因此搜索引擎的界面设计和速度就对我们的使用产生不小的影响，下面来看看这六款搜索引擎在界面和速度上的表现。谷歌、百度和微软的Live Search，这三大搜索引擎的界面大家都已经相当熟悉，它们有着共同的特点，就是简洁至极：网站LOGO、搜索框和按钮以及个别功能服务链接，除此以外，页面上就没有其他多余和花哨的东西了，给人的感觉非常清爽，界面一目了然，特别是Live Search在不失简洁的同时还通过一些小脚本和背景图片使得页面整体更加美观。三者使用起来都很方便，并且首页界面上没有任何第三方的广告。搜索结果页面，三者同样是采用简洁的风格，页面左侧排列着搜索结果，百度搜索结果页面右侧有不少广告，谷歌视关键词的不同也可能出现右侧广告。 Live Search的界面十分简洁且美观 百度搜索结果页面右侧的广告与上面三者相比，雅虎全能搜在界面上显得更为活泼、色彩更加多样，并且在首页内容上也更丰富。首页上除了常规的搜索所需组成部分外，雅虎全能搜还加入了天气预报、邮箱登录的显示区域。虽然这些占据了一点点页面，但是它们功能实用且不影响正常使用。雅虎全能搜的搜索主页 搜狗搜索的界面可谓结合了谷歌和Live Search：在布局上
与谷歌类似，而在细节上与Live Search有着异曲同工之妙；而搜索新军——网易有道的界面与谷歌、百度站在同一阵线，风格、版式都十分一致。在搜索结果页面中，搜狗搜索页面左侧有少量广告。总的来说，六款搜索引擎的界面设计都比较合理、美观、大方。雅虎全能搜的界面稍有不同，加入了天气预报和邮箱模块，而其他五款都尽量精简，其中谷歌、百度和有道趋于一致，采用最简的风格，而Live Search和搜狗在首页的一些细节上多加以了一些修饰。此外，值得一提的是一些搜索引擎对于Logo文化的重视，在传统的节日或者一些特殊的纪念日时都会将首页的Logo徽标换成与该日子相关的设计。其中在这方面要数谷歌和百度做得最为出色：无论是三八节、五一节这样的国际节日，或者情人节、万圣节这样的西方舶来物，还是春节、清明、端午等传统的中国农历节日，谷歌和百度都会精心设计相应的节日Logo；此外，谷歌在一些特殊的纪念日，如达芬奇诞辰、地球日之类的纪念日也会推出专门的徽标；而百度近期开始定期在首页推出一个搜索封面人物，以此反映对互联网时代风云人物的价值取向，十分有特色。雅虎和搜狗在节日Logo设计方面也有所表现，在节日时也可经常看到其专门的徽标；网易有道正式版新近推出不久，我们还无法对其在特殊Logo的设计上是否会有所表现作出评价。搜索引擎的特色Logo其实并不仅仅是一个单纯的设计，它还有更多的作用：它承载了一种信息，传达了搜索引擎提供商对于创新、
作者声明 本人郑重声明：所呈交的学位是本人在导师的指导下独立进行研究所取得的研究成果。除了文中特别加以标注引用的内容外，本不包含任何其他个人或集体已经发表或撰写的成果作品。 本人完全了解有关保障、使用学位的规定，同意学校保留并向有关学位管理机构送交的复印件和电子版。同意省级优秀学位评选机构将本学位通过影印、缩印、扫描等方式进行保存、摘编或汇编；同意本被编入有关数据库进行检索和查阅。 本学位内容不涉及国家机密。 题目：全文搜索引擎的设计与实现 作者单位：江汉大学数学与计算机科学学院 作者签名：XXX 20XX年 5 月 20 日
学士学位 题目全文搜索引擎的设计与实现 （英文） Full-text search engine design and Implementation 学院数学与计算机科学学院 专业计算机科学与技术 班级 B09082021 姓名 XXX 学号 20XX08202137 指导老师 YYY 20XX 年5月20日
摘要 目前定制和维护搜索引擎的需求越来越大，对于处理庞大的网络数据，如何有效的去存储它并访问到我们需要的信息，变得尤为重要。Web搜索引擎能有很好的帮助我们解决这一问题。 本文阐述了一个全文搜索引擎的原理及其设计和实现过程。该系统采用B/S模式的Java Web平台架构实现，采用Nutch相关框架，包括Nutch，Solr，Hadoop,以及Nutch 的基础框架Lucene对全网信息的采集和检索。文中阐述了Nutch相关框架的背景，基础原理和应用。 Nutch相关框架的出现，使得在java平台上构建个性化搜索引擎成为一件简单又可靠的事情。Nutch 致力于让每个人能很容易, 同时花费很少就可以配置世界一流的Web 搜索引擎。目前国内有很多大公司，比如百度、雅虎，都在使用Nutch相关框架。由于Nutch是开源的，阅读其源代码，可以让我们对搜索引擎实现有更加深刻的感受，并且能够更加深度的定制需要的搜索引擎实现细节。 本文首先介绍了课题研究背景，然后对系统涉及到的理论知识，框架的相关理论做了详细说明，最后按照软件工程的开发方法逐步实现系统功能。 关键词 Nutch、Solr、Hadoop、Lucene、搜索引擎
开源搜索引擎的比较 1．N utch 简介： Nutch是一个用java实现的基于Lucene的开源搜索引擎框架，主要包括爬虫和查询两部分组成。Nutch所使用的数据文件主要有以下三种：1）是webDb，保存网页链接结构信息，只在爬虫工作中使用。2）是segment，存储网页内容及其索引，以产生的时间来命名。segment文件内容包括CrawlDatum、Content、ParseData、ParseText四个部分，其中CrawlDatum保存抓取的基本信息，content 保存html脚本，ParseData和ParseText这两个部分是对原内容的解析结果。3）是index，即索引文件，它把各个segment的信息进行了整合。爬虫的搜索策略是采用广度优先方式抓取网页，且只获取并保存可索引的内容。 Nutch0.7需要java1.4以上的版本，nutch1.0需要java1.6。 特点： 1、遵循robots.txt，当爬虫访问一个站点时，会首先检查该站点根目录下是否存在robots.txt，如果存在，搜索机器人就会按照该文件中的内容来确定访问的范围；如果该文件不存在，所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。 2、采用基于Hadoop的分布式处理模型，支持分布式的实现。 3、Nutch可以修剪内容，或者对内容格式进行转换。 4、Nutch使用插件机制，可以很好的被用户定制和集成。 5、Nutch采用了多线程技术。 6、将爬取和建索引整合在了一起，爬取内容的存储方式是其自己定义的 segment，不便于对爬取的内容进行再次处理，需要进行一定的修改。 7、因为加入了对页面分析，建索引等功能其效率与heritrix相比要相对较低。
深圳大学考试答题纸 (以论文、报告等形式考核专用) 二○～二○学年度第学期 课程编号1501320002 课程名称搜索引擎技术主讲教师王旭评分 学号姓名专业年级 题目：利用开源工具构建小型搜索引擎 一、项目操作环境及基本操作工具： 操作系统：Win10。 基本操作环境：基于Heritrix+ Lucene；java。 基本操作工具：JDK 1.8，MyEclipse Professional 2014，Tomcat 8.0.27，Heritrix 1.14.4，Lucene 2.1.0，— JE-analysis-1.5.3， Htmlparser 1.5。 基本操作工具基本功能介绍： JDK 1.8:JDK（Java SE Development Kit）包括Java开发包和Java开发工具，是一个写Java 的applet和应用程序的程序开发环境。它由一个处于操作系统层之上的运行环境还有 开发者编译，调试和运行用Java语言写的applet和应用程序所需的工具组成。 MyEclipse Professional 2014： Eclipse是一种可扩展的开放源代码IDE。2001年11月，IBM公司捐出价值4,000万美元的源代码组建了Eclipse联盟，并由该联盟负责这种工具的后 续开发。集成开发环境（IDE）经常将其应用范围限定在“开发、构建和调试”的周期 之中。为了帮助集成开发环境（IDE）克服目前的局限性，业界厂商合作创建了Eclipse 平台。MyEclipse，是在eclipse 基础上加上自己的插件开发而成的功能强大的企业级集 成开发环境。 Tomcat 8.0.27:—Tomcat服务器是一个免费的开放源代码的Web 应用服务器，它是Apache 软件基金会（Apache Software Foundation）的Jakarta 项目中的一个核心项目，由Apache、 Sun 和其他一些公司及个人共同开发而成。—Tomcat 8支持最新的Servlet 3.1 和JSP 2.3 规范。因为Tomcat技术先进、性能稳定，而且免费，因而深受Java 爱好者的喜爱并 得到了部分软件开发商的认可，成为目前比较流行的Web应用服务器。 Heritrix 1.14.4:Heritrix是一个开源、可扩展的Web爬虫项目。Heritrix设计成严格按照robots.txt 文件的排除指示和META robots标签。 Lucene 2.1.0:—Lucene是Apache软件基金会jakarta项目组的一个子项目，是一个开放源代码的全文检索引擎工具包，即它不是一个完整的全文检索引擎，而是一个全文检索引擎的架构，提供了完整的查询引擎和索引引擎，部分文本分析引擎（英文与德文两种西方 语言）。 JE-analysis-1.5.3:是一个免费的Lucene中文分词组件。 Htmlparser 1.5:是一个纯的java写的html解析的库，Htmlparser不依赖于其它的java库，Htmlparser主要用于改造或提取html。
开源搜索引擎的比较 1．Nutch 简介： Nutch是一个用java实现的基于Lucene的开源搜索引擎框架，主要包括爬虫和查询两部 分组成。Nutch所使用的数据文件主要有以下三种：1）是webDb，保存网页链接结构信息，只在爬虫工作中使用。2）是segment，存储网页内容及其索引，以产生的时间来命名。segment文件内容包括CrawlDatum、Content、ParseData、ParseText四个部分，其中CrawlDatum保存抓取的基本信息，content保存html脚本，ParseData和ParseText这两个部分是对原内容的解析结果。3）是index，即索引文件，它把各个segment的信息进行了整合。爬虫的搜索策略是采用广度优先方式抓取网页，且只获取并保存可索引的内 容。 Nutch0.7需要java1.4以上的版本，nutch1.0需要java1.6。 特点： 1、遵循robots.txt，当爬虫访问一个站点时，会首先检查该站点根目录下是 否存在robots.txt，如果存在，搜索机器人就会按照该文件中的内容来确定访问的范围；如果该文件不存在，所有的搜索蜘蛛将能够访问网站上所有没有被口令 保护的页面。 2、采用基于Hadoop的分布式处理模型，支持分布式的实现。 3、Nutch可以修剪内容，或者对内容格式进行转换。 4、Nutch使用插件机制，可以很好的被用户定制和集 成。5、Nutch采用了多线程技术。 6、将爬取和建索引整合在了一起，爬取内容的存储方式是其自己定义的segment，不便于对爬取的内容进行再次处理，需要进行一定的修改。 7、因为加入了对页面分析， 建索引等功能其效率与heritrix相比要相对较低。 全国注册建筑师、建造师考试备考资料历年真题考试心得模拟试题2．Heritrix
[文章作者：张宴本文版本：v1.0 最后修改：2008.07.27 转载请注明原文链接：https://www.doczj.com/doc/fc7279592.html,/post/360/] 前言：本文阐述的是一款经过生产环境检验的千万级数据全文检索（搜索引擎）架构。本文只列出前几章的内容节选，不提供全文内容。 在DELL PowerEdge 6850服务器（四颗64 位Inter Xeon MP 7110N处理器/ 8GB内存）、RedHat AS4 Linux操作系统、MySQL 5.1.26、MyISAM存储引擎、key_buffer=1024M环境下实测，单表1000万条记录的数据量（这张MySQL表拥有int、datetime、varchar、text等类型的10多个字段，只有主键，无其它索引），用主键（PRIMARY KEY）作为WHERE条件进行SQL查询，速度非常之快，只耗费0.01秒。 出自俄罗斯的开源全文搜索引擎软件Sphinx，单一索引最大可包含1亿条记录，在1千万条记录情况下的查询速度为0.x秒（毫秒级）。Sphinx创建索引的速度为：创建100万条记录的索引只需3～4分钟，创建1000万条记录的索引可以在50分钟内完成，而只包含最新10万条记录的增量索引，重建一次只需几十秒。 基于以上几点，我设计出了这套搜索引擎架构。在生产环境运行了一周，效果非常不错。有时间我会专为配合Sphinx搜索引擎，开发一个逻辑简单、速度快、占用内存低、非表锁的MySQL存储引擎插件，用来代替MyISAM引擎，以解决MyISAM存储引擎在频繁更新操作时的锁表延迟问题。另外，分布式搜索技术上已无任何问题。 一、搜索引擎架构设计： 1、搜索引擎架构图： 2、搜索引擎架构设计思路： (1)、调用方式最简化： 尽量方便前端Web工程师，只需要一条简单的SQL语句“SELECT ... FROM myisam_table JOIN sphinx_table ON (sphinx_table.sphinx_id=myisam_table.id) WHERE query='...';”即可实现高效搜索。 (2)、创建索引、查询速度快： ①、Sphinx Search 是由俄罗斯人Andrew Aksyonoff 开发的高性能全文搜索软件包，在GPL与商业协议双许可协议下发行。 Sphinx的特征： ?Sphinx支持高速建立索引（可达10MB/秒，而Lucene建立索引的速度是1.8MB/秒）?高性能搜索（在2-4 GB的文本上搜索，平均0.1秒内获得结果） ?高扩展性（实测最高可对100GB的文本建立索引，单一索引可包含1亿条记录） ?支持分布式检索 ?支持基于短语和基于统计的复合结果排序机制
开源搜索引擎的比较收藏 A Comparison of Open Source Search Engines Christian Middleton, Ricardo Baeza-Yates 作者： Christian Middleton https://www.doczj.com/doc/fc7279592.html,/in/cmiddlet Hi5的高级工程师。 Ricardo Baeza-Yates https://www.doczj.com/doc/fc7279592.html,/Ricardo_Baeza-Yates Yahoo的高级研究人员。 翻译： 史春奇， 搜索工程师， 中科院计算所毕业， chunqi.shi@https://www.doczj.com/doc/fc7279592.html, 原文：https://www.doczj.com/doc/fc7279592.html,/WRG/dctos/Middleton-Baeza.pdf 目录 开源搜索引擎的比较 (1) A Comparison of Open Source Search Engines. 1 目录 (1) 第1章简介 (2) 第2章背景 (3) 2.1 文档收集 (4)
2.1.1网页抓取 (4) 2.1.2文本检索大会TREC. 4 2.2 索引 (5) 2.3 查询和排序 (5) 2.4 检索评估 (6) 第3章搜索引擎 (7) 3.1 特征 (8) 3.2 评估 (9) 第4章比较方法 (11) 4.1 文档收集 (11) 4.2 测试比较 (12) 4.3引擎安装 (12) 第5章测试 (12) 5.1 索引 (12) 5.1.1 TREC-4数据集的索引测试 (12) 5.1.2 索引WT10g的分组。 (14) 5.2 查询 (15) 5.2.1 TREC-4数据集的查询实验 (17) 5.2.2 准确率和召回率的比较 (19) 5.3整体评估 (19) 第6章结论 (20) 参考书目 (21)
2013高教社杯全国大学生数学建模竞赛 承诺书 我们仔细阅读了《全国大学生数学建模竞赛章程》和《全国大学 生数学建模竞赛参赛规则》（以下简称为“竞赛章程和参赛规则”， 可从全国大学生数学建模竞赛网站下载）。 我们完全明白，在竞赛开始后参赛队员不能以任何方式（包括电 话、电子邮件、网上咨询等）与队外的任何人（包括指导教师）研究、 讨论与赛题有关的问题。 我们知道，抄袭别人的成果是违反竞赛章程和参赛规则的，如果 引用别人的成果或其他公开的资料（包括网上查到的资料），必须按 照规定的参考文献的表述方式在正文引用处和参考文献中明确列出。 我们郑重承诺，严格遵守竞赛章程和参赛规则，以保证竞赛的公 正、公平性。如有违反竞赛章程和参赛规则的行为，我们将受到严肃 处理。 我们授权全国大学生数学建模竞赛组委会，可将我们的论文以任 何形式进行公开展示（包括进行网上公示，在书籍、期刊和其他媒体 进行正式或非正式发表等）。 我们参赛选择的题号是（从A/B/C/D中选择一项填写）： B 我们的参赛报名号为（如果赛区设置报名号的话）： 所属学校（请填写完整的全名）：
参赛队员 (打印并签名) ：1. 2. 3. 指导教师或指导教师组负责人 (打印并签名)： （论文纸质版与电子版中的以上信息必须一致，只是电子版中无 需签名。以上内容请仔细核对，提交后将不再允许做任何修改。如填 写错误，论文可能被取消评奖资格。） 日期： 2014 年 8 月 21 日
2013高教社杯全国大学生数学建模竞赛 编号专用页 赛区评阅编号（由赛区组委会评阅前进行编号）： 赛区评阅记录（可供赛区评阅时使用）： 评 阅 人 评 分
开源博客系统大全 WordPress WordPress是最热门的开源个人信息发布系统(Blog)之一，基于PHP+MySQL 构建。WordPress提供的功能包括： 1.文章发布、分类、归档。 2.提供文章、评论、分类等多种形式的RSS聚合。 3.提供链接的添加、归类功能。 4.支持评论的管理，垃圾信息过滤功能。 5.支持对样式CSS和PHP程序的直接编辑、修改。 6.在Blog系统外，方便的添加所需页面。 7.通过对各种参数进行设置，使你的Blog更具个性化。 8.静态html页面生成。 9.通过选择不同主题，方便地改变页面的显示效果。 10.通过添加插件，可提供多种特殊的功能。 11.支持Trackback和pingback。 12.支持针对某些其它blog软件、平台的导入功能。 13.支持多用户。 14.安装最简单。 15.Web标准支持非常好。 16.使用比较简单。 17.拥有大量的主题与插件。
LifeType lifetype是一个开源的Blog平台,在同一个系统中支持多个Blog和多个用户。它具有： 1.友好的用户界面 2.多媒体文档管理 3.多样化的主题 4.丰富的插件程序 5.垃圾信息过滤机制 6.支持引用 7.支持一个Blog多个作者 8.安装简单 9.移动功能 10.支持多Blog与多使用者环境 11.统一的社区网站页面 12.支持二级域名 13.支持多国语言 14.高性能数据存取 15.LifeType是基于MVC模式架构开发具有很高的扩展性。 Roller
Roller是一个全功能的多用户博客平台。采用Java语言开发，设计得比较精巧，源代码是很好的学习资料。它支持weblogging应有的特性如：评论功能，所见即所得HTML编辑，TrackBack，提供页面模板，RSS syndication,blogroll管理和提供一个XML-RPC 接口。 TQBlog TQBlog开源博客系统，是一款轻型而强大的免费开源个人博客系统。采用PHP 和MySQL SQLite 等其他多种数据库构建的性能优异、功能实用、体积小速度快、安全稳定的CMS系统。支持多服务器（Nginx,Apache,IIS,Lighttpd等Web 服务器）多客户端（IE、FierFox、Opera、Safari等浏览器），支持自定义主题和完善的插件接口，强大的功能扩展；支持UrlRewrite，使你的博客能更好的被搜索引擎收录。 1.文章发布、分类、归档。 2.提供链接的添加、归类功能。 3.提供文章、评论、分类等多种形式的RSS聚合。 4.提供外部获取站内数据的XML格式的API接口。 5.提供XMLRPC 接口。 6.支持垃圾信息过滤功能。 7.在Blog系统外，方便的添加所需页面。 8.通过对各种参数进行设置，使你的Blog更具个性化。 9.支持伪静态URLRewrite。 10.通过选择不同主题，方便地改变页面的显示效果。
今天我就在这里借光年论坛在这里献丑下，写篇几篇关于自己搭建搜索引擎的文章。所采用的是开源搜索引擎nutch，考虑到大部份的SEOER所以主要是在WINDOWS平台进行搭建。1，Nutch简介Nutch 是一个刚刚诞生开放源代码(open-source)的web搜索引擎.尽管Web搜索是漫游Internet的基本要求, 但是现有web搜索引擎的数目却在下降. 并且这很有可能进一步演变成为一个公司垄断了几乎所有的web搜索为其谋取商业利益.这显然不利于广大Internet用户.Nutch为我们提供了这样一个不同的选择. 相对于那些商用的搜索引擎, Nutch作为开放源代码搜索引擎将会更加透明, 从而更值得大家信赖. 现在所有主要的搜索引擎都采用私有的排序算法, 而不会解释为什么一个网页会排在一个特定的位置. 除此之外, 有的搜索引擎依照网站所付的费用, 而不是根据它们本身的价值进行排序. 与它们不同, Nucth没有什么需要隐瞒, 也没有动机去扭曲搜索的结果. Nutch将尽自己最大的努力为用户提供最好的搜索结果.Nutch 致力于让每个人能很容易, 同时花费很少就可以配置世界一流的Web搜索引擎. 为了完成这一宏伟的目标, Nutch 必须能够做到: 每个月取几十亿网页 为这些网页维护一个索引 对索引文件进行每秒上千次的搜索 提供高质量的搜索结果 以最小的成本运作 2，安装2．1安装准备所需软件：（如果以下网址不能下载，请自行搜索） JDK1.6 下载地址：https://www.doczj.com/doc/fc7279592.html,/zh_CN/ Tomcat 7.0.x 下载 址:https://www.doczj.com/doc/fc7279592.html,//tomcat/tomcat-7/v7.0.4-beta/bin/apache-tomcat-7.0.4.exe Cygwin 下载地址：https://www.doczj.com/doc/fc7279592.html,/setup.exe Nutch 1.0 下载地址：https://www.doczj.com/doc/fc7279592.html,/apache//nutch/nutch-1.0.tar.gz
11个常用学术搜索引擎 类别：传媒研究作者：dodge转载浏览量： 134 发布时间：2009-09-23 23:44 此文章仅代表作者本人意见，不代表南方都市报立场。 摘要：11个常用学术搜索引擎 （1）Google Scholar （https://www.doczj.com/doc/fc7279592.html,/ ） Google 推出的免费学术搜索工具，可以帮助用户快速查找学术资料，包括来自学术著作出版商、专业性社团、预印本、各大学及其他学术组织的经同行评论的文章、论文、图书、摘要和技术报告。 2006 年，Google Scholar 扩展至中文学术文献领域。作为此次扩展的一部分，Google Scholar 在索引中涵盖了来自多方面的信息，信息来源包括万方数据资源系统、维普资讯、主要大学发表的学术期刊、公开的学术期刊、中国大学的论文、中国国家数字图书馆的馆藏图书以及网上可以搜索到的各类文章。Goo gle Scholar 同时提供了中文版界面，供中国用户更方便的搜索全球的学术科研信息。 Google Scholar 具有以下特点： ①每一条搜索结果会提供文章标题、作者、引用者、相关文章以及出版、收藏情况等编目信息，有些还会提供链接。 ②搜索结果的排序会考虑到每篇文章的全文内容、作者影响度、发表文章刊物的权威性以及该文章被其他学术著作引用的次数等要素。 ③搜索不仅仅针对文字信息，还包括评论等其他方面。 （2）SCIRUS （https://www.doczj.com/doc/fc7279592.html,/ ） SCIRUS 是由爱思唯尔科学公司（Elsevier Science ）于2001 年4 月推出的迄今为止国际互联网上最全面的科技信息专用搜索引擎。它以自身拥有的资源为主体，对网上具有科学价值的资源进行整合，集聚了带有科学内容的网站及与科学相关的网页上的科学论文、科技报告、会议论文、专业文献、预印本等。其目的是力求在科学领域内做到对信息全面深入的收集，以统一的检索模式面向用户提供检索服务。 SCIRUS 覆盖超过2 亿个与科技相关的网页，包括5900 万个.edu 站点，1 800 万个.org 站点，680 万个https://www.doczj.com/doc/fc7279592.html, 站点，1860 万个.com 站点及500 万个. gov 站点。这些信息源包括：Science Direct ，IDEAL ，MEDLINE on BioMedN et ，Beilstein on ChemWeb ，BioMed Central ，US Patent Office ，E-Pri nt ArXiv ，Chemistry Preprint Server ，Mathematics Preprint Server ，C ogPrints 和NASA 等。 覆盖的学科范围包括：农业与生物学，天文学，生物科学，化学与化工，计算机科学，地球与行星科学，经济、金融与管理科学，工程、能源与技术，环境科学，语言学，法学，生命科学，材料科学，数学，医学，神经系统科学，药理学，物理学，心理学，社会与行为科学，社会学等。 SCIRUS 的检索界面友好，简洁方便，可分为基本检索（Basic Search ）和高级检索（Advanced Search ）两种方式。默认方式为基本检索。 SCIRUS 基本检索非常简单，用户仅需输入检索词，按回车键，或单击“S earch”按钮即可得到相关资料。在基本检索的操作中，用户可以选择检索结果的来源，如来自于期刊或来自于网络。用户还可以选择检索结果与输入词组是否
华中科技大学 基于开源框架的搜索引擎 的研究与实现 开题报告 谭望达 4/14/2010 本文讲述了如何在开源程序的基础上搭建自己的一个简单的搜索引擎，使用Lucene，Hadoop和一些机器学习库作为搜索引擎的基础，并且还对Lucene与Hadoop的实现原理进行了比较细致的讲述，希望能够对研究和开发搜索引擎的人起到一定的帮助。
一.选题意义 1.理论意义 从理论的意义上来说，也有很多的地方用到了搜索引擎技术，比如说从语音识别，文本分类，模式识别，都使用到了机器学习，而机器学习的核心就是语料库（corpus）,而语料库都是庞大的，一般来说动辄以T级来计算，所以如何从T（千G）级的，也就是以十亿文档级别的数据中提取出想要的数据，是一项挑战，在搜索引擎技术诞生之前是不敢想的。可以说，搜索引擎技术与机器学习的识别的结合是未来科研的一个很重要的方向。 2.现实意义 从实际出发，搜索引擎生活中作为越来越广泛的使用到的一项基本工具，从生活琐事到专业领域，日常问题可以去百度百科，科研论文可以去Google学术，消费购物可以去阿里巴巴，交友联络可以去校内网，而这些公司与检索相关的内容，都可以说或多或少的应用了很多搜索引擎的技术。现在还有越来越多的垂直搜索引擎建立起来，也就是利用其他搜索引擎的结果进行二次排序处理，在一个个的更细分的领域中起到了很大的作用。可以说搜索引擎作为一项互联网的基本技术被广泛的使用。 随着一个一个搜索引擎相关的公司的成功，比如Google这样一个神话般的公司，越来越多的人也关注到了这个领域。不过想从头自己编写一个搜索引擎可不是容易的事情，而随着越来越多相关的文献的发表和开源社区的建立，创建这样的一个搜索引擎就不再是难事，而实用这些开源的搜索引擎框架，不需要过多的深入技术细节，而更多的精力可以放在想法的实现上。开源框架的实用一般说来是免费的或者相对商业软件来说是很便宜的，用户可以在资金不太宽裕的时候放心的使用。 另外本文将讨论一下机器学习的一些内容，搜索引擎只是一个“搜索”的实现，而如何更好的把结果展示给用户，如何在数据之上实现更多的特性，就是需要机器学习来进行的，搜索引擎与机器学习是越来越不可分。本文将讨论一下机器学习的一些基本概念，并且简单的介绍几个开源的机器学习库。 二.论文综述 1.国外有关情况综述 国外在搜索引擎与机器学习领域是远远的走在了国内同行的前面，据可以查
20款开源搜索引擎系统 文章分类:综合技术 一些开源搜索引擎系统介绍，包含开源Web搜索引擎和开源桌面搜索引擎。 Sphider Sphider是一个轻量级，采用PHP开发的web spider和搜索引擎，使用mysql 来存储数据。可以利用它来为自己的网站添加搜索功能。Sphider非常小,易于安装和修改，已经有数千网站在使用它。 RiSearch PHP RiSearch PHP是一个高效，功能强大的搜索引擎，特别适用于中小型网站。RiSearch PHP非常快，它能够在不到1秒钟内搜索5000-10000个页面。RiSearch 是一个索引搜索引擎,这就意味着它先将你的网站做索引并建立一个数据库来存储你网站所有页面的关键词以便快速搜索。Risearch是全文搜索引擎脚本,它把所有的关键词都编成一个文档索引除了配置文件里面的定义排除的关键词。RiSearch使用经典的反向索引算法(与大型的搜索引擎相同),这就是为什么它会比其它搜索引擎快的原因。 PhpDig PhpDig是一个采用PHP开发的Web爬虫和搜索引擎。通过对动态和静态页面进行索引建立一个词汇表。当搜索查询时，它将按一定的排序规则显示包含关键字的搜索结果页面。PhpDig包含一个模板系统并能够索引PDF,Word,Excel,和PowerPoint文档。PHPdig适用于专业化更强、层次更深的个性化搜索引擎，利用它打造针对某一领域的垂直搜索引擎是最好的选择。 OpenWebSpider OpenWebSpider是一个开源多线程Web Spider（robot：机器人，crawler：爬虫)和包含许多有趣功能的搜索引擎。 Egothor Egothor是一个用Java编写的开源而高效的全文本搜索引擎。借助Java的跨平台特性，Egothor能应用于任何环境的应用，既可配置为单独的搜索引擎，又能用于你的应用作为全文检索之用。 Nutch Nutch 是一个开源Java 实现的搜索引擎。它提供了我们运行自己的搜索引擎所需的全部工具。包括全文搜索和Web爬虫。
有许多企业将ERP项目，在企业中没有实施好，都归咎于软件产品不好。其实，这只是你们的借口。若想要将ERP软件真正与企业融合一体，首先得考虑企业的自身情况，再去选择适合的 ERP软件。 如果你的企业是高速发展的中小企业，希望用IT给管理带来提升，对国内主流ERP产品几万元到几十万元的投入觉得风险过大，还恐惧购买成品ERP。你还有另外一种选择，选择免费且开放的开源ERP软件进行二次开发，根据自己的要求设定适合你企业的ERP。下载开源ERP的产品十分方便，在各大知名的开源网站上都可免费下载它们。注意哦！开源所有的产品都是对外开放的，且源代码都可任意查看，若您在实施ERP时遇到问题，可在开源社区上进行咨询讨论，当然，您也可以请软件开发商进行二次开发。 开源ERP和其它ERP软件比较，如图所示 下面介绍有哪些开源ERP？ Compiere Compiere ERP&CRM为全球范围内的中小型企业提供综合型解决方案，覆盖从客户管理、供应链到财务管理的全部领域，支持多组织、多币种、多会计模式、多成本计算、多语种、多税制等国际化特性。 Compiere ERP & CRM 通过申购 - 采购 - 发票 - 付款、报价 - 订单 - 发票 - 收款、产品与定价、资产管理、客户关系、供应商关系、员工关系、经营业绩分析等功能，将企业内部运营与外部客户相关的业务进行规范和优化，将企业由“ 人治” 转变为“ 法治” 的境界。 更好地管理您的业务 ?优化您的库存 ?输入销售订单 ?从 Web 接收订单 ?创建发票并记录发货单 ?收集收货单并与银行对账单核对 ?自动生成或手工输入采购订单 ?记录供应商收货和发票 ?供应商付款 ?输入手工日记帐
开源的搜索引擎工具包和web搜索引擎系统- austin lius fashion - 博客园 开源搜索引擎工具包 1．Lucene Lucene是目前最为流行的开放源代码全文搜索引擎工具包，隶属于Apache基金会，由资深全文索引/检索专家 Doug Cutting所发起，并以其妻子的中间名作为项目的名称。Lucene不是一个具有完整特征的搜索应用程序，而是一个专注于文本索引和搜索的工具包，能 够为应用程序添加索引与搜索能力。基于Lucene在索引及搜索方面的优秀表现，虽然由Java编写的Lucene具有天生的跨平台性，但仍被改编为许多 其他语言的版本：Perl、Python、C++、.Net等。 同其他开源项目一样，Lucene具有非常好的架构，能够方便地在其基础上进行研究与开发，添加新功能或者开发新系统。 Lucene本身只支持文本文件及少量语种的索引，并且不具备爬虫功能，而这正是Lucene的魅力所在，通过Lucene提供的丰富接口，我们可以根据 自身的需要在其上添加具体语言的分词器，针对具体文档的
文本解析器等，而这些具体的功能实现都可以借助于一些已有的相关开源软件项目、甚至是商业软件来完 成，这也保证了Lucene在索引及搜索方面的专注性。目前，通过在Lucene的基础上加入爬行器、文本解析器等也形成了一些新的开源项目，如 LIUS、Nutch等。并且Lucene的索引数据结构已经成了一种事实上的标准，为许多搜索引擎所采用。 2．LIUS LIUS即Lucene Index Update and Search的缩写，它是以Lucene为基础发展起来的一种文本索引框架，和Lucene一样，同样可以看作搜索引擎开发工具包。它在Lucene的基 础上作了一些相应的研究及添加了一些新的功能。LIUS借助于许多开源软件，可以直接对各种不同格式/类型的文档进行文本解析与索引，这些文档格式包括 MS Word、MS Excel、MS PowerPoing、RTF、PDF、XML、HTML、TXT、Open Office及JavaBeans等，对Java Beans的支持对于进行数据库索引非常有用，在用户进行对象关系映射（如：Hibernate、JDO、TopLink、Torque等）的数据库连接 编程时会变得更加精确。LIUS还在Lucene的基础上增加了
102 第20卷 现代教育技术 V ol. 20 2010年第7期 Modern Educational Technology No.7 2010 四款开源学习管理系统的对比与探究 王秀荣1 刘敏斯2 孙良林2 （1．南昌大学 现代教育技术中心，江西南昌 330031；2．南昌大学 教育学院，江西南昌 330031） 【摘要】文章从学习者的个性化设置、基本支持功能、学习支持工具以及学习者必备条件四方面对Moodle 、Sakai 、ILIAS 、Claroline 进行比较，帮助教师及管理员选择与开发适应学习者的需要的学习管理系统。 【关键词】开放源代码；学习管理系统；Moodle ；Sakai ；ILIAS ；Claroline 【中图分类号】G40-057 【文献标识码】A 【论文编号】1009—8097（2010）07—0102—05 随着E-learning 的发展，其核心业务平台课程管理系统（Courses Management System ）与学习管理系统（Learning Management System ）的发展相当迅速。而随着开放源代码运动的不断深入，基于开放源代码的学习管理系统由于其开放性、共享性、可根据用户需求修改组合等优点，为E-learning 项目的实施提供了低成本的平台解决方案。本文对开放源代码学习管理系统进行比较研究，为E-learning 项目的实施提供参考。 一 开放源代码学习管理系统简介 学习管理系统是用于建立学习资源、跟踪和管理学习进程的软件，一般由课程开发系统、教学系统、管理系统组成。学习管理系统发展至今天，管理范围和功能不断扩大，已经涵盖了组织中一切学习活动的管理，包括在线学习管理、面 授培训管理以及非正式学习管理等。[1]常见的学习管理系统有 Moodle 、Sakai 、ILIAS 、Claroline 等。 Moodle 是由澳大利亚的马丁?多格玛斯博士主持开发的基 于社会建构主义教学思想的开放源码的学习管理系统。Moodle 功能强大，发展十分迅速，全球有两百多个国家5万余个学校与机构均有使用，如牛津大学、剑桥大学等，在我国高校与中小学也广泛使用。Moodle 的主要功能有：创建课程页面、组织课程资料和课程活动、发布和评判作业、成绩管理等。 Sakai 源于美国印第安纳大学、密歇根大学、斯坦福大学和麻省理工学院发起的一项开放源代码的课程管理系统开发计划，Sakai 在英语国家拥有大量的大学用户群，如斯坦福大学、耶鲁大学、加州大学伯克利分校等，我国的香港科技大学也有使用该系统。Sakai 包括课程管理工具、项目工具等组件，并可对图书馆资源进行连接。 ILIAS 支持学习内容的管理、协作、交流、评价和评估。ILIAS 在欧洲国家如德国、奥地利、匈牙利、法国以及意大利等国家有大量的用户群，涉及用户有大学、教育培训机构等。 Claroline 是由比利时鲁汶大学开发的一个免费的开源学习管理系统，中文译名为课廊。Claroline 小巧，访问速度快，设计思路较为符合中小学教师习惯，是一款优秀的学习管理系统。 图1 开源学习管理系统的比较维度