网站日志分析的具体方法和步骤【基础】
- 格式：doc
- 大小：707.50 KB
- 文档页数：10
下载文档原格式
合集下载
网站日志如何分析需要掌握的基础知识点
网站日志如何分析需要掌握的基础知识点对于一个站长来说，网站日志是必不可少需要查看的东西，因为网站日志差不多能反映一个网站整体状况，就如同一个人每天所做的工作计划工作总结一样。
对于专业从事搜索引擎优化工作者而言，网站日志可以记录各搜索引擎蜘蛛机器人爬行网站的详细情况，例如：哪个IP的百度蜘蛛机器人在哪天访问了网站多少次，访问了哪些页面，以及访问页面时返回的HTTP状态码。
通过网站日志可以清楚的得知用户在什么IP、什么时间、用什么操作系统、什么浏览器、什么分辨率显示器的情况下访问了你网站的哪个页面，是否访问成功。
当然并不是非得看到这般仔细，在看网站日志的时候主要看下状态码和和蜘蛛的IP段。
这两个是最基础也是最重要的，首先现需要了解下各个状态码和各个IP段蜘蛛爬行所代表的含义：404(未找到)服务器找不到请求的页面304 (未修改)自从上次请求后，请求的页面未修改过，服务器返回此响应时，不会返回网页内容503 (服务不可用)服务器目前无法使用(由于超时或停机维护)301 永久重定向302 临时重定向123.125.68.*这个蜘蛛经常来,别的来的少,表示网站可能要进入沙盒了，或被者降权。
220.181.68.*每天这个IP 段只增不减很有可能进沙盒或K站。
220.181.7.*、123.125.66.* 代表百度蜘蛛IP造访，准备抓取你东西。
121.14.89.*这个ip段作为度过新站考察期。
203.208.60.*这个ip段出现在新站及站点有不正常现象后。
210.72.225.*这个ip段不间断巡逻各站。
125.90.88.* 广东茂名市电信也属于百度蜘蛛IP 主要造成成分，是新上线站较多，还有使用过站长工具，或SEO综合检测造成的。
220.181.108.95这个是百度抓取首页的专用IP，如是220.181.108段的话，基本来说你的网站会天天隔夜快照，绝对错不了的，我保证。
220.181.108.92 同上98%抓取首页，可能还会抓取其他 (不是指内页)220.181段属于权重IP段此段爬过的文章或首页基本24小时放出来。
日志分析方案
日志分析方案随着大数据时代的到来，日志分析成为了企业管理与运营的重要环节。
通过对日志的深入分析，企业可以了解用户行为、产品性能、系统安全等方面的情况，从而帮助企业做出合理的决策和改进。
为了有效地进行日志分析，本文将介绍一种日志分析方案。
一、搜集日志数据在日志分析之前，首先需要搜集到完整的日志数据。
日志数据的来源有多种多样，比如应用系统的自动生成日志、服务器的事件日志、网络设备的日志等等。
可根据需要选择合适的工具或方法，将这些日志数据搜集到中心化的存储系统中。
二、日志预处理在进行日志分析之前，需要对原始的日志数据进行预处理。
预处理的目的是将日志数据进行清洗、过滤和格式化，以方便后续的分析工作。
可以使用脚本编程语言，通过定义正则表达式等方式，将日志数据中的噪声、无效信息进行过滤，同时对数据进行结构化整理。
三、数据存储与管理日志数据的存储和管理是一个重要的环节。
传统的数据库技术已经不能满足日志数据的高容量和高性能要求。
因此，在日志分析方案中，可以选择使用一些专门用于大数据存储和管理的解决方案，比如Hadoop、Elasticsearch等。
这些解决方案具备良好的横向扩展性和高效的查询性能，能够满足大规模日志数据的存储和检索需求。
四、数据分析与挖掘在日志数据存储和管理的基础上，可以进行进一步的数据分析和挖掘工作。
这一步骤可以使用一些常见的数据分析工具和算法，比如关联规则挖掘、聚类分析、分类分析等。
通过这些技术手段，可以发现日志数据中的隐藏规律和潜在问题，并为后续的决策和改进提供依据。
五、可视化与报告最后一步是将分析结果进行可视化展示和报告。
通过可视化展示，可以直观地呈现数据的分析结果，使得用户和决策者更容易理解和获取有价值的信息。
同时，还可以生成定期报告，用于向管理层和关键利益相关方汇报日志分析的结果和效果。
总结：本文介绍了一种日志分析方案，包括日志数据搜集、预处理、存储与管理、数据分析与挖掘以及可视化报告等环节。
如何正确分析和利用好网站日志
如何正确分析和利用好网站日志网站是企业进行形象展示的网络平台，也是企业进行产品和服务营销的电子商务平台。
而网站本身又是一种智能的数据库，记录着网站运营情况和被访问记录，这些记录都保存在网站日志。
我们可以通过网站日志得知用户的IP、访问时间、用何种操作系统、显示器或浏览器，访问了网站的哪个页面，是否访问成功，服务端是否运行正常等等从而为企业提供相关决策依据。
我们在分析网站日志的时候应该注意以下几点：1、用户的IP地址。
我们可以根据用户的IP地址来判断用户的地理位置，从而统计出目到访用户的地理区域。
尤其是企业做了竞价推广以后，如果发展同一个IP一天之内多次访问，那可能就是恶意点击。
2、访问日期和时间。
根据访问日期和时间，我们可以确定好网站在什么时间段访问率比较高，从而有针对性的对其原因和优势进行分析，然后采取相关措施利用那个时段进行集中营销等等。
3、访问次数和停留时间。
通过分析用户的访问次数和停留时间，我们可以判断用户的购买意向强度和对某些内容的关注度，从而帮助企业有针对性的加强客户联系和进行内容优化建设。
4、页面被抓取量和次数。
通过网站日志分析网站页面的被抓取量和次数，以此判断搜索引擎蜘蛛的活跃力度、抓取深度以及亲和程度等等，从而使网站优化更有针对性，从而让搜索引擎蜘蛛抓取和收录更多的网站资源。
5、访问页面的返回码。
不论是搜索引擎蜘蛛还是访问用户，根据访问页面的HTTP状态码，我们都可以追溯和判断网站页面是否正常，以便及时进行页面调整等等。
6、访客来路。
知道用户通过什么渠道访问到你的网站很重要。
这样企业就完全可以根据相关来源渠道进行优化建设，从而大大增加自身的客源优势。
综上所述，网站日志对于企业网站优化和营销有很大的辅助作用，在此不一一尽言。
希望这些对大家有所帮助。
以上由乐人互联网整理发布，转载请注明出处。
谢谢!文章来源于：/article-20668-1.html。
网站日志解析-图文
网站日志解析-图文日志注释\请求收到，但返回信息为空\服务器完成了请求，用户代理必须复位当前已经浏览过的文件\服务器已经完成了部分用户的GET请求\请求的资源可在多处得到\删除请求数据\在其他地址发现了请求数据\建议客户访问其他URL或访问方式\客户端已经执行了GET，但文件未变化\请求的资源必须从服务器指定的地址得到\一版本HTTP中使用的代码，现行版本中不再使用\申明请求的资源临时性删除\错误请求，如语法错误\请求授权失败\保留有效ChargeTo头响应\请求不答应\没有发现文件、查询或URl\用户在Requet-Line字段定义的方法不答应\:NotAcceptable根据用户发送的Accept拖，请求资源不可访问\类似401，用户必须首先在代理服务器上得到授权\客户端没有在用户指定的饿时间内完成请求\对当前资源状态，请求不能完成\服务器上不再有此资源且无进一步的参考地址\服务器拒绝用户定义的Content-Length属性请求\一个或多个请求头字段在当前请求中错误\请求的资源大于服务器答应的大小\请求的资源URL长于服务器答应的长度\请求资源不支持请求项目格式\请求中包含Range请求头字段，在当前请求资源范围内没有range指示值，请求也不包含If-Range请求头字段\服务器不满足请求E某pect头字段指定的期望值，假如是代理服务器，\服务器产生内部错误\服务器不支持请求的函数\:BadGateway服务器暂时不可用，有时是为了防止发生系统过载\服务器过载或暂停维修\关口过载，服务器使用另一个关口或服务来响应用户，等待时间设定值较长\服务器不支持或拒绝支请求头中指定的HTTP版本12、13、14、注：IP为220.181.108.145的百度蜘蛛于2022-07-0403:49:29对IP 为222.73.107.29上的该网站的目录为/bb/thread-1665-1-1.html的页面进行了收录或者更新，由于返回的是404，所以此文件未找到，应该是删掉了。
巧用EXCEL分析网站日志
巧用EXCEL分析网站日志站长们都知道网站日志分析的重要性，但是当拿到网站日志后，面对里面一行行的代码，看的眼花缭乱却无从下手。
今天我就给大家介绍一种用EXCEL表格详细分析日志的方法，希望对大家有所帮助。
首先我们新建一个EXCEL文件，将日志文件导入到EXCEL表格中。
在数据—>导入外部数据—>导入数据，打开选取数据源框，如下图然后找到网站日志所在目录，在下方的“文件类型(T)”处选择所有文件，这样你的日志文件就会显示出来了。
选择你要查看的网站日志，直接打开文本导入向导。
这里需要注意的是第一步，在请选择合适的文件类型处选择“分隔符号”，如下图选好后直接下一步，进入文本向导第二步，这里需要注意的是分割符号处要把对勾全部去掉。
之后就一路下一步，直至完成。
将日志导入成功之后，剩下的工作就是分析了。
举个例子来说，我们想查看百度蜘蛛抓取了多少个页面。
我们在EXCEL表格中选择数据—>筛选—>自动筛选，这样会在表格第一行出现一个带下拉框的小箭头，点击这个小箭头，选择“自定义”，打开“自定义自动筛选方式”，在第一行左边框选择“等于”，右边填写“*Baiduspder*”,确定就可以了。
这样我们看到的就是百度蜘蛛抓取的所有内容了。
对于一些稍微大一点的网站，百度蜘蛛抓取的内容也很多，看起来还是不方便，怎么办?呵呵，我们可以继续筛选啊。
将上面筛选出来的结果复制到另一个表格中(如Sheet2中)。
采取同样的方法继续筛选。
比如你的网站有一个新闻栏目/news/,你想看看/news/这个栏目被百度抓取了多少次。
方法依旧，选择数据—>筛选—>自动筛选，在第一行下拉框中选择“自定义”，在“自定义自动筛选方式”中上面左边框选择“等于”，右边输入“*/news/*”,这样就可以筛选出栏目/news/被抓取了那些页面以及被抓取的次数。
如果有很多栏目，可以依次筛选。
这样的话你就可以一目了然的看到每个栏目被抓取的内容和次数。
IIS网站日志综合分析
IIS网站日志综合分析IIS网站日志综合分析一、日志介绍网站日志是属于服务器中的一种数据记录文本，主要针对网站在运行状态中所产生的各类数据，常规情况下由网站在正常运营的中，由服务器所自己保持记录的数据。
网站日志与网站的服务器程序密不可分，不同的服务器程序在生成网站日志时方法相差相大。
互联网上常见的服务器程序有：Apache 49%,IIS 20% ,Lighttpd 4%本文档侧重于IIS与Apache服务器的日志说明。
二、网站日志与SEO的作用了解搜索引擎抓取网页的问题：1、根据搜索引擎蜘蛛所抓取的情况，我们能够分析出网站在搜索引擎收录中的状态。
2、通过网站日志中的蜘蛛所抓取的数据我们可以清楚的知道，我们网站搜索引擎喜欢哪些页面，哪些页面经常被爬取，而哪些页面爬取频率稍微低一些，从数据我们对网站中不友好的地方做出相应的调整。
3、对搜索引擎蜘蛛在对我们网站在爬去中每日的数据是否正常，是否有太大的变化和不正常的抓取频率。
4、对我们所设置的ROBOTS能够进行跟踪，对所调整后的页面和对蜘蛛进行屏蔽了的页面进行关注和跟进，了解蜘蛛对我们所屏蔽的页面是否有重复或者是继续抓取的情况。
了解网站内容及链接是否正常：1、通过对返回的HTML状态代码我们可以了解网站中是否存在死链接，错误地址。
2、了解网站是否存在内容更新而因设置的关系导致搜索引擎在抓取中无法发觉。
3、网站是否存在了重定向的问题。
4、服务器是否存在稳定性不足，影响搜索引擎的爬去。
5、服务器存在权限不足导致搜索引擎无法抓取。
6、网站是否被植入一些木马病毒或者是一些可疑的文本植入进行对网站的攻击，我们通过对网站日志所保存的数据跟踪能够及时找到问题的根源。
7、网站中是否存在了某些文件被误删的情况，通常比如说图片、文档、CSS、JS文本等等。
网站日志研究对于网站安全的作用：1、了解网站被盗链的情况如果网站出现了第三方网站的盗链，对我网站中的图片、视频、MP3进行绝对路径的调用导致服务器资源被大量浪费，我们从网站日志中能够及时进行处理。
查看网站日志都要分析哪些？
查看网站日志都要分析哪些？１，每个目录、每个搜索引擎的抓取量上边两步把总体抓取量、不重复抓取量记录下来了，然后我们要分析出每个搜索引擎对每一个目录的抓取情况是怎么样的，这样利于进行分块优化，例如当你网站推广流量上升时，你可以知道是哪个目录的流量上升了，然后再往下推，看看是哪个目录的抓取量上升了，哪个目录的抓取量下降了，为什么下降，都可以进行分析的，然后在网站中进行适当的链接结构调整，例如使用nofflow标签等。
２，统计搜索引擎蜘蛛来的次数、来的时间我们可以使用一些日志分析工具，设定一个标准，例如光年日志分析工具，可以统计出每个搜索引擎蜘蛛每天来的次数，一天一共在我们网站停留了多久，有没有ＩＰ蜘蛛一天２４小时都在我们网站不停的抓取，这样的蜘蛛越多越好，往往是你网站推广权重提升的表现。
这样的数据可以每天都记录下来，在一定的时间段内，进行对比分析，看看停留的时间是不是增加了，来的次数是不是增多了，这样可以判断出网站推广权重是上升还是下降，例如：这个站每天都会在下午五六点左右，这主要是由于网站定期都会进行更新内容，当然2013年春节也不例外。
３，记录搜索引擎蜘蛛的不重复抓取量上一步我们把蜘蛛的抓取量数据给分析出来了，然后我们要进行去重，也就是搜索引擎的唯一不重复抓取量，其实对于收录来说，许多页面只要抓取一次就可以了，可是在实际操作的过程当中，许多页面都是被重复抓取的，谷歌的技术比较先进一些，重复抓取率也许会低一些，可是百度等搜索引擎，重复抓取率却非常高，你通过网站推广日志分析就可以看出来了，一天如果抓取量上百万，可能好几万次都是抓取首页的，所以许多数据你一定要去分析的，当你分析了后，你会知道问题的严重性。
４，每个搜索引擎的总体抓取量在日志文件中，明确的记录了每个搜索引擎的抓取量，例如百度、谷歌、搜狗等搜索引擎的抓取记录，我们都可以进行记录，使用dos命令或者linux命令都可以去实现的，搜索引擎的收录是由抓取量以及文章质量来决定的，当文章质量不变的情况下，蜘蛛抓取量越大，那么收录的就会越多，我们在进行日志分析时候，一定要清楚的知道网站推广蜘蛛每天的抓取量到底是一个什么情况，而且每天都要记录，也许绝对值说明不了什么，我们可以去看它的网络营销趋势，当某一天抓取量的趋势在下降时，我们就要去找原因了。
网站日志分析的具体方法和步骤【基础】
日志挖掘分析的方法日志文件的格式及其包含的信息①2006-10-17 00:00:00②202.200.44.43 ③218.77.130.24 80 ④GET ⑤/favicon.ico⑥Mozilla/5.0+(Windows；+U；+Windows+NT+5.1；+zh-CN；+rv：1.8.0.3)+Gecko/20060426+Firefox/1.5.0.3。
①访问时间；②用户IP地址；③访问的URL，端口；④请求方法(“GET”、“POST”等)；⑤访问模式；⑥agent，即用户使用的操作系统类型和浏览器软件。
一、日志的简单分析1、注意那些被频繁访问的资源2、注意那些你上不存在资源的请求。
常见的扫描式攻击还包括传递恶意参数等：3、观察搜索引擎蜘蛛的来访情况4、观察访客行为应敌之策：1、封杀某个IP2、封杀某个浏览器类型（Agent）3、封杀某个来源（Referer）4、防盗链5、文件重命名作用：1.对访问时间进行统计，可以得到服务器在某些时间段的访问情况。
2.对IP进行统计，可以得到用户的分布情况。
3.对请求URL的统计，可以得到页面关注情况。
4.对错误请求的统计，可以更正有问题的页面。
二、挖掘根据所挖掘的数据的类型，可以将数据挖掘分为以下三类：容挖掘( Content Mining)、结构挖掘( Structure Mining)、使用挖掘( Usage Mining)（也称为日志挖掘）。
①容挖掘。
容挖掘是指从文档的容中提取知识。
容挖掘又分为文本挖掘和多媒体挖掘。
目前多媒体数据的挖掘研究还处于探索阶段,文本挖掘已经有了比较实用的功能。
文本挖掘可以对上大量文档集合的容进行总结、分类、聚类、关联分析,以及利用文档进行趋势预测等。
文档中的标记,例如<Title>和<Heading>等蕴含了额外的信息,可以利用这些信息来加强文本挖掘的作用。
②结构挖掘。
结构挖掘是从的组织结构和关系中推导知识。
网站日志分析
网站日志分析IIS的FTP日志文件默认位置为%systemroot%\system32\logfiles\MSFTPSVC1\，对于绝大多数系统而言（如果安装系统时定义了系统存放目录则根据实际情况修改）则是C:\winnt\system32\logfiles\MSFTPSVC1\，和IIS的WWW日志一样，也是默认每天一个日志。
日志文件的名称格式是：ex+年份的末两位数字+月份+日期，如2002年8月10日的WWW日志文件是ex020810.log。
它也是文本文件，同样可以使用任何编辑器打开，例如记事本程序。
和IIS的WWW 日志相比，IIS的FTP日志文件要丰富得多。
网站日志文件详解如下：1.找到日志打开，发现日志的前几行如下Software:MicrosoftInterInformationServices5.1//iis版本Version:1.0//版本Date:2010-07-3000:53:58//创建时间Fields:datetimec-ipcs-usernames-sitenames-puternames-ips-portcs -methodcs-uri-stemcs-uri-querysc-statussc-win32-statussc-bytesc s-bytestime-takencs-versioncs-hostcs(User-Agent)cs(Cookie)cs(Re ferer)//日志格式2.以下日志是我在本地上测试的，扩展属性全部选中。
2010-07-3001:06:43192.168.0.102-W3SVC1MGL192.168.0.10280GET /css/rss.xslt-30401403580HTTP/1.1192.168.0.102Mozilla/4.0+(pati ble;+MSIE+7.0;+Windows+NT+5.1;+Trident/4.0;+InfoPath.2;+360SE)ASPSESSIONIDACRRDABA=IDDHCBBBHBMBODAGCIDKAGLM–下面对日志格式进行详细解答。
如何做好网站日志分析
如何做好网站日志分析文章作者：奔跑的艾米在做网站日志分析之前，得先弄明白：1.什么是网站日志？2.在什么情况下需要做网站日志分析？什么是网站日志？网站日志，准确来说是服务器日志。
通过服务器日志，我们可以了解到用户在什么IP、在什么分辨率的设备、什么时间、什么地区访问了我们的网站，以及当时访问的页面是否正常。
对于我们网站而言，搜索引擎也是网站用户之一。
本文提到的网站日志分析，更多是在分析搜索引擎这种用户。
在什么情况下需要做网站日志分析？1、老站点（建站1年且正常运营的网站）：Seo流量出现异常波动。
2、刚建立不久的站点（建站6个月以下的网站）：定期分析。
了解以上两种情况后，我们如何进行网站日志分析？针对老站点网站日志分析作为一个Seoer是需要定期做数据分析。
了解网站Seo流量的波动情况。
当网站Seo流量波动在10%及以上就需要进一步深入分析。
分2种情况：了解外界：了解外界的前提在于平时你得有一定的人脉基础，如果没有也没关系。
泡2个地方——去搜索引擎站长平台或者加入搜索引擎站长群。
比如，像百度搜索引擎，它拥有站长平台，也会相应建立站长QQ群。
有人脉基础上，可以直接了解外界的情况——是否也出现类似幅度的波动？这个的前提要结合你短期做过的SEO操作一并考虑，避免误判。
无人脉的情况，泡群、泡站长平台。
通常如果是搜索引擎算法升级，会在群里或者站长平台有相关的小道信息出现。
如果是搜索引擎自身算法升级导致的流量波动，那么就得根据新算法做相应的站内优化。
比如，百度冰桶3.0版本提出：将严厉打击在百度移动搜索中，打断用户完整搜索路径的调起行为。
如果站点有存在以上的情况就需要针对性的做优化：无论是通过对接的APPLINK调起，还是网页自主调起的应用，以及普通的网页，都应是可返回，可关闭的。
用户校验搜索结果的准确性，不需要额外下载APP或者权限。
分析内在：在分析内在之前，再次抛出这个公式：Seo流量=抓取量*收录率（准确来说应该是索引率）*首页率*点击率。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
网站日志挖掘分析的方法日志文件的格式及其包含的信息①2006-10-17 00:00:00②202、200、44、43 ③218、77、130、24 80 ④GET ⑤/favicon、ico⑥Mozilla/5、0+(Windows;+U;+Windows+NT+5、1;+zh-CN;+rv:1、8、0、3)+Gecko/20060426+Firefox/1、5、0、3。
①访问时间;②用户IP地址;③访问的URL,端口;④请求方法(“GET”、“POST”等);⑤访问模式;⑥agent,即用户使用的操作系统类型与浏览器软件。
一、日志的简单分析1、注意那些被频繁访问的资源2、注意那些您网站上不存在资源的请求。
常见的扫描式攻击还包括传递恶意参数等:3、观察搜索引擎蜘蛛的来访情况4、观察访客行为应敌之策:1、封杀某个IP2、封杀某个浏览器类型(Agent)3、封杀某个来源(Referer)4、防盗链5、文件重命名作用:1、对访问时间进行统计,可以得到服务器在某些时间段的访问情况。
2、对IP进行统计,可以得到用户的分布情况。
3、对请求URL的统计,可以得到网站页面关注情况。
4、对错误请求的统计,可以更正有问题的页面。
二、网站挖掘根据所挖掘的网站数据的类型,可以将网站数据挖掘分为以下三类:网站内容挖掘(网站Content Mining)、网站结构挖掘(网站Structure Mining)、网站使用挖掘(网站Usage Mining)(也称为网站日志挖掘)。
①网站内容挖掘。
网站内容挖掘就是指从文档的内容中提取知识。
网站内容挖掘又分为文本挖掘与多媒体挖掘。
目前多媒体数据的挖掘研究还处于探索阶段,网站文本挖掘已经有了比较实用的功能。
网站文本挖掘可以对网站上大量文档集合的内容进行总结、分类、聚类、关联分析,以及利用网站文档进行趋势预测等。
网站文档中的标记,例如<Title>与<Heading>等蕴含了额外的信息,可以利用这些信息来加强网站文本挖掘的作用。
②网站结构挖掘。
网站结构挖掘就是从网站的组织结构与链接关系中推导知识。
它不仅仅局限于文档之间的超链接结构,还包括文档内部的结构。
文档中的URL目录路径的结构等。
网站结构挖掘能够利用网页间的超链接信息对搜索引擎的检索结果进行相关度排序,寻找个人主页与相似网页,提高网站搜索蜘蛛在网上的爬行效率,沿着超链接优先爬行。
网站结构挖掘还可以用于对网站页进行分类、预测用户的网站链接使用及网站链接属性的可视化。
对各个商业搜索引擎索引用的页数量进行统计分析等。
③网站使用记录挖掘。
网站使用记录挖掘就是指从网站的使用记录中提取感兴趣的模式,目前网站使用记录挖掘方面的研究较多,WWW中的每个服务器都保留了访问日志,记录了关于用户访问与交互的信息,可以通过分析与研究网站日志记录中的规律,来识别网站的潜在用户;可以用基于扩展有向树模型来识别用户浏览序列模式,从而进行网站日志挖掘;可以根据用户访问的网站记录挖掘用户的兴趣关联规则,存放在兴趣关联知识库中,作为对用户行为进行预测的依据,从而为用户预取一些网站页面,加快用户获取页面的速度,分析这些数据还可以帮助理解用户的行为,从而改进站点的结构,或为用户提供个性化的服务。
通过对网站服务器日志中大量的用户访问记录深入分析,发现用户的访问模式与兴趣爱好等有趣、新颖、潜在有用的以及可理解的未知信息与知识,用于分析站点的使用情况,从而辅助管理与支持决策。
当前,网站日志挖掘主要被用于个性化服务与定制、改进系统性能与结构、站点修改、商业智能以及网站特征描述等诸多领域。
三、网站日志挖掘的方法(一)首先,进行数据的预处理。
从学习者的访问日志中得到的原始日志记录并不适于挖掘,必须进行适当的处理才能进行挖掘。
因此,需要通过日志清理,去除无用的记录;对于某些记录,我们还需要通过站点结构信息,把URL路径补充成完整的访问序列;然后划分学习者,并把学习者的会话划分成多个事务。
(二)其次,进行模式发现一旦学习者会话与事务识别完成,就可以采用下面的技术进行模式发现。
模式发现, 就是对预处理后的数据用数据挖掘算法来分析数据。
分有统计、分类、聚类、关等多种方法。
①路径分析。
它可以被用于判定在一个站点中最频繁访问的路径,还有一些其它的有关路径的信息通过路径分析可以得出。
路径分析可以用来确定网站上的频繁访问路径, 从而调整与优化网站结构, 使得用户访问所需网页更加简单快捷, 还可以根据用户典型的浏览模式用于智能推荐与有针对性的电子商务活动。
例如:70% 的学习者在访问/ E-Business /M2时,就是从/EB开始,经过/ E-Business /SimpleDescription,/ E-Business /M1;65%的学习者在浏览4个或更少的页面内容后就离开了。
利用这些信息就可以改进站点的设计结构。
②关联规则。
使用关联规则发现方法,可以从网站的访问事务中找到的相关性。
关联规则就是寻找在同一个事件中出现的不同项的相关性,用数学模型来描述关联规则发现的问题:x=>y的蕴含式,其中x,y为属性——值对集(或称为项目集),且X∩Y空集。
在数据库中若S%的包含属性——值对集X的事务也包含属性——值集Y,则关联规则X=>Y的置信度为C%。
③序列模式。
在时间戳有序的事务集中,序列模式的发现就就是指那些如“一些项跟随另一个项”这样的内部事务模式。
它能发现数据库中如“在某一段时间内,客户购买商品A,接着会购买商品B,尔后又购买商品C,即序列A→B→C出现的频率高”之类的信息。
序列模式描述的问题就是:在给定的交易序列数据库中,每个序列按照交易的时间排列的一组交易集,挖掘序列函数作用就是返回该数据库中高频率出现有序列。
④分类分析。
发现分类规则可以给出识别一个特殊群体的公共属性的描述,这种描述可以用于分类学习者。
分类包括的挖掘技术将找出定义了一个项或事件就是否属于数据中某特定子集或类的规则。
该类技术就是最广泛应用于各类业务问题的一类挖掘技术。
分类算法最知名的就是决策树方法,此外还有神经元网络、Bayesian分类等。
例如:在/ E-Business /M4学习过的学习者中有40％就是20左右的女大学生。
⑤聚类分析。
可以从网站访问信息数据中聚类出具有相似特性的学习者。
在网站事务日志中,聚类学习者信息或数据项能够便于开发与设计未来的教学模式与学习群体。
聚类就是将数据集划分为多个类,使得在同一类中的数据之间有较高的相似度,而在不同类中的数据差别尽可能大。
在聚类技术中,没有预先定义好的类别与训练样本存在,所有记录都根据彼此相似程度来加以归类。
主要算法有k—means、DBSCAN等。
聚类分析就是把具有相似特征的用户或数据项归类,在网站管理中通过聚类具有相似浏览行为的用户。
基于模糊理论的网站页面聚类算法与客户群体聚类算法的模糊聚类定义相同,客户访问情况可用URL(Uj)表示。
有Suj={(Ci,fSuj(Ci))|Ci∈C},其中fSuj(Ci)→[0,1]就是客户Ci与URL(Uj)间的关联度:式中m为客户的数量,hits(Ci)表示客户Ci访问URL(Uj)的次数。
利用Suj与模糊理论中的相似度度量Sfij定义建立模糊相似矩阵,再根据相似类[Xi]R的定义构造相似类,合并相似类中的公共元素得到的等价类即为相关网站页面。
⑥统计。
统计方法就是从网站站点中抽取知识的最常用方法, 它通过分析会话文件, 对浏览时间、浏览路径等进行频度、平均值等统计分析。
虽然缺乏深度, 但仍可用于改进网站结构, 增强系统安全性, 提高网站访问的效率等。
⑦协同过滤。
协同过滤技术采用最近邻技术,利用客户的历史、喜好信息计算用户之间的距离,目标客户对特点商品的喜好程度由最近邻居对商品的评价的加权平均值来计算。
(三)最后,进行模式分析。
模式分析。
基于以上的所有过程,对原始数据进行进一步分析,找出用户的浏览模式规律,即用户的兴趣爱好及习惯,并使其可视化,为网页的规划及网站建设的决策提供具体理论依据。
其主要方法有:采用SQL查询语句进行分析;将数据导入多维数据立方体中,用OLAP工具进行分析并给出可视化的结果输出。
(分类模式挖掘、聚类模式挖掘、时间序列模式挖掘、序列模式挖掘、关联规则等)四、关联规则(一)关联规则顾名思义,关联规则(association rule)挖掘技术用于于发现数据库中属性之间的有趣联系。
一般使用支持度(support)与置信度(confidence)两个参数来描述关联规则的属性。
X=>在数据库D中的支持度(support)就是交易集中同时1、支持度。
规则Ysupport(X=>包含X, Y的事务数与所有事务数之比,记为Y) port⋃X=。
支持度描述了X,Y这两个项集在所有事务中同时出现的概sup Y)(率。
X=>在事务集中的置信度(confidence)就是指同时包含2.置信度。
规则YX,Y的事务数与包含X的事务数之比,它用来衡量关联规则的可信程度。
记为portYX⇒Y=confidence⋃X(Xsup()port/)()sup规则 A ⇒C:支持度= support({A}⋃{C}) = 50%,置信度= support({A}⋃{C})/support({A}) = 66、6%(二)Apriori方法简介Apriori算法最先就是由Agrawal等人于1993年提出的,它的基本思想就是:首先找出所有具有超出最小支持度的支持度项集,用频繁的(k—1)-项集生成候选的频繁k-项集;其次利用大项集产生所需的规则;任何频繁项集的所有子集一定就是频繁项集就是其核心。
Apriori算法需要两个步骤:第一个就是生成条目集;第二个就是使用生成的条目集创建一组关联规则。
当我们把最小置信度设为85%,通过关联规则的形成以及对应置信度的计算,我们可以从中得到以下有用的信息:1、置信度大于最小置信度时:我们可以这样认为,用户群体在浏览相关网页时,所呈列的链接之间就是有很大关联的,她们就是用户群的共同爱好,通过网页布局的调整,从某种意义上,可以带来更高的点击率及潜在客户;2、置信度小于最小置信度时:我们可以这样认为,用户群体对所呈列链接之间没太多的关联,亦或关联规则中的链接在争夺用户。
五、网站中网站日志挖掘内容(1)网站的概要统计。
网站的概要统计包括分析覆盖的时间、总的页面数、访问数、会话数、惟一访问者、以及平均访问、最高访问、上周访问、昨日访问等结果集。
(2)内容访问分析。
内容访问分析包括最多及最少被访问的页面、最多访问路径、最多访问的新闻、最高访问的时间等。
(3)客户信息分析。
客户信息分析包括访问者的来源省份统计、访问者使用的浏览器及操作系统分析、访问来自的页面或者网站、来自的IP地址以及访问者使用的搜索引擎。