服务器日志分析(一)

Ｗｅｂ服务器日志文件广义集成分析模型　

冀亚林艾迪明王学义刘滨　

（军械技术研究所，石家庄０５０００３）　

Ｅ－ｍａｉｌ：ａｉｙａｎｇｍｅｉ＠ｖｉｐ．ｓｉｎａ．ｃｏｍ　

摘要文章以大系统理论为基础，将定性与定量分析相集合，提出了一种新型Ｗｅｂ日志文件知识发现模型——Ｗｅｂ　服务器日志文件广义集成分析模型。同时，对模型的三种子模型：结构模型、数学模型、知识模型，分别进行了详细的分析　和讨论。在此基础上，给出了优化网站结构的综合分析方法。并且以某高校网站的真实数据进行试验．结果表明该方法的　

实用性和有效性。　

关键词模式广义集成分析模型概率自动机　

文章编号１Ｏ０２—８３３１一（２００６）１２—０１５９—０６　文献标识码Ａ　中圈分类号　ｒＰ３９３　

Ａ　Ｇｅｎｅｒａｌｉｚｅｄ　Ｉｎｔｅｇｒａｔｉｏｎ　Ａｎａｌｙｓｉｓ　Ｍｏｄｅｌ　ｏｆ　Ｗｅｂ　Ｌｏｇｓ　

Ｊｉ　Ｙａｌｉｎ　Ａｉ　Ｄｉｎｔｉｎｇ　Ｗａｎｇ　Ｘｕｅｙｉ　Ｌｉｕ　Ｂｉｎ　

（Ｏｒｄｎａｎｃｅ　Ｔｅｃｈｎｏｌｏｇｙ　Ｉｎｓｔｉｔｕｔｅ，Ｓｈｉｊｉａｚｈｕａｎｇ　０５０００３）　Ａｂｓｔｒａｃｔ：Ｂａｓｉｎｇ　ｏｎ　ｔｈｅ　ｌａｒｇｅ　ｓｙｓｔｅｍ　ｃｏｎｔｒｏｌ　ｔｈｅｏｒｙ　ａｎｄ　Ｕｎｉｔｉｎｇ　ｑｕａｎｔｉｔｙ　ａｎｄ　ｑｕａｌｉｔａｔｉｖｅ　ａｎａｌｙｓｉｓ，ｗｅ　ｐｒｏｐｏｓｅｄ　ａ　ｎｅｗ　

ａｎａｌｙｓｉｓ　ｍｏｄｅｌ　ｏｎ　ｗｅｂ　ｌｏｇｓ，ｗｈｉｃｈ　ｉｓ　ｔｈｅ　Ｇｅｎｅｒａｌｉｚｅｄ　Ｉｎｔｅｇｒａｔｉｏｎ　Ａｎａｌｙｓｉｓ　Ｍｏｄｅｌ　ｏｆ　Ｗｅｂ　Ｌｏｇｓ．Ｍｅａｎｗｈｉｌｅ，ｗｅ　ｉｎｔｒｏｄｕｃｅ　ｔｈｒｅｅ　ｓｕｂｍｏｄｅｌｓ　ｉｎ　ｄｅｔａｉｌｅｄ，ｗｈｉｃｈ　ａｒｅ　ｓｔｒｕｃｔｕｒｅ　ｍｏｄｅｌ，ｍａｔｈ　ｍｏｄｅｌ　ａｎｄ　ｋｎｏｗｌｅｄｇｅ　ｍｏｄｅ１．Ａｔ　ｌａｓｔ，ｄｅｐｅｎｄｉｎｇ　ｏｎ　ｔｈｅ　ｎｅｗ　ｍｏｄｅｌ，ｗｅ　ｐｒｅｓｅｎｔ　ａ　ｃｏｍｐｒｅｈｅｎｓｉｖｅ　ｍｅｔｈｏｄ　ｔｏ　ｏｐｔｉｍｉｚｅ　ｔｈｅ　ｗｅｂ　ｓｉｔｅ　ｔｏｐｏｌｏｇｙ．Ａｔ　ｌａｓｔ，ｗｅ　ｇｉｖｅ　ｏｕｔ　ｓｏｍｅ　ｔｅｓｔｓ　ｐｒｏｖｉｎｇ　ｔｈｅ　

服务器日志分析系统的研究与实现

【摘 要】通过将服务器日志导入到sql server数据库中，建立事件id库，采用sql 语句对采集的日志数据进行统计、汇总，进行基于事件id库的审计，可以更快捷地在众多的日志中查询到关注的报警项，建立相关的事件id库，让审计人员可以快速定位问题，加快处理问题的速度，提高运维效率

【关键词】日志；syslog；sql语句；事件id

1.前言

在全球经济一体化商业竞争异常激烈的今天， 企业的管理能力在很大程度上决定了企业的存亡， 信息管理是企业管理的重要组成部分，在信息管理中有一个被忽视的领域“日志管理”，随着大型企业信息化建设不断的深入， 通常在大型企业内部网建设中都包括多个路由器、交换机、防火墙设备等；而每台设备和每个服务器都有独立的日志文件， 如果管理人员每天都要一个个日志地查看，那势必会影响到他们的正常工作！ 所以我们有必要设计一套合理的日志管理平台来提高网络的安全性，减轻管理人员的维护工作量， 同时通过对日志数据的分析，可以为企业管理者提供决策和风险管理支持。

本文通过日志工具将windows日志导入到sql server数据库中，然后采用sql 语句对采集的日志数据进行统计、汇总、分析，从而搭建起企业日志管理平台，实现了基于事件id库的日志审计。

2.本文中的关键技术

2.1 syslog协议

syslog 协议，是在加里佛尼亚大学伯克立软件分布研究中心（bsd）的tcp/ip 系统实施中开发的，在网络设备中，syslog记录着系统中的任何事件，管理者可以通过查看系统记录，随时掌握系统状况。

2.2 syslog watch

一款高性能易用的windows syslog服务程序，能够采集所有不同的来源的syslog信息进行分析。

最流行的4大网站Web服务器免费开源日志分析工具

网上流行的免费网站Web服务器日志分析工具很多，有些工具因其某些方面的优点得到网站站长的认可而广泛流行。大多数的Web日志分析工具都想努力从日志纪录出挖掘出尽可能多的信息，但是能够稳定地完成各项分析，让分析数据具有可读性，并能图文并茂地展示分析结果的软件较少见。

1、AWStats

提到开源分析工具，我们不得不首先介绍AWStats。这个软件不但在国际上流行，就是在国内也被广泛采用。究其原因主要是这个软件的图形界面优秀，并且以很好的形式展示信息。随便浏览一下，用户就能够看到所有可以提供的报告。AWStats可以很好地支持中文。

AWStats主要优点：

使用跨平台的Perl CGI语言，可以很好地在Windows、Unix、Linux等操作系统上运行；

报告架构逻辑清晰，易读性较强；

配置安装较简单，不需要本地编译安装；

可以很好地支持中文；

软件版本升级较快，最新版更新了中文搜索引擎、浏览器等。

AWStats主要缺点：

缺少对内容（如栏目、频道）等的深入分析；

缺少对中国地理信息的分析；

对搜索引擎和关键词分析深度不够（与WebTrend对比）；

运行速度稍慢（与Webalizer对比）；

报告中只有简单的棒图，没有使用更有表意的折线图、饼图和面积图等；

缺少访问次数、每次访问点击页面数等一些关键统计项目。

2、Webalizer 曾经有很多人喜欢这个工具，因为这个工具运行的速度非常快。然而这个工具软件的图形不是很理想，从审美学的角度看并不是那样吸引人。Webalizer给出的统计报告谈不上分析深度，与Awstats相比，Webalizer缺少不少报表，而且这个软件很久没有更新了，所以除了过去的铁杆支持者，新用户越来越少。

Webalizer优点：

使用C语言编写，运行速度快；

可以跨平台运行；

可以提供图文并茂的基本报告。

Webalizer缺点：

图书馆Web服务器日志分析技术及应用

刘　春,胡

(1.泰山医学院图书馆,山东泰安　271000)

[摘　要]　随着Internet的迅速发展,图书馆的信息导航网站也逐步成为图书馆与读者信息交流的窗口。

了解和监控网站的运行状态,对提高各个网站的服务效能和服务水平是必不可少的。通过对Web服务器的日

志文件进行分析和统计,能够有效掌握系统运行状态以及网站内容的受访问情况、加强对整个网站及其内容的

维护与管理。本文对Web服务器日志分析的意义以及技术、原理进行讨论。

[关键词]　Web服务器;日志;日志分析;网络服务

[中图分类号]　G250.7 [文献标识码]　A [文章编号]　1009-1122(2003)04-0091-03

　[收稿日期]2003—10—13　[作者简介]刘　春(1975-),女,山东泗水人,泰山医学院图书馆助理馆员。

一、引言

Intemet上WWW服务、计算机科学和网络技术的发

展,改变了传统图书馆的形象和理念,也改变了传统图书

馆的服务方式和服务质量,网络服务对于图书馆成为一个

必不可少的重要组成部分,图书馆的信息导航网站也逐步

成为图书馆与读者信息交流的窗口,保障网站的正常运

行,优化网站的信息结构显得尤为重要,随着网站规模的

扩大,webserver传送信息量的不断增长,不可避免地会出

现各种传送错误,记录和分析这些信息对做好一个图书馆

信息导航网站,最大限度的方便读者查阅信息的重要性是

不言而喻的[1]。

管理Web网站不只是监视Web的速度和Web的内容

传送。随着Web网站的规模和范围的扩大,管理Web网

站的工作也就变得更加复杂和重要,它要求不只是控制通

信量,而且还要观察对这些Web网站的外来访问,了解网

站各页面的访问情况,根据各页面的点击频率来改善网页

的内容和质量、提高内容的可读性,跟踪包含有信息查询

的步骤以及管理Web网站“幕后”的数据等。

为了更好地提供WWW服务,监控WEB服务器的运

行情况、了解网站内容的详细访问状况就越来越显得重要