HP服务器日志收集详细步骤
使用smart start 8.60收集报告，需要使用U盘保存报告，U盘容量不要过大（4G以下）。将光盘放入光驱，重启服务器，会自动进入smart start引导界面。
进入后，语言部分默认为English，点击next；License部分选择Agree。
选择Maintenance
收集Survey报告，选择HP Insight Diagnostics。View level选择advanced，Categoies选择All，点击右下SAVE，保存survey报告。
收集IML日志，选择log 选择integrated management log 选择save。
收集ADU日志，选择array configuration utility ，选择diagnostics- 选择generate diagnostic report 保存就可以。
好了，现在可以将U盘中的日志发给惠普工程师检查了。
收集日志操作如下： HPS 1、将附件HPSRPT_Enhanced_v9.0.00r2.zip 文件copy到目标服务器，存放在c:\ 2、解压到当前文件夹后双击运行HPSRPT_Enhanced_v9.0.00r2.cmd文件 3、不要关闭DOS运行窗口大约15分钟左右会自动消失说明运行完成。 4、完成后需要到C:\WINDOWS\HPSReports\Enhanced\Report\cab 目录下查看生成文件信息 5、收集对应时间点的cab文件即可。 第一个日志：ADU报告 2、打开开始——程序——HP System Tools——HP Array Configuration Utility——HP Array Configuration Utility。
3、选择Local Applcation Mode，本地应用模式。 4、打开了HP Array Configuration Utility工具后，点中间的Diagnostics选项卡，选中左侧的
阵列卡，右侧会出现2个按钮，查看和提取日志报告，我们选择Generate Diagnostic Report。 5、提示Reprot Generation Complete日志提取完毕，这时可以选择右下角Save report按钮。
6、选择保存，弹出保存菜单，点保存。 7、可以选择保存到桌面上。
第二个报告：survey报告 打开开始——程序——HP System Tools——HP Insight Diagnostics online Edition for Windows ——HP Insight Diagnostics online Edition for Windows。 9、提示安全证书报警，选择是，继续。
天融信日志服务器配置说明书 （Topsec_Auditor_Server_2.0专用版） VER: 2.0 杭州市工商行政管理局网络安全二期项目工程文档 --------日志服务器配置说明书 北京天融信网络安全技术有限公司杭州分公司 2004年12月 天融信安全技术高品质的保证
文档管理 文档信息 文档名称杭州市工商局网络安全二期项目工程文档保密级别内部文档文档版本编号V1.0 制作人杭州天融信公司制作日期2004-12-04 复审人复审日期 适用范围本文档为杭州市工商局网络安全实施文档，提交给杭州市工商局网络安全项目组相关人员审阅、备案。 分发控制 编号读者文档权限与文档的主要关系 1 杭州天融信项目组创建、修改、读取文档制作者 2 杭州市工商局审阅直接客户 3 杭州市万事达公司审阅网络安全项目集成商 版本控制 时间版本说明修改人2004-12-04 V0.9 文档创建王余 2004-12-06 V1.0 文档修订王余
目录 3安装数据库服务器........................................................................................................ 6安装并配置审计服务器................................................................................................ 11安装并配置审计管理器.............................................................................................. 17配置防火墙日志权限..................................................................................................
一、日志文件Message.log的说明 日志文件中输出的是实际的消息包的内容,以16进制的方式打印的 //下面的蓝色文字为说明文字 对Message.log文件中记录的信息的说明: 1.ICD表示是由客服系统传送过来的消息 ICD = 后面的字符串,如:ICD = 20002,则20002表示客服系统使用的命令字或者调用过程名 2.MID表示是由营帐系统传送过来的消息 MID = 后面的字符串,如:MID = 20002,则20002表示客服与营帐接口协议中使用的命令字(注: 此处的说法不是很正确,如果客服与营帐协议中不存在命令字定义时,此处使用的是一种定义关系,一般是将协议中的某项或者某几项的组合作为可以唯一标识该条报文的命令字处理 3./TRANS表示转换后的信息记录. 4./ERROR MESSAGE表示该信息有错误或者无法处理,错误详细情况分析请见协议接口调试手册中的说明 说明:此处将客服的命令字与客服与营帐接口的命令字区分出来,原因是: 1、客服系统使用命令字的概念, 2、客服与营帐接口中的一项协议可能对应客服系统的多项不同调用,而客服系统在处理时每项调用的命令字都应当是唯一的,为此保证客服系统命令字的唯一及确定协议的转换方式,需要存在一个对应关系
3、客服系统,如IVR的请求中的调用过程名是固定的,不可能直接使用协议中定义的命令字,为此需要和协议中命令字的对应关系 4、由于存在上述的一对多的情况存在,日志记录中的MID = 后面命令字不一定正确,因此要结合具体的数据中的消息察看 5、上述的命令字的对应关系在DtProxyDll.ini文件中设定,由下列项目确定 [COMMAND] ICDCDM = //客服系统使用的命令字 MIDCMD = //客服与营帐接口协议中使用的命令字 6、具体的命令字对应的转换工作由DtProxyDll.dll完成 (1将客服发送过来的消息按照客服与营帐系统之间的协议转换后的数据 [2000/11/06 13:48:48] ICD = 20002/TRANS IP=10.108.22.192ID=35 记录时间ICD业务站点的IP ICD业务站点的ID 00 00 00 4b a8 23 00 32 30 30 30 32 00 00 00 00 00 00 00 00 00 00 00 00 ...K.#.20002............ 00 00 00 00 58 00 00 00 00 00 00 00 00 3b 00 00 00 00 7e 00 00 00 00 00 ....X........;....~..... 00 00 00 00 00 00 00 00 00 31 33 39 32 33 37 31 32 38 31 30 7e 38 38 38 .........139********~888 38 3b 00 8;. (2客服发送过来的消息,消息格式分成两类:IVR类,AppSrv类 可根据DtProxy.ini中IVRID和AppSvrID的设定对应下面信息中的ID值确定是那种消息格式
虚拟机系统日志文件详解 Friday, October 08, 2010---Henry 除了事件和警报列表，vSphere 组件还会生成各种日志。这些日志包含有关vSphere 环境中活动的详细信息。 1、查看系统日志条目 可以查看vSphere 组件生成的系统日志。 访问和查看系统日志的步骤： 1 在连接vCenter Server 系统或ESX/ESXi 主机的vSphere Client 的主页中，单击系统日志。 2 在下拉菜单中，选择要查看的日志和条目。 3 选择查看> 筛选以引用筛选选项。 4 在数据字段中输入文本。 5 单击清除以清空该数据字段。 2、外部系统日志 VMware 技术支持可能会请求多个文件以帮助解决您使用产品时遇到的任何问题。本节介绍在各种ESX 4.0 组件系统上找到的日志文件的类型和位置。 ---------------------------------------------------------------------------------------------------------------------- 注意：在Windows 系统中，多个日志文件存储在位于C:\Documents and Settings\
日志管理与分析-日志收集及来源 【前言】 对广大IT工作者，尤其是运维和安全人员来说，“日志”是一个再熟悉不过的名词。日志从哪来？机房中的各种软件（系统、防火墙）和硬件（交换机、路由器等），都在不断地生成日志。IT安全业界的无数实践告诉我们，健全的日志记录和分析系统，是系统正常运营、优化以及安全事故响应的基础，虽然安全系统厂商为我们提供了五花八门的解决方案，但基石仍是具有充足性、可用性、安全性的日志记录系统。实际工作中，许多单位内部对日志并没有充分的认识，安全建设更多在于投入 设备，比如防火墙、IDS、IPS、防病毒软件等，被动地希望这些系统帮助我们完成一切工作，但是俗话说的好：“魔高一尺道高一丈”，以特征码和预定义规则为基础的上述设备，在防护方面永远落在攻击者后面，防微杜渐才是真正的出路。作为一名合格的安全人员，了解日志的概念，了解日志的配置和分析方法，是发现威胁、抵御攻击的重要技能，有了这方面的深刻认识，各种自动化安全解决方案才能真正地发挥效能。 1、日志数据 简单地说，日志消息就是计算机系统、设备、软件等在某种触发下反应生成的东西。确切的触发在很大程度上取决于日志消息的来源。例如，UNix操作系统会记录用户登录和注销的消息，防火墙将记录ACL 通过和拒绝的消息，磁盘存储系统在故障发生或者在某些系统认为将会发生故障的情况下会生成日志消息。 日志数据就是一条日志消息里用来告诉你为什么生成消息的信息，例如，web服务器一般会在有人访问web页面请求资源（图片、
文件等等）的时候记录日志。如果用户访问的页面需要通过认证，日 志消息将会包含用户名。日志消息可以分成下面的几种通用类型： ?信息：这种类型的消息被设计成告诉用户和管理员一些没有风险的事情发生了。例如，Cisco IOS将在系统重启的时候生成消息。不过，需要注意的是，如果重启发生在非正常维护时间或是业务时间，就有发出报警的理由。 ?调试：软件系统在应用程序代码运行时发生调试信息，是为了给软件开发人员提供故障检测和定位问题的帮助。 ?警告：警告消息是在系统需要或者丢失东西，而又不影响操作系统的情况下发生的。 ?错误：错误日志消息是用来传达在计算机系统中出现的各种级别的错误。例如，操作系统在无法同步缓冲区到磁盘的时候会生成错误信息。?警报：警报表明发生了一些有趣的事，一般情况下，警报是属于安全设备和安全相关系统的，但并不是硬性规定。在计算机网络中可能会运行一个入侵防御系统IPS，检查所有入站的流量。它将根据数据包的内容判断是否允许其进行网络连接。如果IPS检测到一个恶意连接，可能会采取任何预先配置的处置。IPS会记录下检测结果以及所采取的行动。 2、日志数据的传输与收集 计算机或者其他设备都实现了日志记录子系统，能够在确定有必 要的时候生成日志消息，具体的确定方式取决于设备。另外，必须有 一个用来接收和收集日志消息的地方，这个地方一般被称为日志主 机。日志主机是一个计算机系统，一般来说可能是linux和windows服
IBM X-Server日志收集方法 -------------------------------Memory Minidump--------------------------------- Minidump调试方法： 1. 到https://www.doczj.com/doc/717989501.html,/whdc/devtools/debugging/default.mspx下载dbg_x86_6.9.3.113.msi 2. 建立临时目录c:\temp 3. 启动windbg，打开file->symbol file path (ctrl+s)，输入 SRV*c:\temp*https://www.doczj.com/doc/717989501.html,/download/symbols，确定 4. 打开file->open crash dump (ctrl+d)，打开%systemroot%\Minidump目录下dmp后缀的文件 5. 在左下角状态提示“kd>”后，输入“!analyze -v”，回车，下面会出现分析结果 -------------------------------BMC日志 --------------------------------- 收集BMC日志需要您准备一台笔记本和一根交叉网线连接到服务器的网络1口。 一、BMC收集 1. 到IBM网站 (https://www.doczj.com/doc/717989501.html,/systems/support/supportsite.wss/docdisplay?ln docid=MIGR-64636&brandind=5000008)下载一个压缩包 osa_utl_smbr_2.0.24.1_anyos_noarch.zip，下载好之后解压，将windows下的SMBridge安装程序拷贝到笔记本中。 2. 在服务器BIOS中设置BMC的IP地址。重启服务器，按F1进BIOS，依次选择Advanced Setup-> Baseboard Management Controller (BMC) Settings -> BMC Network Configuration，将IP地址获取方式改为静态，IP地址为10.1.1.97；子网掩码是255.255.255.0。设置完之后要选择下面的选项保存信息。 3. 设置笔记本的IP地址为10.1.1.100（建议）子网掩码为255.255.255.0。 4. 在笔记本上安装SMBridge Utility，安默认设置进行安装，程序将会被安装到C:\Program Files\SMBridge的目录下。 5. 在MS-DOS的方式下：进入到C:\Program Files\SMBridge的目录，输入命令： smbridge -ip 10.1.1.97 -u USERID -p PASSW0RD sel get > C:\bmc_log.txt
注意事项 在安装一体机的驱动程序之前，不能将一体机用USB 连接线连接到电脑，否则很容易造成驱动程序安装失败、报错或者功能缺失等问题。 返回页首 安装方法 1.双击下载的自解压文件包，这时安装文件会自动开始解压缩。 2.自动解压后，系统将弹出“HP All-In-One Series”窗口，点击“安装”按钮。如图 1 安装所示： 图1: 安装 3.在“欢迎使用HP All-In-One Series 安装向导”窗口中，点击“下一步”按钮。如图 2 欢迎使用HP All-In-One Series 安装向导所示： 图2: 欢迎使用HP All-In-One Series 安装向导
4.在“请不要阻止HP 安装向导进程”窗口中，点击“下一步”按钮。如图3 请不要阻 止HP 安装向导进程所示： 图3: 请不要阻止HP 安装向导进程
5.在“检查推荐的安装更新（可选）”窗口中，选中“否，我要自己执行此操作”选项， 然后点击“下一步”按钮。如图4 否，我要自己执行此操作所示： 图4: 否，我要自己执行此操作 6.系统正在安装驱动程序。如图5 正在安装All-In-One Series 所示： 图5: 正在安装All-In-One Series
7.在“安装选项”窗口中，选中“推荐”选项，然后点击“下一步”按钮。如图6 推荐所示： 图6: 推荐 8.在弹出的“许可协议”窗口中，点击“我同意”按钮。如图7 我同意所示：
图7: 我同意 9.在“感谢您购买其他HP 产品”窗口中，点击“下一步”按钮。如图8 感谢您购买其 他HP 产品所示： 图8: 感谢您购买其他HP 产品
中国移动通信企业标准 QB-W-025-2011 中国移动上网日志留存系统规 范G b/I u P S采集解析设备规范 E q u i p m e n t S p e c i f i c a t i o n o f C h i n a M o b i l e N e t l o g S y s t e m （S i g n a l C o l l e c t i o n G b/I u P S P a r t） 版本号：1.0.0 2013-6-25发布2013-6-27实施中国移动通信集团公司发布
目录 前言 .................................................................... III 1 范围 (1) 2 规范性引用文件 (1) 3 术语、定义和缩略语 (1) 4 设备在系统中的位置 (2) 5 功能要求 (3) 5.1 Gb/IuPS采集位置要求 (4) 5.2 数据旁路功能要求 (6) 5.3 数据接入功能要求 (7) 5.4 协议解码功能要求 (7) 5.5 DPI功能要求（可选） (8) 5.6 数据存储功能要求 (9) 5.7 数据输出功能要求 (10) 5.8 上报告警功能要求 (10) 6 性能指标和可靠性要求 (11) 6.1 性能要求 (11) 6.2 软件要求 (11) 6.3 硬件要求 (12) 6.4 可扩展要求 (12) 6.5 部署要求 (12) 6.6 可靠性 (13) 7 接口要求 (13) 7.1 千兆以太网接口 (13) 7.1.1 1000BaseT接口 (14) 7.1.2 1000Base-SX接口 (14) 7.1.3 1000Base-LX接口 (14) 7.2 10G以太网接口 (14) 7.2.1 10GBase-S接口 (14) 7.2.2 10GBase-L接口 (14) 7.2.3 10GBase-E接口 (14) 8 时间同步要求 (15) 9 网管要求 (15) 9.1 配置管理 (15) 9.2 查询设备信息 (17) 9.2.1 设备硬件信息 (17) 9.2.2 设备网络信息 (17) 9.3 查询设备状态 (18) 9.3.1 设备负荷 (18) 9.4 设备状态管理 (19) 9.4.1 故障管理 (19) 9.5 性能管理 (20) 9.6 安全管理 (20)
一、 想要让Log4net日志(以下称日志)按每月自动归类为一个文件夹，为此，学习和修改了log4net.config文件。查了资料，重点是以下这些参数: 众说纷纭，许多说得让人看后似懂非懂，经过说起来都是泪的实验，终于有了明确的结论，整理发表出来避免后人走弯路。 1.StaticLogFileName的值如果为true，则当前日志文件(相对于历史日志文件而言)的文件名只取File参数。如果为false，则文件名取File+DatePattern。 2.File的值是静态的如果写“yyyy-MM”就是“yyyy-MM”而不会转成当前的年份和月份，而且斜扛“/”与反斜扛“\”效果相同，连续2扛也与1扛相同。 3.DatePattern的值是动态的“yyyy”代表4位年份，详细参考网上的众多资料(这个不难得到)。如果想表达静态的字符(如“y”)有2种办法，1是使用转义字符“\”，即“\y”，2是使用一对单引号限定，即“'y'”。如上面的value="_yyyy-MM-dd.'config'"，就是因为fig有特殊含义，所以把“config”用单引号包含起来了。 4.修改了(网站上的)log4net.config文件，使它生效的方法是重启网站(我没有试着去操作应用程序池)。实测重启网站有约10%没有使它生效，但如果是先停止网站再启动，则100%生效。 以上4点最关键是第1点，也是众多资料所没有说清楚的(本人的汉字理解能力有问题？)。最终符合我要求的配置如下: 以上是基于我自己做的实验而得出的结论，难免不够系统和全面，限于本人水平，难免有错误。如有发现错漏，欢迎指正。 二、 log4net配置文件设置 2011-11-16 13:15:41| 分类：Notes|举报|字号订阅
在 Windows 7 下安装 HP1020 打印机驱动程序方法 注意事项: 电脑上曾经安装过HPLaserJet 激光打印机的驱动程序，重新安装驱动程序之前，需要先删除以前安装的驱动程序，否则可能会出现无法找到设备或者安装不上驱动程序的现象。 一、Windows 7 下手动删除驱动程序的方法。 安装网站下载的即插即用驱动程序前，建议先手动删除打印机驱动程序，然后再安装驱动程序。 适用机型 HP LaserJet 1018、HP LaserJet 1020、HP LaserJet 1022、HP LaserJet P1505、HP LaserJet P1007、HP LaserJet P1008。 操作方法： 依次点击“开始（）”→“控制面板”，在“控制面板”窗口中，点击“设备和打印机”选项。 注:本文以HP LaserJet 1020 激光打印机的操作方法为例，其他型号打印机的操作方法也可以以此作为参考。
在“设备和打印机”窗口中，右键点击“HP LaserJet 1020”图标，选择“删除设备”菜单项。如图 1 删除设备所示： 图1: 删除设备 在“删除设备”窗口中，点击“是”按钮。如图 2 确认删除设备所示： 图2: 确认删除设备
必须断开USB 连接线，重新启动电脑。 重新启动电脑后不要进行任何打印操作。 在“设备和打印机”窗口中，点击“Microsoft XPS DocumentWriter”打印机图标，选择“打印服务器属性”菜单。如图 3 打印服务器属性所示： 图3: 打印服务器属性 在“打印服务器属性”窗口中，点击“驱动程序”选项卡，选择“HP LaserJet 1020”打印机型号，然后点击“删除”按钮。如图 4 属性所示：
System X服务器日志收集的方法 一、通过SVCCON收集BMC日志 1、下载SVCCON工具ibm_utl_svccon_112_windows_anycpu.exe https://www.doczj.com/doc/717989501.html,/jct01004c/systems/support/supportsite.wss/ docdisplay?brandind=5000008&lndocid=MIGR-63877 2、设置服务器BMC的IP地址和终端（有网卡和windows操作系统的机器都 可以）的IP地址 A、BMC 管理端口共享的是服务器主板上面的第一个网络口（NIC Port 1）， 缺省的模式是enable的，默认IP是10.1.1.97；子网掩码是255.255.255.0。 网络设置可以通过下面的方法去核实或设置：在F1 Setup under Advanced Setup-> Baseboard Management Controller (BMC) Settings -> BMC Network Configuration (see below): （IP地址也可以根据USER的实际情况进行更改，这里没有做强制要求） B、设置终端的IP地址为10.1.1.100（建议）子网掩码为255.255.255.0(see below) 3、使用SVCCON工具收集BMC日志 A、直接运行下载程序ibm_utl_svccon_112_windows_anycpu.exe，会弹 出一个窗口(see below)，10.1.1.97是默认的IP，也可以更改成USER 自定义的IP。 B、然后点击Logon，登陆成功后，最下面的信息栏中显示的是Connecting 状态(see below) 。 C、点击Dump SEL键，会弹出一个对话框，在对话框中键入需要保存信 息的文件名，【建议使用服务器的型号序列号命名(see below)】，选 择保存。 D、日志保存完后状态恢复到Connecting状态(see below) ，点击 Disconnect键，断开连接，关闭SVCCON的窗口。 E、将日志文件发给IBM工程师。 二、通过 SMBridge 工具收集日志 1、下载SMBridge工具osa_utl_smbr_2.0.17.1_anyos_anycpu.zip https://www.doczj.com/doc/717989501.html,/jct01004c/systems/support/supportsite.wss/ docdisplay?lndocid=MIGR-64636&brandind=5000008 2、设置服务器BMC的IP地址和终端（有网卡和windows操作系统的机器 都可以）的IP地址 A、BMC 管理端口共享的是服务器主板上面的第一个网络口（NIC Port 1）， 缺省的模式是enable的，默认IP是10.1.1.97；子网掩码是255.255.255.0。 网络设置可以通过下面的方法去核实或设置：在F1 Setup under Advanced Setup-> Baseboard Management Controller (BMC) Settings -> BMC Network Configuration (see below): （IP地址也可以根据USER的实际情况进行更改，这里没有做强制要求）
Linux系统的LOG日志文件及入侵后日志的清除 UNIX网管员主要是靠系统的LOG,来获得入侵的痕迹.当然也有第三方工具记录入侵系统 的痕迹,UNIX系统存放LOG文件,普通位置如下: /usr/adm - 早期版本的UNIX /var/adm - 新一点的版本使用这个位置 /var/log - 一些版本的Solaris,linux BSD,Free BSD使用这个位置 /etc - 多数UNIX版本把utmp放在这里，有些也把wtmp放在这里，syslog.conf在这里 下面的一些文件根据你所在的目录不同而不同： acct 或pacct -- 记录每个用户使用的命令记录 access_log -- 主要当服务器运行NCSA HTTPD时, 记录什么站点连接过你的服务器aculog -- 保存着你拨出去的MODEMS记录 lastlog -- 记录了用户最近的LOGIN记录和每个用户的最初目的地，有时是最后不 成功LOGIN的记录,当一个用户登陆到unix系统，注册程序在lastlog文件中查找该用户的uid，如果该程序找到了 该用户的uid，unix就会显示最后一次登陆的时间和tty（终端号） loginlog -- 记录一些不正常的LOGIN记录 messages -- 记录输出到系统控制台的记录，另外的信息由syslog来生成 security -- 记录一些使用UUCP系统企图进入限制范围的事例 sulog -- 记录使用su命令的记录．它通常在/var/adm/sulog．如果你在机器上使用了su命令，别忘了清除哦． utmp -- 记录当前登录到系统中的所有用户，这个文件伴随着用户进入和离开系统而不断变化.它还会为系统中的用户保持很长的历史记录，utmp日志通常存放在/var/adm/utmp目录下．可以用w和who命令查看，其他命令也可以访问这个文件．如：finger root就可以．现在的utmp一般都有utmpx文件作为日志记录的补充． utmpx -- UTMP的扩展 wtmp -- 记录用户登录和退出事件．它和utmp日志文件相似，但它随着登陆次数的增加，它会变的越来越大，有些系统的ftp访问也在这个文件里记录，同时它也记录正常的系统退出时间,可以用ac和last命令访问． syslog -- 最重要的日志文件，使用syslogd守护程序来获得日志信息，通常情况下通过查看/etc/syslog.conf．我们可以知道syslog记录些什么．缺省时，它把大多的消息传给 /var/adm/message． /dev/log -- 一个UNIX域套接字，接受在本地机器上运行的进程所产生的消息
基于Flume的美团日志收集系统(一)架构和设计
Agent 丰 富程度提供丰富的Agent，包括avro/thrift socket, text, tail等 主要是thrift端口 Store丰富程度可以直接写hdfs, text, console, tcp；写 hdfs时支持对text和sequence的压 缩； 提供buffer, network, file(hdfs, text)等 代码结构系统框架好，模块分明，易于开发代码简单 3 美团日志收集系统架构 美团的日志收集系统负责美团的所有业务日志的收集，并分别给Hadoop平台提供离线数据和Storm平台提供实时数据流。美团的日志收集系统基于Flume设计和搭建而成。目前每天收集和处理约T级别的日志数据。 下图是美团的日志收集系统的整体框架图。 a. 整个系统分为三层：Agent层，Collector层和Store层。其中Agent层每个机器部署一个进程，负责对单机的日志收集工作；Collector层部署在中心服务器上，负责接收Agent 层发送的日志，并且将日志根据路由规则写到相应的Store层中；Store层负责提供永久或者临时的日志存储服务，或者将日志流导向其它服务器。 b. Agent到Collector使用LoadBalance策略，将所有的日志均衡地发到所有的Collector上，达到负载均衡的目标，同时并处理单个Collector失效的问题。 c. Collector层的目标主要有三个：SinkHdfs, SinkKafka和SinkBypass。分别提供离线的数据到Hdfs，和提供实时的日志流到Kafka和Bypass。其中SinkHdfs又根据日志量的大小分为SinkHdfs_b，SinkHdfs_m和SinkHdfs_s三个Sink，以提高写入到Hdfs的性能，具体见后面介绍。 d. 对于Store来说，Hdfs负责永久地存储所有日志；Kafka存储最新的7天日志，并给Storm 系统提供实时日志流；Bypass负责给其它服务器和应用提供实时日志流。
教你如何查看网站日志 笔者有加了几个SEO的群，经常在群里看到很多新手SEO朋友问怎么查看网站日志，这里笔者就做一个系统的总结分享给新手SEO朋友们，希望有用，如果你是老鸟觉得不屑一顾你可以忽视本文。就拿笔者最近优化的展览器材行业网站来做个案例分析吧。我做的企业网站关键词是易拉宝。笔者每天会通过提取服务器的日志来查看蜘蛛抓取情况，看看有哪些蜘蛛今天来爬了，爬了多少次，具体爬到哪个页面蜘蛛爬不下去就走了等等。然后分析做出合理优化。 1.首先你等下一个日志分析工具：笔者用的光年日志分析。百度光年日志分析工具就可以下载了，这里不提供下载页面。下载完后安装解压，如图所示 2.如果你的FTP里面没有LOG文件夹的话那么就得登入你的空间服务器提取log日志。系统默认的日志文件路径是：C:WINDOWSsystem32LogFiles ， W3SVC就是你要提取的文件，这个文件里面有你网站每天的日志文件.这里需要补充一点的就是如果你服务器里面有多个网站的话，那么你得先弄清楚哪个文件夹是你需要的日志文件夹。按如下步骤操作：打开空间管理器——找到你网站——右键——属性——网站--属性P——浏览下面就能看到文件夹名称(详见如图红色部位)
3.提取出的文件放到你的D盘网站跟目录下然后通过FTP传送到本地电脑。 4.打开光年日志工具GnAnalyzer.exe——新建分析任务(找到你刚下载的日志文件)——选择分析文件存放路劲——确定。分析结束后找到你存放结果的文件夹找到HTM结果的文件就能看到日志分析结果了。
如上图所示就能查看到蜘蛛来我网站的情况了，由于笔者现在优化的展览器材行业网站是一个新站，特别是易拉宝这个关键词也比较热，所以现在蜘蛛来拍的次数和抓取量比较可怜。如上图所示左边就可以查看到各大搜索引擎的蜘蛛到底爬了你网站的哪个页面，到了哪个页面走不下去了。 以上由杭州邦美展览器材易拉宝网/编辑，希望对新手朋友们有用，内容如有变差望见谅。 文章来源于：https://www.doczj.com/doc/717989501.html,/article-24577-1.html
一.黑白打印机打印有空白，纵向黑线，黑点和斑点等打印问题。 解决方法：1.打印有空白，硒鼓封条未抽；水平轻微摇晃硒鼓，多打印几张；硒鼓粉用完 2.打印出现纵向黑线，斑点，可清洁打印机，在打印机属性，配置（或设备设置），控制面板清洁页面等，执行清洁打印机 （惠普彩色打印机CP1025出现以上情况可同样处理，CP1025查看硒鼓剩余粉量：控制面板上的（）按钮→选择到“报告”→选择到“耗材状态”，按“OK；清洁打印机：CP1025系列在Windows 通知区域，右键点击“设备设置”（），然后点击打印机名称。点击“设备设置”选项卡，然后点击“清洁页”。 二.惠普打印机卡纸 1.打印过程中卡纸解决方法：需确定卡纸位置（1）一般卡在硒鼓底部，硒鼓未安装到位，需要正确安装硒鼓；（2）纸张不平整，有破损，潮湿，弯曲，纸张太厚；（3）打印机进纸通道有纸屑杂物需清洁，清洁搓纸辊。（4）纸张设置不正确，“纸张尺寸”选A4，“纸张来源”选自动、"类型"为普通纸，然后点击“确定”按钮，重启电脑。 2.开机未打印就报卡纸解决方法：（1）确定已经清除卡的纸张；（2）重置打印机，步骤：关掉打印机，拔掉打印机电源，等待几分钟在开机；（3）清除未完成的打印任务，并重启电脑。（一般是纸张感应器脏污，搓纸辊有脏污磨损严重导致打滑进不了纸，或者纸张潮湿） * 三.惠普打印机检测不到硒鼓，提示“未检测到硒鼓”或者“无打印碳粉盒 原因：打印机内部传感器没有复位造成，硒鼓仓有杂物。 解决方法：打开硒鼓顶盖，取出硒鼓，触碰传感器先将其复位到放松状态，然后再次将硒鼓插入打印机中，并且用力将其稳固就位。 传感器有可能是黑色 传感器状态： 1.放松传感器：未检测到硒鼓 2.轻轻压住传感器约3-5 mm：检测到硒鼓 3.压紧传感器：未检测到硒鼓。
Agent丰富程度提供丰富的Agent，包括avro/thrift socket, text, tail等 主要是thrift端口 Store丰富程度可以直接写hdfs, text, console, tcp； 写hdfs时支持对text和sequence的压 缩； 提供buffer, network, file(hdfs, text)等 代码结构系统框架好，模块分明，易于开发代码简单 3 美团日志收集系统架构 美团的日志收集系统负责美团的所有业务日志的收集，并分别给Hadoop平台提供离线数据和Storm平台提供实时数据流。美团的日志收集系统基于Flume设计和搭建而成。目前每天收集和处理约T级别的日志数据。 下图是美团的日志收集系统的整体框架图。 a. 整个系统分为三层：Agent层，Collector层和Store层。其中Agent层每个机器部署一个进程，负责对单机的日志收集工作；Collector层部署在中心服务器上，负责接收Agent 层发送的日志，并且将日志根据路由规则写到相应的Store层中；Store层负责提供永久或者临时的日志存储服务，或者将日志流导向其它服务器。 b. Agent到Collector使用LoadBalance策略，将所有的日志均衡地发到所有的Collector 上，达到负载均衡的目标，同时并处理单个Collector失效的问题。 c. Collector层的目标主要有三个：SinkHdfs, SinkKafka和SinkBypass。分别提供离线的数据到Hdfs，和提供实时的日志流到Kafka和Bypass。其中SinkHdfs又根据日志量的大小分为SinkHdfs_b，SinkHdfs_m和SinkHdfs_s三个Sink，以提高写入到Hdfs的性能，具体见后面介绍。 d. 对于Store来说，Hdfs负责永久地存储所有日志；Kafka存储最新的7天日志，并给Storm 系统提供实时日志流；Bypass负责给其它服务器和应用提供实时日志流。
收集日志的方法（V5.5及以下版本） 刘奇liuqi@https://www.doczj.com/doc/717989501.html,2010-9-14 说明：本文档非本人编写，为深圳同事总结。 举例说明，怎样把程序出错时，或者程序运行慢的前台界面现象截图，前台详细日志，后台详细日志收集和提交。 1. 某客户查询凭证时，前台报错。 2.下面介绍怎样把日志收集完整给开发, 在打开这个出错节点之前，我们先打开前台日志，在程序的右上角上一个日志按钮, 并把log level设置为debug, 按clear 按钮清除之前的日志，让收集的日志更为准确 3.在服务器端运行wassysconfig.bat—log- 日志配置http://localhost:88 –读取（中间件必须在启动状态）,下图中88为nc的web访问端口，如果是80端口访问nc,请在此输入80. 把anonymous和nclog 级别设置为debug,滚动策略中最大字节设置为10m,最大文件数设置为20,并按保存。如下图，这个时候，所在访问nc服务器的88端口的操作，将会有debug输出到指定目录的指定文件。（ncv5产品是可以动态打开和关闭日志，不需要重新启动中间件才生效）
4．在服务器端打开日志目录D:\ufida\ufsoft\nclogs\server1，按日期排序日志文件，记下nc-log 和anony-log当前正在输出的文件（可能有很多nc-log和anony-log文件，要记住正在输出的最新的日志文件），如下图nc-log[0].log和anony-log[0].log是正在输入的日志文件 1.准备工作都完成了，我们需要把问题重现一次。以便生成日志并提交给开发。如下图， 我们操作凭证查询，界面报错，我们可以使用键盘上的prtscreen键直接截图到word文件，把前台直接看到的错误保存下来。 2.问题重现后，我们立即去把后台日志的级别设置为error,并保存。防止其他用户操作nc 产生大量的日志输出，不便查找我们所要的信息，如下图
IIS Log参数详解： date(日期) 2007-11-17 time(时间) 16:02:09 cs-method(方法) GET cs-uri-stem(URI资源) /b2b_cplist.asp //代表访问的资源是当前这个文件 cs-uri-query(URI查询) catid=30 // 具体的访问参数 （cs-uri-stem+ cs-uri-query=实际访问的文件：/b2b_cplist.asp? catid=30） s-port(服务器端口) 80 c-ip(客户端IP) 211.155.23.176（实际是网站所在服务器的IP） cs(User-Agent) Baiduspider+(+https://www.doczj.com/doc/717989501.html,/search/spider.htm) //百度在收录你呢J cs(Referer) (引用站点) https://www.doczj.com/doc/717989501.html, 搜索的站点 sc-status(协议状态) 200 //200表示OK sc-substatus(协议子状态) 0 sc-win32-status(Win32状态) 0 sc-bytes(发送的字节数) 1329 //表示当前文件的大小 日期date 时间time 客户IP地址c-ip 用户名cs-username 方法cs-method URI资源cs-uri-stem 协议状态sc-status 发送字节数sc-bytes 协议版本cs-version 用户代理cs(User-Agent) 参照cs(Referer) HTTP协议状态码的含义,协议状态sc-status，是服务器日记扩展属性的一项。下面是各状态码含义列表: "100" : Continue 客户必须继续发出请求 "101" : witching Protocols 客户要求服务器根据请求转换HTTP协议版本200交易成功 "200" : OK 交易成功 "201" : Created 提示知道新文件的URL "202" : Accepted 接受和处理、但处理未完成 "203" : Non-Authoritative Information 返回信息不确定或不完整 "204" : No Content 请求收到，但返回信息为空 "205" : Reset Content 服务器完成了请求，用户代理必须复位当前已经浏览过的文件 "206" : Partial Content 服务器已经完成了部分用户的GET请求"300" : Multiple Choices 请求的资源可在多处得到 "301" : Moved Permanently 删除请求数据
Linux 系统日志收集分析系统 一、搭建环境 系统：centos6.5 软件：lamp、rsyslog、rsyslog-mysql 、loganalyzer rsyslog用来收集远程服务器系统日志信息 rsyslog-mysql是rsyslog连接数据库的模块 loganalyzer用来分析系统日志 二、软件安装 a、httpd安装 tar -jxvf apr-1.5.1.tar.bz2 ./configure --prefix=/usr/local/apr make && make install tar -zxvf apr-util-1.5.4.tar.gz ./configure --prefix=/usr/local/apr-util --with-apr=/usr/local/apr/ make && make install tar -zxvf httpd-2.4.12.tar.gz yum install -y pcre-devel zlib-devel openssl-devel ./configure --prefix=/data/program/apache2 --enable-so --enable-rewrite --enable-ssl --enable-cgi --enab le-cgid --enable-modules=most --enable-mods-shared=most --enable- mpms-share=all --with-apr=/usr/local/apr --with-apr-util=/usr/local/apr-util --enable-deflate make -j 6 && make install ++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++ 修改httpd配置文件，添加如下两行 AddType application/x-httpd-php .php AddType application/x-httpd-php-source .phps 定位至DirectoryIndex index.htm DirectoryIndex index.php index.html 注释掉主服务的站点目录 #DocumentRoot "/data/program/apache2/htdocs" 开启虚拟主机需要加载 Include conf/extra/httpd-vhosts.conf LoadModule log_config_module modules/mod_log_config.so 添加虚拟主机