日志分析系统搭建分析与比较
21CTO 2020-10-30
fluentd logstash
一．背景介绍
许多公司的平台每天会产生大量的日志（一般为流式数据，如，搜索引擎的pv,查询等），处理这些日志需要特定的日志系统，—般而言，这些系统需要具有以下特征：
(1)构建应用系统和分析系统的桥梁，并将它们之间的关联解耦；
(2)支持近实时的在线分析系统和类似于H a doop之类的离线分析系统；
(3)具有高可扩展性。即：当数据量增加时，可以通过增加节点进行水平扩展。
二．日志系统比较
1 .怎样收集系统日志并进行分析
A实时模式：
1在打印日志的服务器上部署agent
2 agent使用低耗方式将日志增量上传到计算集群
3计算集群解析日志并计算出结果，尽量分布式、负载均衡，有必要的话（比如需要关联汇聚）则采用多层架构
安装过中心
I 衙求卢
特征和表现
作者：lev y cui
mpressed Archive -1简单d
I Linux ? Mac os ,x .,
i'
or Procedural
-畸-···矿..一夕--一．