龙源期刊网 https://www.doczj.com/doc/9313393381.html,
基于Kubernetes的分布式ELK日志分析系统
作者：陈建娟刘行行
来源：《电子技术与软件工程》2016年第15期
摘要在大规模云服务及系统中，对日志的收集和集中处理具有重要作用，通过分析日志可以快速定位错误，提前预警风险。本文结合开源日志解决方案ELK和分布式消息队列Kafka 构建了实时消息系统，阐述了各组件的主要功能及其工作原理，并利用主流的云技术Kubernetes来实现快速部署和管理，通过ETCD和SKYDNS作为服务发现，为分布式系统提
供技术支撑。基于Kubernetes的分布式ELK日志分析系统具有灵活性，方便性等特点，可用于企业快速搭建日志处理平台。
【关键词】Kubernetes ELK 日志分析分布式
大数据时代，企业的IT构架不断扩展，资源的种类和数量也越来越多，这标志着企业IT 系统建设的日趋完善，同时也意味着运维管理将面临更大的挑战。优秀的系统运维平台既能实现数据平台各组件的集中式管理、方便系统运维人员日常监测、提升运维效率，又能反馈系统运行状态给系统开发人员。大规模云服务及系统中，日志系统是保障系统稳定运行不可或缺的一部分，通过把带时间戳的基于时间序列的机器数据包括IT系统信息、物联网各种传感器信息进行集中管理，并运用实时数据处理技术对这些数据建立索引以及统计，帮助快速定位问题的根源，发现数据价值，提高工作效率。其重要性和监控系统、自动测试系统等相当。
1 ELK
目前开源的日志收集系统有很多，比如Scribe、Flume、Logstash、Fluentd等，日志存储
工具有Redis、HDFS、MangoDB、Elasticsearch等，分析软件如Kibana、Graylog2等，构建一个强健的集中化日志管理解决方案，需要多种工具的组合。本文采用ELK+Kafka实现日志收集分析，架构如图1所示。ELK能在大量日志中快速准确定位故障，适合应用级别的实时监控和重要核心服务的报警。
ELK是一套流行的一体化日志处理平台解决方案，提供日志收集、处理、存储、搜索、
展示等全方位功能。由分布式搜素引擎ElasticSearch、日志采集解析工具Logstash、分析可视化平台Kibana组成。
Logstash是Ruby编写的一款分布式日志收集系统，利用JVM的线程功能进行并行的数据处理，支持多输入源Input，Filter中可以使用Grok、Mutat等插件来过滤文本和匹配的字段，Output指定日志去向，可以是消息队列、Email、全文搜索引擎等几十种目标端。