Elastic Stack（曾用名ELK Stack）是Elastic公司推出的一套开源技术栈，核心目标是 实现数据的全链路管理——从数据采集、处理、存储，到检索、分析和可视化，形成一套完整的解决方案。它凭借灵活性和扩展性，广泛用于日志分析、监控告警、安全审计、业务数据分析等场景。

Elastic Stack的核心组件

最初的ELK Stack由三个核心组件组成（Elasticsearch、Logstash、Kibana），后来加入了轻量级数据采集器Beats，形成了现在的Elastic Stack，各组件分工明确、协同工作：

1. Elasticsearch（ES）

• 核心角色：分布式搜索引擎和存储引擎，是整个Stack的“大脑”。
• 功能：
  • 接收并存储结构化/非结构化数据（如日志、指标、文本等）；
  • 提供高效的全文检索、复杂过滤、聚合分析能力（支持近实时查询）；
  • 分布式架构，支持水平扩展，保证高可用和大容量存储。

2. Logstash

• 核心角色：数据处理管道（ETL工具），负责数据的“收集、转换、输出”。
• 功能：
  • 输入（Input）：支持从多种数据源采集数据（如文件、数据库、消息队列、网络流等）；
  • 过滤（Filter）：对数据进行清洗、转换（如解析日志格式、提取字段、过滤无用信息、脱敏等）；
  • 输出（Output）：将处理后的数据发送到Elasticsearch、消息队列等目的地。
• 特点：插件生态丰富（支持数百种插件），但相对重量级（JVM进程，资源消耗较高）。

3. Kibana

• 核心角色：数据可视化与管理平台，是Elastic Stack的“门面”。
• 功能：
  • 与Elasticsearch深度集成，通过直观的UI查询、分析ES中的数据；
  • 支持创建仪表盘（Dashboard）、图表（折线图、柱状图、地图等）、报表，可视化数据趋势；
  • 提供Dev Tools（调试ES查询）、Monitoring（监控集群状态）、Alerting（配置告警规则）等工具。

4. Beats

• 核心角色：轻量级数据采集器（替代Logstash的采集功能，更轻量），部署在数据源所在的服务器/设备上。
• 类型：针对不同场景设计了多种Beats：
  • Filebeat：收集日志文件（如应用日志、系统日志），最常用；
  • Metricbeat：收集系统/应用指标（如CPU、内存、服务响应时间）；
  • Packetbeat：抓取网络数据包，分析网络流量和协议（如HTTP、MySQL）；
  • Winlogbeat：专门收集Windows系统日志；
  • Heartbeat：监控服务可用性（如ICMP、TCP检查）。
• 特点：轻量（Go语言开发，资源占用低）、高可靠（支持断点续传），数据可直接发送到ES或先经Logstash处理。

组件协同流程

Elastic Stack的典型工作流如下：

1. 数据采集：Beats（如Filebeat）在服务器上收集日志/指标，发送到Logstash或直接到ES；
2. 数据处理：Logstash对数据进行清洗、转换（如解析日志中的时间、IP字段），再输出到ES；
3. 数据存储与检索：ES存储处理后的数据，并提供快速查询、聚合分析能力；
4. 可视化与分析：Kibana连接ES，通过仪表盘、图表展示数据，同时支持配置告警（如指标异常时触发通知）。

应用场景

• 日志管理：集中收集多服务日志（如Java应用、Nginx、数据库），通过Kibana快速检索、分析故障原因；
• 监控告警：用Metricbeat采集系统/应用指标，在Kibana设置阈值告警（如CPU过高时通知运维）；
• 安全分析：结合Packetbeat和Filebeat，分析网络攻击日志、异常登录行为；
• 业务分析：存储用户行为数据（如点击、浏览），通过ES聚合分析用户偏好，用Kibana展示趋势。

总结

Elastic Stack的核心价值是**“一站式数据链路解决方案”**：从边缘节点的轻量采集，到中间的数据清洗，再到核心的存储检索，最后通过可视化呈现，覆盖了数据从产生到分析的全流程。其开源、可扩展的特性，使其成为互联网、企业级场景中处理海量数据的主流选择。