Live:CloudOps Webinars & Hands-on Workshops ·Register ↗
跳到主要内容

AWS 上的 Opensearch 日志记录

简介​

Opensearch 是一种流行的开源搜索和分析引擎，支持日志聚合、分析和可视化。AWS 提供了多种计算服务，如 ECS（Elastic Container Service）、EKS（Elastic Kubernetes Service）和 EC2（Elastic Compute Cloud），可用于部署和运行生成日志的应用程序。将 Opensearch 与这些计算服务集成，可以实现集中日志记录，有效监控应用程序和基础设施。

Opensearch pipeline 图 1: Opensearch 管道

架构概览​

以下是使用 ECS、EKS 和 EC2 在 AWS 上进行 Opensearch 日志记录的高层架构：

  1. 运行在 ECS、EKS 或 EC2 上的应用程序生成日志
  2. 日志代理（如 Fluentd、Fluent Bit、Logstash 等）从计算服务中收集日志
  3. 日志代理将日志发送到 Amazon Opensearch Service（一个托管的 Opensearch 集群）
  4. Opensearch 对日志数据进行索引和存储
  5. 与 Opensearch 集成的 Kibana 用于搜索、分析和可视化日志数据

关键组件：

  • Amazon Opensearch Service：用于日志聚合和分析的托管 Opensearch 集群
  • 计算服务（ECS、EKS、EC2）：部署生成日志的应用程序的位置
  • 日志代理：从计算服务收集日志并发送到 Opensearch
  • Opensearch 索引：存储日志数据
  • Kibana：日志数据的可视化和分析

优点​

  1. 集中日志记录：将所有计算服务的日志聚合到 Opensearch 中，提供单一的日志分析视图
  2. 可扩展性：Amazon Opensearch Service 可扩展以接收和分析大量日志数据
  3. 完全托管：Opensearch Service 消除了管理 Opensearch 的运维开销
  4. 实时监控：近实时地接收和可视化日志，实现主动监控
  5. 丰富的分析功能：Kibana 提供强大的工具来搜索、过滤、分析和可视化日志
  6. 可扩展性：灵活地与各种日志代理和 AWS 服务集成

缺点​

  1. 成本：大规模日志聚合到 Opensearch 可能产生大量的数据传输和存储成本
  2. 复杂的设置：从计算服务到 Opensearch 的日志流传输初始设置可能比较复杂
  3. 学习曲线：需要了解 Opensearch 和 Kibana 才能高效使用
  4. 大规模限制：对于非常大的日志量，Opensearch 可能面临可扩展性和性能挑战
  5. 安全开销：确保安全的日志传输和 Opensearch 访问需要仔细配置

结论​

将 Opensearch 与 AWS 计算服务（如 ECS、EKS 和 EC2）集成，可以提供强大的日志聚合和分析能力。虽然它提供了可扩展、集中化和近实时的日志解决方案，但在设计架构时需要仔细考虑成本、安全性、可扩展性和性能。通过正确的实施，AWS 上的 Opensearch 日志记录可以极大地增强对应用程序和基础设施的可观测性。