logstash-input-s3 是一款开源插件，当对象存储桶中文件有更新后，触发变更事件，通知 Logstash 从对象存储拉取最新数据。通过安装 logstash-input-s3 插件，并在对象存储开启日志功能，支持及时从支持 S3 对象存储协议桶同步日志信息到 Logstash。

本小节主要介绍部分 Logstash 插件 logstash-input-s3 的 安装、配置和验证方法。

前提条件

  • 已获取管理控制台登录账号和密码，且已获取集群操作权限。

  • 已创建 OpenSearch 集群，且集群状态为活跃。

  • 已创建可用对象存储桶和 API 密钥，并分别获取到 endpoint、bucket、access_key、secret_key信息。

步骤 1: 安装插件

  1. 登录 Logstash 节点服务器，进入 shell。默认端口 9600、用户名 ubuntu、密码 p12cHANgepwD。

    输入命令 sudo su 切换到 root 用户，执行安装操作。

  2. 执行如下指令，安装插件：

    $ cd /data/logstash/plugins
$ /usr/share/logstash/bin/logstash-plugin install logstash-input-s3
说明

如有多个 Logstash 节点，请在所有 Logstash 节点上安装插件，确保所有 Logstash 节点成功安装插件。否则状态会显示不正常。

步骤 2: 修改配置参数

  1. 登录 AppCenter 管理控制台，选择目标 OpenSearch 服务，进入集群详情页面。

  2. 在配置参数页签，选择 Logstash 节点参数类型。

    配置 gemfile_append_content、output_conf_content 和 input_conf_content 参数，分别为如下参数值：

    gemfile_append_content

    gem "logstash-input-s3", :path => "/data/logstash/plugins/logstash-input-s3"

    output_conf_content

    index => "hello-%{+YYYY.MM.dd}"

    input_conf_content

    s3 {
    access_key_id => "<YourAccessKey>"
    secret_access_key => "<YourSecretKey>"
    endpoint => "http://s3.pek3b.qingstor.com"
    bucket => "<bucket_name>"
}

  3. 重启 Logstash 节点，启动插件服务。

    在基本属性区域展开操作栏，点击重启并选择 Logstash 节点，重启 Logstash 节点。

步骤 3: 安装验证

  1. 登录 QingStor 管理控制台，选择目标桶，进入桶详情页面。

    上传一个日志文件到 bucket，触发变更事件。

  2. 登录 Dashboard 平台，在 Discover 页面，查看近期接收到的日志，验证插件配置是否生效。