热-温-冷架构即基于时间创建索引（index）和索引分层存储结构，支持通过命令把温/冷索引从 OpenSearch 热节点迁移到相应的节点。热-温-冷架构，常用于在大规模数据分析场景（例如时间数据分析场景），以提高索引的处理效率，以及降低海量数据存储成本。

OpenSearch 集群默认为索引默认存储在热节点，您需首先确认 OpenSearch 各节点属性，再执行命令将热节点上索引迁移至冷/温节点，实现索引分层管理。

本小节主要介绍热-温-冷架构，以及如何迁移索引至 OpenSearch 冷/温节点。

架构简介

  • Master 节点

    负责处理集群管理和状态，提高了整体稳定性。Master 节点不保存索引，也不参与搜索和索引操作，不会被长 GC 干扰，负载可以保持在较低水平，能极大提高集群的稳定性。

  • 热节点

    负责处理集群中所有索引，承担最频繁的写入和查询操作。由于索引是 CPU 和 i/o 密集型操作，对计算和存储服务器的性能要求比较高，如超高性能主机及硬盘。

    在配置参数 > OpenSearch 节点（热）页面中 node.attr.data（热）参数指向 OpenSearch 热-温-冷架构，默认值为hot。

  • 温/冷节点

    负责处理只读索引，会接收少量的查询请求。温/冷节点可以配置一般性能的资源，通常配备通用本地磁盘。

    在配置参数 > OpenSearch 节点（温/冷）页面中 node.attr.data（温）和 node.attr.data（冷）参数指向 OpenSearch 热-温-冷架构，默认值为warm 和 cold。

hot-warm-cold-arch

前提条件

  • 已获取管理控制台登录账号和密码，且已获取集群操作权限。

  • 已创建 OpenSearch 集群，且集群状态为活跃。

  • 已获得 Dashboard 登录账号和密码。

操作步骤

配置热/冷/温节点

OpenSearch 节点 node.attr.data 参数，定义了冷、温、热节点属性，可用作热-温-冷架构配置。

  • 冷、温、热节点 node.attr.data 属性标签默认为值为 cold、warm、hot。

  • 您也可以在配置参数页面，自定义节点配置属性。

    1. 登录管理控制台，选择目标 OpenSearch 服务，进入集群详情页面。

    2. 在节点页签，查看集群 OpenSearch 节点角色类型，确认是否存在 冷/温节点。
      若无 冷/温节点 ，请先新增节点。

    3. 在配置参数页签，分别选择 OpenSearch 节点（热）、OpenSearch 节点（冷）、OpenSearch 节点（温）参数类型，查看和修改节点配置属性。

      查看热节点属性
      查看温节点属性
      查看冷节点属性

将索引迁移至冷/温节点

登录 Dashboard 管理控制台，在 Dev Tools 的 Console 中分别执行以下命令，迁移索引至冷/温节点。

  • 迁移至温节点

    以迁移名为 last-month 的 index 为例。

    PUT /last-month/_settings
{
  "index.routing.allocation.require.data": "warm"
}

  • 迁移至冷节点

    以迁移名为 last-year 的 index 为例。

    PUT /last-year/_settings
{
  "index.routing.allocation.require.data": "cold"
}