当前支持的组件及版本如下:

版本 Hadoop Spark Hive Flink Ranger

QingMR v2.6.1

3.1.3

2.4.8

3.1.2

1.13.1

2.0.0

QingMR v2.5.2

2.9.2

2.2.3

2.3.5

1.9.0

-

QingMR v1.3.0

2.7.3

2.2.0

2.3.4

-

-

v2.6.1

  • 修复 Apache Log4j2 漏洞。

  • 新增节点服务状态告警,当节点服务状态为异常时会告警。详细说明请参见设置监控告警

v2.6.0

  • 升级 Hadoop、Spark、Hive、Flink 至新版本,升级说明请参见版本升级

  • 新增 Ranger 组件,支持 Ranger hive 插件,通过 Ranger 对 Hive 的权限控制,详细说明请参见 Ranger 组件

v2.5.2

新增 s3.endpoint 配置参数用于指定兼容 S3 的对象存储的 endpoint,主要用于私有云不能访问公有云对象存储的场景。

v2.5.1

  • 新增 YARN 从节点健康检查,YARN 从节点状态变为 unhealthy 或 lost 时会告警。

  • 增加 YARN 应用日志保存时间配置参数 yarn.nodemanager.log.retain-seconds。

  • 超过 7 天无变化的 YARN 应用日志不再会被删除。

v2.5.0

  • 新增 对 Flink 1.9.0 的支持。

  • HDFS 主节点、主节点和从节点主机类型升级为企业型,新增多种 CPU 和内存规格,单节点最高支持32核 CPU 和 128G 内存。

  • HDFS 主节点、主节点数据盘升级为 SSD 企业级,单节点最高容量可达 2 TB。

  • 从节点新增 SSD 企业级存储的支持。

  • Client 节点主机类型调整为基础型,数据盘调整为基础型。

v2.0.0

  • Hadoop 版本升级到 2.9.2 , Spark 版本升级到 2.2.3 , Hive 版本升级到 2.3.5 。

  • 新增 Hadoop, Spark 和 Hive 对 lzo 压缩的支持。

  • 新增对基于 Spark 的分布式深度学习框架 BigDL 的支持。

v1.3.0

  • 新增 NeonSAN 超高性能大容量存储的支持,单节点最高容量可达 50 TB。

  • Hive 版本升级到 2.3.4。

  • 新增 Spark 作为 Hive 的默认执行引擎即 Hive on Spark,同时支持用户切换到传统的 MapReduce 引擎。

  • 新增多个 Hive 调优配置参数。

  • 新增 Hive 通过 beeline 执行 HQL 使用指南。

  • 新增 HiveServer2 WEB UI 使用指南。

v1.2.1

  • 所有节点升级 confd 到 v0.13.12。

  • 修改 QingMR 在基础网络环境下 hive 启动错误的问题。

  • 修改各个角色中 hosts 文件和 authorized_keys文件用户的修改被覆盖的问题。

  • client 节点增加 hdfs-site.xml 模板文件。

  • client 节点 spark-env.sh 修改被覆盖的问题。

  • 修改启动 Hive 的时候找不到 spark-assembly 相关的 Jar 包的问题。

  • client 节点相关服务命令超时时间从 3600s 改为 900s 。

v1.2.0

  • 名称由 SparkMR 变更为 QingMR。

  • 支持 Kyligence Analytics Platform ( Kylin 的企业级产品 )。

v1.1.0

  • YARN 主节点 改称 主节点

  • 主节点 上新增 Hive 服务。

  • 主节点 上新增 Mysql 数据库服务。

  • Spark Standalone 模式由 默认开启 改为 默认关闭

  • 新增 服务详情 页面。

v1.0.2

  • 数据盘从能挂 3 块改为 1 块。

  • 更改数据盘挂载目录为 /data。

v1.0.1

缩短集群启动时间 15 秒。

v1.0.0

正式发布版本。