QingMR 是新一代云端大数据服务,是 SparkMR 的全新升级,能够提供计算、存储、分析、查询一站式全方位的大数据服务。所谓一站式大数据服务,是指 QingMR 能够提供对数据的批量计算、流式计算与实时计算,并实现对计算结果的极速分析查询。

QingMR 集成 Flink、Spark 和 MapReduce 三种数据处理引擎,以及 Hive 数据仓库工具,通过统一的 HDFS 分布式存储引擎、YARN 资源管理框架以及 Ranger 集中式安全管理,提供灵活、高效、安全、多模式的一站式云端大数据服务。

集成服务

云平台大数据相关服务将会统一在 QingMR 下。目前已经集成了:

QingMR 架构
  • 分布式文件系统 HDFS

  • 集群资源管理系统 YARN

  • 数据处理框架 Hadoop MapReduce、Spark 和 Flink

  • 数据仓库工具 Hive

  • 集中式安全管理框架 Ranger