工作空间管理

工作空间是在大数据平台内管理资源和作业的基本单元。可以在不同区域下创建、删除、修改工作空间。每个工作空间下可以配置独立的成员、角色和权限,并管理计算集群资源和计算作业。

元数据中心

元数据中心对用户多种外部数据源进行管理,支持消息队列 Kafka,关系型数据库 MySQL Plus、PostgresSQL,数据仓库 ClickHouse,大数据计算存储引擎 QingMR,HBase,ELK 等多种数据源类型,同时可对数据源进行可用性测试和表结构探测。

数据开发

大数据工作台提供一站式云端开发环境,包括 SQL、Python、Scala、Java 语言,并支持丰富的数据连接能力和自定义函数管理能力,根据场景需要定制化运行作业的配置参数,并支持作业的多版本管理。

资源中心

资源中心支持用户上传多样化的资源包,包括运行作业所用的程序包、作业程序所依赖的依赖包,以及自定义函数所使用的函数包。同时内置了大量的 connector 包便于用户对接数据源。

运维中心

运维中心支持全链路的监控报警,实时监测数据开发作业运行状态、资源调度分配、工作耗时情况、工作报错情况、日志信息等,并根据自定义告警规则发出告警。

调度中心

支持多样化的调度策略,包括单次立即执行,以及年、月、周、天、小时、分钟多维度调度周期的定时调度。

计算资源

几分钟即可完成计算集群的部署,还具备云原生的弹性扩容能力,可帮助用户合理地节省资源,提高资源利用率。提供细粒度的资源管控,最小资源使用粒度仅 0.5 CPU。支持按量和包年包月计费,更好地适配不同需求,价格低廉,安全稳定。