总览
特性
inlong-sort-standalone支持多租户,一个inlong-sort-standalone集群可以承载不同租户的分发任务,分发任务从Inlong-manager获取。
每个分发任务负责将多个数据流分发到一个数据存储,用户只需要在Inlong-manager的前端页面进行配置,指定数据流分发到具体数据存储。
举例:Inlong数据流d1和d2,都分发Hive集群H1,d1还分发到ElasticSearch集群E1,d2还分发到CLS集群C1,那么inlong-sort-standalone集群会收到三个分发任务。
- H1分发任务消费d1和d2,分发到Hive集群H1;
- C1分发任务消费d2,分发到CLS集群C1。
- Inlong-tubemq
- Apache Pulsar
- Apache Hive(当前只支持sequence文件格式)
- Apache Pulsar
支持更多种类的缓存层消息队列
Apache Kafka等。
支持更多种类的数据存储
支持更多种写入Apache Hive的文件格式
ORC file等。