总览

    特性

    inlong-sort-standalone支持多租户,一个inlong-sort-standalone集群可以承载不同租户的分发任务,分发任务从Inlong-manager获取。
    每个分发任务负责将多个数据流分发到一个数据存储,用户只需要在Inlong-manager的前端页面进行配置,指定数据流分发到具体数据存储。
    举例:Inlong数据流d1和d2,都分发Hive集群H1,d1还分发到ElasticSearch集群E1,d2还分发到CLS集群C1,那么inlong-sort-standalone集群会收到三个分发任务。

    • H1分发任务消费d1和d2,分发到Hive集群H1;
    • C1分发任务消费d2,分发到CLS集群C1。
    • Inlong-tubemq
    • Apache Pulsar
    • Apache Hive(当前只支持sequence文件格式)
    • Apache Pulsar

    支持更多种类的缓存层消息队列

    Apache Kafka等。

    支持更多种类的数据存储

    支持更多种写入Apache Hive的文件格式

    ORC file等。