简介

特性

inlong-sort支持多租户，一个inlong-sort的作业中可以包含多个同构的数据源，以及多个同构的存储系统。 并且针对不同的数据源，可以定义不同的数据格式以及字段抽取方式。 多租户系统依赖inlong-manager的元数据管理，用户只需要在inlong-manager的前端页面进行相应的配置，即可实现。 举例：以tubemq为source，hive为存储为例，同一个inlong-sort的作业可以订阅多个topic的tubemq数据，并且每个topic的数据可以写入不同的hive集群。

支持的数据源

• inlong-tubemq
• pulsar

支持的存储系统

• hive（当前只支持parquet文件格式）
• clickhouse

一些局限

当前inlong-sort在ETL的transform阶段，只支持简单的字段抽取功能，一些复杂功能暂不支持。

未来规划

Hbase，Elastic Search等