我的书签
添加书签
移除书签Elasticsearch 示例
准备修改配置文件
- conf/SortClusterConfig.conf，所有Sort任务的sink配置。, sink configuration of all sort tasks.
- conf/sid_es_v3.conf，一个Sort任务的数据源配置，文件名和配置文件SortClusterConfig.conf中的Sort任务名一致，如果SortClusterConfig.conf中配置了多个Sort任务，那么会有多个Sort任务的数据源配置。
conf/SortClusterConfig.conf配置样例
conf/sid_es_v3.conf配置样例
SortClusterConfig.conf配置参数
- 可以从ClassPath的SortClusterConfig.conf源文件读取，但不支持实时更新
- 可以从Inlong Manager的HTTP接口获取配置，支持实时更新
| 参数名 | 是否必须 | 类型 | 默认值 | 描述 |
|---|---|---|---|---|
| clusterName | Y | String | NA | 用来唯一标识一个inlong-sort-standalone集群 |
| sortTasks | Y | JsonArray<SortTaskConfig> | NA | Sort任务列表 |
Sort-Elasticsearch任务的idParams配置参数
| 参数名 | 是否必须 | 默认值 | 描述 |
|---|---|---|---|
| inlongGroupId | Y | NA | inlongGroupId |
| inlongStreamId | Y | NA | inlongStreamId |
| separator | Y | NA | 分隔符 |
| fieldNames | Y | NA | Elasticsearch的Index字段列表，用空格分隔 |
| indexNamePattern | Y | NA | Index的名字模板，支持三种日期时间格式变量：{yyyyMMdd},{yyyyMMddHH},{yyyyMMddHHmm} |
| contentOffset | Y | NA | 源数据的有效字段开始偏移，从0开始 |
| fieldOffset | Y | NA | Elasticsearch的Index字段列表的开始偏移 |
Sort-Elasticsearch任务的sinkParams配置参数
- 文件名格式：Sort任务名+”.conf”。
- 可以从ClassPath的SortClusterConfig.conf源文件读取，但不支持实时更新。
- 可以从Inlong Manager的HTTP接口获取配置，支持实时更新。
| 参数名 | 是否必须 | 类型 | 默认值 | 描述 |
|---|---|---|---|---|
| sortClusterName | Y | String | NA | 用来唯一标识一个inlong-sort-standalone集群 |
| sortTaskId | Y | String | NA | Sort任务名 |
| cacheZones | Y | JsonObject<String, JsonObject> | NA | 缓存层集群列表，格式：Map<cacheClusterName, CacheCluster> |
CacheCluster配置参数
Topic配置参数
| 参数名 | 是否必须 | 类型 | 默认值 | 描述 |
|---|---|---|---|---|
| topic | Y | String | NA | Topic完整名，Pulsar：tenant/namespace/topic |
| partitionCnt | Y | Integer | NA | Topic分区数 |
| topicProperties | N | Map<String,String> | NA | 缓存层Topic的Consumer参数 |
