kafka-logger

    它可以将接口请求日志以 JSON 的形式推送给外部 Kafka 集群。如果在短时间内没有收到日志数据，请放心，它会在我们的批处理处理器中的计时器功能到期后自动发送日志。

    有关 Apache APISIX 中 Batch-Processor 的更多信息，请参考。 Batch-Processor

    属性

    本插件支持使用批处理器来聚合并批量处理条目（日志/数据）。这样可以避免插件频繁地提交数据，默认设置情况下批处理器会每 5 秒钟或队列中的数据达到 1000 条时提交数据，如需了解或自定义批处理器相关参数设置，请参考 Batch-Processor 配置部分。

    • origin:

      ``` GET /hello?ab=cd HTTP/1.1 host: localhost content-length: 6 connection: close

    1. abcdef
    2. ```

    消息将首先写入缓冲区。 当缓冲区超过 batch_max_size 时，它将发送到 kafka 服务器， 或每个 buffer_duration 刷新缓冲区。

    插件支持一次推送到多个 Broker，如下配置：

    如何启用

    1. 为特定路由启用 kafka-logger 插件。
    1. curl http://127.0.0.1:9080/apisix/admin/routes/1 -H 'X-API-KEY: edd1c9f034335f136f87ad84b625c8f1' -X PUT -d '
    2. {
    3.        "kafka-logger": {
    4.            "broker_list" :
    5.              {
    6.                "127.0.0.1":9092
    7.              },
    8.            "kafka_topic" : "test2",
    9.            "key" : "key1"
    10.        }
    11.     },
    12.     "upstream": {
    13.        "nodes": {
    14.            "127.0.0.1:1980": 1
    15.        },
    16.        "type": "roundrobin"
    17.     },
    18.     "uri": "/hello"
    19. }'

    成功

    插件元数据设置

    名称类型必选项默认值有效值描述
    log_formatobject可选{“host”: “$host”, “@timestamp”: “$time_iso8601”, “client_ip”: “$remote_addr”}以 JSON 格式的键值对来声明日志格式。对于值部分，仅支持字符串。如果是以 $ 开头，则表明是要获取 或 Nginx 内置变量。特别的，该设置是全局生效的，意味着指定 log_format 后，将对所有绑定 http-logger 的 Route 或 Service 生效。
    2.     "log_format": {
    3.         "host": "$host",
    4.         "@timestamp": "$time_iso8601",
    5.         "client_ip": "$remote_addr"
    6.     }
    7. }'

    在日志收集处，将得到类似下面的日志：

    1. $ curl http://127.0.0.1:9080/apisix/admin/routes/1  -H 'X-API-KEY: edd1c9f034335f136f87ad84b625c8f1' -X PUT -d '
    2. {
    3.     "methods": ["GET"],
    4.     "uri": "/hello",
    5.     "plugins": {},
    6.     "upstream": {
    7.         "type": "roundrobin",
    8.         "nodes": {
    9.             "127.0.0.1:1980": 1
    10.         }
    11. }'