kafka-logger

    简介

    它可以将接口请求日志以 JSON 的形式推送给外部 Kafka 集群。如果在短时间内没有收到日志数据，请放心，它会在我们的批处理处理器中的计时器功能到期后自动发送日志。

    有关 Apache APISIX 中 Batch-Processor 的更多信息，请参考。

    • default:

    • ``` GET /hello?ab=cd HTTP/1.1 host: localhost content-length: 6 connection: close

    1. abcdef

    工作原理

    消息将首先写入缓冲区。 当缓冲区超过batch_max_size时，它将发送到 kafka 服务器， 或每个buffer_duration刷新缓冲区。

    如果成功，则返回 true。 如果出现错误，则返回 nil，并带有描述错误的字符串（buffer overflow）。

    1. 为特定路由启用 kafka-logger 插件。
    1. curl http://127.0.0.1:9080/apisix/admin/routes/1 -H 'X-API-KEY: edd1c9f034335f136f87ad84b625c8f1' -X PUT -d '
    2. {
    3.     "plugins": {
    4.        "kafka-logger": {
    5.            "broker_list" :
    6.              {
    7.                "127.0.0.1":9092
    9.            "kafka_topic" : "test2",
    10.            "key" : "key1"
    11.        }
    12.     },
    13.     "upstream": {
    14.        "nodes": {
    15.            "127.0.0.1:1980": 1
    16.        },
    17.        "type": "roundrobin"
    18.     },
    19.     "uri": "/hello"

    测试插件

    成功

    APISIX 变量

    2. {
    3.     "log_format": {
    4.         "host": "$host",
    5.         "@timestamp": "$time_iso8601",
    6.         "client_ip": "$remote_addr"
    7.     }
    8. }'

    在日志收集处，将得到类似下面的日志：

    禁用插件

    1. $ curl http://127.0.0.1:9080/apisix/admin/routes/1  -H 'X-API-KEY: edd1c9f034335f136f87ad84b625c8f1' -X PUT -d '
    2. {
    3.     "methods": ["GET"],
    4.     "uri": "/hello",
    5.     "plugins": {},
    6.     "upstream": {
    7.         "type": "roundrobin",
    8.         "nodes": {
    9.             "127.0.0.1:1980": 1
    10.         }
    12. }'