使用 Splunk 筛选日志

使用 Splunk 筛选日志的系统路径

配置

  1. 导航至设置 -> 字段 -> 字段提取 -> 新。
  2. 使用以下信息填写表格：
    • 目标应用：
    • 适用于名为 /var/lib/mesos/slave/… 的 source
    • 类型：Inline
    • 提取/转换：/var/lib/mesos/slave/slaves/(?<agent>[^/]+)/frameworks/(?<framework>[^/]+)/executors/(?<executor>[^/]+)/runs/(?<run>[^/]+)/.* 的 source
  1. 点击保存。
  2. 在字段提取视图中，找到刚创建的提取内容并适当地设置权限。agent、framework、executor 和 run 字段现在应该可用于搜索查询，显示在与 Mesos 任务日志事件相关的字段中。

props.conf

  1. 添加以下条目至 props.conf（请参阅 Splunk 文档 了解详情）：[source::/var/lib/mesos/slave/…] EXTRACT = /var/lib/mesos/slave/slaves/(?<agent>[^/]+)/frameworks/(?<framework>[^/]+)/executors/(?<executor>[^/]+)/runs/(?<run>[^/]+)/. 的
  2. 在 Splunk Web 界面运行以下搜索，以确保更改内容生效：
agent、framework、executor 和 run 字段现在应该可用于搜索查询，显示在与 Mesos 任务日志事件相关的字段中。 # 使用示例
  1. 在 Splunk Web 界面，将 framework= 输入“搜索”字段。这将显示 framework 字段已定义的所有事件： 图 1. Splunk 事件屏幕
  2. 点击其中一个事件旁边的披露三角形可查看详细信息。这将显示从任务日志文件路径提取的所有字段： Splunk 字段 图 2. 任务日志文件路径中的字段

模板示例

  • 与特定执行器相关的日志 $executor1，包括从该执行器运行的任务的日志： 
    1. "$executor1"
  • 与特定执行器有关的非任务日志 $executor1：
  • 框架的日志（包括任务日志），如果 $executor1 和 $executor2 是该框架的执行器： 
    1. "$framework1" OR "$executor1" OR "$executor2"
  • 框架的非任务日志$framework1，如果 $executor1 和 $executor2 是该框架的执行器：
  • 特定代理主机上 $agent_host1 框架的日志 $framework1： 
    1. host=$agent_host1 AND ("$framework1" OR "$executor1" OR "$executor2")
  • 带主机 $agent_host1 的特定代理 $agent1 上框架 $framework1 的非任务日志：