总览

为了解决数据源多样性问题，InLong-agent 将多种数据源抽象成统一的source概念，并抽象出sink来对数据进行写入。当需要接入一个新的数据源的时候，只需要配置好数据源的格式与读取参数便能跟做到高效读取。

InLong Agent本身作为数据采集框架，采用channel + plugin架构构建。将数据源读取和写入抽象成为Reader/Writer插件，纳入到整个框架中。

• Reader：Reader为数据采集模块，负责采集数据源的数据，将数据发送给channel。
• Writer： Writer为数据写入模块，负责不断向channel取数据，并将数据写入到目的端。

这类数据是指通过SQL执行的方式 SQL正则分解，转化成多条SQL语句 分别执行SQL，拉取数据集，拉取过程需要注意对mysql本身的影响 执行周期，这种一般是定时执行