TiDB Lightning 简介
TiDB Lightning 有以下两个主要的使用场景:
- 迅速导入大量新数据。
- 恢复所有备份数据。
目前,TiDB Lightning 支持:
- 从本地盘或 读取数据。
TiDB Lightning 整体工作原理如下:
tidb-lightning
会在目标数据库建立架构和表,并获取其元数据。tidb-lightning
会为每一个区块准备一个“引擎文件 (engine file)”来处理键值对。tidb-lightning
会并发读取 SQL dump,将数据源转换成与 TiDB 相同编码的键值对,然后将这些键值对排序写入本地临时存储文件中。当一个引擎文件数据写入完毕时,
tidb-lightning
便开始对目标 TiKV 集群数据进行分裂和调度,然后导入数据到 TiKV 集群。整张表相关联的所有引擎文件完成导入后, 会对比本地数据源及下游集群的校验和 (checksum),确保导入的数据无损,然后让 TiDB 分析 (
ANALYZE
) 这些新增的数据,以优化日后的操作。同时,tidb-lightning
调整AUTO_INCREMENT
值防止之后新增数据时发生冲突。表的自增 ID 是通过行数的上界估计值得到的,与表的数据文件总大小成正比。因此,最后的自增 ID 通常比实际行数大得多。这属于正常现象,因为在 TiDB 中自增 ID 不一定是连续分配的。
如果需要导入的目标集群是 v3.x 或以下的版本,需要使用 Importer-backend 来完成数据的导入。在这个模式下, 需要将解析的键值对通过 gRPC 发送给 tikv-importer
并由 tikv-importer
完成数据的导入;TiDB Lightning 还支持使用 TiDB-backend 作为后端导入数据。TiDB-backend 使用和 Loader 类似,tidb-lightning
将数据转换为 INSERT
语句,然后直接在目标集群上执行这些语句。详见 。