TiDB Lightning 部署与执行

本文主要介绍 TiDB Lightning 使用 Local-backend 进行数据导入的硬件需求，以及手动部署 TiDB Lightning 的方式。

如果你不希望影响 TiDB 集群的对外服务，可以参考 TiDB Lightning TiDB-backend 中的硬件需求与部署方式进行数据导入。

在使用 TiDB Lightning 前，需注意以下事项：

TiDB Lightning 运行后，TiDB 集群将无法正常对外提供服务。
若 tidb-lightning 崩溃，集群会留在“导入模式”。若忘记转回“普通模式”，集群会产生大量未压缩的文件，继而消耗 CPU 并导致延迟。此时，需要使用 tidb-lightning-ctl 手动将集群转回“普通模式”：
TiDB Lightning 需要下游 TiDB 有如下权限：

| 权限 | 作用域 | |:——|:———| | SELECT | Tables | | INSERT | Tables | | UPDATE | Tables | | DELETE | Tables | | CREATE | Databases, tables | | DROP | Databases, tables | | ALTER | Tables |

如果配置项 checksum = true，则 TiDB Lightning 需要有下游 TiDB admin 用户权限。

32+ 逻辑核 CPU
20GB+ 内存
足够储存整个数据源的 SSD 硬盘，读取速度越快越好
使用万兆网卡，带宽需要 1GB/s 以上
运行过程默认会占满 CPU，建议单独部署。条件不允许的情况下可以和其他组件（比如 tikv-server）部署在同一台机器上，然后通过配置 region-concurrency 限制 tidb-lightning 使用 CPU 资源。

此外，目标 TiKV 集群必须有足够空间接收新导入的数据。除了以外，目标 TiKV 集群的总存储空间必须大于 数据源大小 × 副本数量 × 2。例如集群默认使用 3 副本，那么总存储空间需为数据源大小的 6 倍以上。

使用从 MySQL 导出数据，如下：

其中：

如果数据源是 CSV 文件，请参考 CSV 支持获取配置信息。

本节介绍 TiDB Lightning 的部署方式：。

在开始数据导入之前，需先部署一套要进行导入的 TiDB 集群，建议使用最新版本进行部署。部署方法可参考。

从安装包上传 bin/tidb-lightning 及 bin/tidb-lightning-ctl。
将数据源写入到同样的机器。
配置 tidb-lightning.toml。对于没有出现在下述模版中的配置，TiDB Lightning 给出配置错误的提醒并退出。sorted-kv-dir需要设置为一个空的目录，并且确保所在的磁盘有较多空闲的空间。

上面仅列出了 tidb-lightning 的基本配置信息。完整配置信息请参考tidb-lightning 配置说明。
运行 tidb-lightning。如果直接在命令行中用启动程序，可能会因为 SIGHUP 信号而退出，建议把 nohup 放到脚本里面，如：

你可以通过替换二进制文件升级 TiDB Lightning，无需其他配置。重启 TiDB Lightning 的具体操作参见。

如果当前有运行的导入任务，推荐任务完成后再升级 TiDB Lightning。否则，你可能需要从头重新导入，因为无法保证断点可以跨版本工作。

部署执行