TiDB Lightning 部署与执行

    在使用 TiDB Lightning 前，需注意以下事项：

    • 若 tidb-lightning 崩溃，集群会留在“导入模式”。若忘记转回“普通模式”，集群会产生大量未压缩的文件，继而消耗 CPU 并导致延迟。此时，需要使用 tidb-lightning-ctl 手动将集群转回“普通模式”：

    tidb-lightning为资源密集程序，为了优化效能，建议硬件配置如下：

    • 32+ 逻辑核 CPU
    • 20GB+ 内存
    • 足够储存整个数据源的 SSD 硬盘，读取速度越快越好
    • 使用万兆网卡，带宽需要 1GB/s 以上
    • 运行过程默认会占满 CPU，建议单独部署。条件不允许的情况下可以和其他组件（比如 tikv-server）部署在同一台机器上，然后通过配置 region-concurrency 限制 tidb-lightning 使用 CPU 资源。

    此外，目标 TiKV 集群必须有足够空间接收新导入的数据。除了标准硬件配置以外，目标 TiKV 集群的总存储空间必须大于 数据源大小 × × 2。例如集群默认使用 3 副本，那么总存储空间需为数据源大小的 6 倍以上。

    其中：

    • -B test：从 test 数据库导出。
    • -f test.t[12]：只导出 test.t1 和 test.t2 这两个表。
    • -t 16：使用 16 个线程导出数据。
    • ：将每张表切分成多个文件，每个文件大小约为 256 MB。

    如果数据源是 CSV 文件，请参考 获取配置信息。

    本节介绍 TiDB Lightning 的部署方式：。

    第 1 步：部署 TiDB 集群

    在开始数据导入之前，需先部署一套要进行导入的 TiDB 集群，建议使用最新版本进行部署。部署方法可参考使用 TiUP 部署 TiDB 集群。

    第 2 步：下载 TiDB Lightning 安装包

    参考工具下载文档下载 TiDB Lightning 安装包（TiDB Lightning 完全兼容较低版本的 TiDB 集群，建议选择最新稳定版本）。

    第 3 步：启动 tidb-lightning

    2. 将数据源写入到同样的机器。

    3. 配置 tidb-lightning.toml。对于没有出现在下述模版中的配置，TiDB Lightning 给出配置错误的提醒并退出。

      sorted-kv-dir 设置排序的键值对的临时存放地址，目标路径必须是一个空目录，目录空间须大于待导入数据集的大小。详情参见 TiDB Lightning 运行时资源要求。

      上面仅列出了 tidb-lightning 的基本配置信息。完整配置信息请参考。

    如果当前有运行的导入任务，推荐任务完成后再升级 TiDB Lightning。否则，你可能需要从头重新导入，因为无法保证断点可以跨版本工作。