TiDB Lightning 后端

    以上几种后端导入数据的区别如下：

    • Local-backend：tidb-lightning 先将数据编码成键值对并排序存储在本地临时目录，然后将这些键值对以 SST 文件的形式上传到各个 TiKV 节点，然后由 TiKV 将这些 SST 文件 Ingest 到集群中。和 Importer-backend 原理相同，不过不依赖额外的 tikv-importer 组件。

    • Importer-backend：tidb-lightning 先将 SQL 或 CSV 数据编码成键值对，由 tikv-importer 对写入的键值对进行排序，然后把这些键值对 Ingest 到 TiKV 节点中。

    • TiDB-backend：tidb-lightning 先将数据编码成 INSERT 语句，然后直接在 TiDB 节点上运行这些 SQL 语句进行数据导入。

    • 如果导入的目标集群为 v4.0 或以上版本，请优先考虑使用 Local-backend 模式。Local-backend 部署更简单并且性能也较其他两个模式更高
    • 如果目标集群为 v3.x 或以下，则建议使用 Importer-backend 模式
    • 如果需要导入的集群为生产环境线上集群，或需要导入的表中已包含有数据，则最好使用 TiDB-backend 模式

    自 TiDB 4.0.3 版本起，TiDB Lightning 引入了 Local-backend 特性。该特性支持导入数据到 v4.0.0 以上的 TiDB 集群。

    TiDB Lightning Local-backend 模式的部署方法见 TiDB Lightning 部署与执行。

    使用 TiDB-backend 时，你无需部署 tikv-importer。与相比，部署 TiDB-backend 时有如下不同：

    • 可以跳过所有涉及 tikv-importer 的步骤。
    • 必须更改相应配置申明使用的是 TiDB-backend。

    硬件需求

    使用 TiDB-backend 时， TiDB Lightning 的速度仅受限于 TiDB 执行 SQL 语句的速度。因此，即使是低配的机器也足够发挥出最佳性能。推荐的硬件配置如下：

    • 16 逻辑核 CPU
    • 足够储存整个数据源的 SSD 硬盘，读取速度越快越好
    • 千兆网卡

    手动部署

    在运行 tidb-lightning 之前，在配置文件中加上如下几行：

    或者在用命令行启动 tidb-lightning 时，传入参数 --backend tidb。

    TiDB-backend 支持导入到已填充的表（非空表）。但是，新数据可能会与旧数据的唯一键冲突。你可以通过使用如下任务配置来控制遇到冲突时的默认行为：

    1. [tikv-importer]
    2. backend = "tidb"
    3. on-duplicate = "replace" # 或者 “error”、“ignore”

    当需要将数据导入到 TiDB 集群时，TiDB Lightning TiDB-backend 可以完全取代 Loader。下表说明了如何将 Loader 的配置迁移到 中：

    本节介绍 TiDB Lightning 使用 Importer 模式的部署方式：手动部署。

    硬件需求

    tidb-lightning 和 tikv-importer 这两个组件皆为资源密集程序，建议各自单独部署。

    为了优化效能，建议硬件配置如下：

    • tidb-lightning

      • 32+ 逻辑核 CPU
      • 足够储存整个数据源的 SSD 硬盘，读取速度越快越好
      • 运行过程默认会占满 CPU资源，因此建议将 tidb-lightning 部署到一台单独的机器上。条件不允许的情况下可以和其他组件（比如 tidb-server）部署在同一台机器上，然后通过配置 region-concurrency 限制 tidb-lightning 使用 CPU 资源。

      • 32+ 逻辑核 CPU
      • 40 GB+ 内存
      • 1 TB+ SSD 硬盘，IOPS 越高越好（要求 ≥8000）
        • 硬盘必须大于最大的 N 个表的大小总和，其中 N = max(index-concurrency, table-concurrency)。
      • 使用万兆网卡，带宽需 300 MB/s 以上
      • 运行过程中 CPU、I/O 和网络带宽资源都可能占满，建议单独部署。

    如果机器充裕的话，可以部署多套 tidb-lightning + tikv-importer，然后将源数据以表为粒度进行切分，并发导入。

    手动部署 TiDB Lightning

    第 1 步：部署 TiDB 集群
    第 2 步：下载 TiDB Lightning 安装包

    在页面下载 TiDB Lightning 安装包（需选择与 TiDB 集群相同的版本）。

    第 3 步：启动 tikv-importer

    1. 从安装包上传 bin/tikv-importer。

    2. 配置 tikv-importer.toml。

      上面仅列出了 tikv-importer 的基本配置。完整配置请参考。

    3. 运行 tikv-importer。

      1.  nohup ./tikv-importer -C tikv-importer.toml > nohup.out &
    第 4 步：启动 tidb-lightning

    1. 从安装包上传 bin/tidb-lightning 及 bin/tidb-lightning-ctl。

    2. 将数据源写入到同样的机器。

    3. 配置 tidb-lightning.toml。对于没有出现在下述模版中的配置，TiDB Lightning 给出配置错误的提醒并退出。

      上面仅列出了 tidb-lightning 的基本配置信息。完整配置信息请参考。

    4. 运行 tidb-lightning。如果直接在命令行中用 nohup 启动程序，可能会因为 SIGHUP 信号而退出，建议把 nohup 放到脚本里面，如：

      2.  nohup ./tidb-lightning -config tidb-lightning.toml > nohup.out &