使用 TiUP 部署 DM 集群

    目前 TiUP 可以支持部署 v2.0 及以上版本的 DM。本文将介绍不同集群拓扑的具体部署步骤。

    当 DM 执行全量数据复制任务时,每个 DM-worker 只绑定一个上游数据库。DM-worker 首先在上游导出全部数据,然后将数据导入下游数据库。因此,DM-worker 的主机需要有足够的存储空间,具体存储路径在后续创建迁移任务时指定。

    另外,部署 DM 集群需参照 ,满足相应要求。

    第 1 步:在中控机上安装 TiUP 组件

    使用普通用户登录中控机,以 用户为例,后续安装 TiUP 及集群管理操作均通过该用户完成:

    1. 执行如下命令安装 TiUP 工具:

      安装完成后,~/.bashrc 已将 TiUP 加入到路径中,你需要新开一个终端或重新声明全局变量 source ~/.bashrc 来使用 TiUP。

    2. 安装 TiUP DM 组件:

      1. tiup install dm dmctl

    第 2 步:编辑初始化配置文件

    请根据不同的集群拓扑,编辑 TiUP 所需的集群初始化配置文件。

    可以使用 tiup dm template > topology.yaml 命令快速生成配置文件模板。

    部署 3 个 DM-master、3 个 DM-worker 与 1 个监控组件的配置如下:

    1. #全局变量适用于配置中的其他组件。如果组件实例中缺少一个特定值,则相应的全局变量将用作默认值。
    2. global:
    3. user: "tidb"
    4. ssh_port: 22
    5. deploy_dir: "/dm-deploy"
    6. data_dir: "/dm-data"
    7. server_configs:
    8. master:
    9. log-level: info
    10. # rpc-timeout: "30s"
    11. # rpc-rate-limit: 10.0
    12. # rpc-rate-burst: 40
    13. worker:
    14. log-level: info
    15. master_servers:
    16. - host: 10.0.1.11
    17. name: master1
    18. ssh_port: 22
    19. port: 8261
    20. # peer_port: 8291
    21. # deploy_dir: "/dm-deploy/dm-master-8261"
    22. # data_dir: "/dm-data/dm-master-8261"
    23. # numa_node: "0,1"
    24. # 下列配置项用于覆盖 `server_configs.master` 的值。
    25. config:
    26. log-level: info
    27. # rpc-timeout: "30s"
    28. # rpc-rate-limit: 10.0
    29. # rpc-rate-burst: 40
    30. - host: 10.0.1.18
    31. ssh_port: 22
    32. port: 8261
    33. - host: 10.0.1.19
    34. name: master3
    35. ssh_port: 22
    36. port: 8261
    37. # 如果不需要确保 DM 集群高可用,则可只部署 1 个 DM-master 节点,且部署的 DM-worker 节点数量不少于上游待迁移的 MySQL/MariaDB 实例数。
    38. # 如果需要确保 DM 集群高可用,则推荐部署 3 个 DM-master 节点,且部署的 DM-worker 节点数量大于上游待迁移的 MySQL/MariaDB 实例数(如 DM-worker 节点数量比上游实例数多 2 个)。
    39. worker_servers:
    40. - host: 10.0.1.12
    41. ssh_port: 22
    42. port: 8262
    43. # deploy_dir: "/dm-deploy/dm-worker-8262"
    44. # log_dir: "/dm-deploy/dm-worker-8262/log"
    45. # numa_node: "0,1"
    46. # 下列配置项用于覆盖 `server_configs.worker` 的值。
    47. config:
    48. log-level: info
    49. - host: 10.0.1.19
    50. ssh_port: 22
    51. port: 8262
    52. monitoring_servers:
    53. - host: 10.0.1.13
    54. ssh_port: 22
    55. port: 9090
    56. # deploy_dir: "/tidb-deploy/prometheus-8249"
    57. # log_dir: "/tidb-deploy/prometheus-8249/log"
    58. grafana_servers:
    59. - host: 10.0.1.14
    60. port: 3000
    61. # deploy_dir: /tidb-deploy/grafana-3000
    62. alertmanager_servers:
    63. - host: 10.0.1.15
    64. ssh_port: 22
    65. # cluster_port: 9094
    66. # deploy_dir: "/tidb-deploy/alertmanager-9093"
    67. # data_dir: "/tidb-data/alertmanager-9093"
    68. # log_dir: "/tidb-deploy/alertmanager-9093/log"

    以上部署命令中:

    • 通过 TiUP DM 部署的集群名称为 dm-test
    • 部署版本为 ${version},可以通过执行 tiup list dm-master 来查看 TiUP 支持的最新版本。
    • 初始化配置文件为 topology.yaml
    • --user root:通过 root 用户登录到目标主机完成集群部署,该用户需要有 ssh 到目标机器的权限,并且在目标机器有 sudo 权限。也可以用其他有 ssh 和 sudo 权限的用户完成部署。
    • -i-p:非必选项,如果已经配置免密登录目标机,则不需填写,否则选择其一即可。-i 为可登录到目标机的 root 用户(或 --user 指定的其他用户)的私钥,也可使用 -p 交互式输入该用户的密码。
    • TiUP DM 使用内置的 SSH 客户端,如需使用系统自带的 SSH 客户端,请参考 TiUP DM 文档中章节进行设置。

    预期日志结尾输出会有 Deployed cluster `dm-test` successfully 关键词,表示部署成功。

    第 4 步:查看 TiUP 管理的集群情况

    1. tiup dm list

    TiUP 支持管理多个 DM 集群,该命令会输出当前通过 TiUP DM 管理的所有集群信息,包括集群名称、部署用户、版本、密钥信息等:

    1. Name User Version Path PrivateKey
    2. ---- ---- ------- ---- ----------
    3. dm-test tidb ${version} /root/.tiup/storage/dm/clusters/dm-test /root/.tiup/storage/dm/clusters/dm-test/ssh/id_rsa

    第 5 步:检查部署的 DM 集群情况

    例如,执行如下命令检查 dm-test 集群情况:

    预期输出包括 dm-test 集群中实例 ID、角色、主机、监听端口和状态(由于还未启动,所以状态为 Down/inactive)、目录信息。

    1. tiup dm start dm-test

    预期结果输出 Started cluster `dm-test` successfully 表示启动成功。

    第 7 步:验证集群运行状态

    通过以下 TiUP 命令检查集群状态:

      在输出结果中,如果 Status 状态信息为 Up,说明集群状态正常。

      第 8 步:使用 dmctl 管理迁移任务

      dmctl 支持命令模式与交互模式,具体请见。