使用 TiDB-Ansible 扩容缩容 TiDB 集群

    假设拓扑结构如下所示：

    例如，如果要添加两个 TiDB 节点（node101、node102），IP 地址为 172.16.10.101、172.16.10.102，可以进行如下操作：

    1. 编辑 文件，添加节点信息：

      现在拓扑结构如下所示：

      | Name | Host IP | Services | | —— | ———- | ———— | | node1 | 172.16.10.1 | PD1 | | node2 | 172.16.10.2 | PD2 | | node3 | 172.16.10.3 | PD3, Monitor | | node4 | 172.16.10.4 | TiDB1 | | node5 | 172.16.10.5 | TiDB2 | | node101 | 172.16.10.101|TiDB3 | | node102 | 172.16.10.102|TiDB4 | | node6 | 172.16.10.6 | TiKV1 | | node7 | 172.16.10.7 | TiKV2 | | node8 | 172.16.10.8 | TiKV3 | | node9 | 172.16.10.9 | TiKV4 |

    2. 初始化新增节点：

      1.  ansible-playbook bootstrap.yml -l 172.16.10.101,172.16.10.102

    3. 部署新增节点：

      1.  ansible-playbook deploy.yml -l 172.16.10.101,172.16.10.102

    4. 启动新节点服务：

      1.  ansible-playbook start.yml -l 172.16.10.101,172.16.10.102

    5. 更新 Prometheus 配置并重启：

      1.  ansible-playbook rolling_update_monitor.yml --tags=prometheus

    6. 打开浏览器访问监控平台：http://172.16.10.3:3000，监控整个集群和新增节点的状态。

      可使用同样的步骤添加 TiKV 节点。但如果要添加 PD 节点，则需手动更新一些配置文件。

    例如，如果要添加一个 PD 节点（node103），IP 地址为 172.16.10.103，可以进行如下操作：

    1. 编辑 inventory.ini 文件，添加节点信息置于 [pd_servers] 主机组最后一行： 

      1.  [tidb_servers]
      2.  172.16.10.4
      3.  172.16.10.5
      5.  [pd_servers]
      6.  172.16.10.1
      7.  172.16.10.2
      8.  172.16.10.3
      9.  172.16.10.103
      11.  [tikv_servers]
      12.  172.16.10.6
      13.  172.16.10.7
      14.  172.16.10.8
      15.  172.16.10.9
      17.  [monitored_servers]
      18.  172.16.10.4
      19.  172.16.10.5
      20.  172.16.10.1
      21.  172.16.10.2
      22.  172.16.10.3
      23.  172.16.10.103
      24.  172.16.10.6
      25.  172.16.10.7
      26.  172.16.10.8
      27.  172.16.10.9
      29.  [monitoring_servers]
      30.  172.16.10.3
      32.  [grafana_servers]
      33.  172.16.10.3

      现在拓扑结构如下所示：

      | Name | Host IP | Services | | —— | ———- | ———— | | node1 | 172.16.10.1 | PD1 | | node2 | 172.16.10.2 | PD2 | | node3 | 172.16.10.3 | PD3, Monitor | | node103 | 172.16.10.103 | PD4 | | node4 | 172.16.10.4 | TiDB1 | | node5 | 172.16.10.5 | TiDB2 | | node6 | 172.16.10.6 | TiKV1 | | node7 | 172.16.10.7 | TiKV2 | | node8 | 172.16.10.8 | TiKV3 | | node9 | 172.16.10.9 | TiKV4 |

    2. 初始化新增节点：

      1.  ansible-playbook bootstrap.yml -l 172.16.10.103
      1.  ansible-playbook deploy.yml -l 172.16.10.103

    4. 登录新增的 PD 节点，编辑启动脚本：{deploy_dir}/scripts/run_pd.sh

      1. 移除 --initial-cluster="xxxx" \ 配置，注意这里不能在行开头加注释符 #。

      2. 添加 --join="http://172.16.10.1:2379" \，IP 地址 （172.16.10.1） 可以是集群内现有 PD IP 地址中的任意一个。

      3. 在新增 PD 节点中手动启动 PD 服务：

        1.  {deploy_dir}/scripts/start_pd.sh

      4. 使用 pd-ctl 检查新节点是否添加成功：

    5. 滚动升级整个集群：

      1.  ansible-playbook rolling_update.yml

    6. 启动监控服务：

      1.  ansible-playbook start.yml -l 172.16.10.103

    7. 打开浏览器访问监控平台：http://172.16.10.3:3000，监控整个集群和新增节点的状态。

    例如，如果要移除一个 TiDB 节点（node5），IP 地址为 172.16.10.5，可以进行如下操作：

    1. 停止 node5 节点上的服务：

      1.  ansible-playbook stop.yml -l 172.16.10.5

    2. 编辑 文件，移除节点信息：

      1.  [tidb_servers]
      2.  172.16.10.4
      3.  #172.16.10.5  # 注释被移除节点
      5.  [pd_servers]
      6.  172.16.10.1
      7.  172.16.10.2
      8.  172.16.10.3
      10.  [tikv_servers]
      11.  172.16.10.6
      12.  172.16.10.7
      13.  172.16.10.8
      14.  172.16.10.9
      16.  [monitored_servers]
      17.  172.16.10.4
      18.  #172.16.10.5  # 注释被移除节点
      19.  172.16.10.1
      20.  172.16.10.2
      21.  172.16.10.3
      22.  172.16.10.6
      23.  172.16.10.7
      24.  172.16.10.8
      25.  172.16.10.9
      27.  [monitoring_servers]
      28.  172.16.10.3
      30.  [grafana_servers]
      31.  172.16.10.3

      现在拓扑结构如下所示：

      | Name | Host IP | Services | | —— | ———- | ———— | | node1 | 172.16.10.1 | PD1 | | node2 | 172.16.10.2 | PD2 | | node3 | 172.16.10.3 | PD3, Monitor | | node4 | 172.16.10.4 | TiDB1 | | node5 | 172.16.10.5 | TiDB2 已删除 | | node6 | 172.16.10.6 | TiKV1 | | node7 | 172.16.10.7 | TiKV2 | | node8 | 172.16.10.8 | TiKV3 | | node9 | 172.16.10.9 | TiKV4 |

    3. 更新 Prometheus 配置并重启：

      1.  ansible-playbook rolling_update_monitor.yml --tags=prometheus

    4. 打开浏览器访问监控平台：http://172.16.10.3:3000，监控整个集群的状态。

    例如，如果要移除一个 TiKV 节点（node9），IP 地址为 172.16.10.9，可以进行如下操作：

    1. 使用 pd-ctl 从集群中移除节点：

        1.  /home/tidb/tidb-ansible/resources/bin/pd-ctl -u "http://172.16.10.1:2379" -d store

      2. 从集群中移除 node9，假如 store id 为 10：

        1.  /home/tidb/tidb-ansible/resources/bin/pd-ctl -u "http://172.16.10.1:2379" -d store delete 10

    2. 使用 Grafana 或者 pd-ctl 检查节点是否下线成功（下线需要一定时间，下线节点的状态变为 Tombstone 就说明下线成功了）：

    3. 下线成功后，停止 node9 上的服务：

      1.  ansible-playbook stop.yml -l 172.16.10.9

    4. 编辑 inventory.ini 文件，移除节点信息：

      1.  [tidb_servers]
      2.  172.16.10.4
      3.  172.16.10.5
      5.  [pd_servers]
      6.  172.16.10.1
      7.  172.16.10.2
      8.  172.16.10.3
      10.  [tikv_servers]
      11.  172.16.10.6
      12.  172.16.10.7
      13.  172.16.10.8
      14.  #172.16.10.9  # 注释被移除节点
      17.  172.16.10.5
      18.  172.16.10.1
      19.  172.16.10.2
      20.  172.16.10.3
      21.  172.16.10.6
      22.  172.16.10.7
      23.  172.16.10.8
      24.  #172.16.10.9  # 注释被移除节点
      26.  [monitoring_servers]
      27.  172.16.10.3
      29.  [grafana_servers]
      30.  172.16.10.3

      现在拓扑结构如下所示：

      | Name | Host IP | Services | | —— | ———- | ———— | | node1 | 172.16.10.1 | PD1 | | node2 | 172.16.10.2 | PD2 | | node3 | 172.16.10.3 | PD3, Monitor | | node4 | 172.16.10.4 | TiDB1 | | node5 | 172.16.10.5 | TiDB2 | | node6 | 172.16.10.6 | TiKV1 | | node7 | 172.16.10.7 | TiKV2 | | node8 | 172.16.10.8 | TiKV3 | | node9 | 172.16.10.9 | TiKV4 已删除 |

    5. 更新 Prometheus 配置并重启：

      1.  ansible-playbook rolling_update_monitor.yml --tags=prometheus

    6. 打开浏览器访问监控平台：http://172.16.10.3:3000，监控整个集群的状态。

    例如，如果要移除一个 PD 节点（node2），IP 地址为 172.16.10.2，可以进行如下操作：

    1. 使用 pd-ctl 从集群中移除节点：

      1. 查看 node2 节点的 name：

        1.  /home/tidb/tidb-ansible/resources/bin/pd-ctl -u "http://172.16.10.1:2379" -d member

      2. 从集群中移除 node2，假如 name 为 pd2：

        1.  /home/tidb/tidb-ansible/resources/bin/pd-ctl -u "http://172.16.10.1:2379" -d member delete name pd2

    2. 使用 pd-ctl 检查节点是否下线成功（PD 下线会很快，结果中没有 node2 节点信息即为下线成功）：

      1.  /home/tidb/tidb-ansible/resources/bin/pd-ctl -u "http://172.16.10.1:2379" -d member

    3. 下线成功后，停止 node2 上的服务：

      1.  ansible-playbook stop.yml -l 172.16.10.2

    4. 编辑 inventory.ini 文件，移除节点信息：

      1.  [tidb_servers]
      2.  172.16.10.4
      3.  172.16.10.5
      5.  [pd_servers]
      6.  172.16.10.1
      7.  #172.16.10.2  # 注释被移除节点
      8.  172.16.10.3
      10.  [tikv_servers]
      11.  172.16.10.6
      12.  172.16.10.7
      13.  172.16.10.8
      14.  172.16.10.9
      16.  [monitored_servers]
      17.  172.16.10.4
      18.  172.16.10.5
      19.  172.16.10.1
      20.  #172.16.10.2  # 注释被移除节点
      21.  172.16.10.3
      22.  172.16.10.6
      23.  172.16.10.7
      24.  172.16.10.8
      25.  172.16.10.9
      27.  [monitoring_servers]
      28.  172.16.10.3
      30.  [grafana_servers]
      31.  172.16.10.3

      现在拓扑结构如下所示：

      | Name | Host IP | Services | | —— | ———- | ———— | | node1 | 172.16.10.1 | PD1 | | node2 | 172.16.10.2 | PD2 已删除 | | node3 | 172.16.10.3 | PD3, Monitor | | node4 | 172.16.10.4 | TiDB1 | | node5 | 172.16.10.5 | TiDB2 | | node6 | 172.16.10.6 | TiKV1 | | node7 | 172.16.10.7 | TiKV2 | | node8 | 172.16.10.8 | TiKV3 | | node9 | 172.16.10.9 | TiKV4 |

    5. 滚动升级整个集群：

      1.  ansible-playbook rolling_update_monitor.yml --tags=prometheus

    7. 打开浏览器访问监控平台：，监控整个集群的状态。