Store Limit

    PD 的调度是以 operator 为单位执行的。一个 operator 可能包含多个调度操作。示例如下;

    以上示例中, 这个 operator 具体包含以下操作:

    1. store 3 上添加一个 learner peer,ID 为 20
    2. store 3 上 ID 为 20 的 learner peer 提升为 voter。
    3. 删除 store 2 上的 peer。

    Store Limit 是通过在内存中维护了一个 store ID 到令牌桶的映射,来实现 store 级别的限速。这里不同的操作对应不同的令牌桶,目前仅支持限制添加 learner/peer 和删除 peer 两种操作的速度,即对应于每个 store 存在两种类型的令牌桶。

    每次 operator 产生后会检查所包含的操作对应的令牌桶中是否有足够的 token。如果 token 充足才会将该 operator 加入到调度的队列中,同时从令牌桶中拿走对应的 token,否则该 operator 被丢弃。令牌桶会按照固定的速率补充 token,从而实现限速的目的。

    使用方法

    Store Limit 相关的参数可以通过 pd-ctl 进行设置。

    查看当前 store 的 limit 示例如下:

    1. store limit // 显示所有 store 添加 learner/peer 的速度上限 (如不设置具体类型,则显示的是添加 learner/peer 的速度)。
    2. store limit region-add // 显示所有 store 添加 learner/peer 的速度上限。

    设置全部 store 的 limit 示例如下:

    1. store limit all 5 // 设置所有 store 添加 learner/peer 的速度上限为每分钟 5 个(如不设置具体类型,则默认设置的是添加 learner/peer 的速度)。
    2. store limit all 5 region-add // 设置所有 store 添加 learner/peer 的速度上限为每分钟 5 个。
    3. store limit all 5 region-remove // 设置所有 store 删除 peer 的速度上限为每分钟 5 个。

    4.0.2 版本之后:

    设置单个 store 的 limit 示例如下:

    1. store limit 1 5 // 设置 store 1 添加 learner/peer 的速度上限为每分钟 5 个(如不设置具体类型,则默认设置的是添加 learner/peer 的速度)。
    2. store limit 1 5 region-add // 设置 store 1 添加 learner/peer 的速度上限为每分钟 5 个。

    4.0.2 版本之后:

    1. config set store-balance-rate 20 // 将所有 store 添加 learner/peer 和删除 peer 的速度上限为每分钟 20