HTAP 深入探索指南

    TiDB HATP 可以满足企业海量数据的增产需求、降低运维的风险成本、与现有的大数据栈无缝缝合，从而实现数据资产价值的实时变现。

    以下是三种 HTAP 典型适用场景：

    • 混合负载场景

      当将 TiDB 应用于在线实时分析处理的混合负载场景时，开发人员只需要提供一个入口，TiDB 将自动根据业务类型选择不同的处理引擎。

    • 实时流处理场景

    如果想了解更多关于 TiDB HTAP 场景信息，请参阅 PingCAP 官网中关于 HTAP 的博客。

    HTAP 架构

    在 TiDB 中，面向在线事务处理的行存储引擎 TiKV 与面向实时分析场景的列存储引擎 同时存在，自动同步，保持强一致性。

    更多架构信息，请参考 TiDB HTAP 形态架构。

    在深入探索 TiDB HTAP 功能前，请依据你的数据场景部署 TiDB 以及对应的数据分析引擎。大数据场景 (100 T) 下，推荐使用 TiFlash MPP 作为 HTAP 的主要方案，TiSpark 作为补充方案。

    • TiFlash

      • 如果已经部署 TiDB 集群但尚未部署 TiFlash 节点，请参阅中的步骤在现有 TiDB 集群中添加 TiFlash 节点。
      • 如果尚未部署 TiDB 集群，请使用 TiUP 部署 TiDB 集群，并在包含最小拓扑的基础上，同时。
        • 如果业务场景以 OLTP 为主，做轻量级的 Ad hoc OLAP 计算，通常部署 1 个或几个 TiFlash 节点就会产生明显的加速效果。
        • 当 OLTP 数据吞吐量对节点 I/O 无明显压力时，每个 TiFlash 节点将会使用较多资源用于计算，这样 TiFlash 集群可实现近似线性的扩展能力。TiFlash 节点数量应根据期待的性能和响应时间调整。
        • 当 OLTP 数据吞吐量较高时（例如写入或更新超过千万行/小时），由于网络和物理磁盘的写入能力有限，内部 TiKV 与 TiFlash 之间的 I/O 会成为主要瓶颈，也容易产生读写热点。此时 TiFlash 节点数与 OLAP 计算量有较复杂非线性关系，需要根据具体系统状态调整节点数量。

    • TiSpark

      • 如果你的业务需要基于 Spark 进行分析，请部署 TiSpark（暂不支持 Spark 3.x）。具体步骤，请参阅 TiSpark 用户指南。

    HTAP 数据准备

    TiFlash 部署完成后并不会自动同步数据，你需要指定需要同步到 TiFlash 的数据表。指定后，TiDB 将创建对应的 TiFlash 副本。

    • 如果 TiDB 集群中还没有数据，请先迁移数据到 TiDB。详情请参阅数据迁移。

    使用 TiDB 时，你只需输入 SQL 语句进行查询或者写入需求。对于创建了 TiFlash 副本的表，TiDB 会依靠前端优化器自由选择最优的执行方式。

    注意：

    TiFlash 的 MPP 模式默认开启。当执行 SQL 语句时，TiDB 会通过优化器自动判断并选择是否以 MPP 模式执行。

    • 如需关闭 MPP 模式，请将系统变量 的值设置为 OFF。
    • 如需强制使用 TiFlash 的 MPP 模式执行查询，请将系统变量 tidb_allow_mpp 和 的值设置为 ON。
    • 如需查看 TiDB 是否选择以 MPP 模式执行，你可以通过 EXPLAIN 语句查看具体的查询执行计划。如果 EXPLAIN 语句的结果中出现 ExchangeSender 和 ExchangeReceiver 算子，表明 MPP 已生效。

    HTAP 性能监控

    在 TiDB 的使用过程中，可以选择以下方式监控 TiDB 集群运行情况并查看性能数据。

    • TiDB Dashboard：查看集群整体运行概况，分析集群读写流量分布及趋势变化，详细了解耗时较长的 SQL 语句的执行信息。
    • ：查看 TiDB 集群各组件（包括 PD、TiDB、TiKV、TiFlash、TiCDC、Node_exporter）的相关监控参数。

    如需查看 TiDB 和 TiFlash 集群报警规则和处理方法，请查阅 TiDB 集群报警规则和 。

    除此之外，你可以在 新建一个 Issue 反馈问题，或者在 AskTUG 提交你的问题。

    探索更多