集群设置

    您可以搭建伪分布式模式或是分布式模式的集群,伪分布式模式和分布式模式的主要区别是配置文件中的不同,配置项含义请参考配置项。 启动其中一个节点的服务,需要执行如下命令:

    -c <conf_path>使用conf_path文件夹里面的配置文件覆盖默认配置文件; -internal_meta_port 9003覆盖特定配置项internal_meta_port的配置, 目前支持的启动覆盖原有配置的配置项有: internal_meta_port、internal_data_port、cluster_rpc_port、seed_nodes。当配置文件和配置项都被指定的时候,指定配置项的配置会覆盖配置文件中的配置。

    为方便IoTDB Server的配置与管理,IoTDB Server为用户提供三种配置项,使得您可以在启动服务器或服务器运行时对其进行配置。

    配置文件的说明如下:

    • cluster-env.sh/:环境配置项的默认配置文件。您可以在文件中配置JAVA-JVM的相关系统配置项。

    • iotdb-engine.properties:IoTDB引擎层系统配置项的默认配置文件。您可以在文件中配置IoTDB引擎运行时的相关参数。此外,用户可以在文件中配置IoTDB存储时TsFile文件的相关信息,如每次将内存中的数据写入到磁盘前的缓存大小(group_size_in_byte),内存中每个列打一次包的大小(page_size_in_byte)等。

    • iotdb-cluster.properties: IoTDB集群所需要的一些配置。

    iotdb-engine.propertiescluster-env.sh/cluster-env.bat 两个配置文件详细说明请参考,下面描述的配置项是在iotdb-cluster.properties文件中的。

    • internal_data_port
    名字internal_data_port
    描述IoTDB data服务端口,用于数据组通信,数据组管理数据模式和数据的存储IoTDB将为每个data服务自动创建心跳端口。默认的data服务心跳端口为internal_data_port+1。请确认这两个端口不是系统保留端口并且未被占用
    类型Int32
    默认值40010
    改后生效方式重启服务器生效,集群建立后不可再修改
    • cluster_rpc_port
    名字cluster_rpc_port
    描述与客户端(JDBC,Session API, CLI等)通信的端口,请确认该端口不是系统保留端口并且未被占用
    类型Int32
    默认值55560
    改后生效方式重启服务器生效
    • seed_nodes
    名字seed_nodes
    描述集群中节点的地址,{IP/DOMAIN}:internal_meta_port:internal_data_port格式,用逗号分割;对于伪分布式模式,可以都填写,或是127.0.0.1 或是混合填写,但是不能够出现真实的ip地址;对于分布式模式,支持填写real ip 或是hostname,但是不能够出现localhost或是127.0.0.1。当使用start-node.sh(.bat)启动节点时,此配置意味着形成初始群集的节点,每个节点的seed_nodes应该一致,否则群集将初始化失败;当使用add-node.sh(.bat)添加节点到集群中时,此配置项可以是集群中已经存在的任何节点,不需要是用start-node.sh(bat)构建初始集群的节点。
    类型String
    默认值127.0.0.1:9003:40010,127.0.0.1:9005:40012,127.0.0.1:9007:40014
    改后生效方式重启服务器生效
    • rpc_thrift_compression_enable
    名字rpc_thrift_compression_enable
    描述是否开启thrift压缩通信,注意这个参数要各个节点保持一致,也要与客户端保持一致,同时也要与iotdb-engine.propertiesrpc_thrift_compression_enable参数保持一致
    类型Boolean
    默认值false
    改后生效方式重启服务器生效,需要整个集群同时更改
    • default_replica_num
    • cluster_name
    名字cluster_name
    描述集群名称,集群名称用以标识不同的集群,一个集群中所有节点的cluster_name都应相同
    类型String
    默认值default
    改后生效方式重启服务器生效
    • connection_timeout_ms
    名字connection_timeout_ms
    描述同一个raft组各个节点之间的心跳超时时间,单位毫秒
    类型Int32
    默认值20000
    改后生效方式重启服务器生效
    名字read_operation_timeout_ms
    描述读取操作超时时间,仅用于内部通信,不适用于整个操作,单位毫秒
    类型Int32
    默认值30000
    改后生效方式重启服务器生效
    • write_operation_timeout_ms
    名字write_operation_timeout_ms
    描述写入操作超时时间,仅用于内部通信,不适用于整个操作,单位毫秒
    类型Int32
    默认值30000
    改后生效方式重启服务器生效
    • min_num_of_logs_in_mem
    • max_num_of_logs_in_mem
    名字max_num_of_logs_in_mem
    描述当内存中已提交的日志条数达到这个值之后,就会触发删除日志的操作,增大这个值将减少在CatchUp使用快照的机会,但也会增加内存占用量
    类型Int32
    默认值1000
    改后生效方式重启服务器生效
    • log_deletion_check_interval_second
    名字log_deletion_check_interval_second
    描述检查删除日志任务的时间间隔,每次删除日志任务将会把已提交日志超过min_num_of_logs_in_mem条的最老部分删除,单位秒
    类型Int32
    默认值60
    改后生效方式重启服务器生效
    • enable_auto_create_schema
    名字enable_auto_create_schema
    描述是否支持自动创建schema,这个值会覆盖iotdb-engine.propertiesenable_auto_create_schema的配置
    类型BOOLEAN
    默认值true
    改后生效方式重启服务器生效
    • consistency_level
    名字consistency_level
    描述读一致性,目前支持3种一致性:strong、mid、weak。strong consistency每次操作都会尝试与Leader同步以获取最新的数据,如果失败(超时),则直接向用户返回错误; mid consistency每次操作将首先尝试与Leader进行同步,但是如果失败(超时),它将使用本地当前数据向用户提供服务; weak consistency不会与Leader进行同步,而只是使用本地数据向用户提供服务
    类型strong、mid、weak
    默认值mid
    改后生效方式重启服务器生效
    • is_enable_raft_log_persistence

    GC日志默认是关闭的。为了性能调优,用户可能会需要收集GC信息。 若要打开GC日志,则需要在启动IoTDB Server的时候加上printgc参数:

    GC日志会被存储在下面。