运行配置要求
- 3 个元数据服务进程
- 至少 3 个存储服务进程
storaged
- 至少 3 个查询引擎服务进程
graphd
- A:metad, storaged, graphd
- B:metad, storaged, graphd
- C:metad, storaged, graphd
- D:storaged, graphd
- 处理器:48 core
- 内存:96 GB
- 存储:2 * 900 GB, NVMe SSD
- Linux 内核:3.9 或更高版本,通过命令 查看
- glibc:2.12 或更高版本,通过命令
ldd --version
查看
操作系统配置见这里。
- 1 个元数据服务进程
metad
- 至少 1 个存储服务进程
- 至少 1 个查询引擎服务进程
graphd
- A:metad、storaged、graphd
- B:storaged、graphd
- C:storaged、graphd
以 AWS EC2 c5d.xlarge 为例:
- 处理器:4 core
- 内存:8 GB
- 存储:100 GB, SSD
- 内存(全集群):点边数量 * 15 字节 + RocksDB 实例数量 * (write_buffer_size * max_write_buffer_number + rocksdb_block_cache), 其中
etc/nebula-storaged.conf
文件中 项中的每个目录对应一个 RocksDB 实例 - 图空间 partition 数量:全集群硬盘数量 * (2 至 10 —— 硬盘越好该值越大)
- 内存和硬盘另预留 20% buffer。
- etc/nebula-storage.conf:
- --raft_rpc_timeout_ms= 5000 至 10000
- --rocksdb_batch_size= 4096 至 16384
- --heartbeat_interval_secs = 30 至 60
- --raft_heartbeat_interval_secs = 30 至 60
- etc/nebula-meta.conf:
- --heartbeat_interval_secs 与 etc/nebula-storage.conf 该项相同
- Spark Writer:
- go-importer:
- batchSize: 10 至 50
- concurrency: 1 至 10
- partition 值为全集群硬盘数量 2 倍