Nebula Algorithm

    在使用 Algorithm 之前，用户需要确认以下信息：

    • Nebula Graph 服务已经部署并启动。详细信息，参考Nebula Graph安装部署。

    • Spark 版本为 2.4.x。

    • Scala 版本为 2.11。

    • （可选）如果用户需要在Github中克隆最新的Algorithm，并自行编译打包，可以选择安装。

    使用限制

    点ID的数据必须为整数，即点ID可以是INT类型，或者是String类型但数据本身为整数。

    对于非整数的String类型数据，推荐使用调用算法接口的方式，可以使用SparkSQL的函数进行编码，将String类型转换为Long类型。

    Nebula Algorithm支持的图计算算法如下。

    实现方法

    Nebula Algorithm实现图计算的流程如下：

    2. 将DataFrame转换为GraphX的图。

    3. 调用GraphX提供的图算法（例如PageRank）或者自行实现的算法（例如Louvain社区发现）。

    详细的实现方法可以参见相关Scala文件。

    1. 克隆仓库nebula-spark-utils。

    2. 进入目录nebula-algorithm。

      1. $ cd nebula-spark-utils/nebula-algorithm

    3. 编译打包。

    编译完成后，在目录nebula-algorithm/target下生成类似文件nebula-algorithm-2.5.1.jar。

    使用方法

    lib库中提供了10种常用图计算算法，用户可以通过编程调用的形式调用算法。

      1. <dependency>
      2. <groupId>com.vesoft</groupId>
      3. <artifactId>nebula-algorithm</artifactId>
      4. <version>2.5.1</version>
      5. </dependency>

    2. 传入参数调用算法（以PageRank为例）。更多算法请参见。

      Note

      执行算法的DataFrame默认第一列是起始点，第二列是目的点，第三列是边权重（非Nebula Graph中的Rank）。

    Note

    使用封装好的算法包有一定的局限性，例如落库到Nebula Graph时，落库的图空间中创建的Tag的属性名称必须和代码内预设的名称保持一致。如果用户有开发能力，推荐使用第一种方法。

    1. 设置配置文件。

      1. {
      2.     # Spark相关配置
      3.     spark: {
      4.     app: {
      5.         name: LPA
      6.         # Spark分片数量
      7.         partitionNum:100
      8.     }
      9.     master:local
      10.     }
      12.     data: {
      13.     # 数据源，可选值为nebula、csv、json。
      14.     source: nebula
      15.     # 数据落库，即图计算的结果写入的目标，可选值为nebula、csv、json。
      16.     sink: nebula
      17.     # 算法是否需要权重。
      18.     hasWeight: false
      19.     }
      21.     # Nebula Graph相关配置
      22.     nebula: {
      23.     # 数据源。Nebula Graph作为图计算的数据源时，nebula.read的配置才生效。
      24.     read: {
      25.         # 所有Meta服务的IP地址和端口，多个地址用英文逗号（,）分隔。格式: "ip1:port1,ip2:port2"。
      26.         # 使用docker-compose部署，端口需要填写docker-compose映射到外部的端口
      27.         # 可以用`docker-compose ps`查看
      28.         # Nebula Graph图空间名称
      29.         space: basketballplayer
      30.         # Nebula Graph Edge type, 多个labels时，多个边的数据将合并。
      31.         labels: ["serve"]
      32.         # Nebula Graph每个Edge type的属性名称，此属性将作为算法的权重列，请确保和Edge type对应。
      33.         weightCols: ["start_year"]
      34.     }
      36.     # 数据落库。图计算结果落库到Nebula Graph时，nebula.write的配置才生效。
      37.     write:{
      38.         # Graph服务的IP地址和端口, 多个地址用英文逗号（,）分隔。格式: "ip1:port1,ip2:port2"。
      40.         # 可以用`docker-compose ps`查看
      41.         graphAddress: "192.168.*.11:9669"
      42.         # 所有Meta服务的IP地址和端口，多个地址用英文逗号（,）分隔。格式: "ip1:port1,ip2:port2"。
      43.         # 使用docker-compose部署，端口需要填写docker-compose映射到外部的端口
      44.         # 可以用`docker-compose ps`查看
      45.         metaAddress: "192.168.*.12:9559"
      46.         user:root
      47.         pswd:nebula
      48.         # 在提交图计算任务之前需要自行创建图空间及Tag
      49.         # Nebula Graph图空间名称
      50.         space:nb
      51.         # Nebula Graph Tag名称，图计算结果会写入该Tag。Tag中的属性名称固定如下：
      52.         # PageRank：pagerank
      53.         # Louvain：louvain
      54.         # ConnectedComponent：cc
      55.         # StronglyConnectedComponent：scc
      56.         # LabelPropagation：lpa
      57.         # ShortestPath：shortestpath
      58.         # DegreeStatic：degree、inDegree、outDegree
      59.         # KCore：kcore
      60.         # TriangleCount：tranglecpunt
      61.         # BetweennessCentrality：betweennedss
      62.         tag:pagerank
      63.     }
      64.     }  
      66.     local: {
      67.     # 数据源。图计算的数据源为csv文件或json文件时，local.read的配置才生效。
      68.     read:{
      69.         filePath: "hdfs://127.0.0.1:9000/edge/work_for.csv"
      70.         # 如果CSV文件没有表头，使用[_c0, _c1, _c2, ..., _cn]表示其表头，有表头或者是json文件时，直接使用表头名称即可。
      71.         # 起始点ID列的表头。
      72.         srcId:"_c0"
      73.         # 目的点ID列的表头。
      74.         dstId:"_c1"
      75.         # 权重列的表头
      76.         weight: "_c2"
      77.         # csv文件是否有表头
      78.         header: false
      79.         # csv文件的分隔符
      80.         delimiter:","
      81.     }
      83.     # 数据落库。图计算结果落库到csv文件或text文件时，local.write的配置才生效。
      84.     write:{
      85.     }
      86.     }
      88.     algorithm: {
      89.     # 需要执行的算法，可选值为：pagerank、louvain、connectedcomponent、
      91.     # stronglyconnectedcomponent、trianglecount、betweenness
      92.     executeAlgo: pagerank
      94.     # PageRank参数
      95.     pagerank: {
      96.         maxIter: 10
      97.         resetProb: 0.15  # 默认为0.15
      98.     }
      100.     # Louvain参数
      101.     louvain: {
      102.         maxIter: 20
      103.         internalIter: 10
      104.         tol: 0.5
      105.     }
      107.    # ConnectedComponent/StronglyConnectedComponent参数
      108.    connectedcomponent: {
      109.        maxIter: 20
      110.    }
      112.    # LabelPropagation参数
      113.    labelpropagation: {
      114.        maxIter: 20
      115.    }
      117.     # ShortestPath参数
      118.     shortestpaths: {
      119.         # several vertices to compute the shortest path to all vertices.
      120.         landmarks: "1"
      121.     }
      123.     # DegreeStatic参数
      124.     degreestatic: {}
      126.     # KCore参数
      127.     kcore:{
      128.         maxIter:10
      129.         degree:1
      130.     }
      132.     # TriangleCount参数
      133.     trianglecount:{}
      135.     # BetweennessCentrality参数
      136.     betweenness:{
      137.         maxIter:5
      138.     }
      139. }
      140. }

    2. 提交图计算任务。

      示例：

      • （2分36秒）