资源管理

    一个资源包含名字、类型等基本信息,名字为全局唯一,不同类型的资源包含不同的属性,具体参考各资源的介绍。

    资源的创建和删除只能由拥有 权限的用户进行操作。一个资源隶属于整个Doris集群。拥有 admin 权限的用户可以将使用权限usage_priv 赋给普通用户。可参考HELP GRANT或者权限文档。

    资源管理主要有三个命令:CREATE RESOURCEDROP RESOURCESHOW RESOURCES,分别为创建、删除和查看资源。这三个命令的具体语法可以通过MySQL客户端连接到 Doris 后,执行 HELP cmd 的方式查看帮助。

    1. CREATE RESOURCE

      语法

      在创建资源的命令中,用户必须提供以下信息:

      • PROPERTIES 是资源相关参数,如下:
        • :资源类型,必填,目前仅支持 spark与odbc_catalog。
        • 其他参数见各资源介绍。
    2. DROP RESOURCE

      该命令可以删除一个已存在的资源。具体操作见:HELP DROP RESOURCE

    3. SHOW RESOURCES

    目前Doris能够支持

    • Spark资源 : 完成ETL工作。

    下面将分别展示两种资源的使用方式。

    参数

    Spark 相关参数如下:

    spark.master: 必填,目前支持yarn,spark://host:port。

    spark.submit.deployMode: Spark 程序的部署模式,必填,支持 cluster,client 两种。

    spark.hadoop.yarn.resourcemanager.address: master为yarn时必填。

    spark.hadoop.fs.defaultFS: master为yarn时必填。

    其他参数为可选,参考http://spark.apache.org/docs/latest/configuration.html。

    如果Spark用于ETL,还需要指定以下参数:

    working_dir: ETL 使用的目录。spark作为ETL资源使用时必填。例如:hdfs://host:port/tmp/doris。

    broker: broker 名字。spark作为ETL资源使用时必填。需要使用ALTER SYSTEM ADD BROKER 命令提前完成配置。

    • : broker读取ETL生成的中间文件时需要指定的认证信息等。

    示例

    ODBC

    参数

    ODBC 相关参数如下:

    type: 必填,且必须为odbc_catalog。作为resource的类型标识。

    user: 外部表的账号,必填。

    password: 外部表的密码,必填。

    host: 外部表的连接ip地址,必填。

    port: 外部表的连接端口,必填。

    odbc_type: 标示外部表的类型,当前doris支持mysqloracle,未来可能支持更多的数据库。引用该resource的ODBC外表必填,旧的mysql外表选填。

    : 标示外部表使用的driver动态库,引用该resource的ODBC外表必填,旧的mysql外表选填。

    具体如何使用可以,可以参考ODBC of Doris

    示例

    创建oracle的odbc resource,名为 odbc_oracle 的 odbc_catalog的 资源。