资源管理
一个资源包含名字、类型等基本信息,名字为全局唯一,不同类型的资源包含不同的属性,具体参考各资源的介绍。
资源的创建和删除只能由拥有 权限的用户进行操作。一个资源隶属于整个Doris集群。拥有 admin
权限的用户可以将使用权限usage_priv
赋给普通用户。可参考HELP GRANT
或者权限文档。
资源管理主要有三个命令:CREATE RESOURCE
,DROP RESOURCE
和 SHOW RESOURCES
,分别为创建、删除和查看资源。这三个命令的具体语法可以通过MySQL客户端连接到 Doris 后,执行 HELP cmd
的方式查看帮助。
CREATE RESOURCE
语法
在创建资源的命令中,用户必须提供以下信息:
PROPERTIES
是资源相关参数,如下:- :资源类型,必填,目前仅支持 spark与odbc_catalog。
- 其他参数见各资源介绍。
DROP RESOURCE
该命令可以删除一个已存在的资源。具体操作见:
HELP DROP RESOURCE
SHOW RESOURCES
目前Doris能够支持
- Spark资源 : 完成ETL工作。
下面将分别展示两种资源的使用方式。
参数
Spark 相关参数如下:
spark.master
: 必填,目前支持yarn,spark://host:port。
spark.submit.deployMode
: Spark 程序的部署模式,必填,支持 cluster,client 两种。
spark.hadoop.yarn.resourcemanager.address
: master为yarn时必填。
spark.hadoop.fs.defaultFS
: master为yarn时必填。
其他参数为可选,参考http://spark.apache.org/docs/latest/configuration.html。
如果Spark用于ETL,还需要指定以下参数:
working_dir
: ETL 使用的目录。spark作为ETL资源使用时必填。例如:hdfs://host:port/tmp/doris。
broker
: broker 名字。spark作为ETL资源使用时必填。需要使用ALTER SYSTEM ADD BROKER
命令提前完成配置。
- : broker读取ETL生成的中间文件时需要指定的认证信息等。
示例
ODBC
参数
ODBC 相关参数如下:
type
: 必填,且必须为odbc_catalog
。作为resource的类型标识。
user
: 外部表的账号,必填。
password
: 外部表的密码,必填。
host
: 外部表的连接ip地址,必填。
port
: 外部表的连接端口,必填。
odbc_type
: 标示外部表的类型,当前doris支持mysql
与oracle
,未来可能支持更多的数据库。引用该resource的ODBC外表必填,旧的mysql外表选填。
: 标示外部表使用的driver动态库,引用该resource的ODBC外表必填,旧的mysql外表选填。
具体如何使用可以,可以参考ODBC of Doris
示例
创建oracle的odbc resource,名为 odbc_oracle 的 odbc_catalog的 资源。