使用指导

    • 需要保证用户提供训练数据。
    • 如果用户通过提供的工具收集训练数据,则需要启用WDR功能,涉及到的参数为track_stmt_stat_level和log_min_duration_statement,具体情况见下面小结。

    预测数据格式如下:

    其中SQL表示SQL语句的文本,EXECUTION_TIME表示SQL语句的执行时间,样例数据见sample_data中的train.csv和predict.csv。

    用户可以按照要求格式自己收集训练数据,工具也提供了脚本自动采集(load_sql_from_rd),该脚本基于WDR报告获取SQL信息,涉及到的参数有log_min_duration_statement和track_stmt_stat_level:

    • 其中log_min_duration_statement表示慢SQL阈值,如果为0则全量收集,时间单位为毫秒;
    • track_stmt_stat_level表示信息捕获的级别,建议设置为track_stmt_stat_level=’L0,L0’
    1. 使用脚本获取训练集方式:
    2. load_sql_from_wdr.py [-h] --port PORT --start_time START_TIME
    3. python load_sql_from_wdr.py --start_time "2021-04-25 00:00:00" --finish_time "2021-04-26 14:00:00" --port 5432 --save_path ./data.csv
    1. 提供历史日志以供模型训练

    2. 进行训练与预测操作。

    使用提供的测试数据进行模板化训练:

    1. gs_dbmind component sqldiag predict -f ./sample_data/predict.csv --model template --model-path ./template --predicted-file ./result/t_result

    使用提供的测试数据进行模板化模型更新:

    使用提供的测试数据进行DNN训练:

    1. gs_dbmind component sqldiag train -f ./sample_data/train.csv --model dnn --model-path ./dnn_model

    使用提供的测试数据进行DNN预测: