VisualDL 工具简介

    VisualDL是飞桨可视化分析工具，以丰富的图表呈现训练参数变化趋势、模型结构、数据样本、直方图、PR曲线及高维数据分布。可帮助用户更清晰直观地理解深度学习模型训练过程及模型结构，进而实现高效的模型优化。

    具体功能使用方式请参见VisualDL使用指南。项目正处于高速迭代中，敬请期待新组件的加入。

    VisualDL支持浏览器种类：Chrome（81和83）、Safari 13、FireFox（77和78）、Edge（Chromium版）。

    VisualDL原生支持python的使用， 通过在模型的Python配置中添加几行代码，便可为训练过程提供丰富的可视化支持。

    核心亮点

    API设计简洁易懂，使用简单。模型结构一键实现可视化。

    功能丰富

    功能覆盖标量、数据样本、图结构、直方图、PR曲线及数据降维可视化。

    高兼容性

    全面支持Paddle、ONNX、Caffe等市面主流模型结构可视化，广泛支持各类用户进行可视化分析。

    全面支持

    与飞桨服务平台及工具组件全面打通，为您在飞桨生态系统中提供最佳使用体验。

    使用pip安装

    2. cd VisualDL
    4. python setup.py bdist_wheel
    5. pip install --upgrade dist/visualdl-*.whl

    需要注意，官方自2020年1月1日起不再维护Python2，为了保障代码可用性，VisualDL现仅支持Python3

    使用方式

    1. 记录日志

    VisualDL的后端提供了Python SDK，可通过LogWriter定制一个日志记录器，接口如下：

    接口参数

    示例

    设置日志文件并记录标量数据：

    1. from visualdl import LogWriter
    3. # 在`./log/scalar_test/train`路径下建立日志文件
    4. with LogWriter(logdir="./log/scalar_test/train") as writer:
    5.     # 使用scalar组件记录一个标量数据
    6.     writer.add_scalar(tag="acc", step=1, value=0.5678)
    7.     writer.add_scalar(tag="acc", step=2, value=0.6878)
    8.     writer.add_scalar(tag="acc", step=3, value=0.9878)

    2. 启动面板

    在上述示例中，日志已记录三组标量数据，现可启动VisualDL面板查看日志的可视化结果，共有两种启动方式：

    在命令行启动

    使用命令行启动VisualDL面板，命令格式如下：

    参数详情：

    针对上一步生成的日志，启动命令为：

    1. visualdl --logdir ./log

    在Python脚本中启动

    支持在Python脚本中启动VisualDL面板，接口如下：

    请注意：除logdir外，其他参数均为不定参数，传递时请指明参数名。

    接口参数具体如下：

    针对上一步生成的日志，我们的启动脚本为：

    1. from visualdl.server import app
    3. app.run(logdir="./log")

    在使用任意一种方式启动VisualDL面板后，打开浏览器访问VisualDL面板，即可查看日志的可视化结果，如图：

    Scalar

    以图表形式实时展示训练过程参数，如loss、accuracy。让用户通过观察单组或多组训练参数变化，了解训练过程，加速模型调优。具有两大特点：

    动态展示

    在启动VisualDL后，LogReader将不断增量的读取日志中数据并供前端调用展示，因此能够在训练中同步观测指标变化，如下图：

    VisualDL 工具简介 - 图3

    多实验对比

    只需在启动VisualDL时将每个实验日志所在路径同时传入即可，每个实验中相同tag的指标将绘制在一张图中同步呈现，如下图：

    Image

    实时展示训练过程中的图像数据，用于观察不同训练阶段的图像变化，进而深入了解训练过程及效果。

    实时查看训练过程中的音频数据，监控语音识别与合成等任务的训练过程。

    VisualDL 工具简介 - 图6

    Graph

    一键可视化模型的网络结构。可查看模型属性、节点信息、节点输入输出等，并支持节点搜索，辅助用户快速分析模型结构与了解数据流向。

    Histogram

    以直方图形式展示Tensor（weight、bias、gradient等）数据在训练过程中的变化趋势。深入了解模型各层效果，帮助开发者精准调整模型结构。

    VisualDL 工具简介 - 图8

    • Overlay模式

    PR Curve

    精度-召回率曲线，帮助开发者权衡模型精度和召回率之间的平衡，设定最佳阈值。

    VisualDL 工具简介 - 图10

    High Dimensional

    将高维数据进行降维展示，目前支持T-SNE、PCA两种降维方式，用于深入分析高维数据间的关系，方便用户根据数据特征进行算法优化。

    开源贡献

    VisualDL 是由 和 ECharts 合作推出的开源项目。 Graph 相关功能由 提供技术支持。 欢迎所有人使用，提意见以及贡献代码。

    想了解更多关于VisualDL可视化功能的使用详情介绍，请查看VisualDL使用指南。

    技术交流

    欢迎您加入VisualDL官方QQ群：1045783368 与飞桨团队以及其他用户共同针对VisualDL进行讨论与交流。