8.3 自动并行计算

首先导入本节中实验所需的包或模块。注意，需要至少2块GPU才能运行本节实验。

我们先实现一个简单的计时类。

    def __init__(self, prefix=None):
        self.prefix = prefix + ' ' if prefix else ''
    def __exit__(self, *args):
        print('%stime: %.4f sec' % (self.prefix, time.time() - self.start))

接下来，分别在两块GPU上创建。

x_gpu2 = torch.rand(size=(100, 100), device='cuda:1')

然后，分别使用它们运行run函数并打印运行所需时间。

Run on GPU1. time: 0.2989 sec

尝试系统能自动并行这两个任务：

输出：

Run on both GPU1 and GPU2 in parallel. time: 0.5076 sec