切换GPU设备会影响PyTorch反向传播中的梯度吗？

人气：1,026 发布：2022-10-16 标签： cpu gpu pytorch backpropagation gradient-descent

问题描述

我用火炬。在计算中，我将一些数据和运算符A移到了GPU中。在中间步骤中，我将数据和运算符B移到CPU并继续前进。

我的问题是：

我的运算符B非常耗费内存，无法在GPU中使用。这是否会影响反向传播(某些部分在GPU中计算，其他部分在CPU中计算)？

推荐答案

Pytorch跟踪张量的位置。如果您使用.cpu()或.to('cpu')pytorch的本机命令，则应该没有问题。

参见this model parallel教程-计算在两个不同的GPU设备上进行。

496