学习gradient-descent－开发者之家

问题描述我刚开始在CourseraMachineLearning上Ng的课程。第三周的主题是Logistic回归，因此我尝试实现以下成本函数。假设定义为：其中g为Sigmoid函数：这是我的函数目前的外观：function[J,grad]=costFunction(theta,X

问题描述我必须使用批量梯度下降进行Logistic回归。importnumpyasnpX=np.asarray([[0.50],[0.75],[1.00],[1.25],[1.50],[1.75],[1.75],[2.00],[2.25],[2.50],[2.75],[3.00]

问题描述我有一个张量，看起来像coords=torch.Tensor([[0,0,1,2],[0,2,2,2]])第一行是网格上对象的x坐标，第二行是相应的y坐标。我需要一种可微的方式(即渐变可以流动)来从该张量转到相应的网格张量，其中1表示该位置(行索引、列索引)中存在对象，而

问题描述我用火炬。在计算中，我将一些数据和运算符A移到了GPU中。在中间步骤中，我将数据和运算符B移到CPU并继续前进。我的问题是：我的运算符B非常耗费内存，无法在GPU中使用。这是否会影响反向传播(某些部分在GPU中计算，其他部分在CPU中计算)？推荐答案Pytorch跟踪张量

问题描述似乎是一个基本问题，但我需要在使用梯度下降的线性回归实现中使用特征缩放(取每个特征值，减去平均值，然后除以标准差)。在我完成之后，我想要将权重和回归线重新缩放到原始数据。我只用了一个功能，外加y-截取术语。使用缩放数据获取权重后，如何更改权重，使其应用于原始的未缩放数据？

问题描述CNN使用反向传播来更新随机分配的权重、偏差和过滤器。对于值的更新，我们从头到尾使用链式规则找出梯度，并使用公式NewValue=oldvalue-(learningRate*gradient)梯度下降是一个优化器，用于优化损失函数。这里还计算了梯度，公式为Newvalu

问题描述假设我有我的客户损失函数，并且我想借助我的神经网络来拟合某个微分方程的解。因此，在每一次正向传递中，我都在计算我的神经网络的输出，然后通过将MSE与我想要与感知器匹配的预期方程相乘来计算损失。现在我的疑问是：我应该使用grad(loss)还是应该使用loss.backwa

问题描述我正在尝试使用caffe来实现渐变w.r.t锚"输入(fa):梯度w.r.t正"输入(fp):梯度w.r.t负"输入(fn):原来的计算(我出于感情原因离开这里……)请参阅评论更正最后一项.Iamtryingtousecaffetoimplementtripletloss

问题描述有没有办法在PyTorch中区分梯度?IsthereawaytodifferentiategradientsinPyTorch?例如，我可以在TensorFlow中执行此操作:Forexample,IcandothisinTensorFlow:frompylabimpor

问题描述我想将我的一些模型设置为冻结状态.按照官方文档:Iwanttosetsomeofmymodelfrozen.Followingtheofficialdocs:withtorch.no_grad():linear=nn.Linear(1,1)linear.eval()pri

发布：2022-10-16 标签：python pytorch gradient-descent