pytorch 实现 GRL Gradient Reversal Layer_Tchunren的博客-程序员宅基地_torch grl

在GRL中，要实现的目标是：在前向传导的时候，运算结果不变化，在梯度传导的时候，传递给前面的叶子节点的梯度变为原来的相反方向。举个例子最好说明了：

import torch
from torch.autograd  import  Function

x = torch.tensor([1.,2.,3.],requires_grad=True)
y = torch.tensor([4.,5.,6.],requires_grad=True)

z = torch.pow(x,2) + torch.pow(y,2)
f = z + x + y
s =6* f.sum()

print(s)
s.backward()
print(x)
print(x.grad)

这个程序的运行结果是：

tensor(672., grad_fn=<MulBackward0>)
tensor([1., 2., 3.], requires_grad=True)
tensor([18., 30., 42.])

这个运算过程对于tensor中的每个维度上的运算为：

$f(x)=(x^{2}+x)*6$

那么对于x的导数为：

$\frac{\mathrm{d} f}{\mathrm{d} x} = 12x+6$

所以当输入x=[1,2,3]时，对应的梯度为：[18,30,42]

因此这个是正常的梯度求导过程，但是如何进行梯度翻转呢？很简单，看下方的代码：

import torch
from torch.autograd  import  Function

x = torch.tensor([1.,2.,3.],requires_grad=True)
y = torch.tensor([4.,5.,6.],requires_grad=True)

z = torch.pow(x,2) + torch.pow(y,2)
f = z + x + y

class GRL(Function):
    def forward(self,input):
        return input
    def backward(self,grad_output):
        grad_input = grad_output.neg()
        return grad_input


Grl = GRL()

s =6* f.sum()
s = Grl(s)

print(s)
s.backward()
print(x)
print(x.grad)

运行结果为：

tensor(672., grad_fn=<GRL>)
tensor([1., 2., 3.], requires_grad=True)
tensor([-18., -30., -42.])

这个程序相对于上一个程序，只是差在加了一个梯度翻转层：

class GRL(Function):
    def forward(self,input):
        return input
    def backward(self,grad_output):
        grad_input = grad_output.neg()
        return grad_input

这个部分的forward没有进行任何操作，backward里面做了.neg()操作，相当于进行了梯度的翻转。在torch.autograd 中的FUnction 的backward部分，在不做任何操作的情况下，这里的grad_output的默认值是1.

本文链接：https://blog.csdn.net/t20134297/article/details/107870906

原作者删帖不实内容删帖广告或垃圾文章投诉

智能推荐

Bob库安装_qq_28888837的博客-程序员宅基地

Bob库安装标签： python因为做欺诈检测，有些论文用的是这个库，所以就尝试着装了一下，注意的是这个库要用翻墙才可以，如果校园网的话可以直接使用。它的官网，我参考的是里面安装的这个目录https://www.idiap.ch/software/bob/docs/bob/docs/stable/bob/doc/install.html。其实上面给的比较全，几乎按照上面的方法就行，先创建...

在WINDOWS任务计划程序下执行PHP文件 PHP定时功能的实现_飞鱼计划的博客-程序员宅基地

一、新建两个测试文件demo.php 暂放在程序根目录&lt;?php$fp = @fopen("test.txt", "a+");date_default_timezone_set(PRC);$data = date("Y-m-d H:i:s",time()); fwrite($fp , $data. " 让PHP定时运行吧！&lt;br&gt;");fclose($fp);?&g

Artificial Intelligence for Robotics - SLAM_丁路人的博客-程序员宅基地

Segmented CTE# -----------# User Instructions## Familiarize yourself with the code below. Most of it# reproduces results that you have obtained at some# point in this class. Once you unders...

【leetcode阿里题库】15. 3Sum_AXIMI的博客-程序员宅基地

提交代码class Solution { public List<List<Integer>> threeSum(int[] nums) { List<List<Integer>> ans=new ArrayList<List<Integer>>(); if(nums==null||n...

数学奇思-比例：点：线：面_ESOO的博客-程序员宅基地_奇思数学工具

上次交流米老师留下了一个思考给我们，比例为什么可以用面积表示，体积表示，通过自己查博客，和同学沟通，发现这是数学上一个惯用的思维方式，就是忽略：我们先看一组球，一共100个，其中30个红球，70个黑球，均匀分布在一个平面上：类似如此：我们研究的是红球白球的比例，那么我们忽略球排布的方位，将红球放在一起，黑球放在一起，排列成这样：我们在数学中，有个概念，点组成线，线组成...

通过fiddler抓取HTTP协议的数据包 | 详细介绍fiddler使用过程。西边人西说测试_西边人细说测试的博客-程序员宅基地_2、尝试写一条规则,查找所有的http协议的数据包。

大多时候，我们使用抓包工具抓取和分析的为HTTP协议，所以，必须要了解HTTP协议。否则抓包工具无从学起。HTTP协议超文本传输协议（HTTP，HyperText Transfer Protocol)是互联网上应用最为广泛的一种网络协议。HTTP协议的主要特点可概括如下：1、支持客户/服务器模式。简单快速：客户向服务器请求服务时，只需传送请求方法和路径。请求方法常用的有GET、POST。每种方法...