（联邦学习笔记，资料来源于b站小土堆）

ReLU 函数

线性整流函数（Rectified Linear Unit, ReLU），又称修正线性单元，是一种人工神经网络中常用的激活函数（activation function），通常指代以斜坡函数及其变种为代表的非线性函数。

 激活函数有两个参数（input，inplace)

import torch import torchvision from torch import nn from torch.nn import ReLU, Sigmoid from torch.utils.data import DataLoader from torch.utils.tensorboard import SummaryWriterinput = torch.tensor([[1,-0.5],[-1,3]])#转变成1维，2x2的格式 inputt = torch.reshape(input,(-1,1,2,2)) print(input.shape)dataset = torchvision.datasets.CIFAR10("./data",train=False,transform=torchvision.transforms.ToTensor(),download=True)dataloader = DataLoader(dataset,batch_size=64)class Mymodule(nn.Module):def __init__(self):super(Mymodule, self).__init__()self.relu1 = ReLU()self.sigmoid1 = Sigmoid()def forward(self,input):output = self.sigmoid1(input)return outputmymodule = Mymodule()writer = SummaryWriter("../logs_relu") step = 0for data in dataloader:imgs,targets = datawriter.add_images("input",imgs,global_step=step)output = mymodule(imgs)writer.add_images("output",output,global_step=step)step = step + 1writer.close()

 运行后在terminal下执行：tensorboard --logdir=logs_relu --port=6009

（执行有误，参考tensorboard使用方法）

点击链接，结果如下：

总结

以上是生活随笔为你收集整理的神经网络-非线性激活ReLU的全部内容，希望文章能够帮你解决所遇到的问题。

如果觉得生活随笔网站内容还不错，欢迎将生活随笔推荐给好友。