softmax_cross_entropy_with_logits与sparse_softmax_cross_entropy_with_logits的区别_softmax_cross_entropy_with_logits_v2 spars_softmax-程序员宅基地

技术标签： 损失函数  交叉熵  tf.nn.sparse_softmax_cross_entropy  神经网络学习小记录  人工智能  tf.nn.softmax_cross_entropy  

softmax_cross_entropy_with_logits与sparse_softmax_cross_entropy_with_logits的区别

最近学习了Policy Gradients，里面用到了sparse_softmax_cross_entropy_with_logits，很惊诧这是个what，查询了许多资料，做了一点实验，终于明白，这就是另一个版本的softmax_cross_entropy_with_logits。
在这里插入图片描述

没有sparse：

tf.nn.softmax_cross_entropy_with_logits(
	labels=None,
	logits=None,
	name=None
)

第一个参数labels：实际的标签，如果有batch的话，它的大小就是[batch_size，num_classes]，单样本的话，大小就是[num_classes]。
第二个参数labels：就是神经网络最后一层的输出，如果有batch的话，它的大小就是[batch_size，num_classes]，单样本的话，大小就是[num_classes]。

有sparse：

tf.nn.sparse_softmax_cross_entropy_with_logits(
	_sentinel=None,
	labels=None,
	logits=None,
	name=None
)

第一个参数labels，实际的标签，其shape为（[batch_size，1]直接是分类后的结果。
第二个参数labels：就是神经网络最后一层的输出，如果有batch的话，它的大小就是[batch_size，num_classes]。

对比代码

本文使用以下代码进行对比：

import numpy as np
import tensorflow as tf
a = [[0.95,0.02,0.01,0.02],
     [0.01,0.02,0.95,0.02],
     [0.03,0.094,0.01,0.02]]
b = [0,2,1]
c = [[1,0,0,0],
     [0,0,1,0],
     [0,1,0,0]]

softmax_cross_entropy_with_logits = tf.nn.softmax_cross_entropy_with_logits(
    logits = a,labels = c
)
sparse_softmax_cross_entropy_with_logits = tf.nn.sparse_softmax_cross_entropy_with_logits(
    logits = a,labels = b
)

with tf.Session() as sess:
    print(
        sess.run(softmax_cross_entropy_with_logits),sess.run(sparse_softmax_cross_entropy_with_logits)
    )

输出结果为：

[0.7792034 0.7792034 1.3313385] [0.7792034 0.7792034 1.3313385]

由此可知，当函数加上sparse相当于默认该矩阵为稀疏矩阵，将其转化为二维形式时，除去所指定的标签列，其他标签列都是0。
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44791964/article/details/99683784

智能推荐

转贴:win2008改造成准VISTA-程序员宅基地

文章浏览阅读123次。安装WINDOWS SERVER 2008前请确认你已经做好了以下准备：1.你的硬件必须满足下列要求处理器：最小: 1GHz 建议: 2GHz 最佳: 3GHz 或者更快速的内存： 最小: 512MB RAM建议: 1GB RAM最佳: 2GB RAM (完整安装) 或者 1GB RAM (Server Core 安装) 或者最大 (32位系统 ): 4GB (标准版) 或..._net framework 3.0支持开vista玻璃效果吗

【正一专栏】巴萨四大皆空怎么办_巴萨14年四大皆空-程序员宅基地

文章浏览阅读2.5k次。巴萨四大皆空怎么办每年的四月对于双线作战的球队来说都是决定命运的时刻，巴萨神奇逆转大巴黎后不得不在欧冠面临着尤文图斯的挑战，而在国内联赛又要紧追领头羊皇马。一个月要踢9场比赛，基本上都是一周双赛。巴萨上周刚刚在联赛中输球，错失了反超皇马的机会，而今天凌晨的欧冠比赛，巴萨0:3惨败给尤文图斯，欧冠晋级之路前景黯淡、又只能期待奇迹。没了联赛和欧冠，巴萨就会四大皆空，恩里克只能黯然走_巴萨14年四大皆空

苹果系统使用linux内核,iOS操作系统是不是基于Linux呢？-程序员宅基地

文章浏览阅读5.2k次。iOS实际上是Darwin的ARM变体，源自BSD，类UNIX内核，以及Apple自己的Mach内核扩展系统。这与是完全不同的，Linux是一个单片内核，这意味着所有驱动程序代码和I / O工具包都是核心内核的一部分。Apple是一个混合内核。有些人住在内核中，有些是内核扩展(通常是.kext文件)。相比之下，Windows是一个微内核，意味着内核中的内容很少，而且几乎所有东西都是外部驱动程序。L..._苹果的ios系统是linux内核吗？

WEEX框架（一）框架简介和快速上手体验-程序员宅基地

文章浏览阅读8.6k次。框架简介Weex，是能够完美兼顾性能与动态性，让移动开发者通过简捷的前端语法写出Native级别的性能体验的框架，并支持iOS、安卓、Web等多端部署，由阿里巴巴研发和维护。对于移动开发者来说，Weex主要解决了频繁发版和多端研发两大痛点，同时解决了前端语言性能差和显示效果受限的问题。开发者只需要在自己的APP中嵌入Weex的SDK，就可以通过撰写HTML/CSS/JavaScript来开发Native级别的Weex界面。Weex界面的生成码其实就是一段很小的JS，可以像发布网页一样轻松部署在服务端，_weex框架

【工具使用系列】关于MATLAB for mac 运行时崩溃故障的解决方法_matlab_crash_dump-程序员宅基地

文章浏览阅读1.1w次。MATLAB 常见问题的解决方案1. MATLAB for mac使用过程中，突然崩溃……_matlab_crash_dump

PTA 5-10 多项式A除以B (2017cccc初赛L2-2)_pta你需要计算两个多项式相除的商q和余r,其中r的阶数必须小于b的阶数-程序员宅基地

文章浏览阅读2.7k次，点赞4次，收藏3次。5-10多项式A除以B(25分)这仍然是一道关于A/B的题，只不过A和B都换成了多项式。你需要计算两个多项式相除的商Q和余R，其中R的阶数必须小于B的阶数。输入格式：输入分两行，每行给出一个非零多项式，先给出A，再给出B。每行的格式如下：N e[1] c[1] ... e[N] c[N]其中N是该多项式非零项的个数，e[i]是第i个非零项的指数，c_pta你需要计算两个多项式相除的商q和余r,其中r的阶数必须小于b的阶数

随便推点

数组的两种传递方式_数组传递-程序员宅基地

文章浏览阅读1.3w次，点赞7次，收藏45次。 数组传递：将数组作为参数传递给函数，分值传递和地址传递。其中，值传递的效率较低，不建议使用。两种传递方式都会改变main函数中数组的值，如下代码中a[3]的结果都为6。注意区分数组的值传递和函数值传递的区别。//数组的两种传递方式#include<iostream>using namespace std;//值传递void fun1(int a[5]){ ..._数组传递

html点击按钮跳转到另一个界面_网页制作：一个简易美观的登录界面-程序员宅基地

文章浏览阅读2.2w次，点赞62次，收藏449次。效果图目录结构：在我们做一个页面之前，要先想好他的一个整体布局，也就是我们这里面的login.html主页面，大致结构如下：接下来，我们先上代码，看一下具体实现方法：login.html<!DOCTYPE html><html lang="en"><head> <meta charset="UTF-8"> <title>..._html table登陆界面带有页面转换

C语言彩色版贪吃蛇——图形界面Easyx的简单使用_c easyx实现登录-程序员宅基地

文章浏览阅读2w次，点赞40次，收藏237次。大一上大概12月份学完了C语言，基本语法与知识已经基本具备，可以用C语言写出基本的贪吃蛇游戏，但是基础C语言的可视化与交互功能实在是太弱了，为了写出有色彩的游戏，需要在网上安装一个Easyx的插件，具体Easyx如何使用参见https://zhuanlan.zhihu.com/p/24826034点击打开链接然后编程软件我用的是VS 2017（因为Dev C++不支持Easyx） VS安装入口_c easyx实现登录

全球公链进展| Shibarium已上线；opBNB测试网PreContract硬分叉；Sui 主网 V1.7.1 版本_shibarium上线-程序员宅基地

文章浏览阅读1.6k次。Sui 主网现已升级至 V1.7.1 版本，此升级包含了多项修复和优化，包括：协议版本提升至 20 版本，在 Sui 框架中新增 Kiosk Extensions API 和一个新的 sui::kiosk_extension 模块，开发者可使用该 API 构建自定义的 Kiosk 应用程序，以扩展 Kiosk 基本功能；以太坊基金会工程师 Parithosh Jayathi 发推称，Dencun-devnet-8 已上线，这是开发者网络的最新迭代版本，旨在允许客户端与最新规范进行互操作性测试。_shibarium上线

idea显示properties文件中文乱码_idea properties 乱码-程序员宅基地

文章浏览阅读1k次。解决idea显示文件中文乱码在项目中通常会遇到如下问题，突然properties文件中文就显示为\u5730等等这样类似的字符。_idea properties 乱码

【嵌入式实验】南航嵌入式实验报告——GPIO实验_南航nuaa嵌入式系统实验报告-程序员宅基地

文章浏览阅读9.2k次，点赞12次，收藏146次。嵌入式系统原理与应用实验报告-GPIO实验文章目录嵌入式系统原理与应用实验报告-GPIO实验一、实验目的1.1 基于GPIO的LED跑马灯实验1.2 基于GPIO的简单人机交互接口实验1.3 基于GPIO的直流电机控制实验二、实验原理（硬件连接及软件流程、简单原理说明）2.1 实验设备2.2 实验硬件连接图2.3 实验简单原理三、实验内容与实验步骤3.1 基于GPIO的LED跑马灯实验3.1.1 实验内容3.1.2 实验步骤3.1.3 完整实验代码3.2 基于GPIO的简单人机交互接口实验3.2.1 实验_南航nuaa嵌入式系统实验报告

推荐文章

热门文章

相关标签