信息熵_波段信息熵一般多大-程序员宅基地

1.简介

熵的概念最早起源于，热力学中表征物质状态的参量之一，其物理意义是体系混乱程度的度量，即用于度量一个热力学系统的无序程度。

在信息论里面，熵是对信息不确定性的测量。香农（C. E. Shannon）信息论应用概率来描述不确定性。信息是用不确定性的量度定义的。一个消息的可能性愈小，其信息愈多；而消息的可能性愈大，则其信息愈少。事件出现的概率小，不确定性越多，信息量就大，反之则少。

信息量是指信息多少的量度。1928年，R.V.L.哈特莱首先提出信息定量化的初步设想，他将消息数的对数定义为信息量。若信源有m种消息，且每个消息是以相等可能产生的，则该信源的信息量可表示为I=logm

信息量与概率呈单调递减关系，概率越小，信息量越大。

信息量的数学定义如下式所示，可用随机变量的概率来表示，U表示发送的信息，则 $u_{i}$ 表示发送信息U中的一种类型：

信息熵表示信息量的数学期望，是信源发出信息前的平均不确定性，也称为先验熵。

熵越高，信息的不确定性越大，预测的难度越大，则能传输越多的信息；

熵越低，信息的不确定性越小，即信息很容易预测到，则意味着传输的信息越少。

如：文件压缩，压缩掉冗余内容

如果压缩是无损的，即通过解压缩可以百分之百地恢复初始的消息内容，那么压缩后的消息携带的信息和未压缩的原始消息是一样的多。而压缩后的消息可以通过较少的比特传递，因此压缩消息的每个比特能携带更多的信息，也就是说压缩信息的熵更加高。

未压缩信息：包含很多很容易预测到的对信息的传递无关紧要的内容
压缩信息：压缩信息的熵更高，意味着比较难于预测压缩消息携带的信息，原因在于压缩消息里面没有冗余，即每个比特的消息携带了一个比特的信息。香农的信源编码定理揭示了，任何无损压缩技术不可能让一比特的消息携带超过一比特的信息。消息的熵乘以消息的长度决定了消息可以携带多少信息。

2.定义

2.1 熵/边缘熵/先验熵

在信息论与概率统计中，熵是表示随机变量不确定性的度量，不确定性越高，熵值越大。

设 X 是离散型随机变量（有限个），其概率分布为：

则随机变量 X 的熵的定义为：

注意：

熵与X变量的取值无关，只依赖于X的分布， $H$ 可以看作 $p_{1},p_{2},...,p_{n}$ 的函数；
熵可以看作 $-logp_{i}$ 的数学期望，负号的作用是确保结果为正；
log 一般以2为底，单位是比特(bit)，或者以 $e$ 为底，单位奈特(nat)；

信息熵的取值范围：

n：X的取值类别数

当 $p=0/1，$ 时， $H(p)=0$ ：随机变量取值很确定，即完全没有发送信息的不确定性

当 $p=\frac{1}{n}$ 时， $H(p)=logn$ ：此时模棱两可，熵取值最大。也就是，当随机变量 X 为均匀分布时，信息熵取值最大。

拿二分类来说，当 $p=0.1\approx 0$ ， $p=0.85\approx 1$ ： $H(0)<H(0.9)<H(0.5)$

2.2 条件熵

（1）后验熵

信息熵H(Y) 表示在发出信息 $x$ 之前Y存在的不确定性，在接收到信息 $x$ 之后，信息Y的不确定性会发生改变，即后验熵 $H(Y|x)$ ，它是接收到一定的信息后，对信息Y进行的后验判断，定义如下：

（2）条件熵：后验熵的期望

考虑所有信息X时，得到后验熵的期望，即条件熵。条件熵 H(Y|X) 表示在已知随机变量X的条件下，随机变量Y的不确定性，定义为X给定条件下Y的条件概率分布的熵对X的数学期望。

H(Y|X) 表示在接收到X后对信息Y仍存在的平均不确定性，通常由随机干扰引起。

2.3 联合熵

对于多维随机变量（X,Y），其联合分布为

联合熵的定义为：

基于边缘熵的定义，很容易得到两个随机变量的联合熵。

最后，将边缘熵、条件熵、联合熵联系起来：

由此可见，H(X,Y) 的不确定性最大，当它减去了 H(X)，得到在X确定的情况下Y的不确定性。

2.4 互信息

互信息 $I(X;Y)$ 的含义：给定条件Y后，X的信息的不确定性减少的程度。

如果X和Y相互独立，则 $H(X)=H(X|Y)$ ，即它们的互信息为0。

3.信息增益

当熵和条件熵的概率是根据训练集数据估计得到时，成为“经验熵”和“经验条件熵”。

信息增益：表示得知特征X的信息而使得类Y的信息的不确定性减少的程度，熵 $H(Y)$ 与条件熵 $H(Y|X)$ 的差，即互信息。

对于机器学习分类，熵是对不确定性的测量，也可以说是度量样本集合纯度的一种指标，也就是说样本类数越少（不确定性越小），样本纯度越高，信息熵就越小。

决策树中，最重要的一步就是划分属性，信息增益是划分属性的一种方式。直观上讲：

$Gain(D,A)$ = 划分之前数据集的信息熵 - 特征A划分之后的信息熵

信息增益等价于训练数据集中类与特征的互信息，表示由于特征A而使得对数据集D进行分类的不确定性减少的程度。

对于数据集D而言，信息增益依赖于特征，不同的特征往往具有不同的信息增益，信息增益大的特征具有更强的分类能力。

因此，根据信息增益准则的特征选择方法是：对训练集D，计算其每个特征的信息增益，比较其大小，选择信息增益最大的特征。

参考：

https://zhuanlan.zhihu.com/p/112272582

本文链接：https://blog.csdn.net/qq_27586341/article/details/107684165

原作者删帖不实内容删帖广告或垃圾文章投诉

智能推荐

使用nginx解决浏览器跨域问题_nginx不停的xhr-程序员宅基地

文章浏览阅读1k次。通过使用ajax方法跨域请求是浏览器所不允许的，浏览器出于安全考虑是禁止的。警告信息如下：不过jQuery对跨域问题也有解决方案，使用jsonp的方式解决，方法如下：$.ajax({ async:false, url: 'http://www.mysite.com/demo.do', // 跨域URL ty..._nginx不停的xhr

在 Oracle 中配置 extproc 以访问 ST_Geometry-程序员宅基地

文章浏览阅读2k次。关于在 Oracle 中配置 extproc 以访问 ST_Geometry，也就是我们所说的使用空间SQL 的方法，官方文档链接如下。http://desktop.arcgis.com/zh-cn/arcmap/latest/manage-data/gdbs-in-oracle/configure-oracle-extproc.htm其实简单总结一下，主要就分为以下几个步骤。..._extproc

Linux C++ gbk转为utf-8_linux c++ gbk->utf8-程序员宅基地

文章浏览阅读1.5w次。linux下没有上面的两个函数，需要使用函数 mbstowcs和wcstombsmbstowcs将多字节编码转换为宽字节编码wcstombs将宽字节编码转换为多字节编码这两个函数，转换过程中受到系统编码类型的影响，需要通过设置来设定转换前和转换后的编码类型。通过函数setlocale进行系统编码的设置。linux下输入命名locale -a查看系统支持的编码_linux c++ gbk->utf8

IMP-00009: 导出文件异常结束-程序员宅基地

文章浏览阅读750次。今天准备从生产库向测试库进行数据导入，结果在imp导入的时候遇到“ IMP-00009:导出文件异常结束” 错误，google一下，发现可能有如下原因导致imp的数据太大，没有写buffer和commit两个数据库字符集不同从低版本exp的dmp文件，向高版本imp导出的dmp文件出错传输dmp文件时，文件损坏解决办法：imp时指定..._imp-00009导出文件异常结束

python程序员需要深入掌握的技能_Python用数据说明程序员需要掌握的技能-程序员宅基地

文章浏览阅读143次。当下是一个大数据的时代，各个行业都离不开数据的支持。因此，网络爬虫就应运而生。网络爬虫当下最为火热的是Python，Python开发爬虫相对简单，而且功能库相当完善，力压众多开发语言。本次教程我们爬取前程无忧的招聘信息来分析Python程序员需要掌握那些编程技术。首先在谷歌浏览器打开前程无忧的首页，按F12打开浏览器的开发者工具。浏览器开发者工具是用于捕捉网站的请求信息，通过分析请求信息可以了解请..._初级python程序员能力要求

Spring @Service生成bean名称的规则（当类的名字是以两个或以上的大写字母开头的话，bean的名字会与类名保持一致）_@service beanname-程序员宅基地

文章浏览阅读7.6k次，点赞2次，收藏6次。@Service标注的bean，类名：ABDemoService查看源码后发现，原来是经过一个特殊处理：当类的名字是以两个或以上的大写字母开头的话，bean的名字会与类名保持一致public class AnnotationBeanNameGenerator implements BeanNameGenerator { private static final String C..._@service beanname

随便推点

二叉树的各种创建方法_二叉树的建立-程序员宅基地

文章浏览阅读6.9w次，点赞73次，收藏463次。1.前序创建#include<stdio.h>#include<string.h>#include<stdlib.h>#include<malloc.h>#include<iostream>#include<stack>#include<queue>using namespace std;typed_二叉树的建立

解决asp.net导出excel时中文文件名乱码_asp.net utf8 导出中文字符乱码-程序员宅基地

文章浏览阅读7.1k次。在Asp.net上使用Excel导出功能，如果文件名出现中文，便会以乱码视之。解决方法： fileName = HttpUtility.UrlEncode(fileName, System.Text.Encoding.UTF8);_asp.net utf8 导出中文字符乱码

笔记-编译原理-实验一-词法分析器设计_对pl/0作以下修改扩充。增加单词-程序员宅基地

文章浏览阅读2.1k次，点赞4次，收藏23次。第一次实验词法分析实验报告设计思想词法分析的主要任务是根据文法的词汇表以及对应约定的编码进行一定的识别，找出文件中所有的合法的单词，并给出一定的信息作为最后的结果，用于后续语法分析程序的使用；本实验针对 PL/0 语言的文法、词汇表编写一个词法分析程序，对于每个单词根据词汇表输出： (单词种类, 单词的值) 二元对。词汇表：种别编码单词符号助记符0beginb..._对pl/0作以下修改扩充。增加单词

android adb shell 权限,android adb shell权限被拒绝-程序员宅基地

文章浏览阅读773次。我在使用adb.exe时遇到了麻烦.我想使用与bash相同的adb.exe shell提示符,所以我决定更改默认的bash二进制文件(当然二进制文件是交叉编译的,一切都很完美)更改bash二进制文件遵循以下顺序> adb remount> adb push bash / system / bin /> adb shell> cd / system / bin> chm..._adb shell mv 权限

投影仪-相机标定_相机-投影仪标定-程序员宅基地

文章浏览阅读6.8k次，点赞12次，收藏125次。1. 单目相机标定引言相机标定已经研究多年，标定的算法可以分为基于摄影测量的标定和自标定。其中，应用最为广泛的还是张正友标定法。这是一种简单灵活、高鲁棒性、低成本的相机标定算法。仅需要一台相机和一块平面标定板构建相机标定系统，在标定过程中，相机拍摄多个角度下（至少两个角度，推荐10~20个角度）的标定板图像（相机和标定板都可以移动），即可对相机的内外参数进行标定。下面介绍张氏标定法（以下也这么称呼）的原理。原理相机模型和单应矩阵相机标定，就是对相机的内外参数进行计算的过程，从而得到物体到图像的投影_相机-投影仪标定

Wayland架构、渲染、硬件支持-程序员宅基地

文章浏览阅读2.2k次。文章目录Wayland 架构Wayland 渲染Wayland的硬件支持简述：　翻译一篇关于和 wayland 有关的技术文章, 其英文标题为Wayland Architecture .Wayland 架构若是想要更好的理解 Wayland 架构及其与 X (X11 or X Window System) 结构；一种很好的方法是将事件从输入设备就开始跟踪, 查看期间所有的屏幕上出现的变化。这就是我们现在对 X 的理解。内核是从一个输入设备中获取一个事件，并通过 evdev 输入_wayland