机器学习第一课：微积分原理的多元扩展_您的 hessian 矩阵不是对称矩阵-程序员宅基地

中学开始，我们学过一元自变量的求导。但实际应用上往往需要多自变量求导。多元参数的思考方式也是化“未知为已知”的思想，我们可以将所有多元参数向量化。例如将多元的参数 $x_1,x_2,...$ 变成一个向量变元 $x=（x_1,x_2,...）$ 。这样从形式上又回到了我们熟悉的一元问题。后面提到多元函数参数时基本都用向量转化方法。

一、从一元参数的函数求导到多元参数的函数求导

多元参数常常用向量表示，所以这里的表层含义就是相当于对向量求导。
1.1 $f(x)$ 对向量x的一阶导数（这里x是向量）

f' (x) : g (x) = \nabla f (x) = \partial f ( x ) \partial x = ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ \partial f ( x ) \partial x 1 \partial f ( x ) \partial x 2 : : ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥

$f'(x): g(x)=\nabla f(x)=\frac{\partial f(x)}{\partial x} = \begin{bmatrix} \frac{\partial f(x)}{\partial x_1} \\ \frac{\partial f(x)}{\partial x_2}\\ :\\ :\\ \end{bmatrix}$
1.2

f(x) $f(x)$ 对向量x的二阶导数（这里x是向量）

f'' (x) : H (x) = \nabla 2 f (x) = ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ \partial 2 f ( x ) \partial x 2 1 \partial 2 f ( x ) \partial x 2 \partial x 1 : \partial 2 f ( x ) \partial x 1 \partial x 2 . . . . . . ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥

$f''(x): H(x)=\nabla^2 f(x) = \begin{bmatrix} \frac{\partial^2f(x)}{\partial{x_1^2}} & \frac{\partial^2f(x)}{\partial{x_1}\partial{x_2}}& ... \\ \frac{\partial^2f(x)}{\partial{x_2}\partial{x_1}}& ...\\ :\\ \end{bmatrix}$
这个矩阵就是Hessian矩阵(工程上它一般是个对称矩阵，下面我们按照对称矩阵处理)，下面两个常用二级公式
若向量a与向量x无关，则

\partial a T x \partial x = a

$\frac{\partial a^T x}{\partial x}=a$
若矩阵A与向量x无关，则

\partial x T A x \partial x = 2 A x

$\frac{\partial x^TA x}{\partial x}=2Ax$

二、从一元参数的泰勒展开求导到多元参数的泰勒展开

一元函数的泰勒展开：

f (x k + δ) = f (x k) + f' (x k) δ + 1 2 f'' (x k) δ 2 + \dots + 1 k ! f (k) (x k) δ k + \dots

$f(x_k+\delta) = f(x_k)+f'(x_k)\delta+\frac{1}{2}f''(x_k)\delta^2+\cdots+\frac{1}{k!}f^{(k)}(x_k)\delta^k+\cdots$
那么多元参数（向量）的泰勒展开呢？
向量的泰勒展开：

f (x k + δ) \approx f (x k) + g T (x k) δ + 1 2 δ T H (x k) δ

$f(x_k+\delta) \approx f(x_k)+g^T(x_k)\delta+\frac{1}{2}\delta^T H(x_k)\delta$
g函数，H函数来自上面一中的式子。因为没有完全展开所以是约等于。

三、极值问题

一元参数的极值问题在高中被虐过很多次了吧。。。非边界连续点的极值问题有一套固定的套路，求导=0，将解得的点代入二阶导判断正负
负：极大值；
正：极小值；
0：鞍点，不能判断。

多元参数的函数呢？
同样首先算导数g(x)=0，求得点，然后将解代入Hessian矩阵判断是否是正定矩阵。
正定：极小值
负定：极大值
不定：不能判断。

四、梯度下降法与拟牛顿法

我们如果真的这么求，面临的问题会特别多。鞍点，无解等问题纷纷出现，兼职搞死宝宝了。工业上为了解决这种情况常用约束优化迭代法。就是我们常说的梯度下降法与拟牛顿法。由于这部分十分重要，我将用新文章加以整理。

说明

一、Hessian矩阵可能不是对称矩阵

上面挖了一个坑，这里有一个Hessian矩阵

⎡ ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ \partial 2 f ( x ) \partial x 2 1 \partial 2 f ( x ) \partial x 2 \partial x 1 : : \partial 2 f ( x ) \partial x 1 \partial x 2 . . . . . . ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥

$\begin{bmatrix} \frac{\partial^2f(x)}{\partial{x_1^2}} & \frac{\partial^2f(x)}{\partial{x_1}\partial{x_2}}& ...& \\ \frac{\partial^2f(x)}{\partial{x_2}\partial{x_1}}& ...\\ :\\ : \end{bmatrix}$
按直觉考虑，这应该是个对角矩阵。但直觉这个东西一般靠不住。我们国内通行高数教材上有个“偏导顺序可换的充分不必要条件”

如果函数z=f(x,y)在区域内连续,则下面公式的两个二阶混合偏导数相等才成立：

\partial 2 f ( x , y ) \partial x \partial y = \partial 2 f ( x , y ) \partial y \partial x

$\frac{\partial^2f(x,y)}{\partial{x}\partial{y}}= \frac{\partial^2f(x,y)}{\partial{y}\partial{x}}$

这就很尴尬了，Hassion矩阵看来不一定是对称矩阵。如果要强调Hassion矩阵是不是对称矩阵还要判断是否连续。我们多余判断这一步有没有意义呢？

二、对称矩阵

性质：这里对称矩阵的特征值都是实数。

向量求二阶导举例时，发现结果就三种可能：正定矩阵，负定矩阵，不定矩阵。
我们是不是忘了什么东西？对，复数。Hassion矩阵如果变成反对阵矩阵就直接悲剧了。

[11 - 1 1] \to λ 1 = 1 + i, λ 2 = 1 - i

$\begin{bmatrix} 1 & -1\\ 1 & 1 \end{bmatrix} \rightarrow \lambda_1 =1+i,\lambda_2 =1-i$
这下知道工业中为什么喜欢连续了吧。原来这一章的坑是连续的判断或不连续函数的连续化。

三、鞍点问题

这个东西的确难死，我之前在刷考研数学题时，都很少见过这样的。
我的方法就是设 $G(x)=f'(x)$
然后复杂反推。这实际上相当于求三阶导了。

本文链接：https://blog.csdn.net/dajiabudongdao/article/details/52397343

原作者删帖不实内容删帖广告或垃圾文章投诉

智能推荐

如何自动校正系统时间_timesync 自动-程序员宅基地

文章浏览阅读268次。网上一些校正系统时间的方法，大多需要手动操作，有没有什么工具可以自动完成相关的操作呢？可以试试NetTime工具（http://www.timesynctool.com/）.安装该工具时会创建一个自启动服务，以后每次启动系统，它都会随之启动并自动校正系统时间。_timesync 自动

CSS：如何清除a标签之间的默认留白间距_css处理手机自动留白安全距离-程序员宅基地

文章浏览阅读2.3k次。即使我们使用了类似 *{margin: 0;padding: 0;} 这样的代码重置了浏览器默认样式,也会发现类似标签这种inline-block元素，它们之间也还存在着间距。demo:默认情况123456789101112131415_css处理手机自动留白安全距离

数据分析与数据挖掘-程序员宅基地

文章浏览阅读2.0k次，点赞14次，收藏17次。第一章、概述1.1.1数据分析：采用适当的统计分析方法对收集到的数据进行分析、概括和总结，对数据进行恰当的描述，提取出有用的信息的过程。1.1.2数据挖掘：从海量数据种通过相关的算法来发现隐藏在数据中的规律和知识的过程。1.1.3知识发现的过程1.1.4数据分析与数据挖掘的区别1.1.5数据分析与数据挖掘的联系数据-------数据分析----->信息-------数据挖掘-------->知识1.2分析与挖掘的数据类型1.3数据分析..._数据分析与数据挖掘

Python实现WOA智能鲸鱼优化算法优化XGBoost分类模型(XGBClassifier算法)项目实战_鲸鱼算法 xgboost-程序员宅基地

文章浏览阅读312次。Python实现WOA智能鲸鱼优化算法优化XGBoost分类模型(XGBClassifier算法)项目实战_鲸鱼算法 xgboost

使用android.webkit.WebView控件-程序员宅基地

文章浏览阅读3.9k次。android.webkit.WebView/WebViewClient/WebChromeClient使用android.webkit.WebView控件在xml布局文件中定义 android:id=”@+id/webkit01” android:layout:width=”fill_parent” android:layout:height=”fill_par_android.webkit.webview

基于Matlab实现图像处理常用应用案例（附上100个案例源码）_matlab图像处理实例详解-程序员宅基地

文章浏览阅读6.5k次，点赞9次，收藏186次。基于Matlab实现图像处理常用应用案例（附上100个案例源码）_matlab图像处理实例详解

随便推点

堆&&堆排序&&加强堆&&和堆有关的题一网打尽_堆排序例题-程序员宅基地

文章浏览阅读5.4k次。2)完全二叉树中如果每颗子树的最大值都在顶部就是大根堆3)完全二叉树中如果每颗子树的最小值都在顶部就是小根堆4)堆结构的向上调整和向下调整算法向上调整向下调整5)堆结构某个元素的增大和减少6)优先级队列结构就是堆结构空树是完全二叉树,完全二叉树的性质:如果父亲下标为i : 左孩子:2*i+1 右孩子: 2*i+2如果孩子下标为i: 父亲的下标:(i-1)/2。_堆排序例题

HotSpot虚拟机-程序员宅基地

文章浏览阅读2.8k次。HotSpot VM_hotspot虚拟机

面向容器技术资源调度关键技术深度对比-程序员宅基地

文章浏览阅读1.1k次。导读：之前发布了云平台技术栈(ps:点击可查看)，本文主要说一下其中的容器调度技术！作者：阿里中间件，公众号：云栖社区本文以资源分配理念：拍卖、预算、抢占出发，引出Bor..._资源调度编排种类

Matplotlib解决多子图时的间距问题_matplotlib 子图间隔-程序员宅基地

文章浏览阅读2w次，点赞43次，收藏94次。Matplotlib解决多子图时的间距问题Create SubplotsAdjust Spacing of Subplots Using tight_layout()Adjust Spacing of Subplot TitlesAdjust Spacing of Overall Title参考链接Often you may use subplots to display multiple plots alongside each other in Matplotlib. Unfortunately, t_matplotlib 子图间隔

解决msys2“无法升级 mingw64 (无效或已损坏的数据库 (PGP 签名))”密钥失效问题_由 msys2-keyring-r21.b39fb11-1-any.pkg.tar.xz.sig 认-程序员宅基地

文章浏览阅读1.8w次，点赞14次，收藏50次。最近在使用msys2的时候，无法使用pacman -Syu进行更新，会出现如下提示：原因是密钥无法信赖(rely on)msys2-keyring密钥服务器。msys2官方提供了以下方法：# pacman-key --verify msys2-keyring-r21.b39fb11-1-any.pkg.tar.xz{.sig,}解决办法：１．下载 msys2-keyring-r21.b39fb11-1-any.pkg.tar.xz 软件包# curl -O http://repo.msys_由 msys2-keyring-r21.b39fb11-1-any.pkg.tar.xz.sig 认定的签名无法验证

Android开发中的WMS详细解析-程序员宅基地

文章浏览阅读647次。的博客地址：https://juejin.cn/user/3597257779197021介绍 WindowManagerService 简称 WMS ，是系统的核心服务，主要分为四大部分，分别是窗口管理，窗口动画，输入系统中转站和Surface 管理。WMS 的职责很多，主要的就是下面这几点：窗口管理：WMS是窗口的管理者，负责窗口的启动，添加和删除，另外窗口的大小也时有 WMS 管理的，管理..._android windowmanagerpolicy详解