感知机算法原理及matlab代码实现-统计学习方法学习笔记_感知机matlab代码说明-程序员宅基地

前言

感知机（perceptron）是二分类的线性分类模型，输入实例数据，输出为实例的类别，分别取+1，-1二值。属于判别模型，感知机学习旨在求出将训练数据进行线性划分的分离超平面，其实现原理主要基于误分类的损失函数，利用梯度下降算法对损失函数进行极小化。感知机1957年由Rosenblatt提出，是神经网络与支持向量机的基础。

优点：简单易于实现。不需要太高的数学基础与编程技巧。

缺点：线性模型，不能表达复杂函数。

感知机模型

感知机有如下几何解释：线性方程

w * x + b = 0

对于特征空间 $R^{n}$ 中的一个超平面S，其中w是超平面的发平面，b是超平面的截距。这个超平面将特征空间划分为两个部分。位于两部分的点（特征向量）分别呗分成正,负两类。因此，超平面S被称为分离超平面（separating hyperplane）,如图2.1所示

感知机学习，由训练数据集

T={( $x_{1}^{},y_{1}^{}$ ),( $x_{2}^{},y_{2}^{}$ ), $\cdot \cdot \cdot$ ,( $x_{n}^{},y_{n}^{}$ )}

其中， $x_{i}\epsilon \chi = R^{n},y_{i}\epsilon ={+1,-1},i=1,2,\cdot \cdot \cdot ,N$ ,求得感知机模型即求得模型参数w,b。感知机预测，通过学习得到的感知机模型，对于新的输入实例给出其对应的输出类别。

2.感知机学习算法

2.1感知机学习算法的原始形式

感知机学习算法是对以下最优化问题的算法。给定一个训练数据集

T={( $x_{1}^{},y_{1}^{}$ ),( $x_{2}^{},y_{2}^{}$ ), $\cdot \cdot \cdot$ ,( $x_{n}^{},y_{n}^{}$ )}

其中， $x_{i}\epsilon \chi = R^{n},y_{i}\epsilon ={+1,-1},i=1,2,\cdot \cdot \cdot ,N$ ，求参数w,b使其为以下损失函数极小化问题的解:

${min_{w,b}}L(w,b)=-\sum_{x\epsilon M }{y_i(w\cdot x_i +b)}^{}$

其中M为误分类点的集合。

关于极小化损失函数为什么这么写，你可以这么考虑，当分类点w*x+b结果与yi结果相同时，即分类正确时对极小化函数是正贡献的，而分类点结果与实际分类，结果不同时，即分类不准确时，对于极小化函数时负贡献的。所以损失函数设计成这样是合理的。

感知机算法是以误分类驱动，具体采用随机梯度下降算法:

以下为算法大概步骤：

1.首先计算损失函数梯度：

$\bigtriangledown _wL(w,b)=-\sum_{x_i\epsilon M}{y_ix_i}$

$\bigtriangledown _bL(w,b)=-\sum_{x_i\epsilon M}{y_i}$

其中M为误分类点集合。

2.随机选取一个误分类点（xi,yi），对w,b进行更新：

$w\leftarrow w+\eta y_ix_i$

$b\leftarrow b+\eta y_i$

式中 $\eta$ （ $0<\eta \leq 1$ ）是步长，在统计学习中又称为学习率（learning rate）。这样，通过迭代可以期待损失函数L(w,b)不断减小，直到0.综上所述可以得到最终的感知机算法：

算法（感知机学习算法）

输入：训练集 T={( $x_{1}^{},y_{1}^{}$ ),( $x_{2}^{},y_{2}^{}$ ), $\cdot \cdot \cdot$ ,( $x_{n}^{},y_{n}^{}$ )} ，其中 $x_i\epsilon \chi =R^n,y_i\epsilon \gamma =\left \{ -1,+1 \right \},i=1,2,\cdot \cdot \cdot ,N;$ 学习率 $\eta \left ( 0<\eta \leq 1 \right )$ ;

输出：w,b;感知机模型 $f\left ( x \right )=sign\left ( w\cdot x+b \right )$ .

(1)选取初值 $w_0,b_0$ ;

(2)在训练集中选取数据 $\left ( x_i,y_i \right )$ ;

(3)如果 $y_i\left ( w\cdot x_i+b \right )\leq 0$ ；

$w\leftarrow w+\eta y_ix_i$

$b\leftarrow b+\eta y_i$

（4）转至（2），直至训练集中没有误分类点。

这种学习算法直观上可以理解成：一个点被误分类，但是你根据误分类点调整w,b值使得分力超平面向该误分类点的一侧移动，减少了误分类点与超平面间的距离。如此反复直至超平面越过该误分类点使得其被正确分类。

3.matlab代码实现

matlab代码如下：

function [y1,w,b]= Perceptual_machine(x,y,s,x1,w,b)
%%
%x:训练的数据集。
%y:分类的结果;
%s:学习的速率（0<s<=1）
%x1:待分类的数据
%w,b初始的w，b
%应用：二分类；
%%
[row,col]=size(x);
if  nargin==4
    w=zeros(1,col);
    b=0;
end
cs_f=zeros(1,row);
while 1
    for i=1:row
        cs_f(i)=(sum(w.*x(i,:))+b)*y(i);
    end
    change_num=find(cs_f<=0);
    if isempty(change_num)
        break;
    end
    i=randperm(length(change_num),1);
    w=w+s*y(change_num(i))*x(change_num(i),:);
    b=b+b+s*y(change_num(i));
end
[row1,~]=size(x1);
y1=zeros(1,row1);
for i=1:row1
y1(i)=sign(sum(w.*x1(i,:))+b);
end

对书上例题进行函数调用:

clc,clear

x=[3,3;4,3;1,1];
y=[1 1 -1];
s=1;
x1=[2,2];
w0=0;
b0=0;
Perceptual_machine(x,y,s,s,w0,b0)

其中：x为训练集，y为分类结果，s为学习率，x1为待分类数据集，w0,b0为w,b的初始值。观察每次迭代的w与b的结果发现与书中一致。

这里粘贴书中的结果：

本文链接：https://blog.csdn.net/weixin_42559124/article/details/102824303

原作者删帖不实内容删帖广告或垃圾文章投诉

智能推荐

oracle 12c 集群安装后的检查_12c查看crs状态-程序员宅基地

文章浏览阅读1.6k次。安装配置gi、安装数据库软件、dbca建库见下：http://blog.csdn.net/kadwf123/article/details/784299611、检查集群节点及状态：[root@rac2 ~]# olsnodes -srac1 Activerac2 Activerac3 Activerac4 Active[root@rac2 ~]_12c查看crs状态

解决jupyter notebook无法找到虚拟环境的问题_jupyter没有pytorch环境-程序员宅基地

文章浏览阅读1.3w次，点赞45次，收藏99次。我个人用的是anaconda3的一个python集成环境，自带jupyter notebook，但在我打开jupyter notebook界面后，却找不到对应的虚拟环境，原来是jupyter notebook只是通用于下载anaconda时自带的环境，其他环境要想使用必须手动下载一些库：1.首先进入到自己创建的虚拟环境(pytorch是虚拟环境的名字)activate pytorch2.在该环境下下载这个库conda install ipykernelconda install nb__jupyter没有pytorch环境

国内安装scoop的保姆教程_scoop-cn-程序员宅基地

文章浏览阅读5.2k次，点赞19次，收藏28次。选择scoop纯属意外，也是无奈，因为电脑用户被锁了管理员权限，所有exe安装程序都无法安装，只可以用绿色软件，最后被我发现scoop，省去了到处下载XXX绿色版的烦恼，当然scoop里需要管理员权限的软件也跟我无缘了（譬如everything）。推荐添加dorado这个bucket镜像，里面很多中文软件，但是部分国外的软件下载地址在github，可能无法下载。以上两个是官方bucket的国内镜像，所有软件建议优先从这里下载。上面可以看到很多bucket以及软件数。如果官网登陆不了可以试一下以下方式。_scoop-cn

Element ui colorpicker在Vue中的使用_vue el-color-picker-程序员宅基地

文章浏览阅读4.5k次，点赞2次，收藏3次。首先要有一个color-picker组件 <el-color-picker v-model="headcolor"></el-color-picker>在data里面data() { return {headcolor: ’ #278add ’ //这里可以选择一个默认的颜色} }然后在你想要改变颜色的地方用v-bind绑定就好了，例如：这里的:sty..._vue el-color-picker

迅为iTOP-4412精英版之烧写内核移植后的镜像_exynos 4412 刷机-程序员宅基地

文章浏览阅读640次。基于芯片日益增长的问题，所以内核开发者们引入了新的方法，就是在内核中只保留函数，而数据则不包含，由用户（应用程序员）自己把数据按照规定的格式编写，并放在约定的地方，为了不占用过多的内存，还要求数据以根精简的方式编写。boot启动时，传参给内核，告诉内核设备树文件和kernel的位置，内核启动时根据地址去找到设备树文件，再利用专用的编译器去反编译dtb文件，将dtb还原成数据结构，以供驱动的函数去调用。firmware是三星的一个固件的设备信息，因为找不到固件，所以内核启动不成功。_exynos 4412 刷机

Linux系统配置jdk_linux配置jdk-程序员宅基地

文章浏览阅读2w次，点赞24次，收藏42次。Linux系统配置jdkLinux学习教程，Linux入门教程（超详细）_linux配置jdk

随便推点

matlab(4)：特殊符号的输入_matlab微米怎么输入-程序员宅基地

文章浏览阅读3.3k次，点赞5次，收藏19次。xlabel('\delta');ylabel('AUC');具体符号的对照表参照下图：_matlab微米怎么输入

C语言程序设计-文件(打开与关闭、顺序、二进制读写)-程序员宅基地

文章浏览阅读119次。顺序读写指的是按照文件中数据的顺序进行读取或写入。对于文本文件，可以使用fgets、fputs、fscanf、fprintf等函数进行顺序读写。在C语言中，对文件的操作通常涉及文件的打开、读写以及关闭。文件的打开使用fopen函数，而关闭则使用fclose函数。在C语言中，可以使用fread和fwrite函数进行二进制读写。‍ Biaoge 于2024-03-09 23:51发布阅读量：7 ️文章类型：【 C语言程序设计】在C语言中，用于打开文件的函数是____，用于关闭文件的函数是____。

Touchdesigner自学笔记之三_touchdesigner怎么让一个模型跟着鼠标移动-程序员宅基地

文章浏览阅读3.4k次，点赞2次，收藏13次。跟随鼠标移动的粒子以grid（SOP）为partical（SOP）的资源模板，调整后连接【Geo组合+point spirit（MAT)】，在连接【feedback组合】适当调整。影响粒子动态的节点【metaball(SOP)+force(SOP)】添加mouse in（CHOP)鼠标位置到metaball的坐标，实现鼠标影响。..._touchdesigner怎么让一个模型跟着鼠标移动

【附源码】基于java的校园停车场管理系统的设计与实现61m0e9计算机毕设SSM_基于java技术的停车场管理系统实现与设计-程序员宅基地

文章浏览阅读178次。项目运行环境配置：Jdk1.8 + Tomcat7.0 + Mysql + HBuilderX（Webstorm也行）+ Eclispe（IntelliJ IDEA,Eclispe,MyEclispe,Sts都支持）。项目技术：Springboot + mybatis + Maven +mysql5.7或8.0+html+css+js等等组成，B/S模式 + Maven管理等等。环境需要1.运行环境：最好是java jdk 1.8，我们在这个平台上运行的。其他版本理论上也可以。_基于java技术的停车场管理系统实现与设计

Android系统播放器MediaPlayer源码分析_android多媒体播放源码分析时序图-程序员宅基地

文章浏览阅读3.5k次。前言对于MediaPlayer播放器的源码分析内容相对来说比较多，会从Java-&amp;gt;Jni-&amp;gt;C/C++慢慢分析，后面会慢慢更新。另外，博客只作为自己学习记录的一种方式，对于其他的不过多的评论。MediaPlayerDemopublic class MainActivity extends AppCompatActivity implements SurfaceHolder.Cal..._android多媒体播放源码分析时序图

java 数据结构与算法 ——快速排序法-程序员宅基地

文章浏览阅读2.4k次，点赞41次，收藏13次。java 数据结构与算法 ——快速排序法_快速排序法