之前的三类机器学习问题分别是二分类问题,多分类问题,标量回归问题,这三者都是监督学习的例子,目标是学习训练输入与训练目标之间的关系。
机器学习四个分支:监督学习,无监督学习,自监督学习,强化学习
名称 | 描述 |
---|---|
样本或输入 | 进入模型的数据点 |
预测或输出 | 从模型出来的结果 |
目标 | 真实值,对于外部数据源,理想情况下,模型应该能够预测出目标 |
预测误差或损失值 | 模型预测与目标之间的距离 |
类别 | 分类问题中供选择的一组标签,例如猫狗分类的猫或狗 |
标签 | 分类问题中类别标注的具体例子 ,比如1234号图像被标注为包含类别“狗”,狗就是1234号图像的标签 |
真值或标注 | 数据集的所有目标,通常由人工收集 |
二分类 | 一种分类任务,每个输出样本都应被分到两个互斥类别中 |
多分类 | 一种分类任务,每个输出样本都应被分到两个以上的类别中,比如手写数字分类 |
多标签分类 | 一个分类任务,每个输入样本都可以分配多个标签,比如一个图像既有猫又有狗 |
标量回归 | 目标是连续标量值的任务,预测房价就是一个很好的例子,不同的目标价格形成连续的空间 |
向量回归 | 目标是一组连续值的任务,如果对多个值进行回归,那就是向量回归 |
小批量或批量 | 模型同时处理的一小部分样本(样本数通常为8-128),样本数取2的幂,这样便于GPU的内存分配,训练时,小批量用来为模型权值计算一次梯度下降更新 |
机器学习的目的是得到可以泛化的模型,也就是在前所未有的数据上表现很好的模型,过拟合是核心难点。
训练集,验证集,测试集
在训练数据上训练模型,在验证数据上评估模型,一旦找到了最佳参数,就在测试数据上最后测试一次。
模型一定不能读取与测试集相关的任何信息,即使间接读取也不可以,如果基于测试集性能来调节模型,那么对泛化的衡量不准确。
信息泄露
每次基于模型在验证集上的性能来调节模型超参数,都会有一些关于验证数据的信息泄露在模型中,如果对每个参数只调节一次,那么泄露的信息很少,验证集仍然可以可靠地评估模型。但如果多重复这一过程(也就是运行一次实验,在验证集上评估,然后据此修改模型),那么将会有越来越多的关于验证集的信息泄露在模型中。
简单留出验证
·
num_validation_samples = 10000
#需要打乱数据
np.random.shuffle(data)
validation_ _data = data[ :num_ _validation_ _samples]
data = data[num_ _validation_ samples: ]
training_data = data[:]
model = get_model ()
model.train(training_ _data)
#在训练数据.上训练模型,
validation_score = model. evaluate (validation_data)
#并在验证数据上评估模型
#现在你可以调节模型、重新训练、评估,然后再次调节......
model = get_model()
mode.train (np . concatenate( [training_data,
validation_data] ) )
#一旦调整好超参数,通常在所有非测试数据上从头开始训练最终模型
test_ score = model . evaluate (test_data)
这是最简单的评估方法,但有一个缺点:如果可用的数据很少,那么可能验证集和测试集包含的样本就太少,从而无法在统计学上代表数据。这个问题很容易发现:如果在划分数据前进行不同的随机打乱,最终得到的模型性能差别很大,那么就存在这个问题。接下来会介绍K折
验证与重复的K折验证,它们是解决这一问题的两种方法。
k折交叉验证
K折验证( K-fold validation)将数据划分为大小相同的K个分区。对于每个分区i,在剩余的K-1个分区上训练模型,然后在分区i上评估模型。最终分数等于K个分数的平均值。对于不同的训练集-测试集划分,如果模型性能的变化很大,那么这种方法很有用。与留出验证一样,这种方法也需要独立的验证集进行模型校正。
k=4
num_validation_ samples = len(data) // k
np. random.shuffle (data)
validation_scores = []
for fold in range(k):
#选择验证数据分区
validation_data = data [num_validation_samples * fold:
num_validation_samples * (fold + 1)]
#使用剩余数据作为训练数据,注意+运算符是列表合并
training_data = data[:num_validation_samples * fold] +
data[num_validation_ samples * (fold + 1) :]
#创建一个全新的模型实例(未训练)
model = get_model ()
model.train(training_data)
validation_score = model.evaluate(validation_data)
validation_scores.append (validation_score)
#最终验证分数:k折验证分数的平均值
validation_score = np.average(validation_scores)
#在所有非测试数据上训练最终模型
model = get_model()
model.train(data)
test_score = model.evaluate(test_data)
带有打乱数据的重复k折验证
多次使用k折验证,在每次将数据划分为k个分区之前都将数据打乱,最终分数是每次k折验证分数的平均值,这种方法一共需要训练和评估p乘以k个模型(p是重复次数),计算代价很大。
评估模型注意点:
目的是使原始数据更适用于用神经网络处理,包括向量化,标准化。处理缺失值和特征提取。
向量化:
无论处理什么数据(声音,图像还是文本),都必须首先将其转换为张量,这一步叫数据向量化
值标准化:
一般来说,将取值相对较大的数据或异质数据(比如数据的一个特征在0-1范围内,另一个特征在100-200范围内)输入到神经网络中是不安全的,这么做可能导致较大的梯度更新,进而导致网络无法收敛,为了让网络的学习变得更容易,输入数据应该具有以下特征:1,取值较小:大部分值都应该在0-1范围内。2,同质性:所有特征的取值都应该在大致相同的范围内。
x -=x.mean(axis=0)
x /=x.std(axis=0)
优化:调节模型以在训练数据上得到最佳性能,泛化是指训练好的模型在前所未有的数据上的性能好坏。
训练数据上损失的越少,测试数据上的损失也越小,这时的模型是欠拟合的,即仍有改进的空间。
在训练数据上迭代一定次数之后,泛化不再提高,验证指标先是不变,然后开始变差就是模型的过拟合。
为了防止模型从训练数据中学到错误或无关紧要的模式,最优的解决方法是获取更多的训练数据,模型的训练数据越多,泛化能力自然越好,次优解决方法是调节模型允许存储的信息量,或对模型允许存储信息加以约束。
防止过拟合的最简单的方法就是减小模型大小,也就是减少模型中可学习参数的个数(这由层数和每层的单元个数决定),网络的容量越大,它拟合训练数据的速度就越快,但也更容易过拟合(训练数据和验证损失由很大差异)。
一种常见的降低过拟合的方法就是强制让模型权值只能取较小的值,从而限制模型的复杂度,这使得权重值的分布更加规则,这种方法叫权值正则化,其实现方法是向网络损失函数中添加与较大权重值相关的成本。
model = models.Sequential()
model.add(layers.Dense(64, kernel_regularizer=regularizer.l2(0.001),activation='relu', input_shape=(10000,)))
model.add(layers.Dense(64, kernel_regularizer=regularizer.l2(0.001),activation='relu'))
model.add(layers.Dense(1),activation='sigmoid')
l2(0.001)的意思是该层权重矩阵的每个系数都会使网络总损失增加0.001*weight_coefficient_value,这个惩罚项只在训练时添加,所以这个网络的训练损失会比测试损失大很多。
from tensorflow.keras import regularizers
#l1正则化
regularizers.l1(0.001)
#同时做l1和l2正则化
regularizers.l1_l2(l1=0.001,l2=0.001)
添加dropout正则化,对某一层使用dropout,就是在训练过程中随机将该层的一些输出特征舍弃(设置为0),假设在训练过程中,某一层对给定输入样本的返回值应该时向量[0.2,0.5,1.3,0.8,1.1],使用dropout后,这个向量会有几个随机的元素变成0,比如[0,0.5,1.3,0,1.1]。dropout比率也就是被设为0的特征所占的比例,通常在0.2-0.5范围内,测试时没单元被舍弃,而该层的输出值需要按dropout比率缩小,因为此时比训练时由更多单元被激活,需要加以平衡。
在每个样本中随机删除不同的部分神经元,可以阻止它们的阴谋,因此可以降低过拟合,其核心思想在层的输出值中引入噪声,打破不显著的偶然模式,如果没有噪声的话,网路将会记住这些偶然模式。
model = models.Sequential()
model.add(layers.Dense(64,activation='relu', input_shape=(10000,)))
model.add(layers.Dropout(0.5))
model.add(layers.Dense(64,activation='relu'))
model.add(layers.Dropout(0.5))
model.add(layers.Dense(1),activation='sigmoid')
总之,防止神经网络过拟合的常用方法包括:获取更多训练数据,减少网络容量,添加权重正则化,添加dropout。
文章浏览阅读2w次,点赞7次,收藏51次。四个步骤1.创建C++ Win32项目动态库dll 2.在Win32项目动态库中添加 外部依赖项 lib头文件和lib库3.导出C接口4.c#调用c++动态库开始你的表演...①创建一个空白的解决方案,在解决方案中添加 Visual C++ , Win32 项目空白解决方案的创建:添加Visual C++ , Win32 项目这......_c#调用lib
文章浏览阅读4.6k次。苹方字体是苹果系统上的黑体,挺好看的。注重颜值的网站都会使用,例如知乎:font-family: -apple-system, BlinkMacSystemFont, Helvetica Neue, PingFang SC, Microsoft YaHei, Source Han Sans SC, Noto Sans CJK SC, W..._ubuntu pingfang
文章浏览阅读159次。表单表单概述表单标签表单域按钮控件demo表单标签表单标签基本语法结构<form action="处理数据程序的url地址“ method=”get|post“ name="表单名称”></form><!--action,当提交表单时,向何处发送表单中的数据,地址可以是相对地址也可以是绝对地址--><!--method将表单中的数据传送给服务器处理,get方式直接显示在url地址中,数据可以被缓存,且长度有限制;而post方式数据隐藏传输,_html表单的处理程序有那些
文章浏览阅读1.2k次。使用说明:开启Google的登陆二步验证(即Google Authenticator服务)后用户登陆时需要输入额外由手机客户端生成的一次性密码。实现Google Authenticator功能需要服务器端和客户端的支持。服务器端负责密钥的生成、验证一次性密码是否正确。客户端记录密钥后生成一次性密码。下载谷歌验证类库文件放到项目合适位置(我这边放在项目Vender下面)https://github.com/PHPGangsta/GoogleAuthenticatorPHP代码示例://引入谷_php otp 验证器
文章浏览阅读4.3k次,点赞5次,收藏11次。matplotlib.plot画图横坐标混乱及间隔处理_matplotlib更改横轴间距
文章浏览阅读2.2k次。①Storage driver 处理各镜像层及容器层的处理细节,实现了多层数据的堆叠,为用户 提供了多层数据合并后的统一视图②所有 Storage driver 都使用可堆叠图像层和写时复制(CoW)策略③docker info 命令可查看当系统上的 storage driver主要用于测试目的,不建议用于生成环境。_docker 保存容器
文章浏览阅读834次,点赞27次,收藏13次。网络拓扑结构是指计算机网络中各组件(如计算机、服务器、打印机、路由器、交换机等设备)及其连接线路在物理布局或逻辑构型上的排列形式。这种布局不仅描述了设备间的实际物理连接方式,也决定了数据在网络中流动的路径和方式。不同的网络拓扑结构影响着网络的性能、可靠性、可扩展性及管理维护的难易程度。_网络拓扑csdn
文章浏览阅读1.8k次,点赞5次,收藏8次。IOS系统Date的坑要创建一个指定时间的new Date对象时,通常的做法是:new Date("2020-09-21 11:11:00")这行代码在 PC 端和安卓端都是正常的,而在 iOS 端则会提示 Invalid Date 无效日期。在IOS年月日中间的横岗许换成斜杠,也就是new Date("2020/09/21 11:11:00")通常为了兼容IOS的这个坑,需要做一些额外的特殊处理,笔者在开发的时候经常会忘了兼容IOS系统。所以就想试着重写Date函数,一劳永逸,避免每次ne_date.prototype 将所有 ios
文章浏览阅读5.3k次。方法一:用PLSQL Developer工具。 1 在PLSQL Developer的sql window里输入select * from test for update; 2 按F8执行 3 打开锁, 再按一下加号. 鼠标点到第一列的列头,使全列成选中状态,然后粘贴,最后commit提交即可。(前提..._excel导入pl/sql
文章浏览阅读83次。Git常用命令速查手册1、初始化仓库git init2、将文件添加到仓库git add 文件名 # 将工作区的某个文件添加到暂存区 git add -u # 添加所有被tracked文件中被修改或删除的文件信息到暂存区,不处理untracked的文件git add -A # 添加所有被tracked文件中被修改或删除的文件信息到暂存区,包括untracked的文件...
文章浏览阅读202次。分享119个ASP.NET源码总有一个是你想要的_千博二手车源码v2023 build 1120
文章浏览阅读1.8k次。版权声明:转载请注明出处 http://blog.csdn.net/irean_lau。目录(?)[+]1、缺省构造函数。2、缺省拷贝构造函数。3、 缺省析构函数。4、缺省赋值运算符。5、缺省取址运算符。6、 缺省取址运算符 const。[cpp] view plain copy_空类默认产生哪些类成员函数