machine learning(13) -- solving the problem of overfitting:regularization_weixin_30528371的博客-程序员宅基地

solving the problem of overfitting:regularization

 

  • 发生的在linear regression上面的overfitting问题

 

  • 发生在logistic regression上面的overfitting

  • 怎么解决overfitting

  • regularization: cost function of linear regression

    • parameters小的话,这样hypothesis就会变得简单,这样就不会overfitting
    • 一般不会对θ0进行regularization
    • 上式是进行regularization的linear regression的cost function,要使上式的值取最小值

 

  •  对这个cost function 的分析

                 

    • 由两个式子(两个目标)组成,第一个式子是为了对trainning data更好的拟合(fitting the training data),第二个式子是为了避免overfitting
    • 第二个式子叫regularization term, λ叫regularization parameter, λ是为了平衡两个目标用的
    • 如果 λ非常大的话(这时θ1n几乎为0,hypothesis变得很简单,只有常数),就会出现underfitting,对trainning data/ new data很低的fitting
    • 所以并不是regularization在任何情况下(当 λ非常大的情况下),都能使model更适应new data或者training data
    • The regularization term puts a penalty on the cost J,随着模型参数的增多,the penalty increases as well.


            

 

转载于:https://www.cnblogs.com/yan2015/p/4844930.html

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/weixin_30528371/article/details/97582201

智能推荐

python - socket - connection_weixin_30788239的博客-程序员宅基地

前面有了TCP server和TCP client。在这个文章中我们建立tcp连接并且进行数据的发送。例子,经常用到的echo功能。TCP client连接到server, 向server发送message,server端收到消息打印,并将消息返回给client。server端代码:import socketimport sysdef start_tcp_server(...

工业4.0升级,从拥有3D电子产品目录开始!_卡卡·卡第那思的博客-程序员宅基地

时代在变,电子产品目录正在帮助制造商在数字时代发展业务并满足客户。自从制造商开始采用在线电子产品目录向客户提供3D CAD模型开始,整个行业发生了迅速的变化。今天,各行各业的企业都在利用技术向数字化友好的商业模式转型。然而遗憾的是,制造业并没有像其他行业那样迅速地接受数字革命。很显然,当一部分传统制造商无法给他们的客户提供他们所需要的产品数据时,他们的客户就会转向能为他们提供即时3D CAD模...

笔记整理英语篇(二) - 日常词汇_chuofei7203的博客-程序员宅基地

thumbs down大拇指朝下//表示不赞成glove手套limit限制raincoat雨衣remote摇控器//例如空调遥控器straw吸管flour面粉cereals谷物nod点头sugar糖exactly的的确确swap交换extra额外的confirm确认...

mysql left原理_SQL中 left join 的底层原理_麓雍的博客-程序员宅基地

介绍left join的实现效果就是保留左表的全部信息,将右表往左表上拼接,如果拼不上则为NULL。除了left join以外,还有inner join、outer join、right join等,文章不介绍其他连接的具体效果,主要讲解join的底层原理是如何实现的?具体效果是怎样呈现的?只有懂得了底层原理,才能更好的写出性能优越的SQL脚本,提高SQL的执行速度。join主要有3种方式,具体为...

日容纷纷无法_4月16!的博客-程序员宅基地

<div id="article_content" class="article_content clearfix"> <link rel="stylesheet" href="https://csdnimg.cn/release/blogv2/dist/mdeditor/css/editerView/ck_htmledit_views-1a85854398.css"> <div id="content_views" class=...

html 滚动图片代码_Johnyuzhang的博客-程序员宅基地

下面的图片滚动代码仅用于html网页中,分别可以向上向下向左向右的滚动!把下面此代码插入html网页的< /body>中就可以了![code="java"] var speed=30 //这个是速度值越大速度越慢butong_net_top2.innerHTML=butong_net_top1.innerHTML ...

随便推点

Pairs Forming LCM LightOJ - 1236[数论+组合计数]_黑夜和白天的博客-程序员宅基地

题目大意就是问你从1到n里面有多少对数的LCM(i,j)=nLCM(i,j)=nLCM(i,j)=n我们知道i和j是n的约数i和j是n的约数i和j是n的约数,那么我们就可以将n进行质因子分解LCM是每个质数的指数取max,然后在组合一下就可以了#include <iostream>#include <cstdio>#include <stack>#include <sstream>#include <vector>#includ.

WUBI 安装常见问题FAQ_小鱼儿LY的博客-程序员宅基地

第十四个问题 有关win7下如何恢复wubi ubuntu 步骤如下 我已经测试过1.把安装ubuntu->winboot文件夹下wubidr和wubidr.mbr两个文件拷到C盘根目录下2.在“运行”中输入cmd到命令提示在命令界面bcdedit /create /d "Ubuntu" /application bootsector cmd会有回显,类似如下格式

live555学习之二RTSP协议说明_gp410863881的博客-程序员宅基地

RTSP协议 是一种基于C/S架构的并用于双方通信约定的流媒体协议。全称实时流协议(Real Time Streaming Protocol). 集成了网络实时控制、数据传输接收功能。客户端遵循协议发送指令控制多媒体的资源的功能如播放、暂停、停止、获取多媒体信息熟悉功能。一:框架协议层次RTSP协议遵循TCP/IP协议, 从协议分层模型方面来讲,TCP/IP由四个层次组成:网络接口层、

【Qt开发】V4L2 API详解 Buffer的准备和数据读取_weixin_30628801的博客-程序员宅基地

前面主要介绍的是:V4L2 的一些设置接口,如亮度,饱和度,曝光时间,帧数,增益,白平衡等。今天看看V4L2 得到数据的几个关键ioctl,Buffer的申请和数据的抓取。1. 初始化 Memory Mapping 或 User Pointer I/O.申请数据Buffer。...

CSS之flex布局_Volatileflow的博客-程序员宅基地

什么是flex布局Flexbox布局,又称Flex布局,弹性盒子布局,就是用来为盒装模型提供最大的灵活性。Flex布局的主要思想是使父容器能够调节子元素的宽度和高度(以及排列顺序),从而能最好的填充可用空间(主要是为了适用所有类型的显示设备和屏幕尺寸)。Flex容器能够放大子元素使之尽可能的填充可用空间,也可以收缩子元素使之不溢出采用flex布局的元素称为flex容器,它的所有子元素都称为flex项目,就是容器的成员flex容器属性1、flex-directionflex-direction决定.

python ai应用开发_AI应用开发实战 - 从零开始搭建macOS开发环境_weixin_29699433的博客-程序员宅基地

AI应用开发实战 - 从零开始搭建macOS开发环境联系我们[email protected]零、前提条件一台能联网的电脑,使用macOS操作系统请确保鼠标、键盘、显示器都是好的一、工具介绍Viusal Studio codeVisual Studio Code 是微软继Visual Studio 宇宙第一IDE后出品的又一利器,是一款完全免费的文本编辑器。Visual Stu...