技术标签: 算法 黑马程序员 机器学习 深度学习 KNN 贝叶斯
回顾传统机器学习算法流程:
总结本章内容: 1.KNN算法用于小型数据集的分类 2.朴素贝叶斯用于特征于特征之间关系不强的算法,比如文本的分类 3.决策树算法用于大型的数据集中
Day1的时候我们学习了获取数据,特征工程。(Day1中我们并没有没有使用到数据处理,因为我们的数据都是来自sklearn官方的数据库,这个数据库基本都是完整的,直接调用就行了)
转换器作用: 进行特征工程的父类 (Transformer) 调用:fit_transform来完成数据的处理
需要注意的点:fit_transform = fit + transform
Fit(): Method calculates the parameters μ and σ and saves them as internal objects.
解释:简单来说,就是求得训练集X的均值啊,方差啊,最大值啊,最小值啊这些训练集X固有的属性。计算mean, std数值,可以理解为一个训练过程
Transform(): Method using these calculated parameters apply the transformation to a particular dataset.
解释:计算公式:(x-mean)/std ,在Fit的基础上,将mean和std的数值带入,进行标准化,所以transform前需要fit这一步;降维,归一化等操作(看具体用的是哪个工具,如PCA,StandardScaler等)。
实例化过程中需要注意的点,训练集x_train使用fit_transform,而测试集只需要使用transform,不用fit(因为它需要统一方差,均值这些标准)
transfer = StandardScaler()
x_train = transfer.fit_transform(x_train)
x_test = transfer.transform(x_test) #这里不是用fit_transform,因为要统一标准
预估器作用: 对数据进行训练的父类(estimator)
预估器,顾名思义,就说进行预测这步的函数。(我们的目的就是说输入一个东西(比如猫狗的图片),他能够进行预测这个东西是什么)
注意的点:前面转换器我们有使用fit_transform和transform,而在预估器这里,我们只使用fit,而不用transform。
模型评估: 方法1:直接比对真实值和预测值 y_predict = estimator.predict(x_test) 方法2:计算准确率,计算分数 accuracy = estimator.score(x_test, y_test)
讲完预估器后,我们来学习一下KNN分类算法。
简单来讲,就是我越靠近谁,我就和他归为一类。
比如我们已知A,B,C,D分别为4个象限的点,我们要判断点E为哪个象限,我们就计算E到点A,B,C,D四个点的距离来判断,因为它最靠近点A,所以我们将E归为第一象限。(这是K=1的情况)
K=1就容易受到异常点的影响,如下图所示,E离第四象限的D比较近,因此我们判定E为第四象限的点。
所以K=1就容易受到异常点的影响。
因此我们一般K会适当的调整,但是如果K太大,会受到样本不均衡的影响。
我们以鸢尾花种类预测作为KNN算法的案例: 1)获取数据 2)数据集划分 3)特征工程——标准化 4)KNN预估器流程 5)模型评估
def knn_iris():
"""
用KNN算法对鸢尾花进行分类
:return:
流程:
1.获取数据
2.数据集划分
3.特征工程, 标准化
4.KNN预估器流程
5.模型评估
"""
# 1)获取数据
iris = load_iris()
# 2)划分数据集
x_train, x_test, y_train, y_test = train_test_split(iris.data, iris.target, random_state=22)#random_state 随机数种子
# 3)特征工程:标准化
transfer = StandardScaler()
x_train = transfer.fit_transform(x_train)
x_test = transfer.transform(x_test) #这里不是用fit_transform,因为要统一标准
#x_train和x_test需要使用同一个标准差和方差进行计算。fit是用于计算标准差和方差,因为要和train一致
#因此test这里不用fit
# 4)KNN算法预估器
estimator = KNeighborsClassifier(n_neighbors=3) #n_neighbors 就是K的数值
#注意:这里只使用到了fit,就是相当于训练,输入训练集的输入x和训练集的目标值y
estimator.fit(x_train, y_train)
# 5)模型评估
# 方法1:直接比对真实值和预测值
y_predict = estimator.predict(x_test)
print("y_predict:\n", y_predict)
print("直接比对真实值和预测值:\n", y_test == y_predict)
# 方法2:计算准确率
score = estimator.score(x_test, y_test)
print("准确率为:\n", score)
return None
交叉验证:即将原来的训练集再拆分成训练集和验证集
数据集本应分成三份,1.训练集,2,验证集, 3.测试集, 只不过我们一般都去掉了中间的验证集。
交叉验证多一个验证集后,我们可以通过截取不同片段作为验证集,然后通过求平均准确率作为模型的准确率。
网格搜索: 比如KNN算法,K的取值对最后评判是有影响的,我们如何选取一个最佳的结果呢? 可以使用暴力检索的方式,也就是一个一个K值去测试。我们设置一个K值表,然后一个个的去测试哪一个K值好。
def knn_iris_gscv():
"""
用KNN算法对鸢尾花进行分类,添加网格搜索和交叉验证
:return:
"""
# 1)获取数据
iris = load_iris()
# 2)划分数据集
x_train, x_test, y_train, y_test = train_test_split(iris.data, iris.target, random_state=22)
# 3)特征工程:标准化
transfer = StandardScaler()
x_train = transfer.fit_transform(x_train)
x_test = transfer.transform(x_test)
# 4)KNN算法预估器
estimator = KNeighborsClassifier()
# 加入网格搜索与交叉验证
# 参数准备
param_dict = {
"n_neighbors": [1, 3, 5, 7, 9, 11]}
estimator = GridSearchCV(estimator, param_grid=param_dict, cv=10) # 验证集
estimator.fit(x_train, y_train)
# 5)模型评估
# 方法1:直接比对真实值和预测值
y_predict = estimator.predict(x_test)
print("y_predict:\n", y_predict)
print("直接比对真实值和预测值:\n", y_test == y_predict)
# 方法2:计算准确率
score = estimator.score(x_test, y_test)
print("准确率为:\n", score)
# 最佳参数:best_params_
print("最佳参数:\n", estimator.best_params_)
# 最佳结果:best_score_
print("最佳结果:\n", estimator.best_score_)
# 最佳估计器:best_estimator_
print("最佳估计器:\n", estimator.best_estimator_)
# 交叉验证结果:cv_results_
print("交叉验证结果:\n", estimator.cv_results_)
return None
和前面KNN算法相比,就是多了GridSearchCV函数。
# 参数准备
param_dict = {
"n_neighbors": [1, 3, 5, 7, 9, 11]}
estimator = GridSearchCV(estimator, param_grid=param_dict, cv=10) # 验证集
estimator.fit(x_train, y_train)
算法步骤: 1.获取数据 2.数据处理(之前使用sklearn库的时候,都没有这步筛选数据这步) 3.特征工程 4.训练 5.模型评估
主要和鸢尾花KNN不同的在于,这里的数据需要自己处理
自己提的需求:选择 2<x<2.5, 1<y<1.5,一个地方的签到次数需要>3次,将时间戳转成年月日的形式
import pandas as pd
# 数据集划分
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.neighbors import KNeighborsClassifier
from sklearn.model_selection import GridSearchCV
#因为是导入csv数据文件,所以使用Pandas库来进行处理。
# 1、获取数据
data = pd.read_csv("./FBlocation/train.csv") #看你自己train.csv在哪一个文件夹中
#数据处理(筛选数据)
# 1)缩小数据范围 data.query
data = data.query("x < 2.5 & x > 2 & y < 1.5 & y > 1.0")
# 2)处理时间特征 to_datetime
time_value = pd.to_datetime(data["time"], unit="s") #将其转换成年月日
date = pd.DatetimeIndex(time_value) #要把数据插入到列表中
#将时间数据插入data中
data["day"] = date.day
data["weekday"] = date.weekday
data["hour"] = date.hour
# 3)过滤签到次数少的地点
#这里groupuby 计算的是place_id相同的, 其他row_id那些全部都是一样的数
place_count = data.groupby("place_id").count()["row_id"]
#place_count > 3 这里输出的是满足条件的布尔值,True和False
place_count[place_count > 3].head()
data_final = data[data["place_id"].isin([place_count > 3].index.values)] #去取出place_count>3的索引,然后data[index],将那些数值取出
# 筛选特征值和目标值,将原本数据转成特征和目标值
x = data_final[["x", "y", "accuracy", "day", "weekday", "hour"]]
y = data_final["place_id"]
#特征工程
x_train, x_test, y_train, y_test = train_test_split(x, y)
# 3)特征工程:标准化
transfer = StandardScaler()
x_train = transfer.fit_transform(x_train)
x_test = transfer.transform(x_test)
# 4)KNN算法预估器
estimator = KNeighborsClassifier()
# 加入网格搜索与交叉验证
# 参数准备
param_dict = {
"n_neighbors": [3, 5, 7, 9]}
estimator = GridSearchCV(estimator, param_grid=param_dict, cv=3)
estimator.fit(x_train, y_train)
# 5)模型评估
# 方法1:直接比对真实值和预测值
y_predict = estimator.predict(x_test)
print("y_predict:\n", y_predict)
print("直接比对真实值和预测值:\n", y_test == y_predict)
# 方法2:计算准确率
score = estimator.score(x_test, y_test)
print("准确率为:\n", score)
# 最佳参数:best_params_
print("最佳参数:\n", estimator.best_params_)
# 最佳结果:best_score_
print("最佳结果:\n", estimator.best_score_)
# 最佳估计器:best_estimator_
print("最佳估计器:\n", estimator.best_estimator_)
# 交叉验证结果:cv_results_
print("交叉验证结果:\n", estimator.cv_results_)
KNN输出的是为一个答案,而朴素贝叶斯算法输出的是各个可能条件的概率。 应用:文本分类 说到底,贝叶斯就是KNN外的另一种分类算法,对于sklearn来讲,也还是一行代码解决问题
朴素贝叶斯 = 朴素 + 贝叶斯
朴素:指的是事件相互独立 贝叶斯即指贝叶斯公式:
联合概率:包含多个条件,且所有条件同时成立的概率 P(A, B)=P(A)P(B) P(程序员, 匀称) P(程序员, 超重|喜欢)
条件概率:
P(A|B) B发生的条件下,A发生的概率 欢)
相互独立:
P(A, B) = P(A)P(B) <=> 事件A与事件B相互独立
如果样本量太小的话,计算的概率可能为0。所以加上一个拉普拉斯平滑算子。其公式如下所示
新闻分类栗子
def nb_news():
"""
用朴素贝叶斯算法对新闻进行分类
:return:
"""
# 1)获取数据
news = fetch_20newsgroups(subset="all")
# 2)划分数据集
x_train, x_test, y_train, y_test = train_test_split(news.data, news.target)
# 3)特征工程:文本特征抽取-tfidf
transfer = TfidfVectorizer()
x_train = transfer.fit_transform(x_train)
x_test = transfer.transform(x_test)
# 4)朴素贝叶斯算法预估器流程
estimator = MultinomialNB()
estimator.fit(x_train, y_train)
# 5)模型评估
# 方法1:直接比对真实值和预测值
y_predict = estimator.predict(x_test)
print("y_predict:\n", y_predict)
print("直接比对真实值和预测值:\n", y_test == y_predict)
# 方法2:计算准确率
score = estimator.score(x_test, y_test)
print("准确率为:\n", score)
return None
因为一个物体,他的特征不止一个。比如猫,他的耳朵,体态,颜色,尾巴这些都是他的特征。面对这么多特征,我们要如何更快速的进行判断?我们就需要对这些特征的重要性进行一个排序,先判断重要明显的特征,比如如果没有尾巴,那么这一定不是一只猫。根据特征的有用程度,进行物体的分类。这个就是决策树。
信息定义:消除随机不定性的东西。比如, 狗咬人,这个不算什么信息。人咬狗,这个信息量比较大。
为了判断哪个参数影响更大,使用信息熵这个概念。解决了对信息的量化度量问题香农用信息熵的概念来描述信源的不确定度。
信息熵公式:
变量的不确定性越大,熵也就越大,把它搞清楚所需要的信息量也就越大. 一件事情越是确定,则他的信息熵越小。
信息增益: 当你得到这个特征后,总的信息熵的减小程度。 所以信息增益越大,所以这个特征信息越有用。 特征A对训练数据集D的信息增益g(D,A),定义为集合D的信息熵H(D)与特征A给定条件下D的信息条件熵H(D|A)差,即公式为 g(D,A)=H(D)-H(D|A)
H(D|A)的计算公式如下:
总的信息熵 - 只给特征A条件下的概率。
H(D|A)计算举个栗子: 数据集:
现在要求H(D|年龄),查看年龄对于贷款的影响。 H(D|年龄)=1/3H(青年)+1/3H(中年)+1/3H(老年)
H(青年)=-(2/5log2/5 +3/5log3/5)
H(中年)=-(2/5log2/5 +3/5log3/5)
H(老年)=-(1/5log1/5 + 4/5log4/5)
带入信息增益的公式, g(D,年龄)=H(D)-H(D|年龄)带入即可计算出各个特征的信息增益。增益越大,说明知道这个特征后,可以消除越多的不确定性。 这个特征就应当越先作为条件划分。
决策树划分依据:信息增益
决策树的优点: 可视化——可解释能力强 缺点: 决策树不能很好的推广数据的泛化能力,容易产生过拟合。
def decision_iris():
"""
用决策树对鸢尾花进行分类
:return:
"""
# 1)获取数据集
iris = load_iris()
# 2)划分数据集
x_train, x_test, y_train, y_test = train_test_split(iris.data, iris.target, random_state=22)
#决策树这里不用去标准化x_train这些
# 3)决策树预估器
estimator = DecisionTreeClassifier(criterion="entropy")
estimator.fit(x_train, y_train)
# 4)模型评估
# 方法1:直接比对真实值和预测值
y_predict = estimator.predict(x_test)
print("y_predict:\n", y_predict)
print("直接比对真实值和预测值:\n", y_test == y_predict)
# 方法2:计算准确率
score = estimator.score(x_test, y_test)
print("准确率为:\n", score)
# 可视化决策树
export_graphviz(estimator, out_file="iris_tree.dot", feature_names=iris.feature_names)
return None
这里生成了决策树文件,可以拷贝文件内容到决策树可视化网址中生成决策树文件。
文章浏览阅读1.6k次。安装配置gi、安装数据库软件、dbca建库见下:http://blog.csdn.net/kadwf123/article/details/784299611、检查集群节点及状态:[root@rac2 ~]# olsnodes -srac1 Activerac2 Activerac3 Activerac4 Active[root@rac2 ~]_12c查看crs状态
文章浏览阅读1.3w次,点赞45次,收藏99次。我个人用的是anaconda3的一个python集成环境,自带jupyter notebook,但在我打开jupyter notebook界面后,却找不到对应的虚拟环境,原来是jupyter notebook只是通用于下载anaconda时自带的环境,其他环境要想使用必须手动下载一些库:1.首先进入到自己创建的虚拟环境(pytorch是虚拟环境的名字)activate pytorch2.在该环境下下载这个库conda install ipykernelconda install nb__jupyter没有pytorch环境
文章浏览阅读5.2k次,点赞19次,收藏28次。选择scoop纯属意外,也是无奈,因为电脑用户被锁了管理员权限,所有exe安装程序都无法安装,只可以用绿色软件,最后被我发现scoop,省去了到处下载XXX绿色版的烦恼,当然scoop里需要管理员权限的软件也跟我无缘了(譬如everything)。推荐添加dorado这个bucket镜像,里面很多中文软件,但是部分国外的软件下载地址在github,可能无法下载。以上两个是官方bucket的国内镜像,所有软件建议优先从这里下载。上面可以看到很多bucket以及软件数。如果官网登陆不了可以试一下以下方式。_scoop-cn
文章浏览阅读4.5k次,点赞2次,收藏3次。首先要有一个color-picker组件 <el-color-picker v-model="headcolor"></el-color-picker>在data里面data() { return {headcolor: ’ #278add ’ //这里可以选择一个默认的颜色} }然后在你想要改变颜色的地方用v-bind绑定就好了,例如:这里的:sty..._vue el-color-picker
文章浏览阅读640次。基于芯片日益增长的问题,所以内核开发者们引入了新的方法,就是在内核中只保留函数,而数据则不包含,由用户(应用程序员)自己把数据按照规定的格式编写,并放在约定的地方,为了不占用过多的内存,还要求数据以根精简的方式编写。boot启动时,传参给内核,告诉内核设备树文件和kernel的位置,内核启动时根据地址去找到设备树文件,再利用专用的编译器去反编译dtb文件,将dtb还原成数据结构,以供驱动的函数去调用。firmware是三星的一个固件的设备信息,因为找不到固件,所以内核启动不成功。_exynos 4412 刷机
文章浏览阅读2w次,点赞24次,收藏42次。Linux系统配置jdkLinux学习教程,Linux入门教程(超详细)_linux配置jdk
文章浏览阅读3.3k次,点赞5次,收藏19次。xlabel('\delta');ylabel('AUC');具体符号的对照表参照下图:_matlab微米怎么输入
文章浏览阅读119次。顺序读写指的是按照文件中数据的顺序进行读取或写入。对于文本文件,可以使用fgets、fputs、fscanf、fprintf等函数进行顺序读写。在C语言中,对文件的操作通常涉及文件的打开、读写以及关闭。文件的打开使用fopen函数,而关闭则使用fclose函数。在C语言中,可以使用fread和fwrite函数进行二进制读写。 Biaoge 于2024-03-09 23:51发布 阅读量:7 ️文章类型:【 C语言程序设计 】在C语言中,用于打开文件的函数是____,用于关闭文件的函数是____。
文章浏览阅读3.4k次,点赞2次,收藏13次。跟随鼠标移动的粒子以grid(SOP)为partical(SOP)的资源模板,调整后连接【Geo组合+point spirit(MAT)】,在连接【feedback组合】适当调整。影响粒子动态的节点【metaball(SOP)+force(SOP)】添加mouse in(CHOP)鼠标位置到metaball的坐标,实现鼠标影响。..._touchdesigner怎么让一个模型跟着鼠标移动
文章浏览阅读178次。项目运行环境配置:Jdk1.8 + Tomcat7.0 + Mysql + HBuilderX(Webstorm也行)+ Eclispe(IntelliJ IDEA,Eclispe,MyEclispe,Sts都支持)。项目技术:Springboot + mybatis + Maven +mysql5.7或8.0+html+css+js等等组成,B/S模式 + Maven管理等等。环境需要1.运行环境:最好是java jdk 1.8,我们在这个平台上运行的。其他版本理论上也可以。_基于java技术的停车场管理系统实现与设计
文章浏览阅读3.5k次。前言对于MediaPlayer播放器的源码分析内容相对来说比较多,会从Java-&amp;gt;Jni-&amp;gt;C/C++慢慢分析,后面会慢慢更新。另外,博客只作为自己学习记录的一种方式,对于其他的不过多的评论。MediaPlayerDemopublic class MainActivity extends AppCompatActivity implements SurfaceHolder.Cal..._android多媒体播放源码分析 时序图
文章浏览阅读2.4k次,点赞41次,收藏13次。java 数据结构与算法 ——快速排序法_快速排序法