大数据的常用算法(分类、回归分析、聚类、关联规则、神经网络方法、web数据挖掘)_大数据的经典算法包括-程序员宅基地

技术标签: 算法  大数据  

目录

(1)分类
(2)回归分析
(3)聚类
(4)关联规则
(5)神经网络方法
(6)Web数据挖掘

在大数据时代,数据挖掘是最关键的工作。大数据的挖掘是从海量、不完全的、有噪声的、模糊的、随机的大型数据库中发现隐含在其中有价值的、潜在有用的信息和知识的过程,也是一种决策支持过程。其主要基于人工智能机器学习,模式学习,统计学等。通过对大数据高度自动化地分析,做出归纳性的推理,从中挖掘出潜在的模式,可以帮助企业、商家、用户调整市场政策、减少风险、理性面对市场,并做出正确的决策。目前,在很多领域尤其是在商业领域如银行、电信、电商等,数据挖掘可以解决很多问题,包括市场营销策略制定、背景分析、企业管理危机等。大数据的挖掘常用的方法有分类、回归分析、聚类、关联规则、神经网络方法、Web 数据挖掘等。这些方法从不同的角度对数据进行挖掘。

数据准备的重要性:没有高质量的挖掘结果,数据准备工作占用的时间往往在60%以上。

(1)分类

分类是找出数据库中的一组数据对象的共同特点并按照分类模式将其划分为不同的类,其目的是通过分类模型,将数据库中的数据项映射到摸个给定的类别中。可以应用到涉及到应用分类、趋势预测中,如淘宝商铺将用户在一段时间内的购买情况划分成不同的类,根据情况向用户推荐关联类的商品,从而增加商铺的销售量。

分类的方法:决策树——是最流行的分类方法

特点:

a、它的每次划分都是基于最显著的特征的;

b、所分析的数据样本被称作树根,算法从所有特征中选出一个最重要的,用这个特征把样本分割成若干子集;

c、重复这个过程,直到所有的分支下面的实例都是“纯”的,即子集中各个实例都属于同一个类别,这样的分支即可确定为一个叶子节点。在所有子集变成“纯”的之后,树就停止生长了。

决策树的剪枝:

a、如果决策树建的过深,容易导致过度拟合问题(即所有的分类结果数量基本一样,没有代表性);

b、剪枝通常采用自上而下的方式。每次找出训练数据中对预测精度贡献最小的那个分支,剪掉它;

c、简言之,先让决策树疯狂生长,然后再慢慢往回收缩。整体上往回收缩多少,要根据在测试集上的表现来反复尝试。

(2)回归分析

回归分析反映了数据库中数据的属性值的特性,通过函数表达数据映射的关系来发现属性值之间的依赖关系。它可以应用到对数据序列的预测及相关关系的研究中去。在市场营销中,回归分析可以被应用到各个方面。如通过对本季度销售的回归分析,对下一季度的销售趋势作出预测并做出针对性的营销改变。

分类的方法:逻辑回归——是一种常用的分类方法,非常成熟,应用非常广泛    

特点:

a、回归不只可以用于分类,也能用于发现变量间的因果关系;

b、最主要的回归模型有多元线性回归和逻辑回归;

c、有些时候逻辑回归不被当作典型的数据挖掘算法。

逻辑回归的步骤:

a、先训练,目的是找到分类效果最佳的回归系数;

b、然后使用训练得到的一组回归系数,对输入的数据进行计算,判定它们所属的类别

逻辑回归模型的检验:

由于希望模型中的输入变量与目标变量之间的关系足够强,为此需要做两个诊断:

a、对模型整体的检验——R2,即全部输入变量能够解释目标变量变异性的百分之多少。R2越大,说明模型拟合得越好;如果R2太小,则模型不可用于预测。

b、回归系数的显著性(p-value),如果某个输入变量对目标变量的作用p-value小于0.05,则可以认为该输入变量具有显著作用。对不显著的输入变量可以考虑从模型中去掉。

决策树与逻辑回归的比较:

1、决策树由于采用分割的方法,所以能够深入数据细部,但同时失去了对全局的把握。一个分支一旦形成,它和别的分支或节点的关系就被切断,以后的挖掘只能在局部中行;

2、逻辑回归始终着眼于整数数据的拟合,所以对全局模式把握较好;

3、决策树比较容易上手,需要的数据预处理较少;

4、逻辑回归模型不能处理缺失值,而且对异常值敏感。因此回归之前应该处理缺失值,并尽量删除异常值

分类和回归分析被称为有监督学习:

1、有标识;

2、通过模仿做出正确分类的已有数据,从而能够对新的数据做出比较准确的分类。这就像教小孩学习一样。

 

 

(3)聚类

聚类类似于分类,但与分类的目的不同,是针对数据的相似性和差异性将一组数据分为几个类别。属于同一类别的数据间的相似性很大,但不同类别之间数据的相似性很小,跨类的数据关联性很低。

(4)关联规则

关联规则是隐藏在数据项之间的关联或相互关系,即可以根据一个数据项的出现推导出其他数据项的出现。关联规则的挖掘过程主要包括两个阶段:第一阶段为从海量原始数据中找出所有的高频项目组;第二极端为从这些高频项目组产生关联规则。关联规则挖掘技术已经被广泛应用于金融行业企业中用以预测客户的需求,各银行在自己的ATM 机上通过捆绑客户可能感兴趣的信息供用户了解并获取相应信息来改善自身的营销。

聚类和关联规则被称为无监督学习:

1、无标识;

2、聚类:针对客户特征进行客户群划分。由此,我们可以对不同客户群采取差异化的促销方式;

3、关联规则:分析发现购买面包的顾客中有很大比例的人同时购买牛奶,由此我们可以将牛奶与面包放在同一个地方。

(5)神经网络方法

神经网络作为一种先进的人工智能技术,因其自身自行处理、分布存储和高度容错等特性非常适合处理非线性的以及那些以模糊、不完整、不严密的知识或数据为特征的处理问题,它的这一特点十分适合解决数据挖掘的问题。典型的神经网络模型主要分为三大类:第一类是以用于分类预测和模式识别的前馈式神经网络模型,其主要代表为函数型网络、感知机;第二类是用于联想记忆和优化算法的反馈式神经网络模型,以Hopfield 的离散模型和连续模型为代表。第三类是用于聚类的自组织映射方法,以ART 模型为代表。虽然神经网络有多种模型及算法,但在特定领域的数据挖掘中使用何种模型及算法并没有统一的规则,而且人们很难理解网络的学习及决策过程。

(6)Web数据挖掘

Web数据挖掘是一项综合性技术,指Web 从文档结构和使用的集合C 中发现隐含的模式P,如果将C看做是输入,P 看做是输出,那么Web 挖掘过程就可以看做是从输入到输出的一个映射过程。

当前越来越多的Web 数据都是以数据流的形式出现的,因此对Web 数据流挖掘就具有很重要的意义。目前常用的Web数据挖掘算法有:PageRank算法,HITS算法以及LOGSOM 算法。这三种算法提到的用户都是笼统的用户,并没有区分用户的个体。目前Web 数据挖掘面临着一些问题,包括:用户的分类问题、网站内容时效性问题,用户在页面停留时间问题,页面的链入与链出数问题等。在Web 技术高速发展的今天,这些问题仍旧值得研究并加以解决。

 

 

原文地址:https://www.cnblogs.com/wlovet/p/8037426.html

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/lisheng19870305/article/details/107354030

智能推荐

scala函数式编程_想要开始进行函数式编程,请进入scala-程序员宅基地

文章浏览阅读283次。scala函数式编程 意见 (Opinion)If you haven’t used Scala yet, you’re not the only one: Not even four percent of all programmers were using the language as of last year, according to 如果您还没有使用Scala,那么您不是唯一的一个...

Android开发笔记之自定义控件(物流时间轴的实现)_android 类似快递时间轴控件-程序员宅基地

文章浏览阅读3.9k次。最近修改项目遇到查看物流这个需求,经过一个下午的时间的终于搞定,趁着这个时间点,赶快把这个功能抽取出来,方便大家以后开发的需要,帮助到更多的人 先看效果图,如下 看完之后,分析可知道,主要是两部分,一个头部和一个body. 那我们最主要的工作就是body内容的实现,头部的实现简单,这里就不再详细的说明 这里我给大家提供一个github上的开源项目,不过这个实现起来,绘制的效果比较慢,不过_android 类似快递时间轴控件

element-ui+vue给登录界面创建一个走马灯幻灯片切换_elementui走马灯图片-程序员宅基地

文章浏览阅读3.3k次,点赞8次,收藏24次。效果想要达到的效果如下图,顶部横幅有6张图片可以自动切换:实现步骤先去element-ui官网学习这个跑马灯的模板代码:<template> <el-carousel :interval="4000" type="card" height="200px"> <el-carousel-item v-for="item in 6" :key="item"> <h3 class="medium">{{ item }}</h3_elementui走马灯图片

双非本科无缘阿里?(四年crud经验已拿下P7)复盘面经_阿里里面双非多吗-程序员宅基地

文章浏览阅读139次。对于很多没有学历优势的人来说,面试大厂是非常困难的,这对我而言,也是一样,出身于二本,原本以为就三点一线的生活度过一生,直到生活上的变故,才让我有了新的想法和目标,因此我这个二本渣渣也奋斗了起来,竟拿下了阿里P6岗。今天分享这波面经,主要是希望能够激励到同样被学历所困扰的技术人,能够对职业生涯和技术规划有一个参考价值,感谢!一、面试阿里P7难在哪?(面试难点)(1)难在“心态”首先需要克服的第一关,实际上就是自己的心态。因为我是二本出身,base比较低,所以面试阿里本就是一件没太大底气的事情,更_阿里里面双非多吗

钕铁硼NdFeB材料各类牌号磁特性大全-程序员宅基地

文章浏览阅读4.4k次。钕铁硼NdFeB材料各类牌号磁特性大全钕铁硼NdFeB材料各类牌号磁特性大全NdFeB材料磁特性一览表 Q/HC30502C-2015 材料 牌号 剩磁(最小值) 矫顽力(最小值) 矫顽力(最小值) 最...

随便推点

UI自动化中,常见JS处理_ui自动化如何向只读属性输入数据-程序员宅基地

文章浏览阅读490次。UI自动化_JS处理1)下拉滚动条from selenium import webdriverimport time driver = webdriver.Chrome()driver.maximize_window()driver.get('https://www.baidu.com/')driver.find_element_by_id('kw').send_keys('自动化测试')driver.find_element_by_id('su').click()time.sleep_ui自动化如何向只读属性输入数据

安装bochs并配置linux0.11-程序员宅基地

文章浏览阅读189次。为什么80%的码农都做不了架构师?>>> ..._bochs rootimage-0.11

BUUCTF:【x_nuca_2018_offbyone2】(off by null)-程序员宅基地

文章浏览阅读1.2k次。在buu里挑了一道heap的题,是一道off by null 的题,比较容易,经典一些例行检查:_x_nuca_2018_offbyone2

8255 并行接口实验_8255并行接口实验-程序员宅基地

文章浏览阅读2.2w次,点赞52次,收藏333次。1、掌握8255A的工作方式使用以及编程。2、利用8255A完成将数码开关的输入送给发光二极管并显示_8255并行接口实验

Java(114-132)【Scanner类、Random类、ArrayList类】_string和scanner为什么大写-程序员宅基地

文章浏览阅读261次。1.API概述和使用步骤应用程序编程接口。Java的API是一本程序员的字典,学会查询2.Scanner 概述及其API文档键盘输入类都是大写的Scanner,关键字是小写的public3.Scanner的使用步骤import java.util.Scanner; //导包定义一个sc的成员对象Scanner sc=new Scanner(System.in)..._string和scanner为什么大写

Faster-Rcnn训练自己数据集+计算MAP_如何计算faster rcnn的map值-程序员宅基地

文章浏览阅读4.9k次,点赞2次,收藏50次。本文记录在实现Faster-rcnn训练自己数据集的过程,以及计算map。数据集为kaggle地铁安检违禁品X光射线图片。运行环境:win10,1660Ti,keras2.1.5,tensorflow:1.13.11.训练内容来自博客https://blog.csdn.net/weixin_44791964/article/details/104451667,使用代码为该博主原创,进行一定修改..._如何计算faster rcnn的map值

推荐文章

热门文章

相关标签