大数据理论体系_大数据的基本理论体系-程序员宅基地

技术标签: 大数据理论体系  大数据  

序言

2018~2021 年期间,笔者阅读了200+大数据相关的书籍和专栏。

本专栏为笔者,在多年读书笔记的基础上,结合自身的大数据开发心得体会,呕心沥血之作。

来点关注吧,万分感谢!

本专栏姊妹篇

1000个问题搞定大数据技术体系

100个问题搞定Java虚拟机

技术分享 PPT

这里分享一下笔者曾经使用过的关于大数据怎样入门的技术分享 PPT:

大数据从0到1 .pptx

目录结构

  1. 大数据是什么?
  2. 大数据有哪些特征?
  3. 大数据和云计算有什么关系?
  4. 大数据和人工智能有什么关系?
  5. 大数据是如何发展起来的?
  6. 大数据处理的基本流程是什么?
  7. 数据质量如何评测?
  8. 什么是ETL?
  9. 大数据开发主要做什么?
  10. 大数据技术框架有哪些类型?
  11. 为什么说数据不动代码动?移动计算比移动数据更划算?
  12. DAG对大数据处理有什么好处?
  13. 批处理和流处理如何区分? 有边界数据和无边界数据如何区分?
  14. 批处理中如何提高CPU利用率?
  15. 什么是事件时间和处理时间?
  16. Workflow设计模式指的什么?
  17. 分布式锁是什么?如何实现?
  18. 分布式事务是什么?如何实现?
  19. 分布式锁和分布式事务有什么区别?
  20. CAP定理是什么?
  21. BASE理论是什么?
  22. 分布式系统有哪些衡量指标?
  23. 一致性模型有哪些?
  24. SLA是什么?
  25. 如何预估系统QPS?
  26. 你怎么看待发布订阅模式的?
  27. 发布与订阅模式和观察者模式有什么不同?
  28. 分布式系统数据分片有哪些方式?
  29. 一致性哈希是什么?
  30. 为什么要将数据序列化?
  31. 数据压缩算法该如何选择?
  32. 分布式系统中序列化框架该如何选择?
  33. Protobuf是什么?
  34. Apache Thrift是什么?
  35. Apache Avro是什么?
  36. Kryo是什么?
  37. 列式存储和行式存储有什么区别?
  38. 列式存储格式该如何选择?
  39. ORCFile是什么?
  40. Parquet是什么
  41. 数据仓库是什么?
  42. 数据仓库与数据库的区别?
  43. OLTP和OLAP的区别?
  44. 数据仓库是如何分层的?
  45. 数据仓库是如何建模的?
  46. 什么是事实表和维度表?
  47. 什么是商业智能(BI)?
  48. 从系统架构角度出发,服务器该如何分类?
  49. MPPDB是什么?
  50. MPPDB和Hadoop有什么区别?
  51. 数据仓库应该选择哪种服务器架构?
  52. 并行计算模型有哪些?
  53. BSP和MapReduce有什么区别?
  54. OLAP有哪些实现方法?
  55. Cube技术是什么?
  56. NoSQL是什么?
  57. 负载均衡是什么?
  58. 负载均衡算法有哪些?
  59. 分布式系统中转发如何实现?
  60. 大数据资源调度框架有什么作用?
  61. 资源调度有什么技术难点?
  62. 多租户技术是什么?
  63. 你认为传统的Yarn、Mesos调度方案存在哪些缺陷?
  64. 什么是倒排索引?
  65. 什么是企业数据?
  66. 什么是数据湖?为什么需要数据湖?
  67. 数据湖中数据的生命周期是怎样的?
  68. 数据仓库、数据集市和数据湖有什么区别?
  69. 什么是Lambda架构?
  70. 什么是Kappa架构?
  71. 如何将Lambda架构应用到数据湖?数据湖中的功能模块有哪些?
  72. 企业数据湖面临哪些挑战?
  73. RAID技术到底是什么?
  74. 为什么需要工作流调度系统?
  75. 为什么要有消息队列/消息引擎系统?
  76. 什么是云原生数据库?
  77. 数据库领域的未来发展趋势是怎样的?

参考文献

  1. 极客时间专栏《从0开始学大数据》李智慧
  2. 极客时间专栏《大规模数据处理实战》蔡元楠
  3. 《云计算中的大数据技术与应用》 梁凡著
  4. 《大数据开发与应用》青岛英谷教育科技股份有限公司,山东工商学院编著
  5. 《大数据技术体系详解:原理、架构与实战》董西成著
  6. 《Hadoop大数据挖掘从入门到进阶实战:视频教学版》邓杰编著
  7. 《大数据架构详解:从数据获取到深度学习》朱洁,罗华霖编著
  8. 《Kafka权威指南》(美)妮哈・纳克海德( Neha Narkhede),(美)格温・沙皮拉( Gwen Shapira) (美)托德・帕利诺( Todd Paino)著;薛命灯译》/(美)妮哈・纳克海德( Neha Narkhede),(美)格温・沙皮拉( Gwen Shapira) (美)托德・帕利诺( Todd Paino)著;薛命灯译
  9. 《Hadoop大数据技术原理与应用》黑马程序员编著
  10. 《企业数据湖》(印)汤姆斯・约翰(Tomcy John),(印)潘卡・米斯拉(Pankaj Misra)著张世武,李想,张浩林译
  11. 《大数据技术及应用探究》胡沛,韩璞著
  12. 《Hadoop & Spark大数据开发实战》肖睿、雷刚跃主编
  13. CS-Notes
  14. ClickHouse官网
  15. ClickHouse深度揭秘
  16. 什么是分布式事务以及有哪些解决方案?
  17. 分布式理论(二)——Base 理论
  18. 分布式系统衡量指标
  19. 百度百科 顺序一致性模型
  20. 通俗易懂 强一致性、弱一致性、最终一致性、读写一致性、单调读、因果一致性 的区别与联系
  21. 分布式系统学习——数据分片
  22. 带着问题学习分布式系统之数据分片
  23. 百度百科 一致性哈希
  24. Apache Thrift系列详解(一) - 概述与入门
  25. 初探Protostuff的使用
  26. 高性能的序列化与反序列化:kryo的简单使用
  27. 大数据小视角2:ORCFile与Parquet,开源圈背后的生意
  28. 新一代列式存储格式Parquet
  29. Parquet的那些事(一)基本原理
  30. 再来聊一聊Parquet 列式存储格式
  31. MPP(大规模并行处理)简介
  32. MPP架构
  33. 百度百科 NoSQL
  34. 大数据里常见的几种压缩格式压缩
  35. zstd,未来可期的数据压缩算法
  36. Is zstd splitabble in hadoop/spark/etc?
  37. 阿里云李飞飞:什么是云原生数据库
版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/Shockang/article/details/115609804

智能推荐

oracle 12c 集群安装后的检查_12c查看crs状态-程序员宅基地

文章浏览阅读1.6k次。安装配置gi、安装数据库软件、dbca建库见下:http://blog.csdn.net/kadwf123/article/details/784299611、检查集群节点及状态:[root@rac2 ~]# olsnodes -srac1 Activerac2 Activerac3 Activerac4 Active[root@rac2 ~]_12c查看crs状态

解决jupyter notebook无法找到虚拟环境的问题_jupyter没有pytorch环境-程序员宅基地

文章浏览阅读1.3w次,点赞45次,收藏99次。我个人用的是anaconda3的一个python集成环境,自带jupyter notebook,但在我打开jupyter notebook界面后,却找不到对应的虚拟环境,原来是jupyter notebook只是通用于下载anaconda时自带的环境,其他环境要想使用必须手动下载一些库:1.首先进入到自己创建的虚拟环境(pytorch是虚拟环境的名字)activate pytorch2.在该环境下下载这个库conda install ipykernelconda install nb__jupyter没有pytorch环境

国内安装scoop的保姆教程_scoop-cn-程序员宅基地

文章浏览阅读5.2k次,点赞19次,收藏28次。选择scoop纯属意外,也是无奈,因为电脑用户被锁了管理员权限,所有exe安装程序都无法安装,只可以用绿色软件,最后被我发现scoop,省去了到处下载XXX绿色版的烦恼,当然scoop里需要管理员权限的软件也跟我无缘了(譬如everything)。推荐添加dorado这个bucket镜像,里面很多中文软件,但是部分国外的软件下载地址在github,可能无法下载。以上两个是官方bucket的国内镜像,所有软件建议优先从这里下载。上面可以看到很多bucket以及软件数。如果官网登陆不了可以试一下以下方式。_scoop-cn

Element ui colorpicker在Vue中的使用_vue el-color-picker-程序员宅基地

文章浏览阅读4.5k次,点赞2次,收藏3次。首先要有一个color-picker组件 <el-color-picker v-model="headcolor"></el-color-picker>在data里面data() { return {headcolor: ’ #278add ’ //这里可以选择一个默认的颜色} }然后在你想要改变颜色的地方用v-bind绑定就好了,例如:这里的:sty..._vue el-color-picker

迅为iTOP-4412精英版之烧写内核移植后的镜像_exynos 4412 刷机-程序员宅基地

文章浏览阅读640次。基于芯片日益增长的问题,所以内核开发者们引入了新的方法,就是在内核中只保留函数,而数据则不包含,由用户(应用程序员)自己把数据按照规定的格式编写,并放在约定的地方,为了不占用过多的内存,还要求数据以根精简的方式编写。boot启动时,传参给内核,告诉内核设备树文件和kernel的位置,内核启动时根据地址去找到设备树文件,再利用专用的编译器去反编译dtb文件,将dtb还原成数据结构,以供驱动的函数去调用。firmware是三星的一个固件的设备信息,因为找不到固件,所以内核启动不成功。_exynos 4412 刷机

Linux系统配置jdk_linux配置jdk-程序员宅基地

文章浏览阅读2w次,点赞24次,收藏42次。Linux系统配置jdkLinux学习教程,Linux入门教程(超详细)_linux配置jdk

随便推点

matlab(4):特殊符号的输入_matlab微米怎么输入-程序员宅基地

文章浏览阅读3.3k次,点赞5次,收藏19次。xlabel('\delta');ylabel('AUC');具体符号的对照表参照下图:_matlab微米怎么输入

C语言程序设计-文件(打开与关闭、顺序、二进制读写)-程序员宅基地

文章浏览阅读119次。顺序读写指的是按照文件中数据的顺序进行读取或写入。对于文本文件,可以使用fgets、fputs、fscanf、fprintf等函数进行顺序读写。在C语言中,对文件的操作通常涉及文件的打开、读写以及关闭。文件的打开使用fopen函数,而关闭则使用fclose函数。在C语言中,可以使用fread和fwrite函数进行二进制读写。‍ Biaoge 于2024-03-09 23:51发布 阅读量:7 ️文章类型:【 C语言程序设计 】在C语言中,用于打开文件的函数是____,用于关闭文件的函数是____。

Touchdesigner自学笔记之三_touchdesigner怎么让一个模型跟着鼠标移动-程序员宅基地

文章浏览阅读3.4k次,点赞2次,收藏13次。跟随鼠标移动的粒子以grid(SOP)为partical(SOP)的资源模板,调整后连接【Geo组合+point spirit(MAT)】,在连接【feedback组合】适当调整。影响粒子动态的节点【metaball(SOP)+force(SOP)】添加mouse in(CHOP)鼠标位置到metaball的坐标,实现鼠标影响。..._touchdesigner怎么让一个模型跟着鼠标移动

【附源码】基于java的校园停车场管理系统的设计与实现61m0e9计算机毕设SSM_基于java技术的停车场管理系统实现与设计-程序员宅基地

文章浏览阅读178次。项目运行环境配置:Jdk1.8 + Tomcat7.0 + Mysql + HBuilderX(Webstorm也行)+ Eclispe(IntelliJ IDEA,Eclispe,MyEclispe,Sts都支持)。项目技术:Springboot + mybatis + Maven +mysql5.7或8.0+html+css+js等等组成,B/S模式 + Maven管理等等。环境需要1.运行环境:最好是java jdk 1.8,我们在这个平台上运行的。其他版本理论上也可以。_基于java技术的停车场管理系统实现与设计

Android系统播放器MediaPlayer源码分析_android多媒体播放源码分析 时序图-程序员宅基地

文章浏览阅读3.5k次。前言对于MediaPlayer播放器的源码分析内容相对来说比较多,会从Java-&amp;amp;gt;Jni-&amp;amp;gt;C/C++慢慢分析,后面会慢慢更新。另外,博客只作为自己学习记录的一种方式,对于其他的不过多的评论。MediaPlayerDemopublic class MainActivity extends AppCompatActivity implements SurfaceHolder.Cal..._android多媒体播放源码分析 时序图

java 数据结构与算法 ——快速排序法-程序员宅基地

文章浏览阅读2.4k次,点赞41次,收藏13次。java 数据结构与算法 ——快速排序法_快速排序法