”spark-core“ 的搜索结果

     RDD的Lineage会记录RDD的元数据信息和转换行为,当该RDD的部分分区数据丢失时,它可以根据这些信息来重新运算和恢复丢失的数据分区。在实际开发中我们往往需要自己定义一些对于RDD的操作,那么此时需要注意的是,...

     针对列表当中的每一个元素进行操作,操作完成后返回一个新的列表,操作之前是多少个元素,操作之后还是多少个元素,不会增加,不会减少。根据RDD的执行流程构建DAG有向无环图,构建好后,采用回溯方法,从后往前推,...

     第1章 Spark 概述 1.Spark是什么 Spark 是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。 2.Spark and Hadoop 在之前的学习中,Hadoop 的 MapReduce 是大家广为熟知的计算框架,那为什么咱们还要...

     presto-spark-core 是presto on spark需要的spark core的打包,源码地址:https://github.com/prestodb/presto-spark-core 核心其实就一个pom.xml 从这个pom.xml 可以看到presto 0.272 对应的spark 是2.0.2 ,scala ...

     Spark 集群的独立部署环境中,不需要依赖其他的资源调度框架,自身就实现了资源调度的功能,所以环境中还有其他两个核心组件:Master和Worker,这里的Master是一个进程,主要负责资源的调度和分配,并进行集群的监控...

10  
9  
8  
7  
6  
5  
4  
3  
2  
1