Spark master HA 主从切换过程不会影响集群已有的作业运行，为什么?
> 因为程序在运行之前，已经申请过资源了，driver和Executors通讯，不需要和master进行通讯的。
上一篇
聊一聊MapReduce的Shuffle过程吧
聊一聊MapReduce的Shuffle过程吧Map 方法之后 Reduce 方法之前这段处理过程叫 ShuffleMap 方法之后，数据首先进入到分区方法，把数据标记好分区，然后把数据发送到环形缓冲区；环形缓冲区默认大小 100m，环形缓
2020-06-27
下一篇
spark中的RDD是什么，有哪些特性?
spark中的RDD是什么，有哪些特性?1、RDD（Resilient Distributed Dataset）叫做分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合。
Dataset：就是一
2020-06-27