MapReduce和Yarn技术原理
MapReduce基于Google发布的MapReduce论文设计开发，基于分而治之的思想，用于大规模数据集(大于1TB) 的并行计算和离线计算，具有如下特点：
高度抽象的编程思想：程序员仅需描述做什么，具体怎么做交由系统的执行框架处理。
良好的扩展性：可通过添加节点以扩展集群能力。
高容错性：通过计算迁移或数据迁移等策略提高集群的可用性与容错性。
在Hadoop1.0版本中资源调度通过MRv1来进行，存在着很多缺陷
Hadoop2.0中正式引入了Yarn框架，以便更好地完成集群的资源调度与分配。
Apache Hadoop YARN (Yet Another Resource Negotiator)，中文名为“另一种资源协调者”。它是一种新的Hadoop资源管理器，它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。
学习视频 链接: https://pan.baidu.com/s/1Acdx-8QO8Bnkgah0qLCijg 提取码: ww2w