Yarn部署以及可能出现的问题

Apache Hadoop YARN (Yet Another Resource Negotiator,另一种资源协调者)是一种新的 Hadoop 资源管理器,它是一个通用资源管理系统,可为上层应用提供统一的资源管理和调度,它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处

Hadoop内置了Yarn管理工具,我们只需要进行一定的配置就行了

编辑mapred-site.xml

hadoop为我们提供了模板文件,我们只需要根据模板文件做相应的修改就行了
进入hadoop文件夹下的etc文件夹

 cp mapred-site.xml.template mapred-site.xml

然后编辑mapred-site.xml,vi mapred-site.xml,在configration节点下添加

<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

然后编辑yarn-site.xml ,vi yarn-site.xml,在configration节点下添加

<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>

然后到hadoop的sbin目录下,启动yarn ,./start-yarn.sh
观察jps

在这里插入图片描述

但是此时执行示例程序仍然有可能是有问题的。例如我执行pi程序时出现了如下问题Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out.
在这里插入图片描述
这个错误是不同版本之间配置文件中的属性值兼容性不够导致的。有些属性必须要写在指定的配置文件中
这个错误需要在上述yarn-site.xml中加入一段缓存配置
yarn.nodemanager.local-dirs对应的路径必须在hdfs-site.xml中的hadoop.tmp.dir路径下,否则yarn会报错找不到缓存文件

<property>
    <name>yarn.nodemanager.local-dirs</name>
    <value>hadoop.tmp.dir/nm-local-dir</value>
</property>

加入这段代码之后重启yarn,然后执行示例程序,即可看到正常使用

在这里插入图片描述

在这里插入图片描述

已标记关键词 清除标记
©️2020 CSDN 皮肤主题: 博客之星2020 设计师:CY__0809 返回首页