当前位置:Gxl网 > 互联网 > 启动YARN并运行MapReduce程序

启动YARN并运行MapReduce程序

时间:2021-07-01 10:21:17 帮助过:5人阅读

备注:此处的hadoop版本是3.1.4

一、配置集群

1.1、配置yarn-site.xml



         yarn.nodemanager.aux-services
         mapreduce_shuffle




       yarn.resourcemanager.hostname
       k8smaster

备注:k8smaster在hosts文件中需要指定为具体ip,不然在宿主机访问不到。

1.2、配置mapred-site.xml

mv mapred-site.xml.template mapred-site.xml


        mapreduce.framework.name
        yarn

二、启动集群

注意:启动前必须保证NameNode和DataNode已经启动

2.1、启动ResourceManager

yarn --daemon start resourcemanager

2.2、启动NodeManager

yarn --daemon start nodemanager

2.3、查看时启动成功

技术图片

 2.4、web页面访问

http://k8smaster:8088/

技术图片

 2.5、测试wordcount

 hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.4.jar wordcount /home/yzh/hadoop/user/input /home/yzh/hadoop/user/output

此处wordcount后面的路径都是hdfs文件系统路径。

如果需要删除hdfs文件系统的路径,则执行下面的命令

hdfs dfs -rm -r /home/yzh/hadoop/user/output

2.6、遇到的问题

 技术图片

 解决:在命令行输入:hadoop classpath

技术图片

 把上述输出的值添加到yarn-site.xml文件对应的属性 yarn.application.classpath下面,eg:

   
        yarn.application.classpath
        具体的hadoop classpath

  技术图片

mapred-site.xml中设置map和reduce任务的内存配置如下:(value中实际配置的内存需要根据自己机器内存大小及应用情况进行修改)
    
        mapreduce.map.memory.mb
        1536
   
   
       mapreduce.map.java.opts
       -Xmx1024M
   
   
     mapreduce.reduce.memory.mb
     3072
   
  
   mapreduce.reduce.java.opts
   -Xmx2560M
 

修改配置文件之后都要重启resourcemanager和nodemanager

2.7、查看结果

技术图片