CentOS下安装配置YARN工具，快速管理Apache Hadoop应用程序

DTIEK • 2025-01-07 09:43 • 编程

一、YARN工具与Apache Hadoop

YARN（Yet Another Resource Negotiator）是Apache Hadoop框架中的一个资源管理系统，负责在大规模集群上分配资源与调度任务。通过使用YARN工具，您可以快速管理Apache Hadoop应用程序，提高集群任务的效率。

在开始安装与配置YARN工具之前，您需要确保已经安装并配置了Apache Hadoop软件。

二、安装YARN工具

在CentOS系统中安装YARN工具非常简单，您只需要使用以下命令即可：

sudo yum install -y hadoop-yarn

在执行此命令之前，请确保您的系统已经安装了Apache Hadoop软件。

三、配置YARN工具

1. 编辑hadoop-env.sh文件

在CentOS系统中，hadoop-env.sh文件位于/usr/hdp/current/hadoop-client/conf目录下。请使用以下命令打开此文件：

sudo vi /usr/hdp/current/hadoop-client/conf/hadoop-env.sh

在文件末尾添加以下内容：

export HADOOP_YARN_HOME=/usr/hdp/current/hadoop-yarn-client
export YARN_CONF_DIR=$HADOOP_YARN_HOME/etc/hadoop

保存并退出文件。

2. 编辑yarn-site.xml文件

在CentOS系统中，yarn-site.xml文件位于/usr/hdp/current/hadoop-yarn-client/conf目录下。请使用以下命令打开此文件：

sudo vi /usr/hdp/current/hadoop-yarn-client/conf/yarn-site.xml

在文件中添加以下内容：


  
    yarn.resourcemanager.hostname
    YOUR_RESOURCE_MANAGER_HOSTNAME
  
  
    yarn.resourcemanager.resource-tracker.address
    YOUR_RESOURCE_MANAGER_HOSTNAME:8031
  
  
    yarn.resourcemanager.scheduler.address
    YOUR_RESOURCE_MANAGER_HOSTNAME:8030
  
  
    yarn.resourcemanager.address
    YOUR_RESOURCE_MANAGER_HOSTNAME:8032

请将YOUR_RESOURCE_MANAGER_HOSTNAME替换为您的资源管理器的主机名。

四、启动YARN工具

使用以下命令启动YARN工具：

sudo systemctl start hadoop-yarn-resourcemanager
sudo systemctl start hadoop-yarn-nodemanager

请参照Apache Hadoop文档中的说明，配置并启动您的本地集群或云上集群，以便开始使用YARN工具。

五、使用YARN工具管理Apache Hadoop应用程序

使用以下命令提交Apache Hadoop应用程序：

hadoop jar YOUR_HADOOP_APP.jar YOUR_APP_MAIN_CLASS_NAME args

请将YOUR_HADOOP_APP.jar替换为您的应用程序的jar包文件名，将YOUR_APP_MAIN_CLASS_NAME替换为您的应用程序的主类名，将args替换为应用程序的参数。

使用以下命令查看已提交的应用程序：

yarn application -list

使用以下命令查看特定应用程序的详细信息：

yarn application -status YOUR_APPLICATION_ID

请将YOUR_APPLICATION_ID替换为您要查看的应用程序的ID。

六、总结

通过本文的阐述，您已经学会在CentOS系统中安装与配置YARN工具，以及使用YARN工具管理Apache Hadoop应用程序。希望这些知识能够帮助您更好地管理您的大规模集群。

原创文章，作者：DTIEK，如若转载，请注明出处：https://www.506064.com/n/313445.html