yarn-site.xml文件詳細解析

一、yarn-site.xml文件介紹

yarn-site.xml文件是Apache Hadoop中YARN（Yet Another Resource Negotiator）框架的配置文件之一。該文件中包含了YARN的各種配置項，可以通過修改該文件設置YARN的運行參數。下面我們將從多個方面對yarn-site.xml文件進行詳細解析。

二、yarn-site.xml文件配置參數分類

yarn-site.xml文件中的配置參數可分為三類，分別是全局參數、ResourceManager參數和NodeManager參數。

1、全局參數

全局參數是指影響整個YARN系統的參數，如下為常用的幾個全局參數：

<property>
  <name>yarn.nodemanager.hostname</name>
  <value>localhost</value>
</property>
<property>
  <name>yarn.nodemanager.delete.debug-delay-sec</name>
  <value>0</value>
</property>
<property>
  <name>yarn.scheduler.minimum-allocation-mb</name>
  <value>1024</value>
</property>

2、ResourceManager參數

ResourceManager參數是指影響ResourceManager節點的參數，如下為常用的幾個ResourceManager參數：

<property>
  <name>yarn.resourcemanager.hostname</name>
  <value>localhost</value>
</property>
<property>
  <name>yarn.resourcemanager.webapp.address</name>
  <value>0.0.0.0:8088</value>
</property>
<property>
  <name>yarn.resourcemanager.webapp.https.address</name>
  <value></value>
</property>

3、NodeManager參數

NodeManager參數是指影響NodeManager節點的參數，如下為常用的幾個NodeManager參數：

<property>
  <name>yarn.nodemanager.local-dirs</name>
  <value>/data1/nodemgr-localdir</value>
</property>
<property>
  <name>yarn.nodemanager.resource.memory-mb</name>
  <value>4096</value>
</property>
<property>
  <name>yarn.nodemanager.log-dirs</name>
  <value>/data1/nodemgr-logs</value>
</property>

三、yarn-site.xml文件參數解釋

下面我們來介紹幾個常用的yarn-site.xml文件配置參數的解釋：

1、yarn.nodemanager.hostname

yarn.nodemanager.hostname指定了NodeManager節點的主機名或IP地址，默認情況下為本機IP地址。

<property>
  <name>yarn.nodemanager.hostname</name>
  <value>localhost</value>
</property>

2、yarn.nodemanager.resource.memory-mb

yarn.nodemanager.resource.memory-mb指定了NodeManager節點可以使用的最大內存，單位是MB。

<property>
  <name>yarn.nodemanager.resource.memory-mb</name>
  <value>4096</value>
</property>

3、yarn.scheduler.minimum-allocation-mb

yarn.scheduler.minimum-allocation-mb指定了YARN集群中所有節點分配內存的最小值，單位是MB。

<property>
  <name>yarn.scheduler.minimum-allocation-mb</name>
  <value>1024</value>
</property>

4、yarn.resourcemanager.webapp.address

yarn.resourcemanager.webapp.address指定了ResourceManager節點Web界面訪問地址，默認情況下為0.0.0.0:8088。

<property>
  <name>yarn.resourcemanager.webapp.address</name>
  <value>0.0.0.0:8088</value>
</property>

5、yarn.nodemanager.log-dirs

yarn.nodemanager.log-dirs指定了NodeManager節點的日誌輸出路徑。

<property>
  <name>yarn.nodemanager.log-dirs</name>
  <value>/data1/nodemgr-logs</value>
</property>

四、yarn-site.xml文件實例

yarn-site.xml文件的實例，包括全局參數、ResourceManager參數和NodeManager參數，如下所示：

<configuration>
  <property>
    <name>yarn.nodemanager.hostname</name>
    <value>localhost</value>
  </property>
  <property>
    <name>yarn.nodemanager.resource.memory-mb</name>
    <value>4096</value>
  </property>
  <property>
    <name>yarn.scheduler.minimum-allocation-mb</name>
    <value>1024</value>
  </property>
  <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>localhost</value>
  </property>
  <property>
    <name>yarn.resourcemanager.webapp.address</name>
    <value>0.0.0.0:8088</value>
  </property>
  <property>
    <name>yarn.resourcemanager.webapp.https.address</name>
    <value></value>
  </property>
  <property>
    <name>yarn.nodemanager.local-dirs</name>
    <value>/data1/nodemgr-localdir</value>
  </property>
  <property>
    <name>yarn.nodemanager.log-dirs</name>
    <value>/data1/nodemgr-logs</value>
  </property>
</configuration>