深入淺出——mapred-site.xml

一、概述

mapred-site.xml是一個Hadoop配置文件，它包含了JobTracker和TaskTracker的配置信息。這個文件的作用是用來定製Hadoop的MapReduce框架的，比如配置MapReduce任務運行的最大內存大小、最大可用CPU核數等等，它的配置項是顯式的，每個配置項都有對應的說明和默認值，用戶可以根據自己的需求去更改。

二、mapred-site.xml配置項詳解

1. mapreduce.framework.name

這個配置項表明你選擇的是哪種MapReduce框架。可選值有”local”，”classic”和”yarn”，默認為”classic”。

2. mapreduce.jobtracker.address

這是JobTracker服務的主機地址和端口號。對於Hadoop 2.x版本，已經不需要這個配置了。

3. mapreduce.jobtracker.completeuserjobs.maximum

這個配置項可以限制單個用戶可以同時運行的最大任務數。

<property>
  <name>mapreduce.jobtracker.completeuserjobs.maximum</name>
  <value>4</value>
</property>

4. mapreduce.jobtracker.taskscheduler

這個配置項可以指定JobTracker的任務調度器，可選值有”org.apache.hadoop.mapred.JobQueueTaskScheduler”，”org.apache.hadoop.mapred.CapacityTaskScheduler”和”org.apache.hadoop.mapred.FairScheduler”，默認為”org.apache.hadoop.mapred.JobQueueTaskScheduler”。

5. mapreduce.tasktracker.map.tasks.maximum

這個配置項限制一個TaskTracker上同時運行的Mapper任務的最大數目。

三、注意事項

1. mapred-site.xml配置文件中參數的優先級覆蓋原則為：系統環境變量> yarn-site.xml > hadoop-site.xml > mapred-site.xml > 默認值。

2. 如果修改了mapred-site.xml文件中的配置項，需要重啟Hadoop集群才能生效。

3. 在修改mapred-site.xml文件之前，需要備份原來的文件。萬一修改了一些系統關鍵配置，導致Hadoop無法正常工作，可以通過備份文件進行還原。

四、結語

通過以上對mapred-site.xml的詳細闡述，我們可以看到該文件對於Hadoop的MapReduce框架的定製化起到了至關重要的作用。通過修改配置文件中的參數，我們可以根據自己的需求來優化MapReduce的性能，提高MapReduce作業的執行效率。