Hadoop環境變量配置

一、安裝與配置

1. 安裝JDK。

<sudo apt-get install default-jdk>

2. 從Apache Hadoop官方網站上下載源代碼。

<wget https://downloads.apache.org/hadoop/common/hadoop-3.3.1/hadoop-3.3.1-src.tar.gz>

3. 解壓並編譯代碼。

<tar -xvf hadoop-3.3.1-src.tar.gz
cd hadoop-3.3.1-src
mvn package -Pdist,native,docs -DskipTests -Dtar>

4. 配置Hadoop環境變量。

export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin
export HADOOP_CLASSPATH=$JAVA_HOME/lib/tools.jar

5. 修改配置文件。

cd /usr/local/hadoop/etc/hadoop
sudo nano hadoop-env.sh

在文件末尾添加：

export JAVA_HOME=/usr/lib/jvm/java-11-openjdk-amd64

6. 配置SSH免密碼登陸。

ssh-keygen -t rsa -P ''
cat $HOME/.ssh/id_rsa.pub >> $HOME/.ssh/authorized_keys
ssh localhost

二、Hadoop環境變量配置詳解

1. HADOOP_HOME：指定Hadoop所在的根目錄路徑，即解壓後的文件夾路徑。

2. PATH：將Hadoop的bin目錄加入PATH中，使得命令可以在命令行中直接調用而不需要使用完整路徑。

3. HADOOP_CLASSPATH：指定Hadoop默認的Java類庫路徑。

4. JAVA_HOME：指定JDK的根目錄路徑，必須配置。

注意：以上環境變量均需要配置才能使Hadoop正常運行。

三、Hadoop環境變量配置的注意點

1. HADOOP_HOME路徑應該指向解壓後的hadoop目錄的根目錄。

2. JAVA_HOME路徑應該指向JDK的根目錄，建議使用Ubuntu自帶的OpenJDK。

3. PATH路徑中應該包含HADOOP_HOME/bin路徑。

4. 在配置文件中添加變量時，應注意其格式以及位置，一般應該添加在文件的末尾。

5. 如果出現Permission Denied錯誤，可以嘗試以管理員身份打開終端、修改文件權限等方式解決問題。

四、結語

以上就是Hadoop環境變量配置的具體步驟和注意事項。環境變量配置是Hadoop安裝的重要一步，正確配置可以使Hadoop的運行更加穩定、高效。