Linux上安裝Hadoop

一、安裝Java

在安裝Hadoop前，需要先安裝Java。可以通過以下命令檢查本機是否已安裝Java：

java -version

如果已安裝，則輸出Java的版本信息。如果未安裝，則可以通過以下命令安裝：

sudo apt-get update
sudo apt-get install default-jdk

需要注意的是，Hadoop官方推薦使用Java 8或更高版本。

二、下載和安裝Hadoop

可以從Hadoop官網下載最新版的Hadoop，下載完成後，需要解壓和移動到合適的位置。以下是具體步驟：

1. 下載Hadoop：https://hadoop.apache.org/releases.html
2. 解壓Hadoop：

   tar -xzvf hadoop-x.y.z.tar.gz
       

3. 移動Hadoop到合適的位置：

   sudo mv hadoop-x.y.z /usr/local/hadoop
       

三、配置Hadoop

1. 配置環境變量

需要將Hadoop添加到系統的環境變量中，才能在任何位置運行Hadoop命令。以下是具體步驟：

1. 打開bashrc文件：

   nano ~/.bashrc
       

2. 在文件底部添加以下代碼，並保存：

   export HADOOP_HOME=/usr/local/hadoop
   export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
       

3. 使配置文件生效：

   source ~/.bashrc
       

2. 修改配置文件

需要修改Hadoop的配置文件以使其在本機上運行。以下是具體步驟：

1. 打開配置文件：

   nano /usr/local/hadoop/etc/hadoop/hadoop-env.sh
       

2. 找到以下代碼行：

# export JAVA_HOME=${JAVA_HOME}
  

將其修改為：

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
  

3. 保存文件並關閉。
4. 打開另一個配置文件：

   nano /usr/local/hadoop/etc/hadoop/core-site.xml
       

5. 在<configuration>標籤段落中添加以下代碼：

<property>
  <name>fs.default.name</name>
  <value>hdfs://localhost:9000</value>
</property>
  

6. 保存文件並關閉。
7. 打開另一個配置文件：

   nano /usr/local/hadoop/etc/hadoop/hdfs-site.xml
       

8. 在<configuration>標籤段落中添加以下代碼：

<property>
  <name>dfs.replication</name>
  <value>1</value>
</property>
  

9. 保存文件並關閉。

四、啟動Hadoop

安裝和配置完成後，就可以啟動Hadoop。以下是具體步驟：

1. 格式化Hadoop文件系統：

   hdfs namenode -format
       

2. 啟動Hadoop：

   start-all.sh
       

3. 檢查Hadoop是否運行成功，通過以下地址訪問Hadoop管理面板：
   http://localhost:50070/