Ubuntu安裝Spark

一、ubuntu安裝

在安裝Spark之前，必須要安裝Ubuntu操作系統。以下是Ubuntu操作系統的安裝方法：

1、從Ubuntu官網上下載ISO文件，並將ISO文件寫入U盤。

sudo dd bs=4M if=/path/to/ubuntu.iso of=/dev/sdX status=progress && sync

其中，/path/to/ubuntu.iso是ISO文件的路徑，/dev/sdX是U盤的設備號。請注意，將/dev/sdX改為您的U盤的設備號。

2、插入U盤並重啟電腦。

3、選擇在U盤上啟動Ubuntu。

4、選擇你喜歡的電腦語言。

5、選擇Ubuntu安裝類型。建議選擇“安裝Ubuntu”以進行完整安裝。

6、完成其他必要的安裝步驟，如選擇時區和鍵盤布局。

二、安裝Spark

以下是安裝Spark的教程：

1、ubuntu安裝類型教程

選擇安裝Spark之前，請確認以下幾點內容：

1、Java必須已經安裝。如果沒有安裝Java，請使用以下命令進行安裝：

sudo apt-get update
sudo apt-get install openjdk-8-jdk

2、使用以下命令下載Spark：

wget https://apache.claz.org/spark/spark-3.1.2/spark-3.1.2-bin-hadoop3.2.tgz

其中，URL後面是下載Spark的地址，可以替換為其他Mirrors的地址。

3、解壓縮Spark:

tar -zxvf spark-3.1.2-bin-hadoop3.2.tgz

4、將解壓得到的Spark文件夾移動到/opt目錄下：

sudo mv spark-3.1.2-bin-hadoop3.2 /opt/

2、ubuntu安裝VMware

如果計算機不支持運行Ubuntu，您可以安裝VMware，這是一個允許用戶在計算機上運行虛擬機的軟件。以下是Ubuntu在VMware中的安裝方法：

1、在VMware官網上下載VMware Workstation Player。

2、安裝VMware Workstation Player。

3、從Ubuntu官網上下載ISO文件，並使用VMware Workstation Player來創建一個虛擬機，然後將Ubuntu ISO文件寫入虛擬機的磁盤。

4、啟動虛擬機，按照Ubuntu操作系統安裝的步驟進行安裝。

3、ubuntu安裝及配置

以下是安裝並配置Spark的教程：

1、進入Spark的安裝目錄：

cd /opt/spark-3.1.2-bin-hadoop3.2/

2、創建Spark默認配置文件：

cp conf/spark-env.sh.template conf/spark-env.sh

3、編輯spark-env.sh文件：

nano conf/spark-env.sh

4、添加以下內容到spark-env.sh文件：

export SPARK_HOME=/opt/spark-3.1.2-bin-hadoop3.2
export JAVA_HOME=/usr/
export HADOOP_CONF_DIR=/opt/hadoop/etc/hadoop

其中，export SPARK_HOME是Spark的安裝目錄。

5、啟動Spark：

./sbin/start-all.sh

6、在瀏覽器中訪問Spark Web UI：

http://localhost:8080/

7、停止Spark：

./sbin/stop-all.sh

三、ubuntu安裝Hadoop

安裝Hadoop是為了讓Spark可以訪問和處理分布式數據。以下是Ubuntu安裝Hadoop的教程：

1、下載Hadoop：

wget https://apache.claz.org/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gz

2、解壓縮Hadoop：

tar -zxvf hadoop-3.3.1.tar.gz

3、將解壓得到的Hadoop文件夾移動到/opt目錄下：

sudo mv hadoop-3.3.1 /opt/

4、在Hadoop的/etc/hadoop目錄下創建core-site.xml文件：

sudo nano /opt/hadoop/etc/hadoop/core-site.xml

5、添加以下內容到core-site.xml文件：

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

其中，localhost:9000是Hadoop集群的主機名和端口號。

6、編輯hadoop-env.sh文件：

sudo nano /opt/hadoop/etc/hadoop/hadoop-env.sh

7、將以下行添加到hadoop-env.sh文件：

export JAVA_HOME=/usr/

8、格式化Hadoop文件系統：

/opt/hadoop/bin/hadoop namenode -format

9、啟動Hadoop：

/opt/hadoop/sbin/start-all.sh

10、在瀏覽器中訪問Hadoop Web UI：

http://localhost:9870/