Hadoop3編譯安裝

基礎環境：Centos 7.7

編譯環境軟體安裝目錄

mkdir -p /export/server

Hadoop編譯安裝

• 安裝編譯相關的依賴

1、yum install gcc gcc-c++ -y
#下面這個命令不需要執行 手動安裝cmake
2、yum install make cmake  #(這裡cmake版本推薦為3.6版本以上，版本低源碼無法編譯！可手動安裝)
3、yum install autoconf automake libtool curl -y
4、yum install lzo-devel zlib-devel openssl openssl-devel ncurses-devel -y
5、yum install snappy snappy-devel bzip2 bzip2-devel lzo lzo-devel lzop libXtst -y

• 手動安裝cmake

#yum卸載已安裝cmake 版本低
yum erase cmake

#解壓
tar zxvf cmake-3.13.5.tar.gz

#編譯安裝
cd /export/server/cmake-3.13.5

./configure

make && make install

#驗證
[root@node4 ~]# cmake -version      
cmake version 3.13.5

#如果沒有正確顯示版本 請斷開SSH連接 重寫登錄

• 手動安裝snappy

#卸載已經安裝的
cd /usr/local/lib
rm -rf libsnappy*
#上傳解壓
tar zxvf snappy-1.1.3.tar.gz 

#編譯安裝
cd /export/server/snappy-1.1.3
./configure
make && make install

#驗證是否安裝
[root@node4 snappy-1.1.3]# ls -lh /usr/local/lib |grep snappy
-rw-r--r-- 1 root root 511K Nov  4 17:13 libsnappy.a
-rwxr-xr-x 1 root root  955 Nov  4 17:13 libsnappy.la
lrwxrwxrwx 1 root root   18 Nov  4 17:13 libsnappy.so -> libsnappy.so.1.3.0
lrwxrwxrwx 1 root root   18 Nov  4 17:13 libsnappy.so.1 -> libsnappy.so.1.3.0
-rwxr-xr-x 1 root root 253K Nov  4 17:13 libsnappy.so.1.3.0

• 安裝配置JDK 1.8

#解壓安裝包
tar zxvf jdk-8u65-linux-x64.tar.gz

#配置環境變數
vim /etc/profile

export JAVA_HOME=/export/server/jdk1.8.0_65
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

source /etc/profile

#驗證是否安裝成功
java -version

java version "1.8.0_65"
Java(TM) SE Runtime Environment (build 1.8.0_65-b17)
Java HotSpot(TM) 64-Bit Server VM (build 25.65-b01, mixed mode)
You have new mail in /var/spool/mail/root

• 安裝配置maven

#解壓安裝包
tar zxvf apache-maven-3.5.4-bin.tar.gz

#配置環境變數
vim /etc/profile

export MAVEN_HOME=/export/server/apache-maven-3.5.4
export MAVEN_OPTS="-Xms4096m -Xmx4096m"
export PATH=:$MAVEN_HOME/bin:$PATH

source /etc/profile

#驗證是否安裝成功
[root@node4 ~]# mvn -v
Apache Maven 3.5.4

#添加maven 阿里雲倉庫地址 加快國內編譯速度
vim /export/server/apache-maven-3.5.4/conf/settings.xml

<mirrors>
     <mirror>
           <id>alimaven</id>
           <name>aliyun maven</name>
           <url>http://maven.aliyun.com/nexus/content/groups/public/</url>
           <mirrorOf>central</mirrorOf>
      </mirror>
</mirrors>

• 安裝ProtocolBuffer 2.5.0

#解壓
tar zxvf protobuf-2.5.0.tar.gz

#編譯安裝
cd /export/server/protobuf-2.5.0
./configure
make && make install

#驗證是否安裝成功
[root@node4 protobuf-2.5.0]# protoc --version
libprotoc 2.5.0

• 編譯hadoop

#上傳解壓源碼包
tar zxvf hadoop-3.1.4-src.tar.gz

#編譯
cd /export/server/hadoop-3.1.4-src

mvn clean package -Pdist,native -DskipTests -Dtar -Dbundle.snappy -Dsnappy.lib=/usr/local/lib

#參數說明：

Pdist,native ：把重新編譯生成的hadoop動態庫；
DskipTests ：跳過測試
Dtar ：最後把文件以tar打包
Dbundle.snappy ：添加snappy壓縮支持【默認官網下載的是不支持的】
Dsnappy.lib=/usr/local/lib ：指snappy在編譯機器上安裝後的庫路徑

• 編譯之後的安裝包路徑

/export/server/hadoop-3.1.4-src/hadoop-dist/target