CDH安裝指南

一、CDH安裝教程

首先，我們需要了解CDH是什麼。Cloudera Distribution of Hadoop（CDH）是一個基於Apache Hadoop的發行版，它是用於大數據的開源平台。使用CDH，您可以管理和處理數千台伺服器上的PB級數據。CDH安裝的前提是您需要先準備好具有至少8GB的64位伺服器。接下來，讓我們一步步進行CDH的安裝。

1、創建Cloudera Repository。打開終端，輸入以下命令：

wget https://archive.cloudera.com/cm7/7.4.6/redhat7/yum/cloudera-manager.repo
sudo mv cloudera-manager.repo /etc/yum.repos.d/

2、安裝jdk。在終端中輸入以下命令：

sudo yum install oracle-j2sdk1.8

3、安裝Cloudera Manager Server。在終端中輸入以下命令：

sudo yum install cloudera-manager-server

4、啟動Cloudera Manager Server。在終端中輸入以下命令：

sudo systemctl start cloudera-scm-server

5、安裝Cloudera Manager Agent。在終端中輸入以下命令：

sudo yum install cloudera-manager-agent

6、啟動Cloudera Manager Agent。在終端中輸入以下命令：

sudo systemctl start cloudera-scm-agent

二、CDH安裝部署

1、為了使CDH集群能夠正常工作，您需要設置每個節點的主機名和IP地址。在終端中輸入以下命令：

sudo vi /etc/hosts

2、在Hosts文件中添加每個節點的IP地址和主機名。例如：

192.168.1.1 node1
192.168.1.2 node2
192.168.1.3 node3

3、使用Cloudera Manager啟動集群，打開瀏覽器，輸入「http://your-server:7180/」，按照提示進行操作即可。

三、CDH安裝hive報錯

在CDH安裝hive時，可能會遇到以下報錯：

Hive Metastore is not starting

這是因為hive默認的metastore是採用derby方式的，如果您的數據量比較大，那麼就會導致啟動失敗。為了解決這個問題，我們可以將metastore改為MySQL方式。

1、首先安裝MySQL資料庫。在終端中輸入以下命令：

sudo yum install mysql-server
sudo systemctl start mysqld.service
sudo /usr/bin/mysql_secure_installation

2、在mysql中創建hive用戶和hive資料庫。在終端中輸入以下命令：

mysql -u root -p
Enter password:
create user 'hive'@'%' identified by 'hive';
create database hive;
grant all privileges on hive.* to 'hive'@'%';
flush privileges;
quit;

3、在hive-site.xml中增加MySQL metastore的配置：

<property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://node1:3306/hive</value>
</property>
<property>
    <name>javax.jdo.option.ConnectionDriverName</name>
    <value>com.mysql.jdbc.Driver</value>
</property>
<property>
    <name>javax.jdo.option.ConnectionUserName</name>
    <value>hive</value>
</property>
<property>
    <name>javax.jdo.option.ConnectionPassword</name>
    <value>hive</value>
</property>

4、重新啟動CDH服務。

四、CDH安裝集群

如果您需要在CDH上部署一整個集群，可以按照以下步驟進行操作：

1、選擇多個節點作為CDH集群的節點。

2、在每個節點上都安裝CDH的核心服務，如HDFS、YARN、Hive等。

3、使用Cloudera Manager進行集群管理。在「Hosts and Services」中添加集群內的每個節點，並分別安裝各個服務。

4、在每個節點上都應配置正確的主機名和IP地址，以保證集群節點能夠彼此通信。

五、CDH安裝hive

1、在CDH上安裝hive。在終端中輸入以下命令：

sudo yum install hive

2、在hive-site.xml中添加相關配置。例如：

<property>
    <name>hive.metastore.warehouse.dir</name>
    <value>/user/hive/warehouse</value>
</property>
<property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:derby:/var/lib/hive/metastore/metastore_db;create=true</value>
</property>
<property>
    <name>hive.server2.enable.doAs</name>
    <value>false</value>
</property>

3、啟動hive服務。

六、CDH安裝flink

1、在CDH上安裝flink。在終端中輸入以下命令：

sudo yum install flink

2、配置flink。在flink-conf.yaml文件中進行配置。例如：

jobmanager.rpc.address: node1

3、啟動flink。在終端中輸入以下命令：

flink start-foreground

七、CDH安裝包在哪下載

CDH安裝包可以從Cloudera的官方網站進行下載：https://www.cloudera.com/downloads.html。

八、CDH安裝包下載

1、打開Cloudera的官方網站，選擇需要下載的版本和操作系統。例如：

https://www.cloudera.com/downloads/cdh/7-1-7.html

2、下載對應的CDH安裝包。

九、CDH安裝HUdi

1、安裝HUdi插件。在終端中輸入以下命令：

sudo yum install hudi

2、在hive-site.xml中添加HUdi的配置。例如：

<property>
    <name>hive.aux.jars.path</name>
    <value>file:///usr/lib/hudi/hudi-utilities-bundle.jar</value>
</property>

3、使用HUdi。在終端中輸入以下命令：

hudi-cli