Hadoop學習指南

一、Hadoop簡介

Hadoop是Apache基金會開發的一款開源框架，用於存儲和處理大數據集。它使用分布式存儲和計算的方式來管理龐大的數據集。相較於傳統的數據處理方法，Hadoop更節省成本且具有更高的效率。

Hadoop分別由HDFS和MapReduce兩大模塊組成。HDFS是Hadoop Distributed File System的簡稱，用於將大文件拆分並分散存儲在不同的節點上；MapReduce則用於將數據分散在各個計算節點上進行處理。

Hadoop生態圈還有許多其他的組件，包括但不限於HBase、Hive、Pig、Zookeeper等。

二、Hadoop安裝和部署

首先需要從Hadoop官網下載對應版本的二進制壓縮包，並將其解壓到指定目錄下。接着，需要配置hadoop-env.sh文件、core-site.xml、hdfs-site.xml和mapred-site.xml，這些配置文件均在Hadoop的安裝目錄下的conf文件夾內。

配置完畢後，需要啟動HDFS和MapReduce。啟動HDFS需要使用hadoop-daemon.sh腳本，分別啟動NameNode和DataNode。啟動MapReduce則需要使用start-mapred.sh腳本，包括啟動JobTracker和TaskTracker。

# 啟動NameNode
$ sbin/hadoop-daemon.sh start namenode

# 啟動DataNode
$ sbin/hadoop-daemon.sh start datanode

# 啟動JobTracker
$ sbin/start-mapred.sh

# 啟動TaskTracker
$ sbin/hadoop-daemon.sh start tasktracker

三、HDFS操作指南

在HDFS中，文件被分割成塊並在不同的節點上存儲，一個文件可以被分割成多個塊。塊的大小可以通過hdfs-site.xml文件中的配置項dfs.blocksize進行配置，塊的數量可以通過dfs.replication進行配置。

HDFS擁有很多命令可以用來對文件進行操作，包括但不限於以下幾個：

1. 創建文件夾

$ hdfs dfs -mkdir /dir

2. 上傳文件到HDFS

$ hdfs dfs -put localfile /hdfs/path

3. 從HDFS下載文件

$ hdfs dfs -get /hdfs/path localfile

4. 刪除文件或文件夾

$ hdfs dfs -rm [-r] /hdfs/path

四、MapReduce編程

MapReduce是Hadoop最核心的組件之一，用於處理分布式計算任務。MapReduce編程分為兩個部分，一個是Map階段，用於將數據分割為小塊並進行處理；另一個是Reduce階段，用於將Map階段輸出的結果進行合併。

MapReduce編程主要有兩種方式，一個是基於Java編寫的MapReduce程序，另一個是基於HiveQL或Pig Latin等高級語言進行編寫。

下面是一個基於Java編寫的MapReduce程序，用於對輸入的文本文件進行單詞計數：

public class WordCount {
  public static class Map extends Mapper {
    private final static IntWritable one = new IntWritable(1);
    private Text word = new Text();
    
    public void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
      String line = value.toString();
      StringTokenizer tokenizer = new StringTokenizer(line);
      
      while (tokenizer.hasMoreTokens()) {
        word.set(tokenizer.nextToken());
        context.write(word, one);
      }
    }
  }
  
  public static class Reduce extends Reducer {
    public void reduce(Text key, Iterable values, Context context) throws IOException, InterruptedException {
      int sum = 0;
      
      for (IntWritable value : values) {
        sum += value.get();
      }
      
      context.write(key, new IntWritable(sum));
    }
  }
  
  public static void main(String[] args) throws Exception {
    Configuration conf = new Configuration();
    Job job = Job.getInstance(conf, "wordcount");
    
    job.setJarByClass(WordCount.class);
    job.setOutputKeyClass(Text.class);
    job.setOutputValueClass(IntWritable.class);
    
    job.setMapperClass(Map.class);
    job.setReducerClass(Reduce.class);
    
    job.setInputFormatClass(TextInputFormat.class);
    job.setOutputFormatClass(TextOutputFormat.class);
    
    FileInputFormat.addInputPath(job, new Path(args[0]));
    FileOutputFormat.setOutputPath(job, new Path(args[1]));
    
    job.waitForCompletion(true);
  }
}

五、Hadoop實戰

Hadoop可以應用於許多場景，比如日誌處理、機器學習、搜索引擎等。

以日誌處理為例，假設有一份500GB規模的日誌文件，每個日誌文件被拆分成多個塊存儲在不同的節點上。通過MapReduce程序對這些日誌文件進行分析，可以得到一些有用的信息，比如某個時間段內的訪問量、IP地址的分布等。

下面是一個簡單的代碼示例，用於統計訪問量最高的前10個URL：

public class TopUrls {
  public static class Map extends Mapper {
    private final static IntWritable one = new IntWritable(1);
    private Text url = new Text();
    
    public void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
      String line = value.toString();
      String[] fields = line.split("\t");
      
      if (fields.length == 6) {
        url.set(fields[2]);
        context.write(url, one);
      }
    }
  }
  
  public static class Reduce extends Reducer {
    private TreeMap topUrls = new TreeMap();
    
    public void reduce(Text key, Iterable values, Context context) throws IOException, InterruptedException {
      long count = 0;
      
      for (IntWritable value : values) {
        count += value.get();
      }
      
      topUrls.put(count, key.toString());
    }
    
    public void cleanup(Context context) throws IOException, InterruptedException {
      int count = 0;
      
      for (Long key : topUrls.descendingKeySet()) {
        if (count++ == 10) {
          break;
        }
        
        context.write(new Text(topUrls.get(key)), new LongWritable(key));
      }
    }
  }
  
  public static void main(String[] args) throws Exception {
    Configuration conf = new Configuration();
    Job job = Job.getInstance(conf, "topurls");
    
    job.setJarByClass(TopUrls.class);
    job.setOutputKeyClass(Text.class);
    job.setOutputValueClass(LongWritable.class);
    
    job.setMapperClass(Map.class);
    job.setReducerClass(Reduce.class);
    
    job.setInputFormatClass(TextInputFormat.class);
    job.setOutputFormatClass(TextOutputFormat.class);
    
    FileInputFormat.addInputPath(job, new Path(args[0]));
    FileOutputFormat.setOutputPath(job, new Path(args[1]));
    
    job.waitForCompletion(true);
  }
}

六、總結

本文介紹了Hadoop的概述、安裝和部署、HDFS操作、MapReduce編程和實戰案例等方面的內容。Hadoop作為一款開源的分布式框架，在大數據處理方面有着廣泛的應用場景。通過學習Hadoop，可以更好地理解大數據處理的方式和原理。