mapreduce的應(yīng)用開發(fā)步驟

　　前言

　　MapReduce是Google提出的一個(gè)軟件架構(gòu)，用于大規(guī)模數(shù)據(jù)集（大于1TB）的并行運(yùn)算。概念“Map（映射）”和“Reduce（規(guī)約）”，和它們的主要思想，都是從函數(shù)式編程語言里借來的，還有從矢量編程語言里借來的特性。MapReduce極大地方便了編程人員在不會(huì)分布式并行編程的情況下，將自己的程序運(yùn)行在分布式系統(tǒng)上。當(dāng)前的軟件實(shí)現(xiàn)是指定一個(gè)Map（映射）函數(shù)，用來把一組鍵值對(duì)映射成一組新的鍵值對(duì)，指定并發(fā)的Reduce（規(guī)約）函數(shù)，用來保證所有映射的鍵值對(duì)中的每一個(gè)共享相同的鍵組。

　　關(guān)于mapreduce的應(yīng)用開發(fā)

　　第一步：清楚問題是什么，確定解決問題的算法思路。

　　第二步：設(shè)計(jì)和實(shí)現(xiàn)mapreduce程序中的Mapper接口，Reducer接口。它們是MapReduce作業(yè)的核心。 （0.20.2以后的API使用Mapper和Reducer抽象類，這樣便于擴(kuò)展）

　　Mapper Mapper 將輸入一個(gè)的key/value映射到0個(gè)或者多個(gè)中間格式的key/value形式。用戶需要實(shí)現(xiàn)map（WritableComparble，Writalbe，OutputCollector，Reporter）方法完成輸入到輸出的處理。同時(shí)可以選擇重寫JobConfigurable.configure（JobConf）方法完成Mapper的初始化工作；重寫Closeable.close（）方法執(zhí)行Mapper的清理工作。因?yàn)镸apReduceBase實(shí)現(xiàn)了JobConfigurable和Closeable接口，因此程序只要繼承MapReduceBase就可以。程序通過調(diào)用OutputCollector.collect（WritableComparable，Writable）

　　方法收集輸出的鍵值對(duì)（Mapper輸出鍵值對(duì)不需要與輸入鍵值對(duì)的類型一致），通Repor ter報(bào)告進(jìn)度，更新Counters表明自己正常運(yùn)行。至此Mapper過程結(jié)束，下面進(jìn)入Sort&Shuffle過程。

　　Sort&Shuffle

　　得到mapper輸出的中間結(jié)果后，傳遞給Reducer執(zhí)行前會(huì)經(jīng)歷一個(gè)分組-》合并-》分配的過程。

　　1. 框架會(huì)按照key值，把所有中間結(jié)果的進(jìn)行分成組。用戶可以通過 JobConf.setOutputKeyComparatorClass（Class）來指

　　定具體負(fù)

　　責(zé)分組的Comparator。

　　2. 用戶可以通過JobConf.setCombinerClass（Class）指定一個(gè)combiner，它負(fù)責(zé)對(duì) 中間過程的輸出進(jìn)行本地的聚集，這會(huì)有助于降低從Mapper到Reducer數(shù)

　　據(jù)傳輸量。（如WordCount會(huì)把key值相同的次數(shù)累加）

　　3. 用戶可以指定或者自定義實(shí)現(xiàn)Partitioner來控制具體的key被分配到那個(gè)Reducer。Partitioner通常使用的是Hash函數(shù)。HashPartitioner是默認(rèn)的Partitioner。Partitioner分塊的總數(shù)目和一個(gè)作業(yè)的reduce任務(wù)的數(shù)目是一樣的。

　　Sort&Shuffle的過程至此結(jié)束，Reducer過程開始。

　　Reducer Reducer會(huì)把Mapper的輸出作為輸入，因此Reducer的輸入類型需要與Mapper的輸出類型一致，Reducer任務(wù)會(huì)將輸入的key/value歸并為一個(gè)更小的結(jié)果集。用戶需要實(shí)現(xiàn) reduce（WritableComparable， Iterator， OutputCollector， Reporter）方法來對(duì)輸入的key/value進(jìn)行處理，同Mapper過程一樣，用戶可以選擇重寫JobConfigurable.configure（JobConf）方法完成Mapper的初始化工作，重寫Closeable.close（）

　　方法執(zhí)行Mapper的清理工作。用戶可以通過JobConf.setNumReduceTasks（int）來設(shè)定一個(gè)作業(yè)中reduce任務(wù)的數(shù) 目。 Reduce任務(wù)調(diào)用OutputCollector.collect（WritableComparable， Writable）將處理結(jié)果寫入HDFS。任務(wù)通過Reporter報(bào)告進(jìn)度，至此MapReduce任務(wù)結(jié)束。

　　OutputCollector

　　OutputCollector是一個(gè)MapReduce框架提供的用于收集Mapper或Reducer輸出數(shù)據(jù)的通用機(jī)制（包括中間輸出結(jié)果和作業(yè)的輸出結(jié)果）。同時(shí)hadoop類庫提供了豐富的outputFormat以供選擇，支持文本輸出，二進(jìn)制輸出，序列化輸出，數(shù)據(jù)庫輸出等等。

　　Writable

　　Hadoop中，節(jié)點(diǎn)之間的進(jìn)程通信通過RPC（remote procedures call）來實(shí)現(xiàn)。RPC中將消息序列化為二進(jìn)制流，此后，將二進(jìn)制流反序列化為消息，是進(jìn)程間通信的靈魂所在，因此可用的RPC具有，緊湊，快速，可擴(kuò)展，互操作等特點(diǎn)。 Hadoop實(shí)現(xiàn)了自己的序列化機(jī)制，相比于java自帶的序列化java object serialization，Hadoop的序列化更加緊湊，快速。同時(shí)Hadoop封裝了java中的基本類型，便于進(jìn)程間的通信，用戶也可以自定義Writable類，只要實(shí)現(xiàn)Writable接口即可。

　　JobConf

　　JobConf代表一個(gè)MapReduce作業(yè)的配置。框架會(huì)按照指定的配置信息去完成MapReduce任務(wù)，其中的配置信息比較多，有興趣的可以去官網(wǎng)了解http://hadoop.apache.org/。通常，JobConf會(huì)指明Mapper、Combiner、Partitioner、Reducer、InputFormat和OutputFormat的具體實(shí)現(xiàn)，一組輸入文件，以及輸出文件的目錄。