mapreduce設置map個數_mapreduce設置map內存

　　摘要

　　在map階段讀取數據前，FileInputF ormat會將輸入文件分割成split。split的個數決定了map的個數。

　　影響map個數，即split個數的因素主要有：

　　1）HDFS塊的大小，即HDFS中dfs.block.size的值。如果有一個輸入文件為1024m，當塊為

　　256m時，會被劃分為4個split；當塊為128m時，會被劃分為8個split。

　　2）文件的大小。當塊為128m時，如果輸入文件為128m，會被劃分為1個split；當塊為256m，

　　會被劃分為2個split。

　　3）文件的個數。FileInputFormat按照文件分割split，并且只會分割大文件，即那些大小超過

　　HDFS塊的大小的文件。如果HDFS中dfs.block.size設置為64m，而輸入的目錄中文件有100個，則

　　劃分后的split個數至少為100個。

　　4）splitsize的大小。分片是按照splitszie的大小進行分割的，一個split的大小在沒有設置的情況下，

　　默認等于hdfs block的大小。但應用程序可以通過兩個參數來對splitsize進行調節。

　　map個數的計算公式如下：

　　1，splitsize=max（minimumsize，min（maximumsize，blocksize））。

　　如果沒有設置minimumsize和maximumsize，splitsize的大小默認等于blocksize

　　2、計算公式

　　計算過程可以簡化為如下的公式，詳細算法可以參照FileInputSplit類中的getSplits方法

　　total_split ;

　　for（file ：輸入目錄中的每個文件）

　　{

　　file_split = 1;

　　if（file.size》splitsize）

　　{

　　file_split=file_size/splitsize;

　　}

　　total_split+=file_split;

　　}

　　關于配置MapReduce內存

　　1. Container內存使用的監控

　　NodeManager作為Yarn運行中的一個守護進程，其中一個職責是監控運行在節點上的container，通常包含每個容器的內存使用。

　　為監控容器的內存使用情況，在Yarn的配置文件yarn-site.xml中配置yarn.nodemanager.container-monitor.interval-ms屬性遍歷當前正在運行的容器，計算進程樹（process tree，即每個容器中所有的子進程），對于每個進程檢查/proc/《pid》/stat文件（其中pid為容器的進程ID），抽取出物理內存（又稱RSS）和虛擬內存（又稱VSZ或VSIZE）。

　　配置yarn-nodemanager.vmem-check-enabled控制虛擬檢查是否要求打開，然后Yarn將抽取出來的容器及其子進程的VSIZE加起來和容器最大允許使用的虛擬內存進行比較。最大允許使用的虛擬內存是容器最大可使用的物理內存×yarn.nodemanager.vmem-pmem-ratio（默認值為2.1）。所以，如果Yarn容器配置的最大可用物理內存為2GB，然后乘以2.1即為容器最大可用的虛擬內存4.2G。

　　配置yarn.nodemanager.pmem-check-enabled屬性控制物理內存檢查是否被打開，然后Yarn將抽取出來的容器及其子進程的加起來和容器最大允許使用的物理內存進行比較。

　　如果物理內存或者虛擬內存其中一個使用大于最大允許使用情況，Yarn會將kill該容器。并在日志打印以下日志：

　　Application application_1409135750325_48141 failed 2 times due to AM Container for

　　appattempt_1409135750325_48141_000002 exited with exitCode： 143 due to： Container

　　［pid=4733，containerID=container_1409135750325_48141_02_000001］ is running beyond physical memory limits.

　　Current usage： 2.0 GB of 2 GB physical memory used; 6.0 GB of 4.2 GB virtual memory used. Killing container.