/strong
, x86-64,version 1 (SYSV), dynamically linked, not stripped
看到黑色的“ELF-64bit LSB”证明64bit hadoop2.2.0初步编译成功，查看我们之前的hadoop0.20.3版本，会发现lib//native/libhadoop.so.1.0.0是32bit，这是不正确的！。^_^
2. hadoop2.2**配置**
**2.1 home设置**
为了和MRv1区别， 2.2版本的home目录直接命名为yarn:
1
2
3
4
$
su
hadoop
$
cd
~
$
mkdir
–p yarn
/yarn_data67
$
cp
–a ~hadoop
/hadoop-2
.2.0-src
/hadoop-dist/target/hadoop-2
.2.0 ~hadoop
/yarn
2.2 环境变量设置
~/.bashrc里添加新环境变量：
1
2
3
4
5
6
7
8
9
10
11
12
/# javaenv
export
JAVA_HOME=
"/usr/java/jdk1.7.0_45"
exportPATH=
"$JAVA_HOME/bin:$PATH"
/# hadoopvariable settings
export
HADOOP_HOME=
"$HOME/yarn/hadoop-2.2.0"
export
HADOOP_PREFIX=
"$HADOOP_HOME/"
export
YARN_HOME=$HADOOP_HOME
export
HADOOP_MAPRED_HOME=
"$HADOOP_HOME"
export
HADOOP_COMMON_HOME=
"$HADOOP_HOME"
export
HADOOP_HDFS_HOME=
"$HADOOP_HOME"
export
HADOOP_CONF_DIR=
"$HADOOP_HOME/etc/hadoop/"
export
YARN_CONF_DIR=$HADOOP_CONF_DIR
export
PATH=
"$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH"
以上操作注意2点：
- jdk一定要保证是64bit的
2.HADOOP_PREFIX极其重要，主要是为了兼容MRv1，优先级最高（比 如寻找conf目录，即使我们配置了HADOOP_CONF_DIR,启动脚本依然会优先从$HADOOP_PREFIX/conf/里查找），一定要保 证此变量正确配置(也可不设置，则默认使用HADOOP_HOME/etc/hadoop/下的配置文件)
**2.3 改官方启动脚本的bug**
**说明：此版本虽然是release稳定版，但是依然有非常弱智的bug存在。
正常情况下，启动守护进程$YARN_HOME/sbin/hadoop-daemons.sh中可以指定node.
我们看下该启动脚本的说明：
1
2
$sbin
/hadoop-daemons
.sh
Usage:hadoop-daemons.sh [--config confdir] [--hosts hostlistfile] [start|stop]
command
args...
可以看到--hosts可以指定需要启动的存放节点名的文件名：
但这是无效的，此脚本调用的$YARN_HOME/libexec/hadoop-config.sh脚本有bug.
先建一个文件datanodefile 添加datanode节点，放入conf/文件夹下，然后执行一下启动脚本：
1
2
$sbin
/hadoop-daemons
.sh --hosts datanodefile start datanode
at:
/home/grid/yarn/hadoop-2
.2.0
/etc/hadoop//126571
:No such
file
or directory
分析脚本，定位到嵌套脚本$YARN_HOME/libexec/hadoop-config.sh第96行：
196
export
HADOOP_SLAVES=
"${HADOOP_CONF_DIR}/$$1"
看到红色部分是不对的，应该修改为：
196
export
HADOOP_SLAVES=
"${HADOOP_CONF_DIR}/$1"
备注1：此版本11月初发布至今，网上教程不论中文还是英文，均未提及此错误。
备注2：$YARN_HOME/libexec/hadoop-config.sh中分析hostfile的逻辑非常脑残：
1
2
3
4
593
if
[
"--hosts"
=
"$1"
]
94
then
95
shift
96
export
HADOOP_SLAVES=
"${HADOOP_CONF_DIR}/%$1"
97
shift
因此，用户只能将自己的hostfile放在${HADOOP_CONF_DIR}/ 下面，放在其它地方是无效的。
备注3：按照$YARN_HOME/libexec/hadoop-config.sh脚本的逻辑，还有一种方式指定host
1$hadoop-daemons.sh –hostnames cluster1 start datanode
注意，因为bash脚本区分输入参数的分割符为\t或\s，所以限制了此种方式只能指定一个单独的节点
总结以上分析和修改步骤：
1
2
3
4
5$
cd
$YARN_HOME
/libexec/
$vim hadoop-config.sh
/#修改第96行代码为：
export
HADOOP_SLAVES=
"${HADOOP_CONF_DIR}/$1"
/#保存退出vim
**2.4 配置文件设置**
1 2 3 <?xml version="1.0"?> 4 <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> 5 6 7 8 fs.defaultFS 9 hdfs://cluster1:900010 11 12 13 hadoop.tmp.dir14 /home/grid/hadoop-2.2.0-src/hadoop-dist/target/hadoop-2.2.0//yarn_data/tmp/hadoop-grid15 16 17 备注1：注意fs.defaultFS为新的变量，代替旧的：fs.default.name18 19 备注2：tmp文件夹放在我们刚才新建的$HOME/yarn/yarn_data/下面。20 21 22 23 24 dfs.replication25 326 27
**备注1. 新：dfs.namenode.name.dir，旧：dfs.name.dir，新：dfs.datanode.name.dir，旧：dfs.data.dir
**备注2. dfs.replication确定 data block的副本数目，hadoop基于rackawareness(机架感知)默认复制3份分block,（同一个rack下两个，另一个rack下一 份，按照最短距离确定具体所需block, 一般很少采用跨机架数据块，除非某个机架down了）
1 2 3 4 5 yarn.nodemanager.aux-services 6 mapreduce_shuffle 7 8 9 10 yarn.resourcemanager.address11 cluster1:803212 13 14 15 yarn.resourcemanager.resource-tracker.address16 cluster1:803117 18 19 20 yarn.resourcemanager.admin.address21 cluster1:803322 23 24 25 yarn.resourcemanager.scheduler.address26 cluster1:803027 28 29 30 yarn.nodemanager.loacl-dirs31 /home/grid/hadoop-2.2.0-src/hadoop-dist/target//hadoop-2.2.0/yarn_data/mapred/nodemanager32 true33 34 35 36 yarn.web-proxy.address37 cluster1:888838 39 40 41 yarn.nodemanager.aux-services.mapreduce.shuffle.class42 org.apache.hadoop.mapred.ShuffleHandler43 44
在此特意提醒：
(1) 目前网上盛传的各种hadoop2.2的基于分布式集群的安装教程大部分都是错的,hadoop2.2配置里最重要的也莫过于yarn-site.xml里的变量了吧？
(2)不同于单机安装，基于集群的搭建必须设置
yarn-site.xml可选变量yarn.web-proxy.address
和
yarn.nodemanager.loacl-dirs
外的其它所有变量！后续会专门讨论yarn-site.xml里各个端口配置的含义。
1 2 3 4 5 mapreduce.framework.name6 yarn7 8
备注1：新的计算框架取消了实体上的jobtracker, 故不需要再指定mapreduce.jobtracker.addres，而是要指定一种框架，这里选择yarn. 备注2：hadoop2.2.还支持第三方的计算框架，但没怎么关注过。
配置好以后将$HADOOP_HOME下的所有文件，包括hadoop目录分别copy到其它3个节点上。
2.5**各节点功能规划**
确保在每主机的/etc/hosts里添加了所有node的域名解析表（i.e.cluster1 198.0.0.1）；iptables已关闭；/etc/sysconfig/network-script/ifcfg-eth0里 BOTPROTO=static；/etc/sysconfig/network文件里已设置了各台主机的hostname, 静态ip地址，且已经重启过每台机器；jdk和hadoop都为64bit；ssh免登陆已配置；完成以上几项后，就可以启动hadoop2.2.0了。
注意到从头到尾都没有提到Master, Slave,也没有提到namenode,datanode,是因为，新的计算框架，新的hdfs中不存在物理上的Master节点，所有的节点都是等价的。
各节点职能划分在篇首已有说明， 在此重提一下：
1
2
3
4
cluster1 resourcemanager, nodemanager, proxyserver,historyserver, datanode, namenode,
cluster2 datanode, nodemanager
cluster3 datanode, nodemanager
cluster4 datanode, nodemanager
2.6 hdfs 格式化
1$bin
/hdfs
namenode –
format
(注意：hadoop 2.2.0的格式化步骤和旧版本不一样，旧的为 $YARN_HOME/bin/hadoop namenode –format)
2.7 hadoop整体启动
**启动方式（1）分别登录各自主机开启
在cluster1节点上，分别启动resourcemanager,nodemanager, proxyserver, historyserver, datanode, namenode,
在cluster2, cluster3, cluster4 节点主机上，分别启动datanode,nodemanager
备注：如果resourcemanager是 独立的，则除了resourcemanager,其余每一个节点都需要一个nodemanager，我们可以在$YARN_HOME/etc /hadoop/下新建一个nodehosts, 在里面添加所有的除了resourcemanager外的所有node，因为此处我们配置的resourcemanager和namenode是同一台主 机，所以此处也需要添加nodemanager
执行步骤如下：
1
2
3
4
5
6
7
8
9
10
11
12
13$
hostname
/#查看host名字
cluster1
$sbin
/hadoop-daemon
.sh --script hdfs start namenode
/# 启动namenode
$sbin
/hadoop-daemon
.sh --script hdfs start datanode
/# 启动datanode
$sbin
/yarndaemon
.shstart nodemanager
/#启动nodemanager
$sbin
/yarn-daemon
.sh start resourcemanager
/# 启动resourcemanager
$sbin
/yarn-daemon
.shstart proxyserver
/# 启动web App proxy, 作用类似jobtracker,若yarn-site.xml里没有设置yarn.web-proxy.address的host和端口，或者设置了和 resourcemanager相同的host和端口，则hadoop默认proxyserver和resourcemanager共享 host:port
$sbin
/mr-jobhistory-daemon
.sh start historyserver
/#你懂得
$
ssh
cluster2
/#登录cluster2
$
hostname
/#查看host名字cluster2
$sbin
/yarndaemon
.shstart nodemanager
/# 启动nodemanager
$sbin
/hadoop-daemon
.sh --script hdfs start datanode
/# 启动datanode
$
ssh
cluster3
/#登录cluster3.../# cluster2, cluster3, cluster4启动方式和cluster2一样。
启动方式（2）使用hadoop自带的批处理脚本开启
Step1.确认已登录cluster1:
1$
hostname
cluster1
在$YARN_HOME/etc/hadoop/下新建namenodehosts,添加所有namenode节点
1
2
$
cat
$YARN_HOME
/etc/hadoop/namenodehosts
cluster1
在$YARN_HOME/etc/hadoop/下新建datanodehosts,添加所有datanode节点
1
2
3
4
$
cat
$YARN_HOME
/etc/hadoop/datanodehosts
cluster2
cluster3
cluster4
在$YARN_HOME/etc/hadoop/下新建nodehosts,添加所有datanode和namenode节点
1
2
3
4
5$
cat
$YARN_HOME
/etc/hadoop/datanodehosts
cluster1
cluster2
cluster3
cluster4
备注：以上的hostfile名字是随便起的，可以是任意的file1,file2,file3, 但是必须放在$YARN_HOME/etc/hadoop/下面！
Step2.执行脚本
1
2
3
4
5
6
$sbin
/hadoop-daemons
.sh--hosts namenodehosts --script hdfsstart namenode
$sbin
/hadoop-daemons
.sh--hosts datanodehosts --script hdfsstart datanode
$sbin
/yarn-daemons
.sh--hostnames cluster1 start resourcemanager
$sbin
/yarn-daemons
.sh--hosts allnodehosts start nodemanager
$sbin
/yarn-daemons
.sh--hostnames cluster1 start proxyserver
$sbin
/mr-jobhistory-daemon
.sh start historyserver
在这里不得不纠正一个其他教程上关于对hadoop2.2做相关配置和运行时的错误!
我们在core-site.xml指定了default filesystem为cluster1, 并指定了其节点ip（或节点名）和端口号， 这意味着若启动hadoop时不额外添加配置（启动hadoop时命令行里加--conf指定用户配置文件的存放位置)，则默认的namenode就一 个，那就是cluster1, 如果随意指定namenode必然会出现错误！
如果你要还要再启动一个新的namenode(以cluster3为例)，则必须如下操作：
a. 新建一个core-site.xml，添加fs.defaultFS的value为hdfs://cluster3:9000
b. command：
1$sbin
/hadoop-daemon
.sh --hostnames cluster3 --conf you_conf_dir --script hdfs --start namenode
我们之前启动的namenode为cluster1, 假如要查看放在此文件系统根目录下的文件input_file，则它的完整路径为 hdfs://cluster1:9000/input_file
Step3.查看启动情况
在cluster1上：
1
2
3
4
5
6
$jps
22411 NodeManager
23356 Jps
22292 ResourceManager
22189 DataNode
22507 WebAppProxyServer
在cluster2上
1
2
3
4
$jps
8147 DataNode
8355 Jps
8234 NodeManagercluster3，cluster4上和cluster2一样。
**Step4.查看各节点状态以及yarncluster运行状态
（1）查看各节点状态
FireFox进入： http://cluster1:50070(cluster1为namenode所在节点)
在主页面（第一张图）上点击Live Node，查看（第二张图）上各Live Node状态：
（2）查看resourcemanager上cluster运行状态
Firefox进入：http://cluster2:8088(node1为resourcemanager所在节点)
Step5. Cluster上MapReduce测试
现提供3个test cases
Test Case 1 testimated_value_of_pi
command:
$sbin/yarnjar $YARN_HOME/share/hadoop//mapreduce/hadoop-mapreduce-examples-2.2.0.jar \pi 101000000
console输出：
Number of Maps =10 Samples per Map = 1000000 Wrote input for Map /#0 Wrote input for Map /#1 Wrote input for Map /#2 Wrote input for Map /#3 Wrote input for Map /#4 Wrote input for Map /#5 Wrote input for Map /#6 Wrote input for Map /#7 Wrote input for Map /#8 Wrote input for Map /#9 Starting Job 13/11/06 23:20:07 INFO Configuration.deprecation: mapred.map.tasksis deprecated. Instead, use mapreduce.job.maps 13/11/06 23:20:07 INFO Configuration.deprecation:mapred.output.key.class is deprecated. Instead, usemapreduce.job.output.key.class 13/11/06 23:20:07 INFO Configuration.deprecation:mapred.working.dir is deprecated. Instead, use mapreduce.job.working.dir 13/11/06 23:20:11 INFO mapreduce.JobSubmitter: Submittingtokens for job: job_1383806445149_0001 13/11/06 23:20:15 INFO impl.YarnClientImpl: Submittedapplication application_1383806445149_0001 to ResourceManager at /0.0.0.0:8032 13/11/06 23:20:16 INFO mapreduce.Job: The url to trackthe job: http://Node1:8088/proxy/application_1383806445149_0001/ 13/11/06 23:20:16 INFO mapreduce.Job: Running job:job_1383806445149_0001 13/11/06 23:21:09 INFO mapreduce.Job: Jobjob_1383806445149_0001 running in uber mode : false 13/11/06 23:21:10 INFO mapreduce.Job: map 0% reduce 0% 13/11/06 23:24:28 INFO mapreduce.Job: map 20% reduce 0% 13/11/06 23:24:30 INFO mapreduce.Job: map 30% reduce 0% 13/11/06 23:26:56 INFO mapreduce.Job: map 57% reduce 0% 13/11/06 23:26:58 INFO mapreduce.Job: map 60% reduce 0% 13/11/06 23:28:33 INFO mapreduce.Job: map 70% reduce 20% 13/11/06 23:28:35 INFO mapreduce.Job: map 80% reduce 20% 13/11/06 23:28:39 INFO mapreduce.Job: map 80% reduce 27% 13/11/06 23:30:06 INFO mapreduce.Job: map 90% reduce 27% 13/11/06 23:30:09 INFO mapreduce.Job: map 100% reduce 27% 13/11/06 23:30:12 INFO mapreduce.Job: map 100% reduce 33% 13/11/06 23:30:25 INFO mapreduce.Job: map 100% reduce 100% 13/11/06 23:30:54 INFO mapreduce.Job: Jobjob_1383806445149_0001 completed successfully 13/11/06 23:31:10 INFO mapreduce.Job: Counters: 43 File SystemCounters FILE:Number of bytes read=226 FILE:Number of bytes written=879166 FILE:Number of read operations=0 FILE:Number of large read operations=0 FILE:Number of write operations=0 HDFS:Number of bytes read=2590 HDFS:Number of bytes written=215 HDFS:Number of read operations=43 HDFS:Number of large read operations=0 HDFS:Number of write operations=3 JobCounters Launchedmap tasks=10 Launchedreduce tasks=1 Data-localmap tasks=10 Totaltime spent by all maps in occupied slots (ms)=1349359 Totaltime spent by all reduces in occupied slots (ms)=190811 Map-ReduceFramework Mapinput records=10 Mapoutput records=20 Mapoutput bytes=180 Mapoutput materialized bytes=280 Inputsplit bytes=1410 Combineinput records=0 Combineoutput records=0 Reduceinput groups=2 Reduceshuffle bytes=280 Reduceinput records=20 Reduceoutput records=0 SpilledRecords=40 ShuffledMaps =10 FailedShuffles=0 MergedMap outputs=10 GCtime elapsed (ms)=45355 CPUtime spent (ms)=29860 Physicalmemory (bytes) snapshot=1481818112 Virtualmemory (bytes) snapshot=9214468096 Totalcommitted heap usage (bytes)=1223008256 ShuffleErrors BAD_ID=0 CONNECTION=0 IO_ERROR=0 WRONG_LENGTH=0 WRONG_MAP=0 WRONG_REDUCE=0 File InputFormat Counters BytesRead=1180 File OutputFormat Counters BytesWritten=97 13/11/06 23:31:15 INFO mapred.ClientServiceDelegate:Application state is completed. FinalApplicationStatus=SUCCEEDED. Redirectingto job history server Job Finished in 719.041 seconds Estimated value of Pi is 3.14158440000000000000
说明：可以看到最后输出值为该job使用了 10个maps, job id为job1383806445149_000, 最后计算得Pi的值为13.14158440000000000000， job Id分配原则为job年月日时分job序列号，序列号从0开始，上限值为1000， task id分配原则为job年月日时分job序列号_task序列号_m, job年月日时分_job序列号_task序列号_r, m代表map taskslot , r代表reduce task slot, task 序列号从0开始，上限值为1000.
Test Case 2 random_writting
/#command line $sbin/yarnjar $YARN_HOME/share/hadoop//mapreduce/hadoop-mapreduce-examples-2.2.0.jar \randomwriter/user/grid/test/test_randomwriter/out
/#Console输出摘录： Running 10 maps.Job started: Wed Nov 0623:42:17 PST 201313/11/0623:42:17 INFO client.RMProxy: Connecting toResourceManager at /0.0.0.0:803213/11/0623:42:19 INFO mapreduce.JobSubmitter: number ofsplits:1013/11/0623:42:20 INFO mapreduce.JobSubmitter: Submittingtokens for job: job_1383806445149_000213/11/0623:42:21 INFO impl.YarnClientImpl: Submittedapplication application_1383806445149_0002 to ResourceManager at /0.0.0.0:803213/11/0623:42:21 INFO mapreduce.Job: The url to trackthe job: http://Master:8088/proxy/application_1383806445149_0002/13/11/0623:42:21 INFO mapreduce.Job: Running job:job_1383806445149_000213/11/0623:42:40 INFO mapreduce.Job: Jobjob_1383806445149_0002 running in uber mode : false13/11/0623:42:40 INFO mapreduce.Job: map 0% reduce 0% 13/11/0623:55:02 INFO mapreduce.Job: map 10% reduce 0% 13/11/0623:55:14 INFO mapreduce.Job: map 20% reduce 0% 13/11/0623:55:42 INFO mapreduce.Job: map 30% reduce 0% 13/11/0700:06:55 INFO mapreduce.Job: map 40% reduce 0% 13/11/0700:07:10 INFO mapreduce.Job: map 50% reduce 0% 13/11/0700:07:36 INFO mapreduce.Job: map 60% reduce 0% 13/11/0700:13:47 INFO mapreduce.Job: map 70% reduce 0% 13/11/0700:13:54 INFO mapreduce.Job: map 80% reduce 0% 13/11/0700:13:58 INFO mapreduce.Job: map 90% reduce 0% 13/11/0700:16:29 INFO mapreduce.Job: map 100% reduce 0% 13/11/0700:16:37 INFO mapreduce.Job: Jobjob_1383806445149_0002 completed successfully File OutputFormat Counters BytesWritten=10772852496Job ended: Thu Nov 0700:16:40 PST 2013The job took 2062 seconds.
说明：电脑存储空间足够的话，可以从hdfs里down下来看看。
现只能看一看输出文件存放的具体形式：
./bin/hadoopfs -ls /user/grid/test/test_randomwriter/out/Found 11items-rw-r--r-- 2 grid supergroup 02013-11-0700:16/user/grid/test/test_randomwriter/out/_SUCCESS-rw-r--r-- 2 grid supergroup 10772782142013-11-0623:54 /user/grid/test/test_randomwriter/out/part-m-00000 -rw-r--r-- 2 grid supergroup 10772827512013-11-0623:55 /user/grid/test/test_randomwriter/out/part-m-00001 -rw-r--r-- 2 grid supergroup 10772802982013-11-0623:55 /user/grid/test/test_randomwriter/out/part-m-00002 -rw-r--r-- 2 grid supergroup 10773031522013-11-0700:07 /user/grid/test/test_randomwriter/out/part-m-00003 -rw-r--r-- 2 grid supergroup 10772842402013-11-0700:06 /user/grid/test/test_randomwriter/out/part-m-00004 -rw-r--r-- 2 grid supergroup 10772866042013-11-0700:07 /user/grid/test/test_randomwriter/out/part-m-00005 -rw-r--r-- 2 grid supergroup 10772843362013-11-0700:13 /user/grid/test/test_randomwriter/out/part-m-00006 -rw-r--r-- 2 grid supergroup 10772848292013-11-0700:13 /user/grid/test/test_randomwriter/out/part-m-00007 -rw-r--r-- 2 grid supergroup 10772897062013-11-0700:13 /user/grid/test/test_randomwriter/out/part-m-00008 -rw-r--r-- 2 grid supergroup 10772783662013-11-0700:16 /user/grid/test/test_randomwriter/out/part-m-00009
Test Case3 word_count
（1）Locaol上创建文件：
$mkdirinput%echo ‘hello,world’ >> input/file1.in$echo ‘hello, ruby’ >> input/file2.in
（2）上传到hdfs上：
./bin/hadoop fs -mkdir -p /user/grid/test/test_wordcount/./bin/hadoop fs –put input/user/grid/test/test_wordcount/in
（3）用yarn新计算框架运行mapreduce：
/#command line $bin/yarn jar$YARN_HOME/share/hadoop//mapreduce/hadoop-mapreduce-examples-2.2.0.jarwordcount /user/grid/test/test_wordcount/in/user/grid/test/test_wordcount/out /#ConSole输出摘录：3/11/0700:35:03 INFO client.RMProxy:Connecting to ResourceManager at /0.0.0.0:803213/11/0700:35:05 INFO input.FileInputFormat:Total input paths to process : 213/11/0700:35:05 INFO mapreduce.JobSubmitter:number of splits:213/11/0700:35:06 INFO mapreduce.JobSubmitter:Submitting tokens for job: job_1383806445149_000313/11/0700:35:08 INFO impl.YarnClientImpl:Submitted application application_1383806445149_0003 to ResourceManager at /0.0.0.0:803213/11/0700:35:08 INFO mapreduce.Job: The urlto track the job: http://Master:8088/proxy/application_1383806445149_0003/13/11/0700:35:08 INFO mapreduce.Job: Runningjob: job_1383806445149_000313/11/0700:35:25 INFO mapreduce.Job: Jobjob_1383806445149_0003 running in uber mode : false13/11/0700:35:25 INFO mapreduce.Job: map 0% reduce 0% 13/11/0700:37:50 INFO mapreduce.Job: map 33% reduce 0% 13/11/0700:37:54 INFO mapreduce.Job: map 67% reduce 0% 13/11/0700:37:55 INFO mapreduce.Job: map 83% reduce 0% 13/11/0700:37:58 INFO mapreduce.Job: map 100% reduce 0% 13/11/0700:38:51 INFO mapreduce.Job: map 100% reduce 100% 13/11/0700:38:54 INFO mapreduce.Job: Jobjob_1383806445149_0003 completed successfully13/11/0700:38:56 INFO mapreduce.Job:Counters: 43
说明：查看word count的计算结果：
1
2
3
4
$bin
/hadoop
fs -
cat
/user/grid/test//test_wordcount/out/
/*
hadoop 1
hello 1
ruby
补充：因为新的YARN为了保持与MRv1框 架的旧版本兼容性，很多老的API还是可以用，但是会有INFO。此处通过修改$YARN_HOME/etc/hadoop /log4j.properties可以turn offconfiguration deprecation warnings.
建议去掉第138行的注释（可选），确保错误级别为WARN（默认为INFO级别，详见第20行：hadoop.root.logger=INFO,console）：
1138 log4j.logger.org.apache.hadoop.conf.Configuration.deprecation=WARN
附文：
集群搭建、配置步骤（基于CentOS_64bit）
0. 说明
大体规划如下：
虚拟机： VMware-workstation-full-8.0.3-703057（VMware10中文版不完整，此版本内含vmware tools，为设定共享文件夹所必须）
电脑1，VMWare,内装2个虚拟系统，(cluster1, cluster2)
电脑2,，VMware内装2个虚拟系统，(cluster3, cluster4)
虚拟主机： CentOS x86 64bit
局域网IP设置：**
1
2
3
4
cluster1 172.16.102. 201
cluster2 172.16.102. 202
cluster3 172.16.102. 203
cluster4 172.16.102. 204
网关
1172.16.102.254
1. Linux集群安装
(1) 准备
Vmware: VMware-workstation-full-8.0.3-703057(此安装包自带VMWare Tools)
Linux:CentOS.iso
(2) VMWare配置
VMWare以及所有安装的虚拟机均为桥接
Step1. 配置VMWare 联网方式： Editor->Virtual Network Editor->选择Bridged， 点击确定
Step2. 安装虚拟机
Step3.配置各虚拟机接网方式：右键已安装虚拟机->点击NetworkAdapter, 选择桥接，确定
Step4. 为所有安装好的虚拟系统设置一个共享目录(类似FTP，但是设置共享目录更方便) ：右键已安装虚拟机->点击Virtual Machine Settings对话框上部Options， 选择Shared Folder， 在本地新建SharedFolder并添加进来,确定。
(3) linux下网卡以及IP配置
以下配置在三个虚拟系统里均相同, 以cluster1为例：
配置前需切换为root
Step1. 修改主机名， 设置为开启网络
配置/etc/sysconfig/network：
1
2
3[root@localhost ~]
/# cat /etc/sysconfig/network
NETWORKING=
yes
HOSTNAME=cluster1
Step2.修改当前机器的IP， 默认网关， IP分配方式， 设置网络接口为系统启动时有效：
a.查看配置前的ip:
1
2
3
4
[root@localhost ~]
/# ifconfig
eth0 Link encap:Ethernet HWaddr 00:0C:29:E1:FB:95
inet addr:172.16.102.3 Bcast:172.16.102.255 Mask:255.255.255.0
inet6 addr: fe80::20c:29ff:fee1:fb95
/64
Scope:Lin
b.配置/etc/sysconfig/network-scripts/ifcfg-eth0
注意以下几项：
BOOTPROTO="static" (IP分配方式, 设为static则主机ip即为IPADDR里所设，若为”dhcp”, 此时只有局域网有效，则vmware会启动自带虚拟”dhcp”, 动态分配ip， 此时可以连接互联网 )
IPV6INIT="no" /#你懂得 IPADDR="172.16.102.201" /#ip地址 GETEWAY="172.16.102.254" /#默认网关地址 ONBOOT="yes" /#系统启动时网络接口有效 [root@localhost ~]/# cat /etc/sysconfig/network-scripts/ifcfg-eth0 DEVICE="eth0"BOOTPROTO="static"HWADDR="00:0C:29:E1:FB:95"BOOTPROTO="dhcp"IPV6INIT="no"IPADDR="172.16.102.201"GETEWAY="172.16.102.254"ONBOOT="yes"NM_CONTROLLED="yes"TYPE="Ethernet"UUID="79612b26-326b-472c-94af-9ab151fc2831
c.使当前设置生效：
$service network restart $ifdown eth0 /#关闭默认网卡 $ifup eth/#重新启用默认网卡 $service network restart; ifdown eth0; ifup eth0
d.查看新设置的ip:
$ifconfigeth0 Link encap:Ethernet HWaddr 00:0C:29:E1:FB:95 inet addr:192.168.1.200 Bcast:192.168.1.255 Mask:255.255.255.0inet6 addr: fe80::20c:29ff:fee1:fb95/64 Scope:Link UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1
Step3. 修改hosts文件，此文件会被ＤＮＳ解析，类似linux里的alias, 设置后以后，hostname就是ip地址， 两者可以互换。
配置/etc/hosts, 添加三行如下， （注意，此3行在3个虚拟主机里都相同，切必须全部都要加上）
[root@localhost ~]/# cat /etc/hosts127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4 ::1 localhost localhost.localdomain localhost6 localhost6.localdomain6 cluster1 172.16.102. 201cluster2 172.16.102. 202cluster3 172.16.102. 203cluster4 172.16.102. 204
Step4. 按照以上3个步骤分别设置两外两个虚拟主机，
配置完以后必须按照之前的三个命令分别重启 network, ifeth0:
$service network restart $ifdown eth0 $ifup eth0
重新初始化以后查看各自主机的ip配置是否正确。
在任意一台主机上执行： ping cluster1; ping cluster2; ping cluster3; ping cluster4
若配置正确，一定可以ping通，否则，请检查各个主机的/etc/hosts文件是否已经添加新的映射！至此，linux集群已成功配置。
2. 设置 ssh免登陆
a. 新建一个用户
在三台主机上分别以root权限新建一个用户，此处默认为grid:
cluster1,cluster2, cluster3, cluster4上：
$useradd –m grid $passwd grid 1qaz!QAZ
注意一定要保证4台主机上有相同的用户名， 以实现同一个用户在4台主机上登录。
b. 在cluster1上生成RSA密钥
切换回user: grid
$su grid $cd ~
生成密钥对：
1
2
3$
ssh
-keygen –t rsa
/#一路回车到最后（ 此处生成无需密码的秘钥-公钥对）。
/#上一个步骤 ssh-keygen –t rsa会在grid的home目录下生成一个.ssh文件夹
之后：
$cd ~/.ssh/$cp id_rsa.pub authorized_keys
c. 在另外3个主机上的grid用户home目录下也声称相应的密钥对, 并在.ssh目录下生成一个
authorized_keys
文件
d. 想办法将4台主机grid用户下刚生成的
authorized_keys
里的内容整合成一个完整的
authorized_keys.
比如将4个authorized_keys里的内容全部复制到cluster1上的authorized_keys里， 然后：
$chmod 600 authorized_keys $scp .ssh/authorized_keys cluster2:/home/grid/.ssh/$scp .ssh/authorized_keys cluster3:/home/grid/.ssh/$scp .ssh/authorized_keys cluster4:/home/grid/.ssh/
若要求输入密码，则输入之前新建用户grid时设置的密码， 一路回车到最后.
e. 下面尝试ssh无秘钥登录：
在cluster1主机上：ssh cluster2， 依次尝试登陆cluster2, cluster3, cluster4
若均可可以免密码登录，则直接跳到下一步骤，否则，请看下面的解决方案：
可能出现的问题有3，
第一种可能，.ssh文件夹非自动生成，而是你手动新建的，若如此，会出现.ssh的安全上下文问题， 解决方案， 在三个主机上以grid用户，删除刚才生成的.ssh文件夹，重新进入home目录，务必用 /# ssh-keygen –t rsa 生成秘钥， 此过程ssh程序会自动在home目录下成成一个.ssh文件夹
第二种可能, authorized_keys权限不一致。 在各自.ssh目录下：ls–alauthorizedkeys,查看此文件的权限，一定为600(−rw−−−−−−−),即只对当前用户grid开放可读可写权限，若不是，则修改authorizedkeys文件权限chmod 600 authorized_keys
若经过以上两步还不行，则执行以下命令，重新启动ssh-agent， 且加入当前用户秘钥id_rsa
$ssh-add ~grid/.ssh/id_rsa
经过以上三步，一定可以实现grid从cluster1到其它3个节点的免秘钥登录。
因为hadoop2.2新架构的缘故，我们还应该设置为每一个节点到其它任意节点免登陆。
具体步骤:
1.在将cluster2, cluster3, cluster4上各自的.ssh/id_rsa.pub 分别复制到cluster1的.ssh/下： scp id_rsa.pub cluster1:/home/grid/.ssh/tmp2, scp id_rsa.pub cluster1:/home/grid/.ssh/tmp3 ...
2.将cluster1节点/home/grid/.ssh/下的tmp2, tmp3, tmp4分别appand到authorized_keys里， 并请将各自节点上的id_rsa.pub也append到各自节点的authorized_keys里，以实现本地登陆（类似： ssh localhost)
至此，ssh免秘钥登陆设置完成。
3. 安装jdk
Step1. 记得之前在安装cluster1时在VMWare里设置的共享目录吗？
在Windows下将Hadoop安装包，jdk安装包Copy到共享目录下，然后在linux下从/mnt/hgfs/Data-shared/下cp到/home/grid/下，直接执行jdk安装包，不需要解压。
注意：若在安装过程中提示”Extracting… install.sfx 5414: /lib/ld-linux.50.2 No such file or directory, 则执行以下命令:
a.我们之前为了测试自定义的ip是否有效，已将各台主机的ip分配方式设为了BOOTPROTO=”static”, 这种方式是无法连入外部网络的，所以此时为了安装缺省的包，切换到root, 修改/etc/sysconfig/network-script/ifcfg-eth0，将BOOTPROTO=”static” 修改为BOOTPROTO=”dhcp”,
b.重启网络服务和网卡: 在root权限下:
$service network restart; ifdown eth0; ifup eth0 $yum install glibc.i686
d.切换回grid,重新安装jdk
$cd /usr/java/ /#注意必须进入java文件夹，因为java安装包默认安装在当前目录下 $./jdk-6u25-linux-i586.bin /#安装jdk
安装完以后，记得将eth0文件修改回来：
$sed -i s/dhcp/static/g /etc/sysconfig/network-scripts/ifcfg-eth0 /#此处用sed直接替换，若不放心也可以用编辑器修改 /#service network restart; ifdown eth0;ifup eth0
至此，jdk已在linux下安装完毕。
最后，将java安装好的路径append到$PATH变量里（处于个人习惯，新环境变量一律添加到所需用户的.bashrc文件里， 即只对当前用户有效）
$su grid $vim ~/.bashrc （修改.bashrc文件，添加如下两行：） $tail -2 ~/.bashrc export JAVA_HOME="/usr/java/jdk1.6.0_25/"export PATH="${PATH}:${JAVA_HOME}/bin"
测试一下java是否可以正常启动：
$source ~/.bashrc $which java $/usr/java/jdk1.6.0_25/bin/java
至此，jdk安装完毕。
用同样的方式在另外3台虚拟主机上安装jdk, 提示：先复制到home下
$scp -r /mnt/hgfs/Data-shared/Archive/jdk-6u25-linux-i586.bin cluster2:/home/grid/$scp -r /mnt/hgfs/Data-shared/Archive/jdk-6u25-linux-i586.bin cluster3:/home/grid/$scp -r /mnt/hgfs/Data-shared/Archive/jdk-6u25-linux-i586.bin cluster4:/home/grid/
再切root, copy到/usr/java下， cd /usr/java, 然后再安装.
