hadoop学习笔记

1、期待zookeeper：zkServer.sh start
2、进入cd /root/hadoop/hadoop-2.5.0/sbin/ 运行：./hadoop-daemon.sh start journalnode
3、 进入cd /root/hadoop/hadoop-2.5.0/sbin/ 运行：hdfs namenode -format（安装的时候只需要格式化一次 后期不需要格式化）
4、进入cd /root/hadoop/hadoop-2.5.0/sbin/ 运行./hadoop-daemon.sh start namenode
5、进入cd /root/hadoop/hadoop-2.5.0/sbin/ 运行hdfs datanode -format（安装的时候只需要格式化一次 后期不需要格式化）
6、进入cd /root/hadoop/hadoop-2.5.0/sbin/ 运行./hadoop-daemon.sh start datanode
6、进入cd /root/hadoop/hadoop-2.5.0/sbin/ 运行hdfs namenode -bootstrapStandby
7、./hadoop-daemon.sh start zkfc

启动datanode命令
hadoop-daemon.sh start namenode

HDFS集群
http://192.168.17.230:50070
YARN集群
http://192.168.17.230:8088/cluster
MR作业日志服务器
启动YARN 集群：start-yarn.sh

上传文件
hadoop fs -put CentOS-6.6-x86_64-minimal.iso /input
hdfs dfs –ls [文件目录]

hdfs dfs -ls -R / //显式目录结构

eg: hdfs dfs –ls /user/wangkai.pt

如果namenode2服务器的namenode启动不起来
先使用hdfs namenode -bootstrapStandby命令
再使用hadoop-daemon.sh start namenode即可

/root/data/DFS_NAMENODE_NAME_DIR

http://192.168.17.230:50070

启动的进程
[root@namenode1 sbin]# jps
3118 Jps
2900 DataNode
2521 QuorumPeerMain
2632 JournalNode
2786 NameNode
3061 DFSZKFailoverController

<!--指定namenode名称空间的存储地址-->

<property>

<name>dfs.namenode.name.dir</name>

<value>/root/data/DFS_NAMENODE_NAME_DIR</value>

</property>

<!--指定datanode数据存储地址-->

<property>

<name>dfs.datanode.data.dir</name>

<value>/root/data/DFS_DATANODE_DATA_DIR</value>

</property>

namenode datanode启动不起来
清空数据 /root/data/
namedata 然后格式化 hdfs namenode -format
重启 ./hadoop-daemon.sh start namenode
datanode 格式化 hdfs datanode -format
重启 ./hadoop-daemon.sh start datanode
谨记：这种方法带来的一个副作用就是会造成hdfs上的所有数据丢失。

解决 DFSZKFailoverController不能启动

启动的顺序一定要所有机器同步执行，三台机器 同时执行第一步，第二步，第三步......

格式化NameNode

在第一台上进行NameNode格式化。

[hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/hdfs namenode -format -clusterId hadoop-federation-clusterId
1
这里一定要指定一个集群ID，使得多个NameNode的集群ID是一样的，因为这三个NameNode在同一个集群中，这里集群ID为hadoop-federation-clusterId。

在第二台NameNode上。

[hadoop@bigdata-senior02 hadoop-2.5.0]$ bin/hdfs namenode -format -clusterId hadoop-federation-clusterId
1
在第二台NameNode上。

[hadoop@bigdata-senior03 hadoop-2.5.0]$ bin/hdfs namenode -format -clusterId hadoop-federation-clusterId
1
11、 启动NameNode

在第一台、第二台、第三台机器上启动NameNode：

[hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/hadoop-daemon.sh start namenode
[hadoop@bigdata-senior02 hadoop-2.5.0]$ sbin/hadoop-daemon.sh start namenode
[hadoop@bigdata-senior03 hadoop-2.5.0]$ sbin/hadoop-daemon.sh start namenode
1
2
3
启动后，用jps命令查看是否已经启动成功。