修的了电脑 敲得了代码
     写得了前端 稳得住后端

hadoop学习笔记

1、期待zookeeper:zkServer.sh start
2、进入cd /root/hadoop/hadoop-2.5.0/sbin/ 运行:./hadoop-daemon.sh start journalnode
3、 进入cd /root/hadoop/hadoop-2.5.0/sbin/ 运行:hdfs namenode -format(安装的时候只需要格式化一次 后期不需要格式化)
4、进入cd /root/hadoop/hadoop-2.5.0/sbin/ 运行./hadoop-daemon.sh start namenode
5、进入cd /root/hadoop/hadoop-2.5.0/sbin/ 运行hdfs datanode -format(安装的时候只需要格式化一次 后期不需要格式化)
6、进入cd /root/hadoop/hadoop-2.5.0/sbin/ 运行./hadoop-daemon.sh start datanode
6、进入cd /root/hadoop/hadoop-2.5.0/sbin/ 运行hdfs namenode -bootstrapStandby
7、./hadoop-daemon.sh start zkfc

启动datanode命令
hadoop-daemon.sh start namenode

HDFS集群
http://192.168.17.230:50070
YARN集群
http://192.168.17.230:8088/cluster
MR作业日志服务器
启动YARN 集群:start-yarn.sh

上传文件
hadoop fs -put CentOS-6.6-x86_64-minimal.iso /input
hdfs dfs –ls [文件目录]

hdfs dfs -ls -R / //显式目录结构

eg: hdfs dfs –ls /user/wangkai.pt

如果namenode2服务器的namenode启动不起来
先使用hdfs namenode -bootstrapStandby命令
再使用hadoop-daemon.sh start namenode即可

/root/data/DFS_NAMENODE_NAME_DIR

 

http://192.168.17.230:50070

 

启动的进程
[root@namenode1 sbin]# jps
3118 Jps
2900 DataNode
2521 QuorumPeerMain
2632 JournalNode
2786 NameNode
3061 DFSZKFailoverController

<!–指定namenode名称空间的存储地址–>

<property>

<name>dfs.namenode.name.dir</name>

<value>/root/data/DFS_NAMENODE_NAME_DIR</value>

</property>

<!–指定datanode数据存储地址–>

<property>

<name>dfs.datanode.data.dir</name>

<value>/root/data/DFS_DATANODE_DATA_DIR</value>

</property>

 

namenode datanode启动不起来
清空数据 /root/data/
namedata 然后格式化 hdfs namenode -format
重启 ./hadoop-daemon.sh start namenode
datanode 格式化 hdfs datanode -format
重启 ./hadoop-daemon.sh start datanode
谨记:这种方法带来的一个副作用就是会造成hdfs上的所有数据丢失。

 

解决 DFSZKFailoverController不能启动

启动的顺序一定要所有机器同步执行,三台机器 同时执行第一步,第二步,第三步……

 

 

 

格式化NameNode

在第一台上进行NameNode格式化。

[hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/hdfs namenode -format -clusterId hadoop-federation-clusterId
1
这里一定要指定一个集群ID,使得多个NameNode的集群ID是一样的,因为这三个NameNode在同一个集群中,这里集群ID为hadoop-federation-clusterId。

在第二台NameNode上。

[hadoop@bigdata-senior02 hadoop-2.5.0]$ bin/hdfs namenode -format -clusterId hadoop-federation-clusterId
1
在第二台NameNode上。

[hadoop@bigdata-senior03 hadoop-2.5.0]$ bin/hdfs namenode -format -clusterId hadoop-federation-clusterId
1
11、 启动NameNode

在第一台、第二台、第三台机器上启动NameNode:

[hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/hadoop-daemon.sh start namenode
[hadoop@bigdata-senior02 hadoop-2.5.0]$ sbin/hadoop-daemon.sh start namenode
[hadoop@bigdata-senior03 hadoop-2.5.0]$ sbin/hadoop-daemon.sh start namenode
1
2
3
启动后,用jps命令查看是否已经启动成功。

未经允许不得转载:流云溪|码农 » hadoop学习笔记

评论 抢沙发

评论前必须登录!