1 涉及到的命令:
hadoop-daemon.sh start namenode hadoop-daemon.sh start datanode yarn-daemon.sh start resourcemanager yarn-daemon.sh start nodemanager yarn node -list ./hdfs dfsadmin -refreshNodes ./hdfs dfsadmin -report hadoop job -list hadoop job -kill jobid //停止一个正在运行的job 启动数据负载均衡 /start-balancer.sh -threshold 5
2 新增加一个节点
1 准备机器及运行环境 配置hostname和hosts 环境变量 2 配置无秘钥登录ssh 。ssh-copy-id 3 在各个节点中添加新节点的host。 4 修改namenode中slaves文件(每次namenode重启会读取这个文件,启动时候可以直接启动新添加节点) 5 copy hadoop文件夹到新添加节点的一样文件夹中 。 scp 6 删除新节点中 hadoop中的临时文件夹我的是tmp文件夹(hadoop在配置文件中配置的工作目录) 7 启动datanode ,sbin/hadoop-daemon.sh start datanode在hdfs dfsadmin -refreshNodes刷新节点 hdfs dfsadmin -report或者nameNode50070 查看新添加的节点 8 平衡各个节点中数据块的大小: /start-balancer.sh -threshold 5 9 启动nodeManager,yarn-daemon.sh start nodemanager,通过yarn node -list 查看所有node节点 或者通过 http://resourceManagerhost:8088/ 查看其中节点数目
3 删除一个节点:
移除节点:最好不要直接停止机器否则可能造成机器数据块丢失 a) 修改hdfs-site,添加exclude字段中的排除的节点 <property> <name>dfs.hosts.exclude</name> <value>/web/hadoop-2.5.2/etc/hadoop/datanode-deny.list</value> </property> 添加文件: datanode-deny.list其中的内容加入需要删除的节点ip或者主机名称 (我自己弄的时候这两个文件同步到集群中所有节点中) b) 刷新节点状态: hadoop dfsadmin -refreshNodes 查看节点状态变为:decommission 此时namenode不会与该节点进行hdfs相关通信。也即exclude起到了一个防火墙的作用
4 删除节点后恢复
如果删除后想重新加入: 1 ) 删除datanode-deny.list文件中节点 2)hadoop dfsadmin -refreshNodes 3) 重新新加入的节点datanode 进程
相关推荐
hadoop2.X新特性介绍
理清Hadoop1.x与Hadoop2.x区别,对比分析。 Hadoop是大数据惊世之作,必学的东西,需要知道: 它由哪些部分组成? 各自的作用是什么? 如果工作的?
《Hadoop 2.X HDFS源码剖析》以Hadoop 2.6.0源码为基础,深入剖析了HDFS 2.X中各个模块的实现细节,包括RPC框架实现、Namenode实现、Datanode实现以及HDFS客户端实现等。《Hadoop 2.X HDFS源码剖析》一共有5章,其中...
Hadoop2.x HA环境搭建Hadoop2.x HA环境搭建Hadoop2.x HA环境搭建
hadoop2.x 介绍,及对比hadoop1.x的区别。hadoop2.x的新特性的详细介绍。
Hadoop 2.x Administration Cookbook 英文epub 本资源转载自网络,如有侵权,请联系上传者或csdn删除 本资源转载自网络,如有侵权,请联系上传者或csdn删除
这是一份详细,具体的Hadoop2.x的学习文档,包含了hadoop2.x中的hadfs文件系统,mr计算框架,yarn资源管理器,使用了图文的方式讲解
企业级Hadoop 2.x项目实战
hadoop 2.x 安装文档 hadoop 2.5配置
hadoop2.x安装指南.
Hadoop是大数据技术中最重要的框架之一,是学习大数据必备的第一课,在Hadoop平台之上,可以更容易地开发和运行其他处理大规模数据的框架。尚硅谷Hadoop视频教程再次重磅升级!以企业实际生产环境为背景,增加了更...
Hadoop3.x系统文档Hadoop3.x系统文档Hadoop3.x系统文档
Hadoop3版本中添加了哪些新功能,Hadoop3中兼容的Hadoop 2程序,Hadoop 2和Hadoop 3有什么区别? 二、Hadoop 2.x与Hadoop 3.x比较 本节将讲述Hadoop 2.x与Hadoop 3.x之间的22个差异。 现在让我们逐一讨论 2.1...
英文的,讲解hadoop1.x与hadoop2.x配置异同
Hadoop 2.x Administration Cookbook 英文azw3 本资源转载自网络,如有侵权,请联系上传者或csdn删除 本资源转载自网络,如有侵权,请联系上传者或csdn删除
Apache Hadoop2.x 安装入门详解 PDF
本片文档是整合的Hadoop2.X 的安装与配置,包含三个节点,希望对有所帮助
解决hadoop运行报错:Could not locate executable null\bin\winutils.exe in the Hadoop binaries. 需要的winutils工具包,各个版本:2.6.x 2.7.x 2.8.x 3.0
大数据学习视频资料Linux基础教程 hadoop2.x spark storm flume
haddop 2.x基础的ppt文档,入门学习资料。。。。。。。