博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Hadoop配置安装手册
阅读量:4362 次
发布时间:2019-06-07

本文共 1370 字,大约阅读时间需要 4 分钟。

本次Hadoop集群安装一共使用四个节点,各节点IP如下:

Master

172.22.120.191

Slave1

172.22.120.192

Slave2

172.22.120.193

Slave3

172.22.120.193

系统版本CentOS 6.2L

JDK版本:1.7

Hadoop版本:1.1.2

完成四个节点系统安装后,开始安装hadoop:

1. 配置hosts文件

2. 配置SSH免密码登录

3. 安装JDK

4. 下载并解压hadoop

5. 配置namenode,修改site文件

6. 配置hadoop-env.sh文件

7. 配置masters和Slaves文件

8. 向各节点复制hadoop

9. 格式化namenode

10. 启动hadoop

11. Jps检测是否启动成功

12. 通过网站查看集群情况

1 配置hosts文件

Hadoop会使用多个端口,开始配置前最好开放相应端口或者关闭防火墙

CentOS命令为:

chkconfig iptables off

service iptables stop

为了方便操作,我们直接配置hosts文件,以后可以直接使用master,slave来代替IP

2 配置SSH免密码登录

因为hadoop需要用master节点管理其它节点,需要将master的public key发送给其他节点,使用SSH可以减少很多操作。

返回hadoop账号,创建hadoop用户的密钥:

生成密钥后,将public key更名为authorized_keys文件,并测试是否可以免密码登录:

输入命令: ssh master,检测是否需要密码,第一次会提示是否保存密钥,输入yes即可,在其他三个节点中执行相同的操作。

最后将master节点的 id_rsa.pub的内容追加到其他三个节点的authorized_keys中。

如果成功,则可以直接使用 ssh slave 连接其他节点。

3 安装JDK

先查看自带jdk,这里是openJDK,我们需要卸载然后重新安装JDK

查看openJDK依赖包,依次卸载

将jdk文件复制到master节点 /usr/local 目录下并解压。

修改 /etc/profile 文件,添加Jdk目录

输入 source /etc/profile 使配置生效

最后查看java版本

尽量保持各节点jdk版本和路径一直,方便后续安装

4 下载并解压hadoop

修改 /etc/profile文件,添加hadoop路径

最后使 profile文件生效,输入 source /etc/profile

5 配置namenode,修改site文件

6 配置hadoop-env.sh文件

7 配置masters和Slaves文件

8 向各节点复制hadoop

对其他节点执行相同操作,将Hadoop文件发送到节点

9 格式化namenode

在第一次启动时格式化namenode,多次格式化可能会使namenode和datanodeID不一致

10 启动hadoop

11 Jps检测是否启动成功

12 通过网站查看集群情况

转载于:https://www.cnblogs.com/bincoding/p/5545477.html

你可能感兴趣的文章
在Ajax方式产生的浮动框中,点击选项包含某个关键字的选项
查看>>
SDK 操作 list-view control 实例 -- 遍历进程
查看>>
由于SSH配置文件的不匹配,导致的Permission denied (publickey)及其解决方法
查看>>
65. Valid Number
查看>>
检查MySQL主从数据一致性
查看>>
结构化日志:出错时你最想要的好朋友
查看>>
Git常用命令总结
查看>>
[算法练习]Excel Sheet Column Title
查看>>
【原创】MapReduce编程系列之表连接
查看>>
IOS开发之Swift学习笔记
查看>>
【Java基础】用LinkedList实现一个简单栈的功能
查看>>
线段树C-A Simple Problem with Integers(树懒线段树)
查看>>
Ferguson游戏
查看>>
PHPExcel
查看>>
create your own github repository and build link to your local project
查看>>
Leetcode-Convert Sorted Array to BST
查看>>
form表单,submit,ajax提交
查看>>
三大平衡树(Treap + Splay + SBT)总结+模板
查看>>
关于数据库名、实例名
查看>>
多线程不安全的函数列表
查看>>