之前写了一个《storm的配置以及实例实践》系列文章,系列第一篇:《storm的配置以及实例实践-前言》。
也运行了一个简单的例子,对storm这个框架有了大概的了解,之后可以在此框架上写一写代码,加深理解。
其实我们接触大数据处理框架,听得最多的还是hadoop,今天就在之前配置的基础上,继续配置hadoop,进行相关的学习。
稍微提一下之前的配置:三台虚拟机,系统为centos6.5,均配置了静态的ip以及对应的主机名,今天要配置的是hadoop2.5.2,可以去http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.5.2/ 下载。
正式配置之前,需要做一些前期的准备。
确认主机名以及能互相ping通
命令行输入
vim /etc/sysconfig/network
确认设置了主机名,需要检查三台虚拟机是否有设置。比如我的三台虚拟机是这样的,hostname为主机名:
设置对应的ip地址与主机名的映射:
vim /etc/hosts
直接用主机名来互相ping一下,看一下能不能ping通。如果不能,请看一下配置文件是否正确,用source命令使配置生效。如下图,就是能ping通。
多说一句,这个步骤是为了保证之后hadoop能正确执行分布式任务,如果ping不通,谈何分布式任务。
设置免密码登陆ssh
为了方便,我们可以设置免密码登陆ssh。以下步骤在主节点主机执行即可。
本机免密码登陆ssh,生成公钥文件authorized_keys,命令如下,出现提示直接回车下一步即可:
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa cat ~/.ssh/id_dsa.pub>> ~/.ssh/authorized_keys
测试一下本机是否可以无密码登陆ssh,如果不需要密码则成功了:
除了本机无密码登陆ssh,我们也要设置本机(主节点)免密码ssh登陆另外两台主机,其实很简单,只需要复制刚才生成的公钥文件authorized_keys到另外两台主机就行了,可以通过各种方式复制,也可以直接在命令行输入以下命令,把ip更改为你的子节点ip就行了:
scp authorized_keys root@192.168.254.101:/root/.ssh/ scp authorized_keys root@192.168.254.102:/root/.ssh/
测试本机是否可以无密码通过ssh登陆子节点:
ssh root@192.168.254.101
无需密码登陆就成功了。
大概的前期准备工作就完成了,下一篇继续讲怎么配置hadoop2.5.2。