storm的配置以及实例实践-更换centos的jdk版本

首先我们命令行输入

java -version

看看centos本身自带的jdk版本,不出意外的话是openjdk的。一般来说,我们需要换成新的jdk,以免之后跑程序的时候出现问题。

以安装jdk1.7为例。

首先去官网下载:

http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html

找到合适的版本,由于我们是安装在centos上面的,因此选择合适的linux版本下载,比如我下载的是jdk-7u79-linux-x64.tar.gz

下载完毕,利用上一篇文章《storm的配置以及实例实践-利用securecrt连接服务器》说到的方法,把本地下载的jdk文件上传到服务器上。

一般我们把jdk-7u79-linux-x64.tar.gz解压到这个路径下:/usr/java/

tar -xvf jdk-7u79-linux-x64.tar.gz /usr/java/ 

搞定。记住你解压后jdk的路径名,比如我的就是:/usr/java/jdk1.7.0_79/
剩下就是设置jdk环境变量了。

先编辑一下 /etc/profile这个文件

vim /etc/profile 

在末尾加入几行代码,注意,要和你的jdk路径一直,我以我自己的为例,即/usr/java/jdk1.7.0_79/

export JAVA_HOME=/usr/local/java/jdk1.7.0_79
export JRE_HOME=/usr/local/java/jdk1.7.0_79/jre
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin: $PATH

保存退出。
再次使用

java -version

查看java版本,显示是刚才安装的那个版本就可以了,配置成功。

storm的配置以及实例实践-设置虚拟机网络

在虚拟机安装完centos之后,事实上我们已经可以开始动手配置安装storm相关的软件或者依赖了。但是想想,我们是在本地上进行开发测试,面对几台虚拟机,我们不可能每次都跑到虚拟机里面打开命令行,然后进行相关操作。所以,后面我会介绍到一个比较常用的ssh连接工具securecrt,它允许我们在本地连接多台远程服务器。

假如我们的ip是变化的,而虚拟机默认的NAT网络连接模式中的DHCP机制会让虚拟机里的系统ip发生变化,因此,为了方便起见,我们需要将虚拟机的网络进行设置,改成静态ip,这样我们每次通过外部工具连接虚拟机的时候就不必要更改ip了。下面说说怎么更改。

过程我是从http://www.cnblogs.com/magialmoon/archive/2013/08/10/3250393.html中学习的,因此在这里引用一下,并加上一些自己的解释。

首先关闭VMware的DHCP:

Edit->Virtual Network Editor1

选择VMnet8,去掉Use local DHCP service to distribute IP address to VMs选项。点击NAT Settings查看一下相关的网络地址,如下:

2

将这三个地址截图或者记事本记下来,Subnet IP是子网地址,Subnet mask是子网掩码,Gateway IP是网关地址。

然后就可以到centos里面设置静态ip了。

涉及到3个文件

/etc/sysconfig/network
/etc/sysconfig/network-scripts/ifcfg-eth0
/etc/hosts

首先修改/etc/sysconfig/network
第二行是主机名,可以根据需要修改,我就改成了main,第三行是网关地址,填写上文提到的网关地址,如下:

NETWORKING=yes
HOSTNAME=main
GATEWAY=192.168.129.2

然后修改/etc/sysconfig/network-scripts/ifcfg-eth0
下图高亮的都是修改过的,其中需要注意的是以下几点:

第四行IPADDR,指的是ip地址,这里就设置成你要的ip地址,但是需要和你的ip子网相匹配,也就是说,回到上文Subnet IP,子网地址是192.168.129.0,我们只需更改最后一位即可,我这里改成了192.168.129.100,同样照葫芦画瓢,我们之后再建立虚拟机的时候,就分配192.168.129.101,依次类推;

第五行NETMASK,子网掩码,把上文中提到的子网掩码加进去即可。

最后一行的DNS1,是指定DNS服务器,DNS是域名解析服务器,如果不填写则会无法解析域名,我们可以填写自己电脑上的DNS,也可以填写百度的公共DNS:180.76.76.76,我这里就是用的百度的。

DEVICE="eth0"
#BOOTPROTO="dhcp"
BOOTPROTO="static"
IPADDR=192.168.129.100
NETMASK=255.255.255.0
HWADDR="00:0C:29:56:8F:AD"
IPV6INIT="no"
NM_CONTROLLED="yes"
ONBOOT="yes"
TYPE="Ethernet"
UUID="ba48a4c0-f33d-4e05-98bd-248b01691c20"
DNS1=180.76.76.76

最后修改/etc/hosts

最后一行加入:ip和主机名,根据你之前的设置填写即可

192.168.129.100   main

设置完毕以后,reboot一下虚拟机。

最后,我们再来关闭防火墙,由于是在虚拟机上面进行试验,所以为了方便起见,把防火墙关了,但在实际的生产环境中,是要对机器的防火墙进行详细的配置的,这里不多说。 下面说下关闭防火墙的步骤。

在终端依次输入以下两条命令即可:

service iptables stop 
chkconfig iptables off

然后输入service iptables status查看一下状态,会显示Firewall is not running。

至此,虚拟机网络的设置已经搞定,下一篇继续讲配置。

storm的配置以及实例实践-安装虚拟机

由于storm是一个分布式的计算框架,在实际的开发环境中是基于集群的,通常有一个主节点,分发任务给子节点,没错,和hadoop是类似的。那我们在自己学习以及调试的过程中,往往是没有真实的服务器集群给我们使用的,那么,虚拟机就是一个不错的选择。我在本地打算搭建3个虚拟机,来模拟三台服务器。下面说说安装虚拟机的过程。

首先安装vmvare,我装的版本是vmvare10,网上也有序列号,装完之后输入即可完成注册。这里就不细说了。

随后,就是在虚拟机里面安装系统了。我安装的是CentOS 6.5_X64,是64位的,根据你的电脑选择即可。

先下载iso文件:http://www.centoscn.com/CentosSoft/iso/2013/1205/2196.html

下载完成之后,打开vmvare,点击新建虚拟机,选择典型安装。然后选择安装iso,把刚才下载的centos系统的iso文件选择进来,根据实际情况设置内存大小(之后也可以更改),然后下一步下一步下一步安装系统即可,非常简单。需要注意的一点是,你需要记住你的用户密码。

之后就等待安装即可,有时候系统提示你选择不要忘了选择。大部分时间是等待。

centos系统安装

等待1个小时左右,系统就安装完毕了,可能用惯windows的朋友会不大习惯,不过,熟悉linux对搞大数据开发还是很有必要的,因此我们之后的操作基本上都是要通过命令行来完成,所以暂时忘掉那些界面吧!当然,默认安装的centos6.5是有操作界面的。就这样,一个虚拟机就安装完成了,接下来,我们就需要对它进行配置,最后再克隆两份即可。

下一篇讲配置,配置还是有很多内容的。