分类：技术笔记

storm的配置以及实例实践-克隆虚拟机

在之前，我们已经把storm的运行环境、相关依赖都安装好了，不知道你还记不记得《storm的配置以及实例实践-设置虚拟机网络》这篇文章，讲的是虚拟机配置网络的事情。同样的，我们现在要做的事情是利用虚拟机来模拟集群，所以，每台虚拟机都需要配置自己的网络。

或许你已经被之前的配置步骤搞的晕头晃脑了。在这里先告诉你，你不需要重新这些步骤了，我们现在要做的，就是直接在虚拟机里面克隆系统，再稍微配置一下网络即可。

克隆虚拟机的过程非常简单。

把虚拟机中的系统关机，选中配置好的那部虚拟机，然后点击菜单的“虚拟机”–“管理”–“克隆”，按照步骤进行克隆即可。需要注意的一点是，步骤中有一步要你选择克隆的类型，选择创建完整克隆。如下图：

创建完整克隆

等待克隆完毕即可。

接下来配置网络。

首先命令行键入

ifconfig -a

找到HWaddr，把它的值复制下来，我的是00:0C:29:d3:8e:e9，这个就是我们新虚拟机的mac地址。

接下来修改 /etc/sysconfig/network-scripts/ifcfg-eth0
内容如下：

DEVICE="eth0"
#BOOTPROTO="dhcp"
BOOTPROTO="static"
IPADDR=192.168.129.101
NETMASK=255.255.255.0
HWADDR="00:0C:29:d3:8e:e9"

上面的代码中，高亮的是要修改的。其中第4行，改ip，因为第一台主机设置的是192.168.129.100，所以这一台改成192.168.129.101；第6行，mac地址，把刚才复制的mac地址弄进来即可。

接着更改主机名

vim /etc/sysconfig/network

把hostname改一下

HOSTNAME=sub01

然后更改网卡：

vim //etc/udev/rules.d/70-persistent-net.rules

把第二行的用#注释掉，然后把ATTR{address}更改一下，改成我们的mac地址。如下图：
更改网卡

搞定。如法炮制，然后再克隆第三台虚拟机，一个简单的集群就搭建起来了。

storm的配置以及实例实践-storm与zookeeper的安装配置

之前配置了那么多东西，都是为了安装storm，事实上，如果我们用的是企业级的服务器，一般会预装很多依赖，非常省事。而之前我所讲的所有配置，都是基于裸机的，安装一遍也没有坏处，至少也对linux更加熟悉了。废话不多说，马上开始配置storm。正如前面所讲，storm的工作，有一部分是依靠zookeeper的，所以，两个都得装。安装过程很容易。

storm下载地址（版本0.9.3）：

http://www.apache.org/dyn/closer.lua/storm/apache-storm-0.9.3/apache-storm-0.9.3.tar.gz

zookeeper下载地址（版本3.4.6）：

http://mirrors.hust.edu.cn/apache/zookeeper/zookeeper-3.4.6/zookeeper-3.4.6.tar.gz

若是下载过慢或者链接失效可以自行去官网下载。

为了方便起见，我们可以把storm和zookeeper都解压到一个文件夹中，比如我就在根目录下新建了一个env文件夹。

首先解压storm：

tar -xvzf apache-storm-0.9.3.tar.gz /env

然后把storm的路径加入环境变量中，具体而言，就是vim一下~/.bashrc这个文件，然后在末尾加入两句：

export STORM_HOME=/env/apache-storm-0.9.3
export PATH=$PATH:$STORM_HOME/bin

保存。

继续配置storm，vim一下storm目录下的conf/storm.yaml，打开几行注释，配置zookeeper节点以及nimbus

storm.zookeeper.servers:
    - "192.168.254.100"
nimbus.host: "192.168.254.100"

随后解压zookeeper

tar -xvzf zookeeper-3.4.6.tar.gz /env

配置的话，不需要特别配置，我们只需要把样例的配置文件复制一份即可。
切换到zookeeper的目录下，然后执行

cd conf
cp zoo_sample.cfg zoo.cfg

搞定。

至此，一台机子上的所有配置已经完成了。接下来的工作就比较简单了，复制虚拟机，更改一些配置就可以了。

storm的配置以及实例实践-安装依赖

上一篇讲了jdk的安装，这一篇继续配置。在安装storm和zookeeper之前，我们需要安装一些依赖，否则在正式安装的时候会出错。安装依赖也非常简单，yum可以帮我们解决所有的问题。下面说说要安装什么依赖。

先安装c++编译器。

yum install gcc-c++

按照提示输入y，回车，安装完毕。

再安装软件包uuid-devel和libuuid-devel

yum install uuid-devel
yum install libuuid-devel

随后安装libtool

yum install libtool

安装完以上的所有，我们继续安装storm所需要的Zeromq和jzmq
zeromq下载地址：
http://download.zeromq.org/zeromq-4.1.3.tar.gz
jzmq下载地址：
https://codeload.github.com/zeromq/jzmq/zip/master

把下载的两个压缩包上传到服务器，并在服务器上解压。解压完成之后，切换到对应目录下，编译安装。

cd zeromq-4.1.3
./configure
make
make install

安装jzmq的过程也是如法炮制

cd jzmq-master
./autogen.sh
./configure
make
make install

至此，所需依赖就安装完了，下一篇，终于可以正式安装storm了。

storm的配置以及实例实践-更换centos的jdk版本

首先我们命令行输入

java -version

看看centos本身自带的jdk版本，不出意外的话是openjdk的。一般来说，我们需要换成新的jdk，以免之后跑程序的时候出现问题。

以安装jdk1.7为例。

首先去官网下载：

http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html

找到合适的版本，由于我们是安装在centos上面的，因此选择合适的linux版本下载，比如我下载的是jdk-7u79-linux-x64.tar.gz

下载完毕，利用上一篇文章《storm的配置以及实例实践-利用securecrt连接服务器》说到的方法，把本地下载的jdk文件上传到服务器上。

一般我们把jdk-7u79-linux-x64.tar.gz解压到这个路径下：/usr/java/

即

tar -xvf jdk-7u79-linux-x64.tar.gz /usr/java/

搞定。记住你解压后jdk的路径名，比如我的就是：/usr/java/jdk1.7.0_79/
剩下就是设置jdk环境变量了。

先编辑一下 /etc/profile这个文件

vim /etc/profile

在末尾加入几行代码，注意，要和你的jdk路径一直，我以我自己的为例，即/usr/java/jdk1.7.0_79/

export JAVA_HOME=/usr/local/java/jdk1.7.0_79
export JRE_HOME=/usr/local/java/jdk1.7.0_79/jre
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin: $PATH

保存退出。
再次使用

java -version

查看java版本，显示是刚才安装的那个版本就可以了，配置成功。

storm的配置以及实例实践-利用securecrt连接服务器

虚拟机的网络设置完之后，测试一下能不能上网，一般情况下，只要你本地能够上网，虚拟机都是可以上网的。能够上网就好办了，接下来，我们要安装依赖。

安装依赖的过程中，大多情况下可以通过yum命令来完成，但是有时候yum抽风了，我们就可以远程上传文件到服务器上。再者，我们不可能每次都直接跑到服务器那里操作、敲命令行（虚拟机也如此），而且大多数情况下是有多台服务器在运作的。如何本地管理他们呢？

类似的软件很多，我一般用的是securecrt，这款软件还是比较好用的，允许同时连接多台服务器，支持本地文件上传等。

下载和安装这里就不多说了，找绿色版的来用就行。

使用的时候，连接多台服务器，可以通过标签页来连接，这样比较方便管理。连接之后的使用就和在linux本地命令行下使用是一个样的，不多说。

主要说说怎么上传文件。我比较常用的有两种方式：

 

通过SecureFX来上传

这个是图形化的操作，一般在securecrt的工具里面有整合。傻瓜式操作。

securefx传输文件

多文件批量传输的话，这种方式还是挺方便的

 

通过sftp传输文件

当然，习惯了命令行的话，使用sftp就是一个很方便的途径了。首先需要在会话选项中设置一下路径。方便管理，比如我就在本地E盘新建了一个localsftp的文件夹，把需要传输的文件放到里面去。远程目录可以设置，也可以到时cd到你想要的目录。同理，本地的目录到时也是可以切换的。

sftp设置

设置之后，在已经连接服务器的基础上，我们就可以使用快捷键alt+p打开sftp的界面了。

介绍几个常用的命令，对于传输文件来说，足够了。

pwd：查看远程当前目录

lpwd：查看本地当前目录

ls：查看服务器当前目录下所有文件

lls：查看本地当前目录下所有文件

cd：切换远程目录

lcd：切换本地目录

get：从服务器下载文件

put：上传本地文件到服务器

和我们平时用的命令大同小异。直接put+文件名的话，会在本地默认路径下寻找文件，并传到远程服务器的当前目录，当然你可以指定目录，后面跟多一个路径参数即可。

先说到这，下一篇继续配环境

storm的配置以及实例实践-设置虚拟机网络

在虚拟机安装完centos之后，事实上我们已经可以开始动手配置安装storm相关的软件或者依赖了。但是想想，我们是在本地上进行开发测试，面对几台虚拟机，我们不可能每次都跑到虚拟机里面打开命令行，然后进行相关操作。所以，后面我会介绍到一个比较常用的ssh连接工具securecrt，它允许我们在本地连接多台远程服务器。

假如我们的ip是变化的，而虚拟机默认的NAT网络连接模式中的DHCP机制会让虚拟机里的系统ip发生变化，因此，为了方便起见，我们需要将虚拟机的网络进行设置，改成静态ip，这样我们每次通过外部工具连接虚拟机的时候就不必要更改ip了。下面说说怎么更改。

过程我是从http://www.cnblogs.com/magialmoon/archive/2013/08/10/3250393.html中学习的，因此在这里引用一下，并加上一些自己的解释。

首先关闭VMware的DHCP：

Edit->Virtual Network Editor1

选择VMnet8，去掉Use local DHCP service to distribute IP address to VMs选项。点击NAT Settings查看一下相关的网络地址，如下：

2

将这三个地址截图或者记事本记下来，Subnet IP是子网地址，Subnet mask是子网掩码，Gateway IP是网关地址。

然后就可以到centos里面设置静态ip了。

涉及到3个文件

/etc/sysconfig/network
/etc/sysconfig/network-scripts/ifcfg-eth0
/etc/hosts

首先修改/etc/sysconfig/network
第二行是主机名，可以根据需要修改，我就改成了main，第三行是网关地址，填写上文提到的网关地址，如下：

NETWORKING=yes
HOSTNAME=main
GATEWAY=192.168.129.2

然后修改/etc/sysconfig/network-scripts/ifcfg-eth0
下图高亮的都是修改过的，其中需要注意的是以下几点：

第四行IPADDR，指的是ip地址，这里就设置成你要的ip地址，但是需要和你的ip子网相匹配，也就是说，回到上文Subnet IP，子网地址是192.168.129.0，我们只需更改最后一位即可，我这里改成了192.168.129.100，同样照葫芦画瓢，我们之后再建立虚拟机的时候，就分配192.168.129.101，依次类推；

第五行NETMASK，子网掩码，把上文中提到的子网掩码加进去即可。

最后一行的DNS1，是指定DNS服务器，DNS是域名解析服务器，如果不填写则会无法解析域名，我们可以填写自己电脑上的DNS，也可以填写百度的公共DNS：180.76.76.76，我这里就是用的百度的。

DEVICE="eth0"
#BOOTPROTO="dhcp"
BOOTPROTO="static"
IPADDR=192.168.129.100
NETMASK=255.255.255.0
HWADDR="00:0C:29:56:8F:AD"
IPV6INIT="no"
NM_CONTROLLED="yes"
ONBOOT="yes"
TYPE="Ethernet"
UUID="ba48a4c0-f33d-4e05-98bd-248b01691c20"
DNS1=180.76.76.76

最后修改/etc/hosts

最后一行加入：ip和主机名，根据你之前的设置填写即可

192.168.129.100   main

设置完毕以后，reboot一下虚拟机。

最后，我们再来关闭防火墙，由于是在虚拟机上面进行试验，所以为了方便起见，把防火墙关了，但在实际的生产环境中，是要对机器的防火墙进行详细的配置的，这里不多说。 下面说下关闭防火墙的步骤。

在终端依次输入以下两条命令即可：

service iptables stop 
chkconfig iptables off

然后输入service iptables status查看一下状态，会显示Firewall is not running。

至此，虚拟机网络的设置已经搞定，下一篇继续讲配置。

storm的配置以及实例实践-安装虚拟机

由于storm是一个分布式的计算框架，在实际的开发环境中是基于集群的，通常有一个主节点，分发任务给子节点，没错，和hadoop是类似的。那我们在自己学习以及调试的过程中，往往是没有真实的服务器集群给我们使用的，那么，虚拟机就是一个不错的选择。我在本地打算搭建3个虚拟机，来模拟三台服务器。下面说说安装虚拟机的过程。

首先安装vmvare，我装的版本是vmvare10，网上也有序列号，装完之后输入即可完成注册。这里就不细说了。

随后，就是在虚拟机里面安装系统了。我安装的是CentOS 6.5_X64，是64位的，根据你的电脑选择即可。

先下载iso文件：http://www.centoscn.com/CentosSoft/iso/2013/1205/2196.html

下载完成之后，打开vmvare，点击新建虚拟机，选择典型安装。然后选择安装iso，把刚才下载的centos系统的iso文件选择进来，根据实际情况设置内存大小（之后也可以更改），然后下一步下一步下一步安装系统即可，非常简单。需要注意的一点是，你需要记住你的用户密码。

之后就等待安装即可，有时候系统提示你选择不要忘了选择。大部分时间是等待。

centos系统安装

等待1个小时左右，系统就安装完毕了，可能用惯windows的朋友会不大习惯，不过，熟悉linux对搞大数据开发还是很有必要的，因此我们之后的操作基本上都是要通过命令行来完成，所以暂时忘掉那些界面吧！当然，默认安装的centos6.5是有操作界面的。就这样，一个虚拟机就安装完成了，接下来，我们就需要对它进行配置，最后再克隆两份即可。

下一篇讲配置，配置还是有很多内容的。

 

storm的配置以及实例实践-前言

这两天准备开始着手研究一下著名的大数据处理框架storm。在网上看了一些教程之后，概念清晰了一点，也大概明白了它的机制，当然纸上谈兵是没有用的，最终还得落实到实践当中，毕竟这个框架的强大之处在于它支撑了许多强调实时性的大数据项目。

这篇前言就先简单介绍一下storm，之后再写一个系列，记录一下我在本地配置storm集群、跑storm的简单例子。说句题外话，研究大数据，Linux系统得比较熟悉，因为很多开源的框架技术都是基于Linux的，另外，现在服务器的搭建，Linux仍是主流，跟我一样刚入门的朋友得在这方面下下功夫了。

处理实时流数据

首先对于流数据，百度百科是这么描述的：流数据是一组顺序、大量、快速、连续到达的数据序列,一般情况下,数据流可被视为一个随时间延续而无限增长的动态数据集合。

因此，流数据一般是实时的，比如某地人流聚集状况，服务器访问信息等等。Storm可以不断地取这些流数据，并作处理，这个过程是实时的，也是连续的。

工作机制

Storm由一个主节点和多个工作节点组成，他们之间的工作协调是由另外一个出名的服务zookeeper完成的，没错，storm和hadoop一样，都是批处理大数据。

Storm处理数据的基本过程

首先，你得有数据的来源，比如我们可以从消息队列kafka中获得数据，在storm中，获得数据的组件叫做Spout，英文意思是喷水口、水龙头，它负责得到源源不断的数据。

然后，这些数据会分发给谁呢？那就是BOLT，英文意思是闪电，这个bolt是关键，主要的处理逻辑、处理流程都是写在里面，而且bolt之间可以传递，相当于处理的一个个流程，比如，第一个bolt负责将数据进行过滤，并把过滤后的数据传给第二个bolt，第二个负责将数据进行统计，并写入数据库，这就完成了一个流程。他们之间传递的单位是tuple，也就是我们常说的元组，数据必须得按照storm的规范封装到tuple里面。如下图，水龙头和闪电之间的关系。

storm示意图

Storm的基本名词、概念

  • Topologies
  • Streams
  • Spouts
  • Bolts
  • Stream groupings
  • Reliability
  • Tasks
  • Workers

以上是官方文档里面的提到的概念，这里就不翻译了，英文程度尚可的朋友可以试着读一下    http://storm.apache.org/documentation/Concepts.html

现在没搞懂没关系，之后我们实践了、跑一个程序就大概知道怎么回事了。

 

总之，storm很强大，并把很多东西都写好了，留下好用的接口给我们。具体怎么使用，就见仁见智了。我之后，会在本地进行测试、学习，由于storm是分布式计算的框架，那么，我将就会在虚拟机安装几个centos当服务器，作为模拟，这和真实情况（有机房，有服务器）虽然有差距，但是对于理解原理来说，也足够了。前言就先写到这里了，都是一些个人的理解，之后会把自己的学习过程完整的记录下来，包括搭建环境、运行程序等等。

 

wordpress吃内存？大多是插件的问题

昨天折腾了一天，自己的一个用wordpress搭的站点竟然提示内存不够用，不能正常访问了。

网站访问出错

百度了一下，都说是wordpress太占内存，众说纷纭，有不少人说是要把分配内存的最大值改大。没办法，我照着改了一下，确实能打开了。

问题是，网站变得无比的卡，我观察了一下服务器的CPU和内存的占用，几乎每一次的访问都爆掉了，CPU100％，内存快占满了。显然，问题不在分配内存上。

重新看之前问题的截图，说是wp-db.php的问题，我去看了一下源代码，并没有什么稀奇。是这么一个函数

function _real_escape( $string ) {
    if ( $this->dbh ) {
        if ( $this->use_mysqli ) {
	    return mysqli_real_escape_string( $this->dbh, $string );
	} else {
	    return mysql_real_escape_string( $string, $this->dbh );
	 }
    }

    $class = get_class( $this );

        if ( function_exists( '__' ) ) {
	    _doing_it_wrong( $class, sprintf( __( '%s must set a database connection for use with escaping.' ), $class ), E_USER_NOTICE );
	} else {
	    _doing_it_wrong( $class, sprintf( '%s must set a database connection for use with escaping.', $class ), E_USER_NOTICE );
	  }

    return addslashes( $string );
}

就是一个和数据库有关的函数，问题可能就出在数据库了。

再结合一下访问日志，我发现有很多本服务器ip访问自己的记录。而且访问的都是wp-cron.php，百度了一下，这个是wp的定时功能，用于定时发布文章，定时备份数据库等功能。可是之前用都基本没有问题的啊。

再用PHPmyadmin查看一下数据库表，问题出现在这里！原来，wp_options表的 cron写入大量无用的数据，果然是它。更深度的原因，竟然是百度sitemap插件！

相信很多站长都有用这款插件，自动生成网站地图，是国人柳城开发的，但这款插件许久没有更新了，而wordpress最近自动更新到最新版本，导致插件不兼容。这款插件用到了定时的功能，来更新站点地图，于是在不兼容的情况下，往数据库里面写入了大量无用的数据。

于是，出现了以上的所有情况。

真相大白，把数据库wp_options表清理了一下，停用了这款插件。网站终于正常。现在回头看，这款插件真的是新手才会用的，用代码完全可以直接实现，而且不用多余的写入数据库、定时更新。教程请移步–>wordpress代码实现网站地图sitemap的html和xml的方法。

总结一下，看了网上其它人的情况，还有自己的情况，基本上可以看出来，当你的wordpress内存不足，或者很占CPU的时候，要么是你网站的访问量突然很大，要么，就是插件的问题了。而现在的wordpress有自动更新机制，建议停掉，然后在手动更新之前，看看自己的插件能不能兼容新版本，插件的更新也要及时。

另外，网站访问日志、错误日志也要好好看！问题大多能在里面找到！

 

真的是404了

deadline是最佳动力，这句话从来就没有错。

准备了一个学期的软件工程课程设计，在最后两个星期里进度突飞猛进，最终获得老师的肯定，也是不容易。

唯一让我心塞的是，答辩的早上，我猛然发现，我的文件夹中仅仅剩下测试用例，文档全部不翼而飞！不知道是前一天凌晨准备测试用例的时候误删操作还是怎么样，总而言之，文档不见了！

这是什么文档呢？还得从我的这个项目说起。

这个项目，做的是一个基于校园的买卖系统，前端用bootstrap2.0，整站用基于python的django框架。除了有点前端和后台的基础，对上面的技术路线基本没接触过。也就是从头学起了。

因而，在这个过程中，用文档记录下了开发的过程，当时还没有开博客。

到项目进行到一半的时候，我就开了这个个人博客，当时已经想着说，把这次相对来说较为完整的项目经历，记录到博客上面。于是word便成为了我的记事本。

可惜事与愿违，强行恢复也找不到这些文件了，真的是404了。

后来想想也没什么，毕竟代码是自己亲力亲为，思路是自己亲力亲为，所以这些文档的记录，根本就不会消失，他们就在我脑子里。所以，到之后有时间，我准备把这次项目的开发过程，完整的记录到博客上面，和大家一起学习。