linux – 找不到的博客

在windows下用ppk后缀文件登陆远程服务器

最近要部署一个项目到服务器上，对方给我生成了一个以ppk为后缀名的密钥，让我直接登陆，这里记录一下过程。

用putty通过ssh登陆服务器

下载putty

貌似官网上不了。我是在这里下载的：

http://www.chiark.greenend.org.uk/~sgtatham/putty/download.html

下载putty.exe，不用安装。

连接服务器

打开putty，在host name那里填写服务器地址，登录方式默认就行了。

在左边栏打开选择SSH，找到AUTH，然后Browse你的ppk授权文件，点击open。

然后输入ppk授权文件对应的linux用户名，即可登陆成功，如下：

用WinScp登陆文件服务器

WinScp给了我们图形化的操作界面，允许我们从windows直接拖拽文件到服务器上，非常方便。这里记录下怎么用ppk文件来登陆。

下载、安装WinScp

下载地址：http://winscp.net/eng/download.php

安装过程可以选择语言，默认是中文，我选择的是英文。

使用ppk文件登录

打开软件，在Host name填写服务器地址，Port number默认22即可，User name填写用户名。然后点击下面的advanced选项。

然后选择ssh下的authentication，在private key file选择授权文件（即你的ppk后缀名文件）即可。

点击ok，然后回到第一个界面，login就行了。

登录成功，可以直接拖拽文件实现上传下载了。

Mysql在linux下的使用以及用java编程

平时管理mysql喜欢用可视化的phpmyadmin，方便易用，简单的事情就不要复杂化。今天在做项目的过程中，发现需要远程连接mysql数据库，虽然说phpmyadmin是可以连接远程的数据库的，但是需要远程的数据库对我这边开启一定的访问权限。

鉴于安全考虑，打消了这个念头。

而想想，自己无非就是想去看看表的结构，select几个字段罢了，那就直接登录直接使用吧，遂把今天的一些操作记录一下吧。

linux下使用mysql

安装就不说了，直接进入主题。

先登录，命令如下：其中，-u后面直接输入用户名，-p后面直接输入密码

mysql -uusername -ppassword

无意外，登录成功。

在这里记录一个坑，那就是登录成功之后，进入mysql的命令行模式，此后输入命令都要以分号;结尾，就和我们日常编程一样，否则输入命令之后，会没有任何错误提示，并且也不会有任何反应。

首先看看有哪些数据库：

show databases;

选择一个数据库，比如我想对数据库名为test的数据库进行操作。

use test;

之后，就是输入各种select语句就行了。最后退出的时候输入命令exit就行。

Java下mysql的使用

首先下载mysql的jdbc驱动，去搜索mysql-connector-java，然后下载。

我搜索到的下载地址：http://dev.mysql.com/downloads/connector/j/

然后新建一个工程，把下载的jar包引进去就行。

随后开始编程，使用很简单，我写了一个简单的example记录一下，操作都大同小异，不过我这里用的不是存储过程，而是基本的sql语句操作。附上代码：

import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.ResultSet;
import java.sql.SQLException;
import java.sql.Statement;




public class mysqlExample {
	public static void main(String args[]) {
		try {
			Class.forName("com.mysql.jdbc.Driver"); // 加载MYSQL JDBC驱动程序
			System.out.println("加载驱动成功！");
		} catch (Exception e) {
			System.out.print("加载驱动失败！");
			e.printStackTrace();
		}




		try {
			Connection connection = DriverManager.getConnection("jdbc:mysql://localhost:3306/dbName", "root", "");
			System.out.println("连接到数据库成功");
			String sql = "select * from `user`;";
			ResultSet rs = getResult(sql,connection);
			//遍历结果，rs是结果游标 
			while(rs.next()) { 
				 /*
				  * getString方法可以传int index，即第几列（1代表结果的第一列..）
				  * 也可以传String columnname，可以直接指定要哪个字段
				  */
				 System.out.println(rs.getString(1));
				 System.out.println(rs.getString("admin"));
				 } 
			 //关闭连接
			connection.close();
		} catch (Exception e) {
			e.printStackTrace();
		}
	}
	/**
	 * 获取sql查询结果
	 * @param sql sql语句
	 * @param connection 连接
	 * @return 结果集
	 * @throws SQLException
	 */
	public static ResultSet getResult(String sql,Connection connection) throws SQLException{
		Statement stmt = connection.createStatement();
		ResultSet rs = stmt.executeQuery(sql);
		return rs;
	}
}

storm的配置以及实例实践-storm与zookeeper的安装配置

之前配置了那么多东西，都是为了安装storm，事实上，如果我们用的是企业级的服务器，一般会预装很多依赖，非常省事。而之前我所讲的所有配置，都是基于裸机的，安装一遍也没有坏处，至少也对linux更加熟悉了。废话不多说，马上开始配置storm。正如前面所讲，storm的工作，有一部分是依靠zookeeper的，所以，两个都得装。安装过程很容易。

storm下载地址（版本0.9.3）：

http://www.apache.org/dyn/closer.lua/storm/apache-storm-0.9.3/apache-storm-0.9.3.tar.gz

zookeeper下载地址（版本3.4.6）：

http://mirrors.hust.edu.cn/apache/zookeeper/zookeeper-3.4.6/zookeeper-3.4.6.tar.gz

若是下载过慢或者链接失效可以自行去官网下载。

为了方便起见，我们可以把storm和zookeeper都解压到一个文件夹中，比如我就在根目录下新建了一个env文件夹。

首先解压storm：

tar -xvzf apache-storm-0.9.3.tar.gz /env

然后把storm的路径加入环境变量中，具体而言，就是vim一下~/.bashrc这个文件，然后在末尾加入两句：

export STORM_HOME=/env/apache-storm-0.9.3
export PATH=$PATH:$STORM_HOME/bin

保存。

继续配置storm，vim一下storm目录下的conf/storm.yaml，打开几行注释，配置zookeeper节点以及nimbus

storm.zookeeper.servers:
    - "192.168.254.100"
nimbus.host: "192.168.254.100"

随后解压zookeeper

tar -xvzf zookeeper-3.4.6.tar.gz /env

配置的话，不需要特别配置，我们只需要把样例的配置文件复制一份即可。
切换到zookeeper的目录下，然后执行

cd conf
cp zoo_sample.cfg zoo.cfg

搞定。

至此，一台机子上的所有配置已经完成了。接下来的工作就比较简单了，复制虚拟机，更改一些配置就可以了。

storm的配置以及实例实践-利用securecrt连接服务器

虚拟机的网络设置完之后，测试一下能不能上网，一般情况下，只要你本地能够上网，虚拟机都是可以上网的。能够上网就好办了，接下来，我们要安装依赖。

安装依赖的过程中，大多情况下可以通过yum命令来完成，但是有时候yum抽风了，我们就可以远程上传文件到服务器上。再者，我们不可能每次都直接跑到服务器那里操作、敲命令行（虚拟机也如此），而且大多数情况下是有多台服务器在运作的。如何本地管理他们呢？

类似的软件很多，我一般用的是securecrt，这款软件还是比较好用的，允许同时连接多台服务器，支持本地文件上传等。

下载和安装这里就不多说了，找绿色版的来用就行。

使用的时候，连接多台服务器，可以通过标签页来连接，这样比较方便管理。连接之后的使用就和在linux本地命令行下使用是一个样的，不多说。

主要说说怎么上传文件。我比较常用的有两种方式：

通过SecureFX来上传

这个是图形化的操作，一般在securecrt的工具里面有整合。傻瓜式操作。

securefx传输文件

多文件批量传输的话，这种方式还是挺方便的

通过sftp传输文件

当然，习惯了命令行的话，使用sftp就是一个很方便的途径了。首先需要在会话选项中设置一下路径。方便管理，比如我就在本地E盘新建了一个localsftp的文件夹，把需要传输的文件放到里面去。远程目录可以设置，也可以到时cd到你想要的目录。同理，本地的目录到时也是可以切换的。

sftp设置

设置之后，在已经连接服务器的基础上，我们就可以使用快捷键alt+p打开sftp的界面了。

介绍几个常用的命令，对于传输文件来说，足够了。

pwd：查看远程当前目录

lpwd：查看本地当前目录

ls：查看服务器当前目录下所有文件

lls：查看本地当前目录下所有文件

cd：切换远程目录

lcd：切换本地目录

get：从服务器下载文件

put：上传本地文件到服务器

和我们平时用的命令大同小异。直接put+文件名的话，会在本地默认路径下寻找文件，并传到远程服务器的当前目录，当然你可以指定目录，后面跟多一个路径参数即可。

先说到这，下一篇继续配环境

storm的配置以及实例实践-设置虚拟机网络

在虚拟机安装完centos之后，事实上我们已经可以开始动手配置安装storm相关的软件或者依赖了。但是想想，我们是在本地上进行开发测试，面对几台虚拟机，我们不可能每次都跑到虚拟机里面打开命令行，然后进行相关操作。所以，后面我会介绍到一个比较常用的ssh连接工具securecrt，它允许我们在本地连接多台远程服务器。

假如我们的ip是变化的，而虚拟机默认的NAT网络连接模式中的DHCP机制会让虚拟机里的系统ip发生变化，因此，为了方便起见，我们需要将虚拟机的网络进行设置，改成静态ip，这样我们每次通过外部工具连接虚拟机的时候就不必要更改ip了。下面说说怎么更改。

过程我是从http://www.cnblogs.com/magialmoon/archive/2013/08/10/3250393.html中学习的，因此在这里引用一下，并加上一些自己的解释。

首先关闭VMware的DHCP：

Edit->Virtual Network Editor

选择VMnet8，去掉Use local DHCP service to distribute IP address to VMs选项。点击NAT Settings查看一下相关的网络地址，如下：

将这三个地址截图或者记事本记下来，Subnet IP是子网地址，Subnet mask是子网掩码，Gateway IP是网关地址。

然后就可以到centos里面设置静态ip了。

涉及到3个文件

/etc/sysconfig/network
/etc/sysconfig/network-scripts/ifcfg-eth0
/etc/hosts

首先修改/etc/sysconfig/network
第二行是主机名，可以根据需要修改，我就改成了main，第三行是网关地址，填写上文提到的网关地址，如下：

NETWORKING=yes
HOSTNAME=main
GATEWAY=192.168.129.2

然后修改/etc/sysconfig/network-scripts/ifcfg-eth0
下图高亮的都是修改过的，其中需要注意的是以下几点：

第四行IPADDR，指的是ip地址，这里就设置成你要的ip地址，但是需要和你的ip子网相匹配，也就是说，回到上文Subnet IP，子网地址是192.168.129.0，我们只需更改最后一位即可，我这里改成了192.168.129.100，同样照葫芦画瓢，我们之后再建立虚拟机的时候，就分配192.168.129.101，依次类推；

第五行NETMASK，子网掩码，把上文中提到的子网掩码加进去即可。

最后一行的DNS1，是指定DNS服务器，DNS是域名解析服务器，如果不填写则会无法解析域名，我们可以填写自己电脑上的DNS，也可以填写百度的公共DNS：180.76.76.76，我这里就是用的百度的。

DEVICE="eth0"
#BOOTPROTO="dhcp"
BOOTPROTO="static"
IPADDR=192.168.129.100
NETMASK=255.255.255.0
HWADDR="00:0C:29:56:8F:AD"
IPV6INIT="no"
NM_CONTROLLED="yes"
ONBOOT="yes"
TYPE="Ethernet"
UUID="ba48a4c0-f33d-4e05-98bd-248b01691c20"
DNS1=180.76.76.76

最后修改/etc/hosts

最后一行加入：ip和主机名，根据你之前的设置填写即可

192.168.129.100   main

设置完毕以后，reboot一下虚拟机。

最后，我们再来关闭防火墙，由于是在虚拟机上面进行试验，所以为了方便起见，把防火墙关了，但在实际的生产环境中，是要对机器的防火墙进行详细的配置的，这里不多说。下面说下关闭防火墙的步骤。

在终端依次输入以下两条命令即可：

service iptables stop 
chkconfig iptables off

然后输入service iptables status查看一下状态，会显示Firewall is not running。

至此，虚拟机网络的设置已经搞定，下一篇继续讲配置。

storm的配置以及实例实践-安装虚拟机

由于storm是一个分布式的计算框架，在实际的开发环境中是基于集群的，通常有一个主节点，分发任务给子节点，没错，和hadoop是类似的。那我们在自己学习以及调试的过程中，往往是没有真实的服务器集群给我们使用的，那么，虚拟机就是一个不错的选择。我在本地打算搭建3个虚拟机，来模拟三台服务器。下面说说安装虚拟机的过程。

首先安装vmvare，我装的版本是vmvare10，网上也有序列号，装完之后输入即可完成注册。这里就不细说了。

随后，就是在虚拟机里面安装系统了。我安装的是CentOS 6.5_X64，是64位的，根据你的电脑选择即可。

先下载iso文件：http://www.centoscn.com/CentosSoft/iso/2013/1205/2196.html

下载完成之后，打开vmvare，点击新建虚拟机，选择典型安装。然后选择安装iso，把刚才下载的centos系统的iso文件选择进来，根据实际情况设置内存大小（之后也可以更改），然后下一步下一步下一步安装系统即可，非常简单。需要注意的一点是，你需要记住你的用户密码。

之后就等待安装即可，有时候系统提示你选择不要忘了选择。大部分时间是等待。

centos系统安装

等待1个小时左右，系统就安装完毕了，可能用惯windows的朋友会不大习惯，不过，熟悉linux对搞大数据开发还是很有必要的，因此我们之后的操作基本上都是要通过命令行来完成，所以暂时忘掉那些界面吧！当然，默认安装的centos6.5是有操作界面的。就这样，一个虚拟机就安装完成了，接下来，我们就需要对它进行配置，最后再克隆两份即可。

下一篇讲配置，配置还是有很多内容的。