准备工作
本文默认读者具有一定的安装系统的经验,Linux使用经验,并且知道rocks适用于哪些行业。 纯手工配置集群是件非常庞大的工作量,好在有rocks, 它几乎集成了集群配置的所有工具。 这篇博客是我前几天配置组里的集群时的过程,目前rocks最新版本为6.2, 代号Sidewinder,这里就是用的这个版本,这个版本只支持64位系统,安装时请注意。 官方手册有非常详尽的说明,想要深入了解一定一定要去看官方手册。
配置集群用的机器为浪潮机架式服务器,每台服务器有两个内置网卡,另外有两个独立网卡。 这点很重要,因为后面会选择外网跟内网对应的网卡。另外还需要明确的一点是,当作管理节点(Frontend Node)的机器, 至少要有两块网卡。计算节点(Compute Node)可以只有一个网卡。
各节点的线路连接如图所示,
里面 Frontend Node 就是我们首先要配置的管理节点,它至少需要两个网卡,其中一个网卡(默认为eth1)连接公网,另一个网卡(默认为eth0)连接局域网,
然后所有的计算节点网口也都连接在交换机(Ethernet Switch)上。红色短划线表示的特殊网络先不用管,一般情况下也用不到。这里需要说明一下,
在图中eth1连接互联网,看起来好像是不能连接在交换机上的,实际上如果把连接外网的网线接到交换机上,然后再从交换机上引出一根线接到管理节点的eth1也是可以的。
在配置好之后,管理节点跟计算节点都是可以访问外网的,具体实现原理可以参考官方手册。
安装之前需要有rocks的安装盘,原则上使用U盘安装也是可以的,不过我在U盘安装时提示错误,为了少折腾就直接刻录光盘了,之后一切正常。 rocks的镜像可以到rockscluster.org或rocksclusters.github.io 下载,最简单的是直接下载 jumbo dvd ,它整合了所有的工具,当然你也可以自己挑选自己想要的工具单独下载,甚至是centos系统可以单独安装的,下载完成后刻录成光盘就可以了。我用的 jumbo dvd 版本,因为最省事。 kernel, base 是必须的,os 你可以选择自带的centos6.6, 也可以自己下载自己制作镜像。 还需要说明一点,如果你采用了 jumbo dvd 的镜像版本,里面是带有centos系统的,所以不需要再额外下载系统镜像, 目前自带的最新版本是Centos 6.6。 自己单独刻度系统的话,Centos6.8 几乎也是可以用的,只对很少的工具不兼容, 没有强迫症的话也是可以尝试的。centos 7 是完全不行,我试了两次都是直接无法启动。
开始安装
安装管理节点
插入rocks安装盘,选择计算机的第一启动项为DVD,成功启动之后会看到如下界面,每个版本的界面稍有不同,这里是6.2 Sidewinder 版本的界面。
看到这个界面之后及时输入build, 这个截面无操作的话几秒钟就会自动进行下一步,变为计算节点的安装步骤了,如果没来得及,及时按 ctrl + alt + del 键重启。
这一步也可以直接指定很多参数,不过ksdevice这个参数需要进入系统后才能获得,所以首次安装的话建议直接输入build。
这个过程会需要一点时间,顺利的话会进入下面这个界面,这里跟手册或者官网的教程稍有不同,我在实际操作过程中没有遇到选择ipv4/ipv6等几个过程,如果你遇到跟我一样的情况,
不要感到疑惑。
这时候点CD/DVD-base Roll,进入之后挑选自己需要的勾选。这里面有几个是必选的,其余根据自己情况选择,具体每个的用途官方手册都有详细介绍,如果实在懒,可以直接全部勾选即可。
(注意如果你想要安装自己的系统,不要自带的centos6.6 的话这一步不要选择os,然后确认之后光盘会弹出来让你插入新的光盘,插入新的光盘后再点击continue 即可。系统会读取你新插入的光盘数据并让你确认新的os,
勾选方框后点submit即可。)在summit之后,界面会列出你需要安装的项目列表,如下图所示:
左侧是你选择的列表,这里只选择了3个,出现的多少跟选择的多少有关,如果你全部勾选了,就会出现所有你选择的项目。
点击next。
进入下面这个界面后,根据自己情况填写相关内容。需要说明的是,Fully-Qualified Host Name 是必填的, 而且这个要更改一下,不要用默认的内容,否则后续安装计算节点的时候会出现麻烦。
其他内容根据自己的实际情况选填。填好之后点击next。
之后进入网络配置的界面,这里尤其需要注意,eth1默认是外网的配置,eth0默认是内网配置,你的机器只有两个网卡的时候,这是没问题的,如果你的机器有两个以上网卡,一定要确认你机器用来连接外网的那个网口,到底是哪个。
填写时,如果你有独立的公网ip,按照你的上网方式填写eth1的ip地址,子网掩码等信息。如果你使用路由器来连接外网,需要给eht1分配一个ip地址,比如192.168.1.101,子网掩码255.255.255.0,
另外还需要在路由器上设置静态路由表,把eth1的mac地址跟设置的192.168.1.101这个ip绑定。具体ip地址填什么内容根据你自己设置的路由器的情况而定,如果不知道怎么设置静态路由,自己谷歌就好了。
设置好eth1后开始设置eth0,这一步如果没有特殊要求的话,直接默认设置就可以。
之后是设置公网的网关跟DNS,如果是独立公网ip,按照你上网方式填写即可。如果是路由器上网,网关跟DNS都填网关地址就可以了,比如我的可以都填192.168.1.1。
之后的步骤都没有问题,输入root密码,选择时区,如果是在国内的话可以选择Asia/Shanghai那个时区,就是北京时间了。 下一步选择分区方式,如果是新硬盘第一次安装,直接选择自动分区就可以了。如果有特殊要求,可以参考手册的分区方式。
一路next,看到下面的界面,就只需等待就好了。中间光盘会弹出,不要有疑惑,拿出来就是了。安装结束后重启进入Linux。
安装计算节点
计算节点的安装比管理节点简单的多,这里只介绍一种最简单的方式,其他方式可以参考官方手册。
在管理节点上登录root帐号,打开终端,输入命令:
# insert-ethers
会看到如下界面:
选择computer,点OK。 然后设置计算节点开机启动项,选择从网络启动,不清楚网络启动是什么以及如何设置网络启动的可以自行谷歌,另外,使用这种方法的前提是你的计算节点支持网络启动(大部分机器都支持)。
一切顺利的话,计算节点就会自动安装,且在管理节点上能看到如下图类似的界面,computer-0-0右侧括号内的*符号是比不可少的,如果没有*或其他错误提示,请检查计算节点bios设置是否从网络启动,
网络启动是否已经开启,如果都没问题,请检查管理节点的网络设置是否正确。注意,计算节点是没有桌面的。
用同样的方法逐个安装其他计算结点,一切顺利的话。访问你管理节点的ip/ganglia,比如我的管理节点设置的为192.168.1.101,在局域网的计算机上访问 192.168.1.101/ganglia可以看到各节点的信息以及使用情况。 到这里,集群安装就已经结束了。
小结
我想说的是,安装结束才是麻烦的开始,毕竟配置集群,是要比安装麻烦百倍的事情,下一次我会具体谈一下rocks集群的常用配置,以及高能物理里面常用软件的安装。