使用OpenFiler来模拟存储配置RAC中ASM共享盘及多路径(multipath)的测试

0    95    1

👉 本文共约6127个字,系统预计阅读时间或需24分钟。

之前发布了一篇《Oracle_lhr_RAC 12cR1安装》,但是其中的存储并没有使用多路径,而是使用了VMware自身提供的存储。所以,年前最后一件事就是把多路径学习一下,本文介绍了OpenFiler、iSCSI和多路径的配置。

安装OpenFiler

OpenFile是在rPath Linux基础上开发的,它能够作为一个独立的Linux操作系统发行。Openfiler是一款非常好的存储管理操作系统,开源免费,通过web界面对存储磁盘的管理,支持现在流行的网络存储技术IP-SAN和NAS,支持iSCSI、NFS、SMB/CIFS及FTP等协议。

本次安装OpenFiler锁需要的软件如下所示:

序号类型内容
1openfileropenfileresa-2.99.1-x86_64-disc1.iso

安装

详细安装过程小麦苗就不一个一个截图了,网上已经有网友贴出了一步一步的过程,OpenFiler的内存设置为1G大小或再小点也无所谓,磁盘选用IDE磁盘格式,由于后续要配置多路径,所以需要安装2块网卡。安装完成后,重新启动,界面如下所示:

使用OpenFiler来模拟存储配置RAC中ASM共享盘及多路径(multipath)的测试

注意,方框中的内容,可以在浏览器中直接打开。可以用root用户登录进行用户的维护,若进行存储的维护则只能使用openfiler用户。openfiler是在远程使用Web界面进行管理的,小麦苗这里的管理地址是https://192.168.59.200:446,其管理的初始用户名是openfiler(小写的),密码是password,可以在登录之后,修改这个密码。

使用OpenFiler来模拟存储配置RAC中ASM共享盘及多路径(multipath)的测试

基本配置

网卡配置

使用OpenFiler来模拟存储配置RAC中ASM共享盘及多路径(multipath)的测试

配置静态网卡地址:

添加硬盘

添加一块100G大小的IDE格式的硬盘作为存储。

使用OpenFiler来模拟存储配置RAC中ASM共享盘及多路径(multipath)的测试

iscsi target配置

为openfiler服务器配置了两块硬盘,其中10GB的硬盘已经用来安装openfiler操作系统,而200GB的硬盘则会用做数据存储。

创建逻辑卷

登录地址:https://192.168.59.200:446

初始用户名和密码:openfiler/password

在独立存储设备中,LUN(Logical Unit Number)是最重要的基本单位。LUN可以被SAN中的任何主机访问,不管是透过HBA或是iSCSI。就算是软件激活的iSCSI,也可以在不同的操作系统之下,在操作系统启动之后利用软件的iSCSI initiator访问LUN。在OpenFiler之下,LUN被称为Logical Volume(LV),因此在OpenFiler下创建LUN就是创建LV。

当你安装好OpenFiler之后,接下来就是要将OpenFiler下的磁盘分享出来给虚拟机或网络上的其他主机使用了。在标准的SAN之后,这些可以在RAID层面完成,但VG的好处及弹性是RAID无法比较的,下面看看OpenFiler下的VG是如何一步一步创建的。

创建VG的步骤:

(1)进入OpenFiler的接口,并且选择要使用的实体硬盘。

(2)将要加入的实体硬盘格式化成Physical Volume格式。

(3)创建一个VG组,并且将格式化成为PV格式的实体硬盘加入。

(4)加入完毕之后,就成为一个大的VG组,被视为系统的一个大实体硬盘。

(5)在这个VG中添加逻辑分割区LUN,在OpenFiler中称为Logical Volume。

(6)指定LUN的文件格式,如iSCSI、ext3或是NFS,并且格式化。

(7)如果是iSCSI则需要再配置,如果是其他文件格式,就可以用NAS的方式分享出去而

登录后,点击Volumes标签

为openfiler服务器配置了两块硬盘,其中10GB的硬盘已经用来安装openfiler操作系统,而200GB的硬盘则会用做数据存储。

使用OpenFiler来模拟存储配置RAC中ASM共享盘及多路径(multipath)的测试

使用OpenFiler来模拟存储配置RAC中ASM共享盘及多路径(multipath)的测试

点击create new physical volumes后点击/dev/sdb

使用OpenFiler来模拟存储配置RAC中ASM共享盘及多路径(multipath)的测试

点击页面右下角Reset,然后点击Create。分区类型为Physical volume

使用OpenFiler来模拟存储配置RAC中ASM共享盘及多路径(multipath)的测试

点击Volume Groups

使用OpenFiler来模拟存储配置RAC中ASM共享盘及多路径(multipath)的测试

使用OpenFiler来模拟存储配置RAC中ASM共享盘及多路径(multipath)的测试

输入名称,勾选复选框,单击Add volume group

使用OpenFiler来模拟存储配置RAC中ASM共享盘及多路径(multipath)的测试

点击Add Volume

使用OpenFiler来模拟存储配置RAC中ASM共享盘及多路径(multipath)的测试

输入内容,调整磁盘大小为10G,卷类型选择block(iSCSI,FC,etc)

使用OpenFiler来模拟存储配置RAC中ASM共享盘及多路径(multipath)的测试

使用OpenFiler来模拟存储配置RAC中ASM共享盘及多路径(multipath)的测试

依次共创建4个逻辑卷:

使用OpenFiler来模拟存储配置RAC中ASM共享盘及多路径(multipath)的测试

开启iSCSI Target服务

使用OpenFiler来模拟存储配置RAC中ASM共享盘及多路径(multipath)的测试

点击Services标签栏设置iSCSI Target 为Enable 开启服务Start。

LUN Mapping操作

使用OpenFiler来模拟存储配置RAC中ASM共享盘及多路径(multipath)的测试

返回Volumes标签页,点击iSCSI Targets

使用OpenFiler来模拟存储配置RAC中ASM共享盘及多路径(multipath)的测试

点击Add

选择LUN Mapping标签 点击Map

使用OpenFiler来模拟存储配置RAC中ASM共享盘及多路径(multipath)的测试

Network ACL

由于iSCSI是走IP网络,因此我们要允许网络中的计算机可以透过IP来访问。下面就是OpenFiler中IP网络和同一网段中其他主机的连接方法。

  1. 进入OpenFiler中的System,并且直接拉到页面的下方。

2.在Network Access Configuration的地方输入这个网络访问的名称,如VM_LHR。

3.输入主机的IP段。注意不可以输入单一主机的IP,这样会都无法访问。我们在这边输入192.168.59.0,表示从192.168.59.1一直到192.168.59.254都能访问。

  1. 在Netmask中选择255.255.255.0,并且在Type下拉列表框中选择Share,之后即可以单击Update按钮。

使用OpenFiler来模拟存储配置RAC中ASM共享盘及多路径(multipath)的测试

选择完之后就更新

至此就可以在这个OpenFiler中看到被授权的网段了。

在iSCSI Targets中,点击 Network ACL 标签

使用OpenFiler来模拟存储配置RAC中ASM共享盘及多路径(multipath)的测试

设置Access为Allow 然后点击Update

到此存储的配置已经完成

/etc/initiators.deny

注释掉iqn.2006-01.com.openfiler:tsn.5e423e1e4d90 ALL:

RAC中配置共享

RAC节点配置iSCSI

iSCSI(Internet Small Computer System Interface)。iSCSI技术由IBM公司研究开发,是一个供硬件设备使用的、可以在IP协议的上层运行的SCSI指令集,这种指令集合可以实现在IP网络上运行SCSI协议,使其能够在诸如高速千兆以太网上进行路由选择。iSCSI技术是一种新储存技术,该技术是将现有SCSI接口与以太网络(Ethernet)技术结合,使服务器可与使用IP网络的储存装置互相交换资料。iSCSI是一种基于 TCP/IP 的协议,用来建立和管理 IP存储设备、主机和客户机等之间的相互连接,并创建存储区域网络(SAN)。

iSCSI target:就是储存设备端,存放磁盘或RAID的设备,目前也能够将Linux主机模拟成iSCSI target了!目的在提供其他主机使用的『磁盘』;

iSCSI initiator:就是能够使用target的用户端,通常是服务器。也就是说,想要连接到iSCSI target的服务器,也必须要安装iSCSI initiator的相关功能后才能够使用iSCSI target提供的磁盘。

iSCSI target

iSCSI initiator

安装iSCSI initiator

RAC的2个节点分别安装iSCSI initiator。

若未安装可使用yum install iscsi-initiator-utils*进行安装。

iscsiadm

iscsi initiator主要通过iscsiadm命令管理,我们先查看提供服务的iscsi target机器上有哪些target:

到这一步就可以看出,你服务端创建的iSCSI Target 的编号和名称。这条命令只需记住-p后面跟iSCSI服务的地址就行了,也可以是主机名,都可以!3260是服务的端口号,默认的!

然后就可以登陆某个target了,登陆成功某个target后,这个target下的硬盘也就都共享过来了:

这里多出了8块盘,在openfiler中只map了四次,为什么这里是8块而不是4块呢?因为openfiler有2块网卡,使用两个IP登录两次iscsi target,所以这里有两块是重复的

要查看各个iscsi的信息:

# iscsiadm -m session -P 3

登陆之后要对新磁盘进行分区,格式化,然后在挂载即可

完成这些命令后,iscsi initator会把这些信息记录到/var/lib/iscsi目录下:

/var/lib/iscsi/send_targets记录了各个target的情况,/var/lib/iscsi/nodes记录了各个target下的nodes情况。下次再启动iscsi initator时(service iscsi start),就会自动登陆各个target上。如果想让重新手工登陆各个target,需要把/var/lib/iscsi/send_targets目录下的内容和/var/lib/iscsi/nodes下的内容全部删除掉。

多路径multipath

RAC的2个节点上分别安装multipath软件

1、安装多路径软件包:

启动multipath

将多路径软件添加至内核模块中

检查内核添加情况

将多路径软件multipath设置为开机自启动

启动multipath服务

配置多路径软件/etc/multipath.conf

1、配置multipath软件,编辑/etc/multipath.conf

注意:默认情况下,/etc/multipath.conf是不存在的,需要用如下命令生成multipath.conf文件:

/sbin/mpathconf --enable --find_multipaths y --with_module y --with_chkconfig y

2、查看并获取存储分配给服务器的逻辑盘lun的wwid信息

将文件/etc/multipath/wwids和/etc/multipath/bindings的内容覆盖节点2:

编辑/etc/multipath.conf

启动multipath配置

启用multipath配置后,会在/dev/mapper下生成多路径逻辑盘

至此,多路径multipath配置完成。

配置multipath设备的权限

在6.2之前配置multipath设备的权限只需要在设备配置里增加uid,gid,mode就可以

uid 1100 #uid

本人提供Oracle、MySQL、PG等数据库的培训和考证业务,私聊QQ646634621或微信db_bao,谢谢!

gid 1020 #gid

如:

在6.2之后配置multipath配置文件里去掉uid,gid,mode这三个参数,需要使用udev使用,示例文件在/usr/share/doc/device-mapper-version中有一个模板文件,名为12-dm-permissions.rules,您可以使用它并将其放在 /etc/udev/rules.d 目录中使其生效。

将文件/etc/udev/rules.d/12-dm-permissions.rules复制到节点2上。

配置udev规则

脚本如下所示:

由于多路径的设置WWID有重复,所以应该去掉文件/etc/udev/rules.d/99-oracleasm.rules中的重复的行。

在节点1执行以下操作:

打开文件/etc/udev/rules.d/99-oracleasm.rules,去掉WWID重复的行只保留一行即可。

将文件/etc/udev/rules.d/99-oracleasm.rules的内容拷贝到节点2,然后重启udev。

利用新磁盘创建磁盘组

CREATE DISKGROUP FRA external redundancy DISK '/dev/asm-diskf','/dev/asm-diskh' ATTRIBUTE 'compatible.rdbms' = '12.1', 'compatible.asm' = '12.1';

测试磁盘组

将存储停掉一块网卡eth1:

rac节点查看日志:

表空间可以正常访问:

同理,将eth1进行up,而将eth0宕掉,表空间依然正常。重启集群和存储后,集群一切正常。

测试多路径

重新搭建一套多路径的环境来测试多路径。

最简单的测试方法,是用dd往磁盘读写数据,然后用iostat观察各通道的流量和状态,以判断Failover或负载均衡方式是否正常:

# dd if=/dev/zero of=/dev/mapper/mpath0

# iostat -k 2

重新开一个窗口执行iostat -k 2可以看到:

使用OpenFiler来模拟存储配置RAC中ASM共享盘及多路径(multipath)的测试

好了,有关使用OpenFiler来模拟存储配置RAC中ASM共享盘及多路径的测试就到此为止了,2016年结束了,今天是1月23日,明天是1月24日,小麦苗回家过年了,O(∩_∩)O\~。

有关多路径其它理论知识

用multipath生成映射后,会在/dev目录下产生多个指向同一条链路的设备:

但它们的来源是完全不同的:

/dev/mapper/mpathn 是multipath虚拟出来的多路径设备,我们应该使用这个设备;/dev/mapper 中的设备是在引导过程中生成的。可使用这些设备访问多路径设备,例如在生成逻辑卷时。

/dev/mpath/mpathn 是udev设备管理器创建的,实际上就是指向下面的dm-n设备,仅为了方便,不能用来挂载;提供 /dev/mpath 中的设备是为了方便,这样可在一个目录中看到所有多路径设备。这些设备是由 udev 设备管理器生成的,且在系统需要访问它们时不一定能启动。请不要使用这些设备生成逻辑卷或者文件系统。

/dev/dm-n 是软件内部自身使用的,不能被软件以外使用,不可挂载。所有 /dev/dm-n 格式的设备都只能是作为内部使用,且应该永远不要使用。

简单来说,就是我们应该使用/dev/mapper/下的设备符。对该设备即可用fdisk进行分区,或创建为pv。

标签:

头像

小麦苗

学习或考证,均可联系麦老师,请加微信db_bao或QQ646634621

您可能还喜欢...

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注

2 × 3 =

 

嘿,我是小麦,需要帮助随时找我哦
  • 18509239930
  • 个人微信

  • 麦老师QQ聊天
  • 个人邮箱
  • 点击加入QQ群
  • 个人微店

  • 回到顶部
返回顶部