本文介绍OCFS2共享集群文件系统,如何配置以及如何在线扩容。
什么是OCFS2文件系统?
什么是共享磁盘文件系统呢?我们下面通过解释三个概念的对比来说明:
这是最常见的文件系统,构建在本地的磁盘(块存储,Block Storage)之上。通过磁盘文件系统,磁盘上的内容以文件目录的形式进行组织,方便了用户有效使用磁盘上的存储空间。磁盘文件系统的例子有:ext4, xfs等。
共享文件系统通过远端服务器上运行的服务程序访问挂载在远端服务器上的文件系统。例子为:NFS(Network File System),Samba(CIFS)。
共享磁盘文件系统又叫集群文件系统(Cluster File System),是专门构建在网络共享的磁盘上的文件系统。网络共享磁盘通过SAN(Storage Area Network)被多台主机共同访问,和磁盘文件系统相比,共享磁盘文件系统除了要解决磁盘空间的有效管理问题之外,还要解决文件系统被多台主机同时访问的并发修改问题。因此分布式锁机制是共享磁盘文件系统共有的机制。
从使用场景来看,三种文件系统的差别很明显:磁盘文件系统直接访问本地磁盘,共享文件系统需要通过共享文件服务访问挂载在服务器上的文件系统,而共享磁盘文件系统则直接访问共享磁盘。
因此,在网络共享的场景下,通过共享磁盘文件系统访问SAN存储,可以直接访问共享存储设备。访问路径短,效率高,并且能解决多主机并发访问共享存储的问题。
QEMU使用共享SAN存储有多种方案。常见方案是在需要新建虚拟机磁盘时,使用SAN存储的管理API,分配出卷(LUN)之后,直接将卷挂载给QEMU虚拟机使用。这种方案的优点是QEMU虚拟机直接访问LUN,损耗低,性能好。而缺点是需要使用存储设备特定的API,和设备绑定,不够通用。
本文介绍通过OCFS2共享磁盘文件系统,将一个大容量的SAN存储卷作为存储QEMU虚拟机虚拟磁盘文件的存储,达到QEMU使用共享储存的目的。
OCFS2文件系统的配置
具体操作步骤见官方文档:
- 安装Cloudpods内核,自带编译了ocfs2文件系统的内核模块
由于OCFS2使用场景较少,在常见发行版的内核中都不会启用OCFS2的内核模块。我们提供了预先编译好的启用了OCFS2的内核安装包:
安装内核后需要重启生效,重启后检查新的内核已经生效
OCFS2配置简单,只需要在每个要挂载OCFS2的节点上都配置相同的配置文件,申明成员节点即可。
- 初始化ocfs2的配置
- 确保o2cb ocfs2服务启动并设置为开机自启
至此,OCFS2的软件和配置完成,下一步将格式化磁盘,挂载OCFS2文件系统
- 挂载OCFS2文件系统
这一步使用OCFS2格式化网络共享磁盘,并且挂载到各台宿主机上。
在此之前可能要配置SAN存储的多路径multipath(由于行文原因,细节在此省略),在此之后使用parted分区,格式化成ocfs2(只在一台机器分区格式化,其他机器partprobe就能看到格式化后的分区)并挂载到多台机器。
以下命令在第一个节点执行:
在其他节点,则只需要执行partprobe探测分区变化,并且挂载分区。也应该修改/etc/fstab,持久化分区的挂载。
在Cloudpods中,通过OCFS2挂载的共享文件系统可以作为GPFS类型的共享存储类型进行管理。通过以下步骤将OCFS2的共享存储注册到Cloudpods,并且用来存储虚拟机用的虚拟磁盘文件。
在【存储-块存储】界面,新建一个GPFS类型的共享存储。
存储记录创建成功后,选择该存储的“管理宿主机”菜单按钮,在关联存储的宿主机列表,选择“关联宿主机”,将挂载该存储的宿主机节点都注册关联,让Cloudpods平台知道这个共享存储挂载到哪些宿主机的哪个目录下。
- 使用OCFS2创建主机虚拟磁盘
以上配置完成后,在新建虚拟机时,就可以选择新建的OCFS2存储作为虚拟磁盘的存储。
OCFS2文件系统的扩容
首先需要将OCFS2只挂载在第一个节点,将其他节点都卸载。以下操作都只在第一个节点上执行。
首先,需要在SAN存储扩容该物理卷,这一步在SAN设备上操作,在此不详叙述。
其次,针对multipath设备,需要rescan该设备下的每个磁盘,让操作系统感知到设备的扩容。
再执行下面的命令,让操作系统感知到multipath设备的容量变化:
经过上面步骤,操作系统已经感知到设备的容量变化,这时候需要使用parted扩大分区表,方法是使用parted删除分区再重建分区
扩容分区表之后,再使用 tunefs.ocfs2 扩容文件系统
经过以上步骤后,文件系统扩容完毕。最后,在其余节点执行partprobe感知设备的容量变化,再重新挂载分区就可以了。