IT科普 | VMware企业环境如何做全冗余存储网设计

2023-06-08

我们会在本篇文章里具体讲讲企业可以如何设计无单点故障的存储系统。

在一个存储系统中，基本的设计要素包含：

FC 主机总线适配器（HBA）

FC 连接电缆

FC 交换机

FC 协议的存储阵列

软件的多路径设计

在讲述如何设计无单点故障的存储系统之前，以下我们会使用简化的拓扑先与大家聊一聊在存储系统设计中可能出现的单点故障。

故障案例：

每台ESXI主机都有一块HBA卡，两台ESXI的HBA卡和存储的一个控制器的端口都连接到一台光纤交换机上（如下图）

图1. 全故障点存储网设计

这可是最差的存储系统设计了，设计中的每一个对象都是故障点，这些故障点包括：

如果主机的HBA卡或光纤跳线故障了，该主机就无法访问存储；

如果该存储端口1到光纤交换机的线缆故障，所有主机都无法访问存储；

如果这台光纤交换机故障，这个存储系统也就全部宕机了；

如果存储的SPA故障，所有主机都无法访问存储。

既然上述架构将所有故障点都已列出，企业可以如何设计无单点故障的存储系统就可以着手从解决每一个设计中的故障点出发，以此为企业构建一个全冗余的存储系统架构：

解决方案：全冗余存储网设计

图2. 全冗余存储网设计

在此冗余架构设计中，通过如下手段解决了各单点故障：

主机采用两块单端口的HBA卡，以避免HBA卡故障或光纤连接线缆故障；

使用两台光纤交换机，分别连接各个节点的两个端口，以避免光纤交换机故障；

连接存储的两个控制器，每个控制器使用不同端口连接不同的光纤交换机，以避免单个存储控制器故障。

接下来我们具体讲讲在VMware企业环境上我们如何去做全冗余存储网设计：

VMware ESXi 上多路径的设计

存储陈列厂商的冗余设计

多路径冗余是一个从头至尾的系统工程，假设存储上不支持双控制器的冗余，那么一切的设计都是多余的。好在市面上的存储阵列都是支持 “主动/主动（Active/Active）” 或是 “主动/被动（Active/Passive）” 的双控制器双活模式。在这些存储阵列的设计上，有SLUA和ALUA两类。

（1）

SLUA多路径技术

Symmetric Logical Unit Access对称逻辑单元访问，又叫对称镜像卷，它是多路径的基本特征，对于特定的LUN来说，在它的路径中，两个存储控制器的目标端口都处理“主动/优化（Active/Optimized）”状态。两个控制器之间通过内部或外部的高速互联通讯，一个IO发到控制器端，两个控制器可同时参与处理；当一个控制器繁忙时，系统不需要主机端的负载均衡软件参与就可以自动实现负载均衡。

（2）

ALUA多路径技术

Asymmetric Logical Unit Access 非对称逻辑单元访问，提供了一个路径发现和确定优先次序的标准化机制，实现主机和存储设备的路径自协商和动态管理。对于特定的LUN来说，在它的路径中，一个控制器的目标端口处于“主动/优化（Active/Optimized）”状态，另一个控制器的端口处于“主动/非优化（Active/Unoptimized）”状态。特定时间点，某个LUN只属于一个控制器，想实现两边的负载均衡，就是将任务A发送到A控制器，将任务B发送到B控制器，对于同一个任务来说，任何时候只有一个控制器在控制。

图3. SLUA与ALUA对比

相较来说，SLUA在存储层面的投入较高且空间利用率并没有ALUA高，因此现在市面多数的存储厂商都使用ALUA来进行高可用的设计；ALUA包括显式 ALUA (Explicit ALUA 或 EALUA) 和隐式 ALUA (Implicit ALUA 或 IALUA) 两种模式。

隐式 ALUA 支持查询 LUN 的端口组不对称访问状态；正常情况下，主机查询 LUN 的端口组信息，识别控制器的优先级，从优先级最高 (Active/Optimized) 的控制器下发业务，当 Active/Optimized 链路故障后，主机选择其他的链路下 (Active/Unoptimized) 发业务。

显式 ALUA 支持查询和设置 LUN 的端口组不对称访问状态，当 Active/Optimized 链路断开后，主机设置其他控制器的优先级为最优；主机从新的最优的控制器下发业务 (通过 LUN TresPass 实现优选控制器切换)。

VMware多路径策略部署

ESX 4.X 以后系统的原生多路径 NMP 支持显式和隐式 ALUA。ESX 主机通过 ALUA 方式连接阵列时，不需要做任何特殊设置，NMP 在标准查询页中发现存储支持STPG（Report Target Port Group）后，会下发 RTPG （Report Target Port Group）命令获取路径信息。ESX/ESXi 在 VMkernel 层使用可插入存储架构 (PSA) 管理存储多路径，PSA 采用一个开放式模块框架协调多个多路径插件 (MPP) 的同时操作。

ESX/ESXi 默认情况下提供的 VMkernel 多路径插件是 VMware 本机多路径插件 (NMP)。NMP 是管理子插件的可扩展模块。NMP 子插件有两种类型，即存储阵列类型插件 (SATP) 和路径选择插件 (PSP)。SATP 和 PSP 可以是 VMware 提供的内置插件，也可以由第三方提供。ESX 原生 PSP 提供固定模式 (FIX)、循环模式 (RR) 和最近使用 (MRU) 三种路径选择方式。大家可以通过以下方式查看并找设置esxi多路径的策略：

登录vSphere web Client ——浏览到“主机与群集”——依次点击“配置”——“存储设备”——指定的存储设备——属性——右下角“编辑多路径……”

图3-4. vSphere Web Client 查看和编辑存储多路径策略