EMC光纤交换机故障处理和命令分析

 

 

主机没有Login到存储是一个比较常见的故障，故障多发于主机新上线，或者是重启后。例如在Unisphere中，显示Host状态是”Registered: Yes; Logged In: No”。

当此状况发生时，主机到存储的部分路径（Path）状态会变为不可用，这对于性能以及可靠性都会有负面的影响。主机和存储管理员在检查配置后往往发现没有任何设置错误。作为SAN网络的数据传输基础架构，FC交换机是否正确工作自然是一个需要重点检查的对象。这篇文章将对FC交换机的配置进行重点讲解。

首先让我们来了解一下两个设备通讯初始化的过程，这里借用博科BCFA官方培训文档中的流程图：

*注：通常来说，末端设备（主机的HBA口，或存储的前端口）端口类型是N_Port，交换机侧的端口类型是F_Port。

从图中可以看到，初始化过程可以分为5个阶段，下面我们逐个阶段进行讲解。

Step 1  链路初始化
当设备连上交换机后，首先需要进行链路的初始化，同步信号，协商端口速率。
在这个阶段，必须保证交换机接收到的光强度足够。接受光强度就如交谈时听到的声音音量，强度过低就会导致沟通出现问题。
可以通过登陆交换机命令行，执行以下命令确认：

博科交换机
sfpshow [slot/]port -f^注1

思科交换机
show interface fc x/y transceiver details

（注1：-f参数需要FOS 6.3及更新固件来支持）

红色部分请替换为实际的插槽/端口号，下同。

输出结果中，RX即为交换机侧的接收光功率，EMC推荐RX值不要低于-7dBm（注意是负值，所以数字小反而值大，一般应该在-2到-5之间），否则，请检查光纤线、配线架和末端设备。

其次需要确定末端设备和交换机支持的速率匹配。对于交换机，一般来说自协商模式下支持的速率是SFP模块/交换机端口最大速率及向下两档，以16G交换机16G SFP为例，自协商支持4/8/16Gbps三种端口速率，末端设备必须至少支持这些速率中的一种；如果手动设置了交换机端口速率，也需要确保末端设备能够工作在此速率下。

同样，通过上述两条命令来显示当前SFP支持的速率：

博科交换机

思科交换机

达成以上两点后，一般链路就能够起来了。

Step 2  FLOGI
接下来，末端设备会发起FLOGI（Fabric Login），这类似于IP网络中的DHCP。设备向交换机Fabric Login Server（地址0xFFFFFE）发送申请，交换机回复一个24bit的FC地址给设备，用于路由，类似于IP地址。

在交换机命令行下，通过以下命令来确认：

博科交换机
portloginshow [slot/]port
Example:
DS-5100B:admin> portloginshow 5
Type  PID     World Wide Name        credit df_sz cos
=====================================================
fe  010500 50:06:01:6c:3c:e0:32:e7 8  2048   8 scr=0x3
ff 010500 50:06:01:6c:3c:e0:32:e7     4   128 8  d_id=FFFFFC

思科交换机
show flogi database interface fc x/y details
Example:
`show flogi database details`
--------------------------------------------------------------------------------------------
INTERFACE        VSAN    FCID           PORT NAME               NODE NAME            FLAGS  
--------------------------------------------------------------------------------------------
fc2/20           700   0x290140  50:00:09:74:08:31:12:34 50:00:09:74:08:31:56:78 P
如果能够返回末端设备的PWWN及FC地址，那么FLOGI就成功了。

Step 3  PLOGI到Name Server
随后，末端设备会向交换机发起PLOGI（Port Login），交换机将设备的信息写入Name Server（交换机上的服务，地址0xFFFFFC），这些信息包括PWWN，NWWN，FC4类型等等。

随后末端设备会向Fabric Controller（同样也是交换机上的服务，地址0xFFFFFD）发起SCR（State Change Registration），申请接收RSCN（Registered State Change Notification，注册状态更改通知。

之后，每当FC网络拓扑发生改变或者设备上下线后，交换机会向已完成SCR的设备发出通知）。

在交换机命令行下，通过以下命令来确认PLOGI到Name Server是否成功：

博科交换机
nsshow -r
Example:
Type Pid    COS     PortName                NodeName                 SCR

N    030000; 3;50:00:09:74:08:35:12:34;50:00:09:74:08:35:56:78; 0x00000003
FC4s: FCP 
PortSymb: [94] "SYMMETRIX::000292601357::RAF- 7fA::FC::5875_286+::EMUL F80F0000 381AA71D 802DB0 07.02.13 14:26"
NodeSymb: [38] "SYMMETRIX::000292601357::FC::5875_286+"
Fabric Port Name: 20:00:00:05:33:7d:90:ab 
Permanent Port Name: 50:00:09:74:08:35:12:34
Port Index: 0
Share Area: No
Device Shared in Other AD: No
Redirect: No 
Partial: No
LSAN: No

思科交换机
show fcns database detail vsan x 
Example:
------------------------
VSAN:100   FCID:0x290000
------------------------
port-wwn (vendor)           :50:06:04:8c:4a:37:ab:cd (EMC)       
node-wwn :50:06:04:8c:4a:37:ab:cd
class                       :3
node-ip-addr                :0.0.0.0
ipa                         :ff ff ff ff ff ff ff ff
fc4-types:fc4_features      :scsi-fcp 253 
symbolic-port-name          :EMC SYMMETRIX 000287892468 SAF- 4cB EMUL B61F0000 1294AB11 3D1900 2C97C4 04.20.10 12:24 5671_081  
symbolic-node-name          :EMC SYMMETRIX 000287892468 SAF- 4cB EMUL B61F0000 1294AB11 3D1900 2C97C4 04.20.10 12:24 5671_081  
port-type                   :N 
port-ip-addr                :0.0.0.0
fabric-port-wwn :20:07:00:05:73:f0:98:76
hard-addr                   :0x000000
permanent-port-wwn (vendor) :50:06:04:8c:4a:37:ab:cd (EMC)       
connected interface         :fc1/9
switch name (IP address)    :switch01 (1.2.3.4)

从Name Server的数据库中，我们可以得到端口所连末端设备的PWWN/NWWN甚至厂商、设备类型、驱动等等信息。

在PLOGI到Name Server的过程中，末端设备Initiator（通常是主机）会发起查询，Name Server根据Zoning的配置，回复该末端设备可以访问的节点信息。只有在同一个Zone中的成员才可以相互通讯。如果Zoning已经开启，而一个设备没有在任何Zone中，那么它就不能和任何节点通讯。如果Zoning没有开启，那么所有的节点都在一个默认的大Zone中，节点是否可以与任意其他节点通讯就取决于默认Zone的策略。

在交换机命令行下，通过以下命令来检查Zoning信息：

博科交换机
cfgactvshow
Example:
Effective configuration:                 //已经激活的cfg信息
cfg: Brocade                                    //cfg名字为Brocade
zone:  VER093046                             //cfg包含名为VER093046的Zone，其成员如下
10:00:00:05:33:90:ab:7e
10:00:00:05:33:90:ab:7f
50:06:01:67:3e:a0:04:4a
50:06:01:6e:3e:a0:04:4a

思科交换机
show zoneset active vsan x
Example:
`show zoneset active vsan 100`
zoneset name Fabric_A vsan 100                                                              //Zoneset名为Fabric_A
zone name Mercury_A_VNX1408_SPA0_SPB1 vsan 100                              //Zone名为Mercury_A_VNX1408_SPA0_SPB1
* fcid 0x370000 [pwwn 50:06:01:60:47:20:12:34]                               //Zone成员的fcid及PWWN
* fcid 0x370100 [pwwn 50:06:01:69:47:20:12:34]                               //*表示FLOGI成功
* fcid 0x370200 [pwwn 10:00:8c:7c:ff:21:ab:cd]
做Zone时，EMC推荐使用PWWN作为成员，并且每个Zone只包含一个Initator（通常情况下理解为一个HBA端口），以避免不同Initiator之间互相干扰。

Step 4&5  端到端PLOGI与PRIL
当末端设备完成FLOGI/PLOGI/SCR到交换机，并且Zoning的配置也正确后，Initiator（主机）和Target（存储）之间在FC Layer2层面上已经可以互相通讯。

Initiator需要再次发起PLOGI到Target，成功后再发起PRIL（Process Login），为上层协议（Upper Layer Protocol）搭建环境，FC 的ULP一般为SCSI。在此阶段，交换机只是转发FC帧，对端到端的PLOGI/PRIL不做任何干预。

综上：
交换机参与了端到端通讯初始化过程的1至3阶段。当发现主机没有Login到存储时，在FC交换机上要检查的内容为：

1. 末端设备是否分配到了FC地址（FLOGI成功）
2. 末端设备是否已经注册到Name Server（PLOGI到Name Server成功）
3. Zoning是否配置正确并且已经激活生效
4. 交换机端口是否看到丢帧

如果以上4项都没有问题，那么基本可以排除交换机的问题，需要在主机、存储上继续查找原因（驱动、固件、兼容性等等）。