一、环境说明
应用名称:新备份服务器
OS:RHEL7
二、故障描述
存储:日立G350
主机操作系统:红帽7 64位
使用方式:multipath多路径聚合后的盘,LVM方式使用,文件格式为EXT4
情况:主机所连接的存储空间爆满,文件系统无法读写。
对存储空间进行回收,其它几台连接了该存储的主机经重新挂载目录后恢复读写。
该异常主机 multipath -ll 输出显示为 “failed ready running”状态,pvs 输出显示找不到设备。
存储映射过来的盘只读,链路聚合不成功。
重启过主机,删除过路径的设备重扫,依然失败。
三、处理过程
登录光交
查看主机端口和存储端口
存储通信也正常
主机端收集sosreport
存储映射的块设备ro
cat /sys/block/sdb/ro
1
cat /sys/block/sdj/ro
1
存储端查看日志:
“DP Protect attribute setting of DRU”怀疑存储在lun被写满后,将lun设为只读。
找到Data Retentain,查看lun的读写状态。
老版本界面如下:Actions—Other Functon—Data Retention
新版本actions里没有这个选项,需要开启第二窗口,如下:
开启第二窗口后,Other Functon就有Data Retention功能:
将Attribute为Protect的LDEV改为读写:
修改完,Apply
主机对block进行rescan
echo 1 > /sys/block/sdb/device/rescan
echo 1 > /sys/block/sdj/device/rescan
重启后lvm可以使用,文件系统可以挂起。至此故障处理完毕。