Troubleshooting Oracle Exadata x8 crsctl start fail with error CRS-41053

最近有个客户的Oracle Exadata X8 其中一个节点crash后无法启动提示 CRS-41053 其他节点运行正常,手动重启CRS依旧失败并且alert日志中无明显报错。后在聚合所有日志,在问题时间段RStrce文件发现了OS system dependent operation:connect failed with status: 111, 排查出RS和MS进程异常,原因为/var空间耗尽,下面记录这个案例