피드로 돌아가기
Dev.toInfrastructure
원문 읽기
OpenStack 가용성 붕괴, 파일시스템 손상 복구 분투기
How I Spent a Day Trying to Recover a Crashed OpenStack Environment — And What I Learned
AI 요약
Context
OpenStack Horizon 포털 접속 불가 현상 발생. 루트 파일시스템의 Superblock 및 Journal 손상으로 인한 BusyBox initramfs 비상 쉘 진입 상태. LVM 볼륨 크기와 파일시스템 기록 크기의 불일치로 인한 부팅 실패 구조.
Technical Solution
- iLO 5 원격 콘솔을 통한 OS 레벨의 상태 진단 및 initramfs 환경 진입
- vgchange 명령어를 통한 LVM Volume Group 활성화 및 접근 권한 확보
- lvextend를 활용해 LVM 볼륨 크기를 파일시스템 기대치와 일치시키는 확장 전략
- mke2fs -S 옵션으로 Superblock을 재작성하여 파일시스템 메타데이터 무결성 복구
- e2fsck 도구의 메모리 점유율 상승으로 인한 OOM Killer 프로세스 종료 문제 식별
- iLO Virtual Media를 통한 외부 Live ISO 부팅 시도 및 UEFI 부트 순서 설정 검토
Key Takeaway
initramfs 환경의 극심한 리소스 제한과 도구 부재를 인지하고 대용량 파일시스템 복구를 위한 Swap 공간 및 충분한 RAM 확보 전략이 필수적임.
실천 포인트
1TB 이상 대용량 볼륨의 fsck 작업 전 충분한 Swap 공간을 확보하고, iLO Virtual Media 부팅 설정 및 순서를 사전 검증할 것