Ablestack 클러스터는 관리망으로 호스트 및 구성요소를 관리하기 때문에 관리망과 연결된 작업은 호스트를 종료하고 해주세요.
이미 네트워크 작업이 진행되어 호스트 종료, 사용자 가상머신 종료, Mold 접속 불가 등의 서비스 이상이 나타났다면 기술지원을 요청하거나 상태를 확인해주세요.
호스트가 종료되었는지, 서비스가 중단되었었는지, Mold 에 접속되는지 등을 확인해주세요.
그리고 각 호스트에서 다음 명령어를 확인해주세요.
pcs status #클러스터 상태입니다. resource 와 node 에 모든 호스트가 들어가 online 상태인지 started 상태인지 확인해주세요. 에러메시지가 있다면 어떤 메시지인지 확인해주세요.
virsh list #Mold 에 접속되지 않거나 ssh 로 ccvm에 접속되지 않는경우 각 호스트에서 실제로 운영되는 가상머신을 확인합니다. ccvm/ssvm/cpvm 은 클러스터를 통틀어 하나의 호스트에서만 떠야 합니다.
관리망이 끊어진 상태에서 각 호스트가 동작하는 경우 각 호스트가 다른 클러스터와 통신이 되지 않아, 개별적으로 클러스터를 재구성하는 split brain 현상이 일어날 수 있습니다.
이미 호스트가 종료된 상태라면 호스트 부팅 전 기술지원을 요청해주세요.
관리망이 연결된 직후 호스트가 내려갔다면 내려간 호스트를 부팅할 때, 연결된 관리망으로 부팅중인 호스트의 fence 명령이 운영중인 호스트로 뒤늦게 날아갈 수 있기 때문입니다.
호스트를 부팅해야할 경우 다음 차례로 진행해주세요.
부팅된 호스트에서
pcs property stonith-enabled=false #종료된 호스트가 부팅 중 fence 명령을 날리지 않도록 fence 해제
pcs property #확인
종료된 호스트 부팅
부팅된 호스트에서 상태확인
pcs status
pcs stonith cleanup
pcs stonith history cleanup
각 호스트가 통신이 되는지 ssh 연결이 되는지 확인해주세요.
pcs property stonith-enabled=true #하나의 호스트에서만 실행하면 클러스터 전체에 적용됩니다.
pcs resource cleanup
pcs status #클린업 후에도 ccvm(cloudcenter_res) 가 stopped 혹은 blocked 상태라면 split brain 상태에서 이미지가 오염되었을 수 있습니다. ccvm 상태가 정상이라면 Mold 로 접속해 각 가상머신과 호스트 상태를 확인해주세요. 만약 Mold가 서비스되지 않고 ccvm이 dracut 혹은 이머전시 모드로 빠진다면 리눅스 복구가 필요합니다.
ccvm(cloudcenter_res)의 콘솔이 응답하지 않는 경우
pcs resource disable cloudcenter_res
pcs resource enable cloudcenter_res #여전히 stopped 혹은 blocked 상태라면 ccvm 자체 복구는 어려울 수 있습니다. 사용자 가상머신을 비롯한 전체 서비스를 내리고 ccvm 복구를 진행해야 할 수 있습니다. Cube>Ablestack>클라우드센터 가상머신 상태 메뉴에서 DB나 스냅샷 복구가 활성화되어 있는지 확인해주세요. 혹시나 ccvm의 스냅샷이 남아있는지 확인해주세요. 이 경우 ccvm 을 복구하더라도, 복구한 버전 이후의 Mold 에서 진행한 작업은 복구되지 않을 수 있습니다. 개별 서비스 가상머신과는 별개입니다.
