AI SRE 만들기
OpenStack 실습 환경에서 VM 생성이 실패하면, 로그를 읽고 원인을 짚어 주는 AI를 직접 만들어 본다.
최종 목표, 지금은 손대지 않는다
순서는 도메인 → SRE → AI SRE다(11월 17일 본인).
이 페이지는 마지막 단계의 그림만 적어 둔 것이다. 도메인과 SRE를 익힌 뒤에 꺼낸다.
개인 사이드 프로젝트다.
회사 일은 아니고, 회사 SRE 계획의 순서(진단 → 파일럿 → 표준화)와도 따로 간다.
AI SRE가 무엇인지는 AI SRE에 있다.
AI SRE가 뭔가
장애가 나면 사람 대신 먼저 로그와 지표를 읽고, 어디가 원인 같은지 근거와 함께 알려 주는 프로그램이다.
하는 일은 조사, 원인 짚기, 복구 돕기 세 가지다.
이 프로젝트는 앞의 두 가지만 한다.
왜 하나
방향은 SRE 전문가다.
AI SRE를 직접 만들어 보면 SRE와 AI를 한 번에 익힌다.
회사 계획에서 AI SRE는 2단계 표준화(2027년 2분기) 이후에 검토한다.
개인 실습 환경에서는 그 전에 해 볼 수 있다.
이미 있는 재료
| 재료 | 쓰임 |
|---|---|
| 직접 설치한 OpenStack 실습 환경 (OpenStack) | 일부러 장애를 내 볼 수 있는 연습장 |
| VM 생성 흐름 (0. 개념) | AI가 「어느 단계에서 멈췄나」를 판단할 기준 |
| NONOS 송장 AI 에이전트 (NONOS) | Claude API로 에이전트를 만들고 운영해 본 경험 |
첫 버전
때가 되면 첫 버전은 작게 잡는다.
- 실습 환경에서 VM 생성이 실패하게 만든다.
- 프로그램이 Nova, Neutron, RabbitMQ 로그를 모아 AI에게 넘긴다.
- AI는 「어느 단계에서 멈췄고, 원인은 무엇 같고, 근거는 이 로그 줄이다」를 답한다.
- AI는 확인 명령만 제안한다. 고치는 일은 사람이 한다.
4번은 AI SRE의 「제한된 자율」 원칙이다.
제한된 자율이 뭔가
AI에게 쓸 수 있는 도구를 정해서 주고, 위험한 조작은 아예 주지 않는 것이다.
이 프로젝트에서 AI는 로그를 읽고 명령을 제안만 한다.
서비스를 재시작하거나 설정을 바꾸는 일은 사람이 한다.
시험 문제
OpenStack 서비스를 하나씩 일부러 고장 내 본다.
| 고장 | AI가 짚어야 하는 것 |
|---|---|
| RabbitMQ 비밀번호를 틀리게 | 증상은 다른 서비스 오류로 보여도 원인은 메시지 큐 인증 |
| nova-compute 멈추기 | 요청은 받았지만 VM이 ACTIVE가 안 됨. 그 compute 노드 |
| Keystone 멈추기 | 첫 단계인 토큰 발급부터 실패 |
| Neutron 에이전트 멈추기 | VM은 ACTIVE인데 네트워크가 안 됨 |
고장 네 개 가운데 AI가 원인을 몇 개 맞히는지가 첫 성적이다.
다음에 붙일 것
- AI가 틀린 경우를 모아, 무엇을 더 알려 줘야 맞히는지 본다.
- 맞힌 답과 근거를 장애 기록 양식으로 남긴다.
- 사람이 확인한 뒤에만 정해진 조치(예: 서비스 재시작)를 실행하게 한다.