아키텍처
실시간 감시 · 알림
서버 이벤트
GPU·프로세스·디스크·접속
폴링 · 감사
nvidia-smi·ps·auditd·who
이상 · 임계 감지
점유·폭주·비정상 접속
텔레그램 봇 알림
중복 억제 · 429 대응
문제
공유 GPU 연구 서버는 누가 어떤 자원을 점유하는지, 디스크가 언제 임계에 닿는지, 비정상 접속·명령이 있는지 실시간으로 알기 어려움. 운영자가 계속 붙어 있을 수 없어, 이상을 사람이 없어도 즉시 포착하는 자동 체계가 필요.
접근
- 자원 모니터링. GPU별 점유(어느 사용자가 어떤 명령으로), 상위 CPU/RAM 프로세스, 전체 사용량을 포맷팅해 텔레그램으로 보고.
- 디스크 임계 알림. 사용량이 임계치를 넘으면 사용자/디렉터리별 TOP 분석과 함께 경보.
- 접속·명령 감사. auditd, PROMPT_COMMAND, who 폴링 등 여러 방식으로 로그인·명령 이벤트를 감시.
- 실전 안정화. 중복 알림, 감지 누락, 권한 문제, 텔레그램 rate-limit(429)를 반복적으로 개선해 운영에서 견디도록 만듦.
결과
운영자가 상주하지 않아도 자원 점유·디스크 폭주·비정상 접속을 즉시 포착하는 무인 모니터링 운영을 확립. 원내 챗봇 서비스 유지보수와 AICA 서버 자원·계정·환경 관리도 함께 담당.
기술
Bash · nvidia-smi · auditd · Telegram Bot API · cron/polling · Docker · NHN Cloud 광주 AICA.
KAERI 인공지능응용연구실 내부 운영 도구. 기관 서버 보안과 관련되어 코드·스크립트 세부는 공개하지 않으며, 여기서는 역량과 접근만 개념 수준으로 서술.