온프레미스 VLM 비교
폐쇄망에서 로컬로 돌릴 VLM을 고르기 위해 후보 모델들을 직접 추론·비교. 이해·생성 통합 방식, 생성 아키텍처(AR vs Rectified Flow), 모델 스케일, 문서·이미지 이해 특화를 기준으로 평가.
VLM 후보 검토의 일환으로 DeepSeek Janus 계열을 비교 분석, CCTV 파이프라인에는 폐쇄망 온프레미스 적합성과 상황 설명 품질을 고려해 Qwen2.5-VL을 2차 검증 레이어로 채택.
문제
KAERI 시설은 폐쇄망 고보안 환경이라 외부 API와 클라우드 모델을 쓸 수 없고, 시스템이 온프레미스에서 완전히 동작해야 하는 제약. CCTV는 단순 녹화 중심이라 운영자가 화면을 직접 봐야 했고, 이상행동의 탐지와 분석, 대응이 분리된 수작업 프로세스. 단일 VAD 모델만으로는 오탐 최소화와 높은 감지율을 동시에 달성하기 어려운 한계.
접근
- 3-Layer E2E 파이프라인. VAD 감지 → VLM 상황 분석 → Agentic AI 대응 계획 수립 → 알림과 리포팅까지 하나의 자동 흐름으로 통합.
- 다중 VAD 비교 + VLM 2차 검증. 단일 VAD의 오탐 한계를 인지해 여러 VAD 모델을 비교 통합하고, VLM의 의미적 분석을 2차 검증 레이어로 두어 오탐 억제 및 설명 가능한 판단 근거 확보.
- Agent Flow 비교 실험. Sequential, Hierarchical, Collaborative 세 가지 에이전트 플로우를 직접 비교해 도메인 제약에 맞는 자율 의사결정 구조 선택.
- 재현성. 입력 영상, 감지 스코어, VLM 분석, 대응 계획, 타임스탬프를 이벤트 단위 표준 포맷으로 저장, 자동 리포트화.
결과
이상행위 탐지 성능 (ROC)
폐쇄망 온프레미스 환경에서 측정. 곡선은 대표 형태이며 AUC 값은 실측 공개 수치.
한국산업정보학회 추계학술발표회 3편과 한국원자력학회 춘계학술발표회 1편 발표, "고수준 보안 환경에서의 이상 행동 탐지를 위한 지능형 CCTV 시스템 개발"로 한국산업정보학회 우수논문상 수상. 폐쇄망에서 VLM(Qwen2.5-VL)을 온프레미스로 운영해 클라우드 API 없이 완전 동작, KAERI 우수연구원상 수상에도 기여.
기술
VAD(MNAD, MULDE, MemAE, STAE, STEAD, Anomalib) · VLM(Qwen2.5-VL 로컬) · Agentic Flow 3종 · PyQt 실시간 대시보드 · FastAPI, WebSocket, Docker · NHN Cloud 광주 AICA 서버.