AI가 만든 코드, 누가 검증하나? — LLM Evaluation 프레임워크와 프로덕션 레벨 LLMOps 완전 가이드
바이브코딩 시대, AI가 코드를 작성하는 것은 이미 일상이 되었습니다. 하지만 AI가 만든 코드를 누가 검증하는가 라는 질문에 답할 수 있는 팀은 많지 않습니다. CodeRabbit의 2025년 보고서에 따르면 AI 생성 PR은 인간 작성 PR 대비 이슈가 약 1.7배 , 보안 취약점은 1.5~2배 많습니다. ZenML이 1,200개 이상의 프로덕션 LLM 배포 사례 를 분석한 결과, "데모 품질"에서 "프로덕션 품질"로 가는 마지막 구간이 전체 개발 시간의 대부분을 소비한다는 사실이 반복적으로 확인되었습니다. 이 글에서는 그 마지막 구간을 메우는 핵심 — LLM Evaluation(평가) 프레임워크 와 LLMOps(운영) 방법론 을 다룹니다. 사람이 모든 코드를 일일이 리뷰하는 것은 더 이상 현실적이지 않습니다. Cursor의 Tab 기능은 하루 4억 건 이상 의 요청을 처리하고, Shopify의 제품 분류 시스템은 매일 3,000만 건 의 예측을 실행합니다. 이 규모에서 품질을 보장하려면, AI의 결과물을 AI가 평가하고, 자동화된 파이프라인이 검증하며, 인프라 수준의 가드레일이 보호하는 체계가 필수입니다. PRD가 "무엇을 만들지"를 정의했다면, 이 글은 "만든 것이 제대로 작동하는지 어떻게 확인할 것인가" 에 대한 답입니다. LLM Evaluation이란 무엇인가 LLM Evaluation(평가) 은 대형 언어 모델의 출력 품질을 목표 기준에 대해 측정하는 프로세스입니다. 도메인 테스트셋에서의 정확도, RAG 파이프라인의 사실성(Faithfulness), 환각(Hallucination) 비율, 유해 콘텐츠에 대한 안전성 등급 등이 포함됩니다. 전통적인 소프트웨어의 단위 테스트가 "이 함수가 기대한 값을 반환하는가"를 확인했다면,...