Jev 도입기: AI에게 맡길 판단과 무료 규칙으로 충분한 일

2026-09-21 · 내부 자동화 실전 기록

내부 자동화의 AI 비용과 반복 작업을 줄이려고 Jev를 도입했다. 이번에는 세 가지를 살펴봤다. 실행 전 보조 판단, 실행 후 보고 분류, 큰 모델에 전달할 파일·로그 선별이다.

중요한 기준은 새 모델을 얼마나 많이 붙이느냐가 아니라, 각 단계에서 무엇을 개선할 수 있느냐였다.

실행 전에는 적합성과 위험도를 판단한다

기존 자동화에는 작업을 실행하기 전에 적합성과 위험도를 검토하는 단계가 있었다. 여기서 필요한 결과는 추가 검토가 필요한지, 위험도가 낮음·중간·높음 중 어디에 해당하는지였다.

이 보조 판단을 Jev로 교체했다. 정해진 선택지로 결과를 받고, 안내 문구는 프로그램에서 붙인다. 확신이 낮으면 추가 검토로 돌리고, 호출이나 응답 형식에 문제가 생기면 실패로 처리한다.

세 노드에서 실제 호출과 결과 기록을 확인했다. 다만 Jev의 긍정적인 의견이 실행 승인으로 바뀌지는 않는다. 기존 승인 절차는 그대로 유지했다.

아테나에서는 내부 대시보드 Choso에 별도의 기능을 구현했다. 여러 AI 에이전트가 남긴 보고를 수집하고, Jev가 다음 세 항목을 분류해 배지로 보여준다.

보고 원문은 먼저 저장하고, 분류는 백그라운드에서 처리한다. 화면을 열 때마다 다시 모델을 호출하지 않으며, 같은 보고의 중복 분류를 막는다. 분류에 실패해도 원문은 남고, 사용자가 분류를 직접 수정할 수 있다.

가상 한국어 보고 16건에 실제 Jev API를 호출해 시험했다.

오분류도 있었다. “이미 승인받아 배포를 진행 중”이라는 보고를 완료 보고로 분류했다. 해당 판단의 신뢰도는 0.42였고, 화면에는 분류 확인 필요가 함께 표시됐다. 이를 정답으로 집계하지 않았다.

이 결과는 작은 합성 표본의 시험이며, 운영 전체의 정확도를 뜻하지 않는다. 이후 중앙 서버에 배포하고, 세 노드의 실제 보고가 수집·저장·분류돼 운영 화면에 나타나는 것까지 확인했다.

여기서도 경계를 분명히 했다. ‘완료 보고’ 배지는 문장의 분류일 뿐, 실제 작업을 종결하는 명령이 아니다. 배지가 자동으로 작업을 닫거나 승인을 내리지는 않는다.

큰 모델이 읽을 자료를 먼저 줄이는 실험도 했다. 전체 자료 전달, 무료 규칙 선별, Jev 선별을 비교했다.

세 표본에서 전달할 입력은 합계 15,420토큰에서 6,768토큰으로 줄었다. 하지만 무료 규칙과 Jev의 선별 결과가 같았다. 이 표본에서는 Jev 호출을 추가할 이득을 확인하지 못했다.

그래서 실제 적용은 무료 규칙부터 시작했다. 파일은 명시한 경로 규칙으로 고르고, 로그는 확실한 빌드 진행 표시만 생략한다. 알 수 없는 줄과 경고·오류 주변 내용은 남긴다. 선별 안내 때문에 입력이 오히려 커지면 원문을 그대로 전달한다.

적용 후 별도의 실제 파일 표본에서는 원문 조회 정보를 포함해 11,633→4,478토큰, 61.5% 감소를 확인했다. 이 수치는 Jev가 아닌 무료 규칙의 효과다. 한 표본의 입력량 비교이며 월간 청구액 감소를 입증한 것은 아니다.

원문 사본·해시·줄 위치도 보존했다. 선별에서 빠진 자료를 필요할 때 다시 확인할 수 있어야 하기 때문이다.

현재 역할은 다음처럼 나뉜다.

보고 배지는 새로 추가한 기능이다. 편의가 좋아졌다고 해서 기존 비용을 줄였다고 말할 수는 없다. 월간 비용과 운영 정확도는 아직 측정하지 않았다. API 잔액 표시 역시 자동 조회 경로가 확인되지 않아 구현 초안 단계에서 보류했다.

이번 도입에서 얻은 기준은 명확했다. 판단이 필요한 곳에는 Jev를 쓰고, 규칙으로 충분한 곳에는 규칙을 쓴다. 그리고 호출 성공, 분류 정확도, 운영 반영, 비용 절감을 각각 구분해서 확인한다.