← 인사이트 목록

FROM THE WORKSHOP / 인사이트

Jev로 AI 비용 줄이기 — 반복 판단을 분리하고 재작업까지 계산하자

강대종 · 마이너스베타스튜디오

Jev로 AI 비용 줄이기 — 반복 판단을 분리하고 재작업까지 계산하자

한 줄 요약

반복되는 분류·우선순위 판단은 작은 결정 단위로 떼고, 글쓰기·설계는 생성 모델에 맡기자. 절감 효과는 분류 비용과 실패 후 재작업까지 합쳐 측정해야 한다.

영상 메타

픽업

1. 프로그램이 필요한 답부터 정의한다 · 01:03–05:07

Jev는 선택지·확률·점수처럼 정해진 형태의 판단을 반환하는 도구로 소개된다. 문의를 읽고 “환불 요청인가”, “어느 갈래인가”, “얼마나 급한가”를 구분하는 식이다. 글 전체를 생성한 뒤 다시 해석하는 단계를 줄일 수 있다.

출력 형식이 맞는 것과 판단이 맞는 것은 별개다. 선택지가 잘못되거나 빠져 있으면 잘못된 분류가 나올 수 있다. ‘기타’와 ‘검토 필요’를 포함하고, 애매한 결과를 넘길 경로까지 설계해야 한다.

2. 라우팅 비용보다 전체 작업 비용을 본다 · 07:34–10:08

영상은 작업 난이도를 먼저 판단해 서로 다른 모델이 실행하도록 구성한다. 제작자는 판단 한 번에 약 0.03원과 0.7초가 추가됐다고 보고한다. 원래 세션이 사용자 요청을 읽는 비용은 남고, 줄어드는 부분은 이후 실행 비용이라는 설명이다.

작은 모델의 결과가 부족해 큰 모델로 다시 수행하면 그 비용도 포함해야 한다. 단순 작업이 적거나 재시도가 많으면 이점이 줄어든다. 구독 한도 절감과 실제 청구액 절감도 따로 확인해야 한다.

3. 분류 성능을 바꾸는 첫 작업은 입력 정리다 · 10:08–12:16

제작자는 한국어 댓글 81건을 여섯 갈래로 분류하는 데 5.3초·약 2.7원이 들었다고 보고한다. 자신의 답글이 홍보로 잡히는 문제를 찾아 입력에서 제외한 뒤 자동 처리 비율이 35%에서 74%로 올랐다는 사례도 제시한다.

이 수치는 정확도 평가가 아니다. 자동 처리 비율과 오분류율을 함께 봐야 한다. 모델 변경 전에 작성자 답글·중복·서명처럼 목적에 맞지 않는 입력을 제거하는 편이 효과적일 수 있다.

적용할 인사이트

아래는 영상에서 도출한 설계 아이디어다.

  1. 반복 판단을 명세로 만든다. 입력, 선택지, 확신이 낮을 때의 처리, 정답 예시를 한 문서에 적는다. 규칙으로 확정 가능한 항목은 먼저 코드로 처리한다.
  2. 한국어 실제 표본으로 검증한다. 영상도 비영어 품질 차이를 언급한다. 문의 유형별 정답 표본을 만들고, 특히 환불·불만·긴급 문의를 놓치는 비율을 확인한다. 높은 확률값 자체를 정답 보증으로 취급하지 않는다.
  3. 절감 장부에 재작업을 넣는다. 기존 처리와 새 처리의 총비용·지연·오분류·재시도·수동 검토 시간을 같은 표본에서 비교한다. 판단 API가 싸다는 사실만으로 전체 절감을 단정하지 않는다.
  4. 문의노트에는 분류 체계부터 적용한다. 로컬 태그, 긴급도, 답변 필요 여부를 정리하는 아이디어로 활용할 수 있다. 외부 Jev API 도입에는 별도 비용과 데이터 전송이 따른다. 현재의 로컬 저장·서버 비용 0 방향에서 이를 자동으로 도입할 근거는 없다.
  5. 분류 결과와 실행 권한을 분리한다. 우선순위 추천이 모델 변경·외부 발송·결제를 허가하지 않는다. 실행은 이미 승인된 범위와 검토 기준을 따라야 한다.

가격을 읽을 때

영상은 입력 100만 토큰당 약 0.04달러를 소개한다. 확인일의 TypeSafe 공식 홈페이지 표시는 입력 10억 토큰당 42달러로, 100만 토큰당 0.042달러에 해당한다. 가격과 제공 조건은 바뀔 수 있으며 영상의 원화 환산·성능 수치는 일반적인 보장값이 아니다.

용어

  • System One Model [AI]: TypeSafe가 빠른 구조화 판단용 모델에 사용하는 명칭.
  • 라우팅 [운영]: 요청의 성격에 따라 처리 경로나 담당 모델을 선택하는 과정.
  • 신뢰도 임계값 [평가]: 자동 처리와 추가 검토를 나누는 기준값. 실제 표본으로 적정 수준을 검증한다.
  • 자동 처리 비율 [평가]: 전체 입력 중 추가 검토 없이 처리한 비중. 정확도와 구분한다.
  • 총비용 [운영]: 최초 처리뿐 아니라 분류, 재시도, 재작업, 검토에 드는 비용을 합친 값.
기록은 다음 시작이 됩니다.인사이트 더 읽기 ↗이 작업장의 제품 ↗
작업장 전체 페이지 목적에 맞는 페이지 찾기