대형 로컬 AI 모델 새로운 패러다임급 변화가 시작됐다. RTX 3060로도 돌아가는 Strata + Qwen 3.8 Flash Next 총정리 — Soul Seeker

한 줄 요약

서빙 엔진 Strata는 약 180B 규모 MoE 모델 Qwen 3.8 Flash Next를 압축해 시스템 메모리(DRAM)에 두고 필요한 전문가만 GPU로 옮겨 계산해, VRAM 12GB인 RTX 3060에서도 초당 36~48토큰을 냈다. 발화자는 GPU 9종 실측을 근거로 대형 로컬 모델의 기준이 VRAM에서 DRAM 용량으로 옮겨 간다고 말한다.

영상 메타

URL: https://www.youtube.com/watch?v=l3AQdCBk_vA
채널: Soul Seeker
길이: 61분 50초
업로드: 2026-10-09
조회수: 394 / 좋아요 22 (2026-10-09 추출 시점)
시청일: 2026-10-09 KST (🌋 Claude가 자막 추출 후 요약)
수치는 발화자가 윈도우 PC(DRAM 192GB로 증설)에서 잰 초당 토큰이다. 모델은 개발자가 Strata용으로 자체 압축한 판이라 순정과 지능이 같다고 보기 어렵고, 지능 테스트는 하지 않았다고 밝힌다.

픽업

Strata는 모델을 DRAM에 두고 쓸 전문가만 GPU로 옮긴다. 약 180B(본체 125B + Ngram Embedding)인 Qwen 3.8 Flash Next를 2~3비트 수준으로 압축해 시스템 메모리에 두고, 쓸 전문가 그룹 레이어(약 10개)만 GPU로 가져와 압축을 풀어 계산한다. MoE·Ngram Embedding 설계가 전제라 공식 지원 모델은 현재 Qwen 3.8 Flash Next 하나다.
관건이 VRAM에서 DRAM으로 바뀐다. 지금까지는 VRAM이 작으면 CPU 오프로딩으로 초당 3~6토큰에 그쳤지만, 이 방식에서는 그래픽카드보다 늘리기 쉬운 메모리가 관건이다(64GB DDR5 약 100만 원대, 5090 신품 1,000만 원 가까이). 발화자는 Dense라 Strata에 못 올리는 Qwen 3.8 27B(VRAM 24GB 하한) 대신 Qwen 3.8 Flash Next + Strata가 새 기본이 될 것이라 말한다.
모델은 DRAM 용량으로 고른다. VRAM은 12GB(3060)로도 네 모델이 모두 돌았지만, DRAM이 모자라면 아예 뜨지 않는다. 기준은 Coder(IQ1급) 약 26GB로 32GB PC도 가능, IQ2_XS 최소 48GB, IQ3_XXS 최소 48·권장 64GB, IQ3_S 최소 64·권장 96~128GB다(IQ3_S는 64GB PC에서 메모리 부족 오류, 윈도우가 많게는 10GB를 잡음).
MTP는 켜고, GPU 칩 연산력을 본다. Strata는 MTP로 다음 토큰을 미리 추정해 쓸 전문가를 GPU에 먼저 올리므로, 메모리 대역폭만큼 코어 성능이 중요하다. 3080Ti 대비 5060Ti는 MTP를 끄면 99%, 켜면 108%였고, 5090 한 장은 MTP로 약 130→196토큰(+47%, 드래프트 채택률 85~100%)이 됐다.
VRAM 12GB 카드도 실사용권에 들어왔다. IQ2_XS 디코딩은 3060 48.5 · 3080Ti 72.2 · 5070 86 · 3090 115 · 5070Ti·5080 120+ · 5090 196토큰, 가장 똑똑한 IQ3_S도 3060 36 · 3080Ti 50+ · 5090 172토큰이다. 발화자는 3080Ti부터 “실사용 문제 없는 수준”이며, 16GB라 애매하던 5070Ti·5080이 처음으로 3090을 앞섰다고 본다(IQ3_XXS부터는 다시 3090에 밀림).
GPU 두 장은 레이어를 반씩 나눠야 값을 한다. 48개 레이어를 24개씩 나누고 파이프라이닝 2를 주자 5090×2 디코딩이 220→272.9토큰이 됐고, 모델별로 한 장보다 37~42% 빨랐다. 프리필은 두 장 이득이 작고(튜닝해도 +13%) MTP를 켜면 오히려 떨어지기도 해 5090 한 장이 가성비다. 3080Ti는 5060Ti보다 디코딩은 7% 낮지만 프리필은 37% 높다.
설치와 설정은 AI 코딩 에이전트에 맡긴다. GitHub(Niko1221) 안내 문구를 에이전트에 붙여넣으면 ai_setup.md 순서로 모델 다운로드(디스크 약 80GB)부터 실행·검증까지 하고, MTP·KV 캐시(기본 8비트)·레이어 스플릿 같은 옵션은 모델별 JSON에서 바꾼다. 띄운 서버(8080 포트) URL은 Hermes나 Opencode에 연결하며, 무료 입문용으로 로그인 없는 Opencode 데스크탑 + Muse Spark 1.3 Free(하루 100만 토큰, 입력이 학습에 쓰일 수 있음)를 권한다.

용어

Strata [기타]: Qwen 3.8 Flash Next 전용으로 튜닝된 로컬 서빙 엔진. 압축한 모델을 DRAM에 두고, 쓸 전문가 레이어만 GPU로 옮겨 계산한다.
MoE (Mixture of Experts) [모델 · 구독]: 여러 전문가 그룹 중 토큰마다 일부만 골라 계산하는 모델 구조. Strata 방식은 MoE 모델에서만 효과가 있다.
Ngram Embedding [모델 · 구독]: 발화자가 Qwen 3.8 Flash Next와 Qwen 4 계열 설계의 특징으로 든 구성 요소. 본체 125B에 합치면 약 180B 규모다.
Dense 모델 [모델 · 구독]: 토큰마다 모든 파라미터를 계산하는 구조. Qwen 3.8 27B가 이 방식이라 Strata에 올릴 수 없다.
MTP (Multi-Token Prediction) [모델 · 구독]: 다음 토큰 여러 개를 미리 추정해 초안으로 내고 본 모델이 검증하는 가속 방식. 드래프트 채택률은 초안이 그대로 받아들여진 비율이다.
IQ2_XS · IQ3_XXS · IQ3_S [모델 · 구독]: 영상에서 비교한 압축(양자화) 단계. 뒤로 갈수록 덜 압축해 더 똑똑하지만 메모리를 더 쓴다.
프리필 · 디코딩 [컨텍스트 · 캐시]: 프리필은 입력 프롬프트를 한꺼번에 읽는 단계, 디코딩은 답을 한 토큰씩 만드는 단계다. 둘 다 초당 토큰으로 잰다.
CPU 오프로딩 [기타]: VRAM에 다 안 들어가는 레이어를 CPU와 시스템 메모리에서 계산하는 방식. 대형 모델에서는 초당 한 자릿수 토큰까지 느려진다.
레이어 스플릿 · 파이프라이닝 [기타]: GPU 여러 장에 레이어를 나눠 올리고(48개를 24개씩), 단계를 겹쳐 돌리는 설정. Strata에서는 모델별 JSON 옵션으로 지정한다.
Opencode 데스크탑 [하니스 · 패턴]: opencode.ai에서 받는 코딩 에이전트 앱. 영상에서는 로그인 없이 Muse Spark 1.3 Free 모델로 Strata 설치와 측정을 시켰다.