← 인사이트 목록

FROM THE WORKSHOP / 인사이트

SpaceXAI engineer, Lauren Tan I'm running 20+ GrokBot agents with loop, goal, inside pstack

강대종 · 마이너스베타스튜디오

SpaceXAI engineer, Lauren Tan — Ai insider

한 줄 요약

스페이스XAI의 로렌 탄이 에이전트를 믿게 되는 과정, 앱을 직접 돌려 확인하는 검증 스킬과 feature map, 그리고 그록봇을 에이전트가 써도 무너지지 않게 만든 Dune의 하드 제약을 설명한 55분 워크숍.

영상 메타

픽업

  • 에이전트를 못 믿으면 한두 개의 출력을 계속 들여다보는 상태에 갇혀, 백 개를 띄울 수 없다. 로렌은 5개월 동안 그 곡선을 올라 지금은 PR을 자동 머지한다. 아침에 보면 이미 main에 20개 정도가 올라가 있고, 커서에서는 지난달 PR 1000개, 이달 12일에 이미 800개 가까이 착지했다.
  • 에이전트와 일할 때 가장 중요한 기술은 검증이다. 코드를 실제로 실행하고, CPU 트레이스·힙 스냅샷·시뮬레이터로 사용자가 보는 것과 같은 방식으로 확인해야 루프가 닫힌다. 좋은 코드를 보장하지는 않지만 맞는 코드로는 간다. 사람이 직접 확인하는 동안에는 그 사람이 병목이라 병렬이 안 된다.
  • 앱을 띄울 수 있게 해도 에이전트는 기능을 어떻게 여는지 모른다. feature map에 사용자 시점의 경로, 단축키, CDP로 고를 DOM을 넣으니 스크린샷에 물음표만 있는 제보도 따라간다. pstack은 이 지도를 만들고 갱신하는 스킬을 넣는다. 이름은 YC 게리 탄의 GStack을 빗댄 potato stack이고, 가족 관계는 없다.
  • 스킬은 실패를 볼 때마다 하나씩 만든다. 관련 코드를 안 읽고 원인을 단정하면 그 실패를 스킬로 막는다. 유지는 eval, 즉 에이전트용 단위 테스트다. 서브에이전트 폴더 이름을 평가 중인지 모르게 지어야 행동이 안 바뀌고, 다른 모델이 채점하게 한 뒤 /loop로 10점 만점이 될 때까지 올린다. 검증은 로컬에서 지켜보며 시작하고, 아직 못 믿을 때 클라우드 에이전트를 수백 개 띄우면 토큰만 태운다.
  • 클라우드 에이전트 Benny는 버그 제보를 받아 자기 컴퓨터에서 커서를 띄우고, 같은 조작 스킬로 재현한다. 재현했는데 main에는 이미 고쳐져 있으면 한 시간 앉아 확인할 필요 없이 빌드만 다시 내면 된다. 이 스킬은 만든 사람만이 아니라 팀과 회사 전체가 쓴다.
  • 가드레일 없는 바이브코딩에서는 에이전트가 가장 짧은 지름길로 풀고, 코드는 감당이 안 되게 꼬인다. 그록봇도 그렇게 빨리 만들었고 사람은 코드를 안 읽고 있었다. 그녀는 600개가 넘는 PR로 Dune 구조로 고친 뒤에야 코드를 안 봐도 되게 됐다. 원칙은 가장 짧은 경로가 가장 좋은 경로가 되게 만드는 것이다. 에이전트는 지름길을 좋아하니까.
  • 규칙·스킬·버그봇·스타일 가이드만 있으면 소프트해서, 시간만 지나면 코드가 망가진다. CI로 useEffect 금지, 코드 주석 금지, electron의 main과 renderer 사이 import 금지를 빨간 실패로 건다. 주석 금지는 에이전트가 한 번의 리뷰 말을 영원한 규칙처럼 코드에 남기기 때문이다. 사람이 PR에 “이거 하지 마”라고 적는 순간은 코드 냄새이고, 그 말을 린트나 CI 실패로 바꿔야 한다. PR 크기 상한은 없고, 히스토리가 작은 단위로 남고 되돌리기 쉽게 여러 PR로 쪼개라고만 한다.

용어

  • pstack [하니스 · 패턴]: 로렌 탄의 검증·스킬 묶음. 이름만 게리 탄의 GStack을 빗댄 potato stack이다.
  • feature map [지식 · 컨텍스트 자산]: 기능을 사용자 시점에서 어떻게 열고, 어떤 단축키와 DOM으로 집는지 적어 둔 지도.
  • verification skill [하니스 · 패턴]: 에이전트가 앱을 실제로 띄워 트레이스와 조작으로 맞게 도는지 확인하는 스킬.
  • eval [하니스 · 패턴]: 스킬이 의도대로 도는지 보는 에이전트용 단위 테스트. 서브에이전트가 평가받는 사실을 모르게 돌린다.
  • /loop [하니스 · 패턴]: 평가 점수가 만점이 될 때까지 같은 작업을 반복시키는 커서 명령.
  • Dune [하니스 · 패턴]: 그록봇용으로 만든, 에이전트가 쓰도록 제약이 빡센 일렉트론 앱 구조. 그녀는 Next.js에 비유했다.
  • Bugbot [도구 통신 (MCP · CLI · API)]: 커서의 CI 코드 리뷰 봇. 규칙·스킬과 같이 쓰면 소프트 층이라 이것만으로는 부족하다고 했다.
  • 클라우드 에이전트 [하니스 · 패턴]: 로컬이 아니라 클라우드의 컴퓨터에서 앱을 띄워 제보를 재현하고 PR까지 올리는 에이전트.
  • 자동 머지 [워크플로우 · 문화]: 사람이 보기 전에 에이전트 PR을 main에 넣는 단계. 검증과 하드 제약이 쌓인 뒤에만 가능하다고 했다.
기록은 다음 시작이 됩니다.인사이트 더 읽기 ↗이 작업장의 제품 ↗
작업장 전체 페이지 목적에 맞는 페이지 찾기