모델보다 하네스가 더 중요한 이유 | YC Paper Club
원제: Why The Harness Matters More Than The Model | YC Paper Club
Y CombinatorY Combinator핵심 요약
하네스 설계는 동일한 모델 가중치로 얻는 성능을 크게 바꿀 수 있습니다. 인용된 ARC-AGI 결과는 더 나은 하네스를 사용해 약 30%에서 95%로 상승하지만, 점수는 평가 설정에 따라 달라지며 보고된 결과가 보편적으로 보장되는 것은 아닙니다.
효과적인 하네스는 컨텍스트와 지속 상태를 관리하고, 도구·연산·에이전트 간 협업을 지원하며, 스스로 개선할 수 있습니다. 유용한 작업을 장기간 수행할 수 있게 해주는 폭넓은 기능이 중요합니다. OpenJarvis는 로컬 스택을 최적화해 비공개·저비용 온디바이스 AI를 목표로 하고, YC의 QM은 에이전트 세션을 중앙화하고 샌드박스와 모델을 선택 가능한 리소스로 다룹니다. 변경 사항과 권한에 대해서는 여전히 사람의 검토가 중요합니다.
영상 흐름
- 0100:00
하네스는 모델 성능을 바꿀 수 있다
동일한 모델 가중치라도 하네스에 따라 ARC-AGI 점수가 크게 달라질 수 있습니다. 첫 비교에서는 기준선이 약 30%, 더 강력한 하네스가 95%이며 NVIDIA의 AVO는 100%를 기록한 것으로 보고됩니다. 하네스의 발전은 정적인 래퍼에서 축적된 경험에 따라 프롬프트나 코드를 조정하는 시스템으로 나아가는 과정으로 설명됩니다.
- 0204:12
추적 인터페이스에서 자동 연구 시스템이 발전하다
자동 연구 실행을 살펴보는 도구로 시작한 프로젝트가 다중 에이전트 연구 워크플로로 발전했습니다. 에이전트는 아이디어의 범위를 정하고, 실험을 수행하고, 피드백을 받은 뒤 어블레이션과 논문을 준비합니다. 하네스의 발전 과정은 기본 생성과 인컨텍스트 예시에서 도구 사용, 편집 가능한 메모리, 재사용 가능한 스킬, 성찰, 하위 에이전트, 재귀적 언어 모델을 거쳐 프롬프트나 하네스 코드를 수정하는 시스템으로 이어집니다.
- 0318:35
Prime Agent는 컨텍스트를 관리되는 컴퓨팅 자원으로 다룬다
Prime Agent는 LLM과 환경 사이에 지속적이고 프로그래밍 가능한 계층을 두며, 루트 세션이 하위 에이전트를 조율하고 서로 메시지를 주고받게 합니다. 컨텍스트 관리 모델에서는 가중치, 활성 컨텍스트, 실시간 연산, 파일을 점점 더 유연한 저장소로 취급합니다. 설계는 에이전트가 폭넓은 기능을 제어하는 방식을 지향하지만, 장기 ARC-AGI, 에뮬레이터, GPU 커널, 연구, 게임 결과는 작업과 평가 방식에 따라 달라집니다.
- 0437:27
OpenJarvis는 로컬 개인용 AI를 최적화한다
OpenJarvis는 인터페이스, 에이전트 로직, 모델, 추론 엔진, 도구 또는 메모리라는 다섯 가지 기본 요소를 학습 및 최적화와 함께 구성해 개인용 AI 스택을 구축합니다. 배포 전에 클라우드 모델을 사용해 로컬 모델의 구성을 최적화할 수 있습니다. 보고된 테스트에서는 비용과 지연 시간이 감소했고 일부 워크로드에서는 품질도 경쟁력 있었지만, 로컬 모델로는 여전히 처리하기 어려운 작업도 있습니다.
- 0545:49
QM은 회사 에이전트와 리소스를 중앙화한다
QM은 YC 직원에게 Slack이나 웹 인터페이스에서 맞춤형 어시스턴트를 제공하며, 이메일 분류, 문서 편집, 데이터베이스 작업과 같은 업무에 개인별 컨텍스트, 샌드박스, 파일, 예약 작업을 지원합니다. 범용 에이전트에서 코딩 에이전트와 VM 기반 어시스턴트 집단으로 발전한 뒤, 대화와 샌드박스를 중앙화하고 에이전트가 이를 선택할 수 있게 했습니다. 데이터베이스 쓰기와 권한에 민감한 컨텍스트에는 사람의 검토가 여전히 중요합니다.
도구·자료
포크한 auto-research 프로젝트는 연구 에이전트 워크플로의 출발점입니다.
- 01추적 인터페이스에서 자동 연구 시스템이 발전하다04:14
Minecraft 작업은 작업에 활용할 재사용 가능한 스킬을 학습하고 재사용하는 사례입니다.
- 01추적 인터페이스에서 자동 연구 시스템이 발전하다10:22
코드 출력은 도구나 스킬을 동적으로 만드는 방법으로 제시됩니다.
- 01추적 인터페이스에서 자동 연구 시스템이 발전하다10:53
ReAct는 성찰과 자기 개선으로 이어지는 에이전트 접근법의 개요에 등장합니다.
- 01추적 인터페이스에서 자동 연구 시스템이 발전하다11:14
Self-Refine은 에이전트 출력을 반복적으로 개선하는 접근법 중 하나로 언급됩니다.
- 01추적 인터페이스에서 자동 연구 시스템이 발전하다11:14
Reflection은 피드백을 활용해 에이전트 출력을 개선하는 접근법 중 하나로 언급됩니다.
- 01추적 인터페이스에서 자동 연구 시스템이 발전하다11:14
DSPy는 학습 예제를 바탕으로 시스템 프롬프트를 최적화하는 사례로 사용됩니다.
Darwin Machines는 프롬프트뿐 아니라 하네스 코드도 진화시키는 것으로 설명됩니다.
- 01추적 인터페이스에서 자동 연구 시스템이 발전하다15:10
Continual Harness는 하네스 상태를 다듬고 지속적인 개선을 위해 이력을 활용하는 사례로 언급됩니다.
- 01추적 인터페이스에서 자동 연구 시스템이 발전하다16:30
하네스는 에이전트 세션을 지속적으로 유지하고, 프로그래밍 가능한 도구와 상태를 제공하며, 에이전트 간 협업을 지원합니다.
- 01Prime Agent는 컨텍스트를 관리되는 컴퓨팅 자원으로 다룬다18:35
Claude Code는 Prime Agent 경험과 비교하기 위한 코딩 에이전트 인터페이스로 언급됩니다.
Pi는 Prime Agent와 비교하기 위한 또 다른 에이전트 인터페이스로 언급됩니다.
- 01Prime Agent는 컨텍스트를 관리되는 컴퓨팅 자원으로 다룬다19:55
재귀적 언어 모델 원리는 Prime Agent의 프로그래밍 방식 도구, 메모리, 하위 에이전트 조율의 기반입니다.
- 01Prime Agent는 컨텍스트를 관리되는 컴퓨팅 자원으로 다룬다20:30
샌드박싱 문제를 수정하기 전에 커뮤니티 리더보드 프롬프트를 ARC-AGI 실행에 재사용했습니다.
- 01Prime Agent는 컨텍스트를 관리되는 컴퓨팅 자원으로 다룬다30:53
Verifiers 패키지는 보고된 평가를 실행하는 방법으로 언급됩니다.
- 01Prime Agent는 컨텍스트를 관리되는 컴퓨팅 자원으로 다룬다37:11
이 프로젝트는 온디바이스 개인용 AI 스택을 구축하고 최적화하기 위한 기본 요소를 정의합니다.
- 01OpenJarvis는 로컬 개인용 AI를 최적화한다39:40
OpenClaw는 클라우드에 의존하는 개인 에이전트의 비교 사례로 언급됩니다.
Hermes Agent는 클라우드에 의존하는 개인 에이전트의 비교 사례로 언급됩니다.
발표자의 비교에 따르면 로컬 모델은 이전 세대 프런티어 모델과 대략 비슷한 성능을 보이는 사례로 언급됩니다.
- 01OpenJarvis는 로컬 개인용 AI를 최적화한다38:48
Claude Opus는 보고된 로컬 모델 성능 격차의 기준점으로 사용됩니다.
- 01OpenJarvis는 로컬 개인용 AI를 최적화한다38:50
Ollama는 로컬 모델 실행을 위한 추론 엔진 옵션으로 제시됩니다.
- 01OpenJarvis는 로컬 개인용 AI를 최적화한다40:19
Llama.cpp는 로컬 추론을 위한 추론 엔진 옵션으로 제시됩니다.
- 01OpenJarvis는 로컬 개인용 AI를 최적화한다40:19
VLM은 로컬 스택의 추론 엔진 옵션 중 하나로 제시됩니다.
- 01OpenJarvis는 로컬 개인용 AI를 최적화한다40:19
SGLang은 로컬 모델용 추론 엔진 옵션으로 제시됩니다.
- 01OpenJarvis는 로컬 개인용 AI를 최적화한다40:19
MCP는 로컬 도구와 메모리에 접근하기 위한 표준 프로토콜로 언급됩니다.
- 01OpenJarvis는 로컬 개인용 AI를 최적화한다40:34
JAPA는 로컬 스택을 개선하기 위한 프롬프트 기반 학습 접근법으로 제시됩니다.
- 01OpenJarvis는 로컬 개인용 AI를 최적화한다40:42
GPO는 가중치 기반 학습 접근법 중 하나로 제시됩니다.
- 01OpenJarvis는 로컬 개인용 AI를 최적화한다40:46
지도 미세 조정은 가중치 기반 학습 접근법 중 하나로 제시됩니다.
- 01OpenJarvis는 로컬 개인용 AI를 최적화한다40:46
LoRA는 가중치 기반 학습 접근법 중 하나로 제시됩니다.
- 01OpenJarvis는 로컬 개인용 AI를 최적화한다40:46
ChatGPT는 로컬 구성을 최적화하는 데 사용되는 클라우드 모델로 언급됩니다.
- 01OpenJarvis는 로컬 개인용 AI를 최적화한다43:04
Gemini는 로컬 구성 최적화를 위한 대체 클라우드 모델로 언급됩니다.
- 01OpenJarvis는 로컬 개인용 AI를 최적화한다44:13
Kimi는 로컬 구성 최적화를 위한 대체 모델 계열로 언급됩니다.
- 01OpenJarvis는 로컬 개인용 AI를 최적화한다44:22
GLM은 로컬 구성 최적화를 위한 대체 모델 계열로 언급됩니다.
- 01OpenJarvis는 로컬 개인용 AI를 최적화한다44:22
YC의 에이전트 하네스는 맞춤형 어시스턴트, 공유 업무 컨텍스트, 회사 리소스 접근을 제공합니다.
- 01QM은 회사 에이전트와 리소스를 중앙화한다45:58
Codex는 이전 YC 워크플로에서 사용한 코딩 에이전트로 언급됩니다.
- 01QM은 회사 에이전트와 리소스를 중앙화한다48:20
PostgreSQL은 QM의 중앙화된 에이전트 대화와 컨텍스트를 저장합니다.
- 01QM은 회사 에이전트와 리소스를 중앙화한다52:42