Claude에게 동영상 편집하는 법을 가르쳤는데, 정말 미쳤다

영상 흐름

1. 0100:00

   한 번에 편집하는 방식 대신 여섯 가지 작업으로 나누는 시스템

   제작자가 편집 타임라인을 건드리지 않아도 Claude가 자막, 모션 그래픽, 카드를 처리했지만, 결과가 완벽하지 않아 사람의 의견이 여전히 필요했습니다. 작업을 여섯 가지로 나누고 지침을 skill로 저장해 이전 AI 편집물의 평범한 느낌을 피하는 데 도움이 됐습니다.

   Claude Code
2. 0201:50

   조사해 관심을 끌 요소를 찾고 대본 작성하기

   Claude는 제작자 분야에서 성과가 좋은 영상들을 살펴보고, 관심을 끄는 도입부와 형식을 추출해 재사용 가능한 라이브러리에 저장한 뒤, 그 패턴을 활용해 대본을 작성합니다. 그런 다음 제작자가 카메라 앞에서 대본을 읽습니다.

   Claude Code
3. 0302:19

   원본 영상 전사 및 컷 편집

   Claude는 Whisper로 원본 영상을 단어 단위 타임스탬프와 함께 전사한 다음, 각 대사의 마지막 깔끔한 테이크를 남기고 FFmpeg로 나머지를 잘라냅니다. 일부러 실수를 넣은 짧은 시험 녹화를 하면 재촬영분이 제대로 삭제되고 목록에 기록되는지 확인할 수 있습니다.

   WhisperFFmpegClaude Code
4. 0403:03

   비주얼 방향 설정 및 각 아이디어의 구성도 작성

   Claude는 스크린샷, 화면 녹화 또는 동영상 파일에서 디자인 지침을 도출하거나 시각적 참고 자료를 모방할 수 있습니다. PromptMotion에는 사용된 프롬프트와 함께 예시가 제공됩니다. 그래픽을 제작하기 전에 Claude는 대본의 각 아이디어와 화면에 나타날 내용을 연결하는 비트 맵을 만듭니다. 문장마다 하나씩 그래픽을 만드는 대신, 읽기 쉬운 그래픽 하나를 아이디어 하나에 배정합니다.

   Claude CodePromptMotion
5. 0504:17

   그래픽을 병렬로 제작하고 렌더링 제어하기

   Claude는 긴 영상을 여러 구간으로 나눠 각 구간을 하위 에이전트에 맡깁니다. 하위 에이전트는 코드를 사용해 그래픽을 만들며, Hyperframes로 웹페이지를 영상으로 변환하고 단어별 자막을 제작합니다. 기획과 창의적 방향 설정은 Opus, Fable 같은 성능이 높고 비용이 더 드는 모델이 맡고, 더 빠르고 저렴한 Sonnet 모델은 제작을 담당합니다. 한 번에 네 개까지만 렌더링하고, 절반 크기의 초안을 사용하며, 승인 후에 고품질 렌더링을 진행하면 컴퓨터 과부하를 피할 수 있습니다.

   HyperframesClaude CodeOpusFable+1
6. 0605:45

   오류 체크리스트에 따라 편집본 검토하기

   Claude는 초당 10프레임을 확인해 여섯 가지 문제를 점검합니다. 반복되는 애니메이션, 순간적인 깜박임, 늦게 나타나는 텍스트, 제작자의 얼굴을 가리는 그래픽, 중복된 발화, 입 모양과 음성의 싱크 어긋남입니다. 제작자가 반복해서 지적하는 내용을 바탕으로 체크리스트를 만들면 사람과 비슷한 검토가 가능합니다.

   Claude Code
7. 0706:16

   피드백을 더 나은 지침으로 바꾸기

   각 편집본이 나온 뒤 Claude는 제작자의 의견을 반영하고, 각 실수를 막을 수 있었던 지침이 무엇인지 파악한 다음, 이후 영상에서 같은 문제가 반복될 가능성을 낮추도록 skill을 수정합니다. 제작자는 여전히 촬영을 하고 최종 결정을 내립니다. 결과물은 단일 프롬프트가 아니라 누적된 피드백을 통해 만들어졌습니다.

   Claude Code
8. 0807:02

   비용, 시간, 결과물의 한계

   이번 편집에는 약 6억 토큰이 사용됐습니다. Opus가 기획과 디자인 방향 설정에 약 1억 토큰, Sonnet이 제작에 약 5억 토큰을 썼습니다. 편집본을 보며 의견을 전달한 시간은 제외하고 Claude 작업 시간은 약 6시간이었습니다. 그래픽, 도구, skill을 재사용해 첫 AI 편집 때 사용한 약 14억 토큰과 12시간보다 사용량을 줄였습니다. 제작자는 이번 편집 비용을 API 요금 기준 약 160달러로 추산하지만, Claude Max 20X 구독으로 충당했다고 합니다.

   Claude Max 20X