agentic video란 AI 시스템이 하나의 프롬프트로 하나의 결과를 내놓는 대신, 여러 단계에 걸쳐 판단하고 실행하는 구성 전체를 가리킵니다. 개념은 그게 전부입니다. 혼란은 이 말이 지금 세 가지 다른 일에 쓰이는데, 쓰는 쪽이 어느 쪽인지 밝히지 않아서 생깁니다. 이것은 무언가를 사기 전에 중요합니다. 세 가지 일은 필요한 도구가 다르고, 생기는 결함이 다르며, 사는 부서도 다릅니다.
01
agentic video란 무엇인가
여기서 에이전트란 여러 단계를 계획하고, 도구를 호출하고, 결과를 본 뒤 다음에 무엇을 할지 정할 수 있는 소프트웨어를 말합니다. agentic video는 그 순환을 영상에 적용한 것입니다.
| 뜻 | 에이전트가 하는 일 | 사는 쪽 |
|---|---|---|
| 영상 이해 | 이미 있는 영상을 어떻게 살필지 계획한다 | 검색, 모더레이션, 요약 담당 |
| 인터랙티브 영상 | 재생 중 시청자의 질문에 답한다 | 마케팅, 교육, 지원 |
| 제작 파이프라인 | 영상을 만드는 단계를 실행한다 | 정해진 주기로 영상을 내는 팀 |
벤더 페이지를 읽을 때의 빠른 판별: 그 에이전트가 향하는 대상이 완성된 영상인가, 시청자인가, 제작 과업인가. 이 한 가지 질문이 셋을 갈라냅니다.
02
뜻 1: 이미 있는 영상을 분석하는 에이전트
여기서는 영상이 이미 있고, 에이전트는 그것을 어떻게 살필지 정합니다. 구글은 Gemini에서 이 뜻으로 "agentic"을 씁니다. 클립을 균일하게 처리하는 대신, 어느 구간과 어느 채널(화면, 음성, 자막)을 더 자세히 볼지 모델이 계획합니다. 긴 녹화와 특정 순간에 대한 질문에서 쓸모가 있습니다.
아무것도 생성하지 않습니다. 이 뜻은 영상을 읽는 일이지 만드는 일이 아닙니다. 작동 방식, API 설정, 정적 처리가 더 나은 경우는 저희 Gemini 3.7 video understanding 가이드에 정리해 두었습니다.
03
뜻 2: 시청자가 말을 걸 수 있는 영상
마케팅 페이지가 가리키는 것은 대개 이 뜻입니다. D-ID는 이를 Agentic Videos로 판매하며 "passive content into interactive AI experiences"로의 전환이라고 설명합니다. 시청자는 "ask questions via voice or chat at any point, turning a one-way broadcast into a two-way dialogue"라고 합니다. 에이전트는 영상 자체의 대본과 보조 지식에 근거하므로 답변이 브랜드 선을 벗어나지 않습니다. D-ID는 교육, 제품 마케팅, 프리세일즈, 지원을 용도로 듭니다.
연구 쪽은 2026년 10월 1일에 움직였습니다. Tavus가 Griffin을 공개하며 Human Interaction Model이라 부릅니다. 별도 시스템을 직렬로 잇는 대신 보고, 듣고, 말하고, 몸짓하는 일을 동시에 수행하는 단일 풀듀플렉스 모델입니다.
모두가 인용한 수치는 실제 범위와 함께 읽어야 합니다. Tavus가 보고한 연구에서, 독립 연구 플랫폼을 통해 모집된 54명이 Griffin-Lite와 1분짜리 영상 통화를 했고 그중 26명, 즉 48퍼센트가 상대를 실제 사람으로 여겼습니다. 같은 연구의 비교 시스템은 2.4퍼센트였습니다. 또한 Tavus는 상대가 진짜가 아닐 수 있다는 생각이 들었는지를 설문 맨 끝에서야 물었다고 스스로 밝히고 있습니다. NVIDIA의 풀듀플렉스 벤치마크 VideoFDB에서 Griffin-Lite는 15개 시스템 중 생성 3.83, 지각 3.73으로 두 트랙 모두 1위입니다. 사람 기준값은 3.92와 4.20이므로 두 트랙 모두 사람이 아직 앞서 있습니다.
대부분의 보도가 빠뜨린 사실이 하나 있습니다. 쓸 수 없습니다. Tavus는 Griffin-Lite에 대해 "will not be available for use for customers at this time, though it is available for select trusted testers as a research preview"라고 명시하고, 안전성 작업 이후 공개를 예상한다고 합니다. 대화형 영상을 중심으로 예산을 짠다면, 이 뜻은 아직 연구 프리뷰이지 도입할 수 있는 제품이 아닙니다.
04
뜻 3: 제작 공정을 돌리는 에이전트
"영상 제작을 자동화하자"고 할 때 대부분의 구매자가 가리키는 것이 이것입니다. 에이전트는 시청자와 대화하지 않고 과거 영상을 분석하지도 않습니다. 단계를 돌립니다. 원자료를 읽고, 대본을 쓰고, 컷을 계획하고, 생성하거나 조립하고, 수정을 반영하고, 렌더링합니다.
실무적인 질문은 그 에이전트가 무엇을 조작하느냐입니다. r/ClaudeCode 논의에서 일부는 MCP로 기존 편집 소프트웨어에 에이전트를 연결했습니다. 한 사람은 DaVinci Resolve Studio를 Claude에 붙여 컷, 자막, 그래픽, B롤에 쓴다고 전했습니다. 다른 사람들은 전부 Python과 ffmpeg로 처리했고, 요건이 분명한 작업에는 비싼 소프트웨어가 필요 없다고 했습니다. 그 스레드에서 가장 많은 지지를 받은 답은 ffmpeg만으로도 에이전트가 상당히 많은 일을 한다는 한 줄이었습니다.
눈에 띄는 흐름이 있습니다. 쓸 만한 결과를 얻는 쪽은 통째로 넘기는 것이 아니라 역할을 나눕니다. 뮤직비디오에 여러 에이전트를 편성한 실무자는 "completely delegating the art direction"이 아니라 연출은 자신이 쥐고 실행을 맡겼다고 적었습니다.
TapVid는 이 세 번째 뜻에 자리합니다. 설명 영상 엔진입니다. 문서, 링크, 대본 중 하나를 주면 구조화된 설명 영상이 나옵니다. REST API와 MCP 서버로 어시스턴트가 직접 호출할 수 있습니다. 파이프라인은 해석, 확인, 조사, 개요, 대본, 샷 단위 생성을 보고 개입할 수 있는 단계로 엽니다. 수정은 대화로 요청하고, 지정한 샷만 새 버전으로 다시 렌더링됩니다. 뜻 2는 다루지 않습니다. 실시간 아바타도, 플레이어 안에서의 시청자 질의응답도 없습니다.
05
깨지는 지점: 에이전트는 자기가 망친 것을 보지 못한다
벤더 페이지가 건너뛰는 것이 이 실패 양상입니다. 저희가 읽은 논의에서도 여러 참여자가 각자 부딪혔습니다.
양상은 늘 같습니다. 실행은 성공을 보고합니다. 결과물은 에이전트가 알아챌 수 없는 방식으로 틀려 있습니다.
그 논의에서 나온 사례들:
- 광고 렌더링 도구를 만들던 개발자가 늘 하던 반복을 적었습니다. HTML을 쓰고, 헤드리스 Chrome으로 캡처하고, 보고, 제목이 잘린 것을 알아채고, 고치고, 또 캡처합니다. 매번 토큰을 씁니다. 다른 참여자는 자기 카드 렌더러가 "clips a line off the edge without saying a word, and I only find out when I look at the image"라고 답했습니다. 이어 구체적인 사례로 선택지 텍스트가 33자 즈음에서 상자를 넘어갔고 경고는 전혀 없었다고 했습니다.
- 세 번째 사람은 도구 대부분이 "most tools just shrug and let you find out from the broken output later"라고 정리했습니다.
- 렌더링 쪽도 같습니다. 한 팀은 프레임 캡처가 "once returned about 8,500 bytes of black instead of a 2.6MB frame"인 일을 겪었습니다. "fits at this size"와 "all layers actually rendered"를 어떻게 구분하느냐는 질문이 나왔습니다.
- 오디오도 같은 모양입니다. 팟캐스트 스레드에서는 단어 단위 타임스탬프가 편집점이 아니라는 경고가 있었습니다. 거기서 자르면 첫 단어의 시작과 마지막 단어의 꼬리가 깎입니다. 전체가 미묘하게 어긋나게 들리는데 귀로는 이유를 알 수 없습니다. 다른 사람은 ffmpeg 스트림 복사가 키프레임에서만 시작할 수 있어 인점이 뒤로 밀리고 앞 문장 끝이 매달린다고 짚었습니다.
어느 것도 모델 품질 문제가 아닙니다. 보고의 문제입니다. 에이전트는 파일을 보고 다 됐다고 판단했습니다.
다들 도달하는 해법은 같습니다. 결함을 눈이 아니라 기계가 읽게 만드는 것입니다. 앞의 개발자는 렌더러를 다시 만들었습니다. 이제 편집할 때마다 크기별로 무엇이 깨졌는지를 "leaderboard content !overflow needs 572x116" 형태의 오류로 돌려줍니다. 에이전트는 그 문자열로 고칩니다. 자체 벤치마크에서 캡처 반복 대비 약 2배 적은 토큰이라고 보고합니다. 리뷰어의 질문을 받고 검사를 더 넣었습니다. 중간에 죽은 클립은 렌더링을 실패시키고, 출력 파일마다 프레임 단위로 검사하며, 빠진 자산은 렌더링 전에 잡아냅니다.
더 앞단에서 손쓰는 참여자도 있습니다. 소재를 먼저 로컬 모델에 돌려 전사, 장면 설명, 모션 태그를 얻습니다. 편집 에이전트는 영상을 다시 읽지 않고 그 텍스트 위에서 작업합니다.
요구할 것은 셋, 이 순서입니다. 파이프라인이 썸네일이 아니라 구조화된 결함을 돌려줄 것. "성공"이 파일이 존재하고 모든 프레임이 있으며 모든 자산이 해결되었음을 뜻할 것. 그리고 내보내기 전에 사람이 한 번은 볼 것.
06
결과물이 편집 가능해야 한다고 요구하라
두 번째 관심사는 손에 무엇이 남느냐입니다. 저희가 읽은 논의의 여러 참여자는 분명했습니다. 완성된 MP4는 받아들일 만한 산출물이 아닙니다.
r/ClaudeCode의 한 스레드를 연 질문이 그대로 말해 줍니다. 작성자는 편집을 모델에 맡기고 싶어 하면서도 이렇게 적었습니다. "I need the project to remain editable within standard video editing software. I don't want the editing process to turn into a script that can only be modified via code." 코드 우선 프레임워크가 작업을 실제 편집기에서 떼어낼 것을 우려했습니다.
답들은 한 방향을 가리켰습니다. 에이전트가 내놓을 것은 렌더링 결과가 아니라 프로젝트여야 한다는 것입니다. 한 참여자는 편집기가 불러올 수 있는 XML 타임라인을 모델에 쓰게 하고 클립은 직접 옮기라고 제안하며, 실제 프로젝트를 맡기기 전에 몇 컷으로 시험해 보라고 조언했습니다. 편집기 자체의 교환 형식이 바로 이를 위해 있습니다. FCPXML, EDL, 그리고 DaVinci Resolve 같은 스크립팅 API입니다.
검수 조건의 가장 날카로운 형태는 이 분야에서 자신도 제품을 만들고 있다고 밝힌 참여자에게서 나왔습니다. 그가 시험할 것은 "whether you can make a manual change and then have Claude continue from that updated project"라고 합니다. 첫 편집을 만들어 내는 것은 유용하지만, 주고받음을 살려 두는 것이 실제 시간을 아낍니다.
그 검수 조건을 빌려 쓰십시오. 1차본을 생성한다. 손으로 한 군데 바꾼다. 그다음 내 버전에서 이어가게 한다. 처음부터 다시 만들 줄만 아는 도구는 수정 때마다 비용을 받아 갑니다.
07
비용이 실제로 쌓이는 곳
이 절은 시장의 경향이 아니라 개별 보고로 읽어 주십시오. 참여자 수가 많지 않습니다.
그중 둘은 시간이 사라지는 곳이 편집이 아니라고 주장했습니다. 한 사람은 "measure the second cut against review time, not the $50 API bill"이라고 적었습니다. 여전히 처음부터 끝까지 다 본다면 거기가 비싼 부분이기 때문입니다. 그가 답한 실무자는 수작업 편집에서 1.25배속으로 두세 번 보는 방식으로 옮겨 왔고, 한 번 통으로 보기와 요소 확인을 목표로 하고 있었습니다.
생성 비용에 대해서는, 쓸 만한 것이 나올 때까지 돌리는 일을 "spending hundreds of dollars spinning the slot machine"이라 표현한 참여자가 있습니다. 파이프라인을 운영 중인 다른 사람은 예산을 잡아먹지 않도록 기계적인 단계를 더 싼 서브에이전트로 옮기고 있었습니다.
두 경우 모두 지렛대는 같습니다. 비용은 첫 렌더링이 아니라 재시도 루프에 있습니다. 앞 절의 보고 공백을 메울 이유가 하나 더 있는 셈입니다. 나쁜 결과와 좋은 결과를 구분할 수 있는 에이전트는 그 차액을 계속 지불하지 않습니다.
08
"agentic"이라 말하는 벤더에게 물을 것
순서대로 확인하십시오. 첫 답으로 어느 뜻을 다루는지 알 수 있고, 나머지로 에이전트가 돌기 시작한 뒤의 위험을 누가 지는지 알 수 있습니다. 답하지 못하는 벤더는 그 위험을 전혀 지지 않습니다.
- 어느 뜻의 이야기입니까. 이해, 인터랙티브 재생, 제작 중 무엇입니까. 페이지에 없다면 마케팅 표현으로 보십시오.
- 최종적으로 무엇을 받습니까. 완성 파일입니까, 열어서 편집할 수 있는 프로젝트입니까.
- 손으로 바꾼 뒤 그 버전에서 에이전트가 이어갈 수 있습니까.
- 결함은 어떻게 보고됩니까. 오류 예시를 보여 달라고 하십시오. 답이 결과물을 보라는 것이면 검수는 당신 몫입니다.
- 여기서 "성공"은 파일이 쓰였다는 뜻입니까, 검증되었다는 뜻입니까.
- 어느 단계를 보고 멈출 수 있습니까.
- 뜻 2라면: 오늘 쓸 수 있습니까. 어떤 언어와 어떤 데이터로 가능합니까.
09
자주 묻는 질문
에이전트가 1차본을 만든 뒤에도 프로젝트를 계속 편집할 수 있습니까?
편집기가 열 수 있는 것을 돌려줄 때만 가능합니다. FCPXML 같은 XML 타임라인, EDL, 또는 편집기 자체의 스크립팅 API를 통한 변경입니다. 렌더링된 파일은 쓸모 있는 의미에서 편집 가능하지 않습니다. 확정하기 전에 왕복을 시험하십시오. 1차본을 만들고, 손으로 한 군데 바꾸고, 바뀐 프로젝트에서 이어가게 해 보십시오.
에이전트가 조용히 무언가를 망치지 않았다는 것을 어떻게 압니까?
에이전트에게 캡처를 판단하게 하는 대신, 넘침 치수, 빠진 자산, 프레임 수 같은 기계가 읽을 수 있는 결함을 파이프라인이 돌려주도록 요구하십시오. 위에 적은 실패는 모두 성공한 실행으로 통과했습니다. 사람 검수를 한 번은 남겨 두십시오. 목표는 요소 확인까지 줄이는 것이지 없애는 것이 아닙니다.
agentic video는 AI가 창작 판단을 한다는 뜻입니까?
아닙니다. 그것은 기술의 속성이 아니라 파이프라인을 어떻게 구성하느냐의 선택입니다. 저희가 읽은 논의의 여러 참여자는 의식적으로 선을 긋습니다. 기계적인 작업은 맡기고 아트 디렉션, 대본 판단, 최종 승인은 사람이 쥡니다. 창작 판단에 AI가 관여하는 것 자체를 거부하는 사람도 있습니다. 도구마다 전제가 다르니 고르기 전에 자기 선을 정하십시오.
영상 한 편당 비용이 왜 계속 오릅니까?
저희가 읽은 사례에서 비용은 첫 렌더링이 아니라 재시도 루프에 있었습니다. 쓸 만한 것이 나올 때까지 다시 만들고, 고쳐졌는지 보려고 또 렌더링하는 흐름입니다. 그 참여자들이 쓴 지렛대는 둘, 기계적인 단계를 더 싼 모델로 보내는 것과 더 짧게 생성하는 것이었습니다. 이것이 얼마나 일반적인지에 대한 데이터는 없으니 자신의 사용에서 확인하십시오.
10
요약
어떤 페이지가 agentic video라고 하는데 한 문단을 읽고도 분석인지 대화인지 제작인지 가려지지 않는다면, 그것부터 해결하십시오. 뜻이 정해지면 실제 업무를 버틸지 가늠하는 질문은 둘입니다. 결과물이 편집 가능한 채로 남는가. 그리고 시스템이 무엇을 잘못했는지 당신에게 말해 줄 수 있는가.
