Gemini 3.7 비디오 이해: 에이전틱 모드 가이드

01

Gemini 3.7 비디오 이해란?

Gemini 3.7의 영상 이해 기능을 이용하면 Gemini 모델이 하나의 요청 안에서 영상, 오디오, 발화 기록의 정보를 함께 추론할 수 있습니다. Google의 영상 이해 문서는 표준 처리에서 기본적으로 초당 한 프레임을 시각 정보로 샘플링한다고 설명합니다. 이 방식은 장면이 안정적으로 유지되는 많은 영상에 적합하지만, 고정된 간격으로만 샘플을 선택하면 잠깐 나타나는 UI 상태나 빠르게 지나가는 동작을 놓칠 수 있습니다.

Google의 공식 출시 발표에 따르면 에이전틱 처리는 원본을 어떻게 살펴볼지 계획하고, 질문과 관련된 순간을 선택한 다음, 발화 기록·오디오·프레임 속도·해상도를 적절히 조합해 그 순간을 다시 검사할 수 있습니다. 그러나 이 방식도 선택한 증거를 바탕으로 작업합니다. 따라서 원본의 모호함이 사라지는 것은 아니며, 모든 답변이 정확하다고 보장하지도 않습니다.

02

에이전틱 모드가 바꾸는 것

정적 샘플링은 영상을 일정한 방식으로 한 차례 살펴봤을 때 무엇을 추론할 수 있는지 묻습니다. 에이전틱 검사는 현재 질문에 답하기 위해 다음으로 어떤 증거를 더 수집해야 하는지 묻습니다. 두 번째 방식에는 검사 계획을 세우고 조정하는 반복 과정이 추가됩니다. 이 과정을 통해 긴 원본 영상에서 유용한 구간으로 범위를 좁힌 뒤, 해당 구간을 더 자세히 살펴볼 수 있습니다.

LensWalk와 같은 연구 시스템도 하나의 균일한 표현에만 의존하지 않고 영상을 어떻게 관찰할지 계획하는 방향을 탐구합니다. 그렇다고 ‘에이전틱’이라는 이름을 자동으로 정확한 답을 얻는다는 뜻으로 해석해서는 안 됩니다. 더 안전한 목표는 질문의 범위를 좁히고, 어떤 증거가 필요한지 명시하며, 원본에 그 증거가 없을 때는 답변을 거부하도록 규칙을 정하는 것입니다.

03

에이전틱 모드와 정적 샘플링 선택

처리 모드는 원본 영상의 특성과 특정 사건을 놓쳤을 때 발생할 결과를 기준으로 선택하세요. Google 문서는 긴 영상이나 정확히 특정 순간을 찾아야 하는 질문에 에이전틱 처리를 권장합니다. 동시에 정적 처리도 유용한 선택지로 유지합니다. 예를 들어 길이가 5분 미만이고 응답 지연에 민감한 영상, 또는 영상 전체에 걸쳐 예측 가능한 수준의 정밀도가 필요한 작업에는 정적 처리가 적합할 수 있습니다.

Inspect image

이 비교는 모드를 선택하는 출발점으로만 사용하세요. 자신의 실제 자료를 이용해 쉬운 사례, 잠깐 나타났다 사라지는 시각적 사건, 오디오에만 존재하는 증거, 의도적으로 답할 수 없게 만든 질문에서 두 모드를 모두 시험해야 합니다. 새로운 이름의 모드가 더 낫다고 가정하지 말고, 타임스탬프의 정확도, 근거 없는 주장, 응답 지연, 출력 스키마의 일관성을 각각 평가하세요.

04

프롬프트 전에 입력 계약 만들기

신뢰할 수 있는 요청은 입력 조건을 명확히 정의하는 데서 시작합니다. 원본의 위치, 처리 모드, 정확한 질문, 출력 스키마, 검증 규칙을 지정하세요. 요청에서는 영상 입력을 텍스트 프롬프트보다 앞에 배치하고, 해당 기능을 지원하는 API에서는 문서에 명시된 에이전틱 처리 값을 사용합니다. 시간 표시는 ‘중간쯤’과 같은 모호한 표현보다 MM:SS 형식의 타임스탬프로 반환하도록 요구하세요.

{
  "input": [
    {
      "type": "video",
      "uri": "YOUR_VIDEO_URI",
      "processing": "agentic"
    },
    {
      "type": "text",
      "text": "첫 결제 실패를 찾으세요. MM:SS, 보이는 오류 문구, 직전 사용자 동작, 불확실성을 반환하세요."
    }
  ]
}

아래 예시는 Google 문서를 축약한 형태이며 TapVid 실행 벤치마크가 아닙니다. 최신 SDK 문법을 확인하세요. File API, Cloud Storage, 지원 YouTube URL, 문서상 100MB 미만의 짧은 인라인 입력을 사용할 수 있습니다.

05

근거 있는 답을 위한 증거 계약

약한 프롬프트는 답만 요구합니다. 강한 프롬프트는 정확한 질문, 허용되는 증거 채널, 타임스탬프를 포함한 출력, 불확실성을 다루는 규칙, 모델이 추론해서는 안 되는 결론을 명시해 증거의 기준을 정합니다. 그러면 ‘버튼이 계속 비활성화된 상태였다’처럼 직접 관찰할 수 있는 사실과, 어떤 사람이 왜 그런 행동을 했는지에 대한 근거 없는 주장을 구분할 수 있습니다.

• 질문: 정확한 결정이나 이벤트를 정합니다.
• 증거 채널: 자막, 오디오, 화면 글자, UI, 동작.
• 출력: 시간과 짧은 결과를 요구합니다.
• 불확실성: 증거 부족을 밝힙니다.
• 제외: 추론하면 안 되는 결론을 정합니다.

Inspect image

각 발견에는 타임스탬프, 간결한 관찰 내용, 증거를 얻은 채널, 확인할 수 있는 경우 화면에 보이거나 실제로 발화된 정확한 근거, 그리고 신뢰도 수준을 반드시 포함하도록 요구하세요. 원본만으로 답을 확정할 수 없다면 올바른 응답은 ‘확인되지 않음’과 함께 어떤 증거가 부족한지를 제시하는 것입니다. 그럴듯하게 들리는 추측으로 빈 부분을 채워서는 안 됩니다.

이 영상을 {{결정}}에 대해 분석하세요. 결과마다 MM:SS, 관찰, 증거 채널, 구체적 근거, 신뢰도를 반환합니다. 영상에 없는 사실은 추론하지 말고 증거가 없으면 “확인되지 않음”과 부족한 점을 씁니다.

06

분석 작업별 복사 가능한 프롬프트

다음 템플릿은 기존 영상을 분석하기 위한 프롬프트입니다. 영상 안에서 증거의 위치를 찾거나 증거를 분류하며, 모델에게 새로운 장면을 생성하거나 기존 영상을 편집하라고 요청하지 않습니다. 템플릿의 자리표시자를 실제 내용으로 바꾸되 타임스탬프와 불확실성에 관한 요구 사항은 유지하세요. 중요한 의사결정에 영향을 줄 수 있는 발견은 반드시 원본 영상을 다시 보며 검토해야 합니다.

제품 데모 실패 찾기

실패하거나 끝나지 않은 단계를 찾으세요. MM:SS, 직전 동작, 정확한 UI 증거, 발표자의 언급을 반환합니다. 근거 없는 멈춤은 실패로 보지 않습니다.

긴 회의에서 결정 추출하기

가격, 출시일, 범위, 담당을 바꾸는 결정을 찾으세요. MM:SS, 결정, 담당자, 기한, 발화 근거를 반환하고 제안과 결정을 구분합니다.

승인된 단계와 튜토리얼 비교하기

{{체크리스트}}와 비교해 올바름, 잘못됨, 없음, 불명확으로 표시합니다. MM:SS와 보이는 UI 라벨을 포함하고 내레이션만으로 화면 단계를 증명하지 않습니다.

짧은 물리 이벤트 찾기

{{이벤트}}가 눈으로 확인되게 완료된 첫 순간을 찾으세요. 가장 이른 MM:SS, 완료 신호, 가림·흐림·편집에 따른 모호함을 반환합니다.

좋은 템플릿은 어떤 사건을 찾는지, 그 사건을 입증하려면 어떤 증거가 필요한지, 어떤 경우에 답변을 거부해야 하는지를 정의합니다. 이런 구체적인 기준은 ‘깊이 있게’ 또는 ‘전문가처럼’과 같은 모호한 수식어보다 유용합니다. 검토자가 반환된 답변을 보고 사전에 정한 요구 사항을 실제로 충족했는지 판단할 수 있기 때문입니다.

07

여러 턴에서 영상 맥락 유지하기

영상 분석은 여러 차례의 대화에 걸쳐 이어지는 경우가 많습니다. 첫 번째 질문으로 사건의 위치를 찾고, 다음 질문으로 관련 사례를 요청하며, 세 번째 질문으로 승인된 발견을 요약문으로 바꿀 수 있습니다. 이러한 연속 작업이 제대로 작동하려면 애플리케이션이 원본 영상과 모델의 처리 상태를 모두 보존해야 합니다. 대화가 이어진다고 해서 원본 증거까지 자동으로 유지되는 것은 아닙니다.

Google의 Interactions API는 이전 상호작용의 식별자를 이용해 상태를 유지하면서 작업을 이어 갈 수 있도록 지원합니다. 상태를 유지하지 않는 구현에서는 마지막 서술형 답변만 전달하지 말고, 관련된 처리 호출과 그 결과를 다시 전달해야 합니다. 원본 ID, 처리 모드, 상호작용 ID, 프롬프트 버전, 출력 스키마를 함께 저장하세요. 그래야 발견의 타당성에 이의가 제기됐을 때 동일한 작업을 재현해 확인할 수 있습니다.

08

한계와 실패 유형

에이전틱 검사는 증거를 놓치는 일을 줄일 수 있지만, 읽을 수 없는 라벨을 복구하거나 발언 또는 행동의 주체를 정확히 식별한다고 보장할 수는 없습니다. Gemini 3.7 Flash 모델 카드는 환각, 느린 처리, 시간 초과를 알려진 한계로 명시합니다. 실제 운영 워크플로에는 제한 시간, 재시도 절차, 명확한 검토 상태가 필요하며, 원본을 처리할 수 있는 권한도 확보해야 합니다.

• 환각 세부정보: 시간과 불확실성을 요구합니다.
• 시간 오차: 경계가 중요한 결과를 검토합니다.
• 작은 UI: 더 좋은 원본을 사용합니다.
• 화자 오인: 겹치는 음성을 확인합니다.
• 지연·시간 초과: 재시도와 검토 상태를 둡니다.
• 권리·개인정보: 허가된 소스만 처리합니다.

평가에는 모델이 답을 내놓아서는 안 되는 사례도 포함하세요. 존재하지 않는 사건, 일부러 읽을 수 없게 만든 글자, 누구인지 모호한 화자, 영상만으로는 확정할 수 없는 행동의 동기 등이 해당합니다. 이런 질문에 시스템이 자신 있게 답한다면, 답할 수 있는 긍정 사례의 시연이 아무리 정교하고 보기 좋더라도 그 시스템은 평가에 실패한 것입니다.

09

비디오 이해는 비디오 생성이 아닙니다

영상 이해는 기존 영상을 분석 결과, 타임스탬프, 설명 또는 의사결정으로 변환합니다. 영상 생성은 새로운 시각 콘텐츠와 오디오를 만들고, 편집은 기존 콘텐츠를 변형합니다. 예를 들어 분석 프롬프트는 영상에서 가격에 대한 첫 번째 반론이 나온 순간을 찾아 달라고 요청합니다. 생성 프롬프트는 제품 사진 한 장을 제품 출시 장면들로 구성된 영상으로 만들어 달라고 요청합니다.

Inspect image

제작 및 편집 사례는 Gemini Omni 영상 프롬프트 라이브러리를 참고하세요. 이 라이브러리를 본 분석 가이드와 분리하면 각 페이지의 검색 의도를 유지하고, 두 워크플로에 각각 적합한 승인 기준을 적용할 수 있습니다. 분석 결과는 원본 증거로 되돌아가 확인할 수 있어야 합니다. 생성 결과는 제공된 소재, 승인된 문구, 제작 기획서에 부합하는지 검토해야 합니다.

하나의 템플릿이 두 가지 작업을 모두 대신할 수는 없습니다. 분석 답변은 새로운 영상을 전혀 만들지 않더라도 유용할 수 있습니다. 반대로 시각적으로 매력적인 생성 영상이라도 제품 라벨을 바꾸거나, 특정 주장과 관계없는 소재를 잘못 연결했다면 요구 사항을 충족하지 못한 결과입니다. 두 작업은 결과물을 판단하는 기준 자체가 다릅니다.

10

검증된 결과를 설명 영상으로 넘기기

분석 결과를 다음 작업으로 넘기는 과정도 통제할 수 있도록 설계하세요. 먼저 타임스탬프가 포함된 관찰 결과를 추출하고, 사람이 그 내용을 승인하게 합니다. 승인된 발견만 대본 문구로 변환한 뒤 올바른 제품 소재를 연결하세요. 마지막으로 대본이 말하는 내용과 실제 화면이 보여 주는 내용이 정확히 대응하는지 검토합니다.

TapVid는 이 마지막 소재·문구 제작 단계에 사용하는 설명 영상 제작 엔진입니다. AI 설명 영상 생성기는 제공된 소재와 승인된 문구를 검토 가능한 결과물로 만듭니다. 그러나 앞선 분석 단계에서 나온 주장을 사실로 만들어 주지는 않습니다. 모델의 출력을 실제로 게시할 수 있는 콘텐츠로 연결하는 단계에는 여전히 사람의 승인이 필요합니다.

11

실무 평가 체크리스트

실제 원본 자료로 작은 평가 세트를 만들고, 직접 관찰할 수 있는 동작을 기준으로 점수를 매기세요. 선택해야 할 모드는 이름이 더 최신인 모드가 아니라 자신이 정한 승인 기준을 충족하는 모드입니다. 평가하는 동안 원본 영상을 열어 두어 검토자가 각각의 답변을 원본과 빠르게 대조하고 검증할 수 있게 하세요.

• 정확한 구간
• 증거 채널 명시
• 화면·발화 내용의 정확성
• 보이지 않음과 거짓의 구분
• 증거 부족 시 거부
• 빠른 검토 가능성
• 여러 턴의 증거 연속성
• 허용 가능한 지연

모델이나 API가 변경되면 평가를 다시 수행하세요. 프롬프트와 예상 출력을 버전이 관리되는 테스트 자료로 보존해야 합니다. 겉보기에는 작은 모델 업데이트라도 타임스탬프를 반환하는 방식, 답변을 거부하는 패턴, 응답 지연, 반환된 발견의 구조를 바꿀 수 있기 때문입니다. 동일한 자료로 다시 평가해야 이러한 변화를 확인할 수 있습니다.

12

자주 묻는 질문