AI 생성 애니메이션에 대한 가장 흔한 불만은 “AI처럼 보인다"는 것이다. 대개 그 말은 기술적으로 무언가 구체적으로 잘못됐다는 뜻이다——프레임 사이에서 얼굴이 살짝 변형되거나, 로고 가장자리가 깜빡이거나, 움직임이 실제 물리 법칙을 따르지 않는 식이다. 이런 문제는 원인을 이해하면 해결할 수 있다. 문제는 모델이 나쁘다는 게 아니다. 생성과 일관성은 서로 다른 기술적 과제이며, 대부분의 도구는 두 번째 과제를 부분적으로만 해결한다는 것이 문제다.

AI 영상 생성이 실제로 프레임을 만들어내는 방식

현재의 영상 생성 모델은 대부분 확산(디퓨전) 기반으로, 노이즈에서 출발해 조건 신호——프롬프트, 참조 이미지, 또는 둘 다——에 맞는 출력으로 점진적으로 정제해 간다. 이 정제는 픽셀 값에 직접 이뤄지는 것이 아니라, 시각 공간을 압축한 표현인 잠재 공간(latent space)에서 일어난다. 이것이 현재 하드웨어에서 생성이 연산적으로 가능해지는 이유의 하나다.

프레임 단위 생성과 시간적(temporal) 생성의 구분은 출력 품질에 엄청나게 큰 영향을 준다. 프레임 단위 모델은 약간의 공유 컨텍스트를 두고 각 프레임을 독립적으로 생성한다——빠르지만, 각 프레임이 같은 프롬프트에 대한 조금씩 다른 해가 되기 때문에 깜빡임(플리커)이 생긴다. 시간적 모델은 시간에 걸친 움직임을 명시적으로 모델링해 더 매끄러운 출력을 내지만, 훨씬 더 많은 연산을 필요로 한다.

소비자용으로 제공되는 대부분의 도구는 인접 프레임을 서로 연결하면서도 긴 시퀀스에서는 독립적 생성을 허용하는 시간적 어텐션 메커니즘을 어떤 형태로든 조합해 쓴다. 이 구조를 이해하면 왜 짧은 생성이 긴 생성보다 더 일관적인 경향이 있는지 알 수 있다——시간적 어텐션의 윈도우에는 한계가 있기 때문이다.

시간적 일관성: 왜 기술적으로 어려운가

시간적 일관성이란 물체, 텍스처, 조명이 물리 세계의 작동 방식과 일치하는 방식으로 프레임 전반에 걸쳐 안정적으로 유지되는 것을 말한다. 인간은 그것이 깨질 때 아주 쉽게 알아챈다——우리는 평생 물리적 현실을 관찰하며 살아왔기 때문이다——하지만 생성 모델에서 이를 강제하기란 정말 어렵다.

핵심 문제는 확산 모델이 이전 프레임에 조건화되어 있더라도 각 해를 어느 정도 독립적으로 생성한다는 점이다. 노이즈 제거(디노이징) 경로의 작은 변화는 의미적 내용이 동일하더라도 픽셀 수준에서 시각적으로 다른 결과를 낳는다. 이러한 변화가 프레임에 걸쳐 누적되어 깜빡임으로 나타난다.

모델은 여러 메커니즘으로 이에 대응한다: 인접 프레임 간 픽셀 수준 일관성을 강제하는 옵티컬 플로우 제약, 시간 차원에 걸쳐 특징을 전파하는 어텐션 메커니즘, 그리고 물체가 어떻게 움직여야 하는지를 고정하는 명시적 움직임 조건화다. 현재 어떤 모델도 고해상도에서 이 세 가지를 동시에 완벽하게 해결하지는 못한다.

더 일관된 출력을 위한 프롬프트 엔지니어링

스타일 앵커: 구체적인 시각 스타일 용어를 넣는다(“셀 애니메이션", “깔끔한 벡터", “포토리얼리스틱")——생성 공간을 제약해 편차를 줄인다
네거티브 프롬프트: 흔한 아티팩트 유형을 명시적으로 배제한다(“깜빡임", “모핑", “왜곡된 가장자리")——모델은 네거티브 조건화에 반응한다
시드 제어: 잘 나온 결과를 반복할 때는 생성 시드를 고정한다——좋은 출력을 만든 초기화 상태를 보존할 수 있다
참조 이미지: 스타일 참조 이미지로 조건화하면 프롬프트만 쓰는 생성보다 색과 텍스처가 훨씬 더 일관된다
짧게 유지: 최상의 일관성을 위해 4~8초 세그먼트로 생성한다——긴 생성일수록 시간적 드리프트가 더 쌓인다

AI 애니메이션 출력을 체계적으로 평가하는 방법

출력을 먼저 1배속으로, 다음에는 25% 속도로 한 번씩 프레임 단위로 훑어본다. 가장 흔한 세 가지 아티팩트를 살핀다: 가장자리 불안정(프레임 사이에서 이동하거나 흐려지는 물체 경계), 색 드리프트(클립 전반에서 변하는 색조나 채도), 그리고 시간적 모핑(재생 시간 동안 천천히 변형되는 물체 형태)이다.

전문적인 맥락에서 사용할 클립이라면 프레임 시퀀스로 내보내고 개별 프레임을 100% 확대해 검토한다. 영상 포맷의 압축 아티팩트는 프레임 수준에서는 보이는 품질 문제를 가릴 수 있다.

같은 프롬프트를 서로 다른 시드로 세 번 실행해 출력을 비교한다. 실행 간 편차가 크면 그 생성은 안정적이지 않으며 출력마다 상당한 수동 QC가 필요하다. 편차가 작으면 재사용할 수 있는 믿을 만한 프롬프트를 찾은 것이다.

AI 생성이 기존 애니메이션 파이프라인을 능가하는 지점

가장 분명한 이점은 스타일 탐색 속도다. 하나의 움직임 콘셉트에 대해 시각적으로 뚜렷이 다른 열 가지 해석을 30분 만에 생성하는 것——기존 도구로는 며칠이 걸릴 작업——은 초기 단계의 크리에이티브 개발 방식을 바꾼다. 기존 방식의 본격 제작에 대한 투자는 검증된 방향에 대해서만 하면 된다.

추상적이고 비구상적인 움직임은 생성 도구가 꾸준히 강점을 보이는 영역이다. 모션 배경, 파티클 시스템, 유체 역학, 기하학적 변형은 유지해야 할 캐릭터나 물체의 일관성이 없기 때문에 모두 안정적으로 고품질 출력을 만들어낸다.

현재의 명확한 한계와 개선되고 있는 부분

장면을 넘나드는 캐릭터 일관성은 여전히 가장 중요한 미해결 한계다. 한 장면에서 생성한 캐릭터는 특정 일관성 조건화를 적용하지 않는 한 두 번째 장면에서 눈에 띄게 다르게 보인다. 현재의 해결책(참조 이미지, ControlNet 방식의 조건화)은 도움이 되지만 문제를 완전히 해결하지는 못한다. 이는 서사형 애니메이션을 크게 제약한다.

가장 빠르게 개선되는 것은 출력 해상도, 생성 속도, 스타일 제어다. 가장 느리게 개선되는 것은 의미 이해——복잡한 공간적·시간적 지시를 정확히 따르는 모델의 능력——와, 특히 강체 역학에서의 물리적 타당성이다. 앞으로 12개월 동안 해상도와 속도에서는 큰 진전을 기대해도 좋지만, 캐릭터 일관성과 물리는 더 오래 부분적인 해결에 머물 것으로 보인다.

저자 소개