AI 영상 도구는 한 문장에서 장면을 만들 수 있지만, 캐릭터 애니메이션은 항상 다른 문제였습니다. 필요한 것은 특정 인물, 마스코트, 아바타가 특정 동작을 수행하는 것입니다. 바로 그것을 하는 것이 Wan Animate 2입니다. 알리바바 통의 연구소(Tongyi Lab)가 2026년 8월 7일에 오픈소스로 공개한 이 모델은 참조 이미지 하나와 드라이빙 영상 하나를 받아, 이미지 속 캐릭터가 영상의 움직임, 표정, 제스처를 연기하게 만듭니다 — 골격 추출 없이, 원하는 카메라 앵글로.
Wan Animate 2란?
Wan Animate 2(모델명 Wan2.2-Animate-2-14B)는 엔드투엔드 캐릭터 애니메이션 프레임워크입니다. 두 가지 입력을 넣습니다:
- 참조 이미지 — 캐릭터, 인물, 마스코트, 로봇, 심지어 동물도 가능. 출력은 이 정체성을 유지합니다.
- 드라이빙 영상 — 몸의 움직임, 손 제스처, 표정이 있는 아무 클립. 출력은 이 퍼포먼스를 복사합니다.
모델은 참조 이미지의 외형에 충실한 채 드라이빙 영상의 움직임을 캐릭터가 연기하는 새 영상을 생성합니다. 배경과 카메라 시점은 더 이상 소스 푸티지에 묶이지 않으며, 텍스트 프롬프트로 둘 다 설명합니다.
이것은 텍스트/이미지에서 영상을 만드는 Wan 3와 다른 도구입니다. Wan 3는 프롬프트에서 장면을 창조하고, Wan Animate 2는 선택한 캐릭터에 퍼포먼스를 전이합니다. 함께 쓰면 작업의 양쪽을 모두 커버합니다: Wan 3로 푸티지나 캐릭터를 만들고, Wan Animate 2로 애니메이션화하세요.
주요 기능
- 골격 추출 없음. 기존 시스템은 먼저 드라이빙 영상을 뼈대나 키포인트로 변환해 미세 표정과 손가락 움직임 같은 디테일을 잃습니다. Wan Animate 2는 드라이빙 영상을 모델에 직접 넣어 퍼포먼스를 살아있게 만드는 미묘한 움직임을 보존합니다.
- 강력한 정체성 보존. 참조 캐릭터는 클립 전체에서 알아볼 수 있게 유지됩니다 — 만화 캐릭터가 사람의 춤을 추는 것 같은 큰 체형 차이에서도.
- 텍스트 기반 카메라 제어. 출력 카메라는 드라이빙 영상에서 분리됩니다. '탑 앵글'이나 '천천히 도는 오빗 샷'을 요청하면 재촬영 없이 같은 퍼포먼스를 다시 프레이밍합니다.
- 프롬프트 제어 배경. 캐릭터 뒤의 장면은 프롬프트에서 생성되며 어느 입력에서도 복사되지 않습니다.
- 멀티 캐릭터 장면. 한 번의 생성으로 여러 캐릭터를 동시에 애니메이션화할 수 있으며, 각자 자신의 정체성과 움직임을 유지합니다.
- 긴 영상. 호스팅 서비스는 최대 120초 드라이빙 영상을 지원하며 세그먼트를 매끄럽게 연결합니다.
- Lite로 실시간 스트리밍. Wan Animate-2-Lite 변형은 400×720에서 약 24fps에 도달해 디지털 휴먼 라이브 스트리밍과 인터랙티브 아바타의 문을 엽니다.
작동 방식
핵심 아이디어는 단순합니다: 참조 영상이 최고의 모션 프라이어입니다. 움직임을 골격이나 잠재 특징으로 압축해 정보를 잃는 대신, 재설계된 확산 트랜스포머(DiT)가 드라이빙 영상을 직접 소비합니다.
세 가지 아키텍처 선택이 이를 실용적으로 만듭니다:
- 듀얼 브랜치 DiT — 참조 브랜치가 t=0에서 깨끗한 모션 정보를 유지하고 키/밸류 특징을 생성 브랜치에 공급해 디노이징 중 모션이 감쇠하지 않습니다.
- 시간 정렬 RoPE — 참조 프레임과 생성 프레임이 하나의 타임라인을 공유해 입력·출력 해상도가 달라도 프레임 간 대응을 정확히 유지합니다.
- 스파스 참조 어텐션 — 각 생성 프레임은 시간 정렬된 참조 토큰에만 주목해 모션 충실도 손실 없이 메모리와 연산을 줄입니다.
뷰포인트 LoRA(약 5만 개의 멀티뷰 렌더링 샘플로 학습)가 카메라 제어를 텍스트 작업으로 바꾸고, Lite 변형은 3단계 학습 레시피 — 오류 버퍼를 사용한 티처 포싱 사전학습, Self-Forcing 증류, 청크 단위 역전파 — 로 오류를 누적하지 않고 청크 단위로 스트리밍 생성합니다.
학습 데이터에는 최대 2.5K 해상도의 전신, 반신, 클로즈업 샷을 커버하는 10만 개 이상의 짝지어진 합성 영상이 포함됩니다.
사용 방법
시작하는 방법은 세 가지입니다:
- 온라인 데모 체험 — ModelScope 스튜디오 데모가 같은 모델을 무료로 실행합니다.
- 호스팅 API 사용 — WaveSpeedAI 같은 서비스가 480p·720p 출력의 REST API로 제공하며, 생성된 초당 과금되어 제품과 배치 워크플로우에 적합합니다.
- 로컬 실행 — 오픈소스 저장소, ComfyUI 노드, Hugging Face Diffusers 파이프라인, DiffSynth-Studio 통합이 추론부터 LoRA 파인튜닝까지를 커버합니다. 공식 기본값은 720P에서 8×A800 GPU를, 480P는 2×A800으로 테스트했으므로 본격적인 GPU 환경(80GB급)이 권장됩니다.
좋은 결과를 위해 세 가지를 준비하세요:
- 캐릭터의 선명한 참조 이미지(전신이 좋습니다).
- 깨끗하고 가시적인 움직임의 드라이빙 영상 — 심한 가림과 모션 블러를 피하세요.
- 외형과 배경만 설명하는 프롬프트. 권장 패턴은 먼저 LLM으로 참조 이미지를 캡션화하는 것입니다(외형 + 배경, 동작 단어 없이). 움직임은 이미 드라이빙 영상에 있기 때문입니다.
실용 팁: 참조 이미지와 드라이빙 영상의 프레이밍을 맞추고(전신 대 전신), 480p의 짧은 클립부터 시작하며, 출력 배경을 명시적으로 설명하세요.
가장 잘하는 것
Wan Animate 2는 선택한 캐릭터가 실제 퍼포먼스를 따라야 하는 곳에서 빛납니다:
- 디지털 휴먼과 라이브 스트리밍 — Lite 변형이 가상 호스트, 라이브 이커머스 같은 인터랙티브 시나리오에 스트리밍 캐릭터 애니메이션을 가져옵니다.
- 댄스와 복잡한 모션 전이 — 춤, 악기 연주, 스포츠 같은 빠르고 비강체적인 움직임이 골격 기반 방식보다 훨씬 적은 아티팩트로 나옵니다.
- 애니메이션과 IP 캐릭터 — 정적 일러스트를 애니메이션 가능한 캐릭터로 바꾸고, 독립적인 정체성의 멀티 캐릭터 장면도 지원합니다.
- 마케팅과 이커머스 — 촬영 없이 광고 크리에이티브에 브랜드 마스코트와 제품 캐릭터의 생명을 불어넣습니다.
- 교육과 콘텐츠 제작 — 아바타와 강의 호스트를 빠르게 톡킹헤드 영상으로.
- 게임과 메타버스 프로토타이핑 — 텍스트 기반 카메라 제어로 프리비주얼라이제이션용으로 같은 액션을 여러 앵글에서 쉽게 렌더링할 수 있습니다.
팀의 블라인드 사용자 조사에서 70% 이상의 사용자가 이전 세대보다 Wan Animate 2를 선호했고, Dreamina, Kling MotionControl 같은 상용 도구와 경쟁하는 결과를 보였습니다. 다른 창작 도구와 마찬가지로, 공정한 판단 방법은 자신의 캐릭터와 푸티지로 테스트하는 것입니다.
결론
Wan Animate 2는 2026년 가장 실용적인 오픈 캐릭터 애니메이션 옵션입니다: Apache 2.0 라이선스, 상업 무료 사용, 단순한 입력, 강력한 정체성 보존, 인터랙티브 애플리케이션을 위한 실시간 경로. 완전한 장면 생성기는 아닙니다 — 프롬프트에서 푸티지나 캐릭터 이미지를 만드는 것은 Wan 3의 몫 — 하지만 영상 파이프라인의 모션 전이 절반으로서는 따라잡기 어렵습니다.
입력을 만들 준비가 되셨나요? Wan 3로 캐릭터 이미지와 드라이빙 푸티지를 생성한 뒤 Wan Animate 2로 애니메이션화하세요.
