AI가 VFX를 어떻게 바꿀까?
- 카테고리: 인공지능
- 날짜 13-06-2023
VFX는 당연히 ‘이미지 생성 AI’가 크게 영향을 줄 것입니다.
그렇다면 어떻게 VFX에 영향을 줄까요?
단순한 생각으로는, 미드저니, 스테블 디퓨전같은 이미지 생성 AI 툴이,
‘컨셉 디자인’이나 ‘매트 페인팅’ 등에 활용되는 정도로 생각할 수 있습니다.
그러나 제 생각으로는,
생성 AI가 VFX 파이프라인을 파격적으로 간소화 시킬 것이라고 생각 합니다.
물론 이것은 제 예측일 뿐입니다. 참고만 해 주시길 부탁드립니다.
그러나 여러 가능성을 두고, 앞으로의 변화에 대해서 대비해야 될 필요는 있다고 생각 합니다.
이미지 생성 AI를 통해서 VFX 파이프라인은 어떻게 바뀔까요?
VFX 공정을 두가지로 아주 단순하게 분류할 수 있습니다.
첫째는 무언가를 만들어 내는 작업입니다.
그리고 두번째는 만들어진 무언가를 자연스럽게 결합하는 작업입니다.
두번째의 결합하는 작업은, VFX 공정에서 합성 파트에 해당이 됩니다.
그리고 첫번째, 무언가를 만들어내는 작업은,
매트 페인팅, 모션 그래픽, FX 그리고 3D 공간을 이용해서 소스를 만드는 작업들입니다.
단순하게 정의하자면,
VFX는 곧, 합성 소스를 만들어서 합성하는 작업이다. 이렇게 정의할 수 있습니다.
좀 더 극단적으로 단순화 하자면,
카메라로 촬영 된 비디오 조차도 합성 소스라고 볼 수 있습니다.
AI의 기술 발전을 통해서, 합성 작업 역시 편의성이 크게 증가할 것으로 생각합니다.
그러나 합성 작업은, 단순히 결합만 하는 작업은 아니며, 최종 결과물로 확정을 짓는 작업이기도 합니다.
그래서 사람들 눈에 자연스럽게 보이도록 결합하는 것도 중요 하지만,
창작자의 의도에 맞는 아웃풋을 내는 것도 상당히 중요합니다.
이걸 위해서 사람간의 소통이 필요하기 때문에,
사람의 터치가 한 번 이상은 반드시 필요하지 않을까 생각합니다.
그래서 제 생각에는,
합성 작업보다는 합성 소스를 만드는 작업이, 상대적으로 생성 AI에서는 단순하기 때문에,
합성 소스를 만드는 작업이 AI로 대체되기 쉬울 것이라고 저는 생각합니다.
물론 현재 합성 파트에서 하고 있던, ‘로토 스코핑’, ‘리무브’ 그리고 ‘키잉’ 등의 단순 작업들은,
AI를 통해서 시간 소요를 획기적으로 줄일 것입니다.
그러나 합성 소스를 만들던 작업들이, 합성 작업과 통합이 되어,
컴퍼지터의 역할이 더욱 더 늘어나게 되고, 그만큼 컴퍼지터의 능력이 더 필요하게 되지 않을까 생각합니다.
다시 정리하자면,
이미지 생성 AI는, 주로 합성 소스를 만드는 공정들을, 대체할 것이라고 저는 생각을 합니다.
현재 대부분 VFX 회사들의 파이프라인은 이렇습니다.
사람들이 중심이 되는 파트들간의 협업을, 효율적으로 하기 위해서 이런 구조로 짜여졌습니다.
앞으로 합성 소스를 제작하는 공정에, 이미지 생성 AI가 활용된다면,
이렇게 단순한 파이프라인 구조로 변화될 수 있습니다.
예를 들자면,
합성 파트에서는 주로 NUKE를 사용하는데,
NUKE 안에서 직접 프롬프트를 입력할 수 있고,
기준이 되는 촬영 영상과 어울리는 합성 소스를,
순식간에 다량의 양으로 생성할 수 있을 것이라고 생각 합니다.
그래서 컴퍼지터가 합성 소스를 선택하거나, 창작자에게 직접 컨펌을 받고,
그렇게 선택된 소스를 컴퍼지터가 결합하는 식으로 간소화 될 것이라고 생각 합니다.
합성 소스를 제작하는 작업 중에, ‘이미지 생성 AI’로 가장 많은 타격을 입을 공정은 무엇일까요?
첫번째는, 컨셉 디자인과 매트 페인팅 공정이라고 생각 합니다.
생성 AI를 조금이라도 접해 보신 분들은, 이미 체감하고 있을 것이라고 생각 합니다.
현재 너무나도 쉽게 이미지 생성을 할 수 있기 때문에,
앞으로는 합성과 함께 처리될 가능성이 높다고 생각합니다.
‘컨셉 디자인’의 경우에는,
더이상 VFX 파트가 아니라, 감독 또는 창작자가 직접 생성할수도 있을 것이라고 생각 합니다.
두번째는 FX 공정입니다.
컨셉 디자인이나 매트 페인팅은 대체로 한 장의 이미지만 생성하면 됩니다.
그러나 AI로 동영상을 제작하는 경우에는,
화면이 떨리는 현상이 발생을 합니다.
이유는, 프레임마다 생성된 이미지의 일관성이 부족하기 때문입니다.
이 문제를 해결하기 위해서, 생성값을 약하게 주거나,
이비신스같은 프로그램을 이용하여 보정을 하고 있습니다.
그러나 이것도 아직까지 최적화 된 해결법은 아닙니다.
FX 공정은 다른 공정에 비해, 상대적으로 일관성 문제에서 영향을 덜 받습니다.
왜냐하면, FX 대부분이 빠르게 움직이는 영상이기 때문입니다.
폭발이나 파편등의 빠른 물체가, 모션블러와 결합을 하게 되면,
떨리는 현상이 눈에 띄게 거슬리지는 않습니다.
그래서 FX 작업이 생성 AI로 대체 될, 두번째 공정이라고 생각합니다.
세번째는 그 외에 나머지 공정들입니다.
일관성의 문제는 AI의 빠른 발전 속도로 보자면, 조만간 해결이 될 것입니다.
모션그래픽, 3D로 제작되는 디지털 캐릭터, 크리쳐, 사물등의 합성 소스는,
생성 AI로 대체되는 시점에서 큰 차이가 없을 것으로 보입니다.
그러나 현재, AI로 모델링 하는 기술들도 발전을 하고 있고,
최신 발표한 언리얼 버전도 대단히 훌륭하게 공개 되었습니다.
그런데 이런걸 고려하지도 않고,
3D 파트를 단지 합성 소스 파트라고 하는게, 너무 비약이라는 의견들도 있습니다.
그런데 이미지 프로세싱에서 3D는 왜 탄생을 했을까요?
우리의 한쪽 눈은 2D, 평면만 인지를 할 수가 있습니다.
두 개의 눈으로는 두 개의 평면 이미지를 보게 됩니다.
두 개의 평면 이미지가 각기 다른 시차를 가지고 있기 때문에,
우리의 뇌는 원근감을 인지할 수 있습니다.
이건 3D가 아니라 스테레오스코픽인 것이죠.
그리고 모든 디스플레이들도 우리 눈처럼 평면 이미지들로 재생이 됩니다.
과거에는 시각 효과를 위해서 필름에 무엇인가를 직접 그려 넣었습니다.
만약에 빙글빙글 돌아가는 축구공을 영화에 합성하고 싶다면?
1초를 완성하기 위해서 총 24장의 그림들을 필름에 그려 넣었습니다.
당연하게도 상당히 많은 시간이 소요됩니다.
그러나 현재 하는 것처럼, 컴퓨터 그래픽 3D 공간에서 만든다면,
동그란 공을 모델링하고, 축구공 재질을 입혀서, 한바퀴 빙 돌려서 렌더링을 하면 됩니다.
한 프레임씩 사람이 그리는 것보다 시간과 퀄리티면에서 상당히 효율적입니다.
그런데 만약에, 생성 AI가 한 프레임씩 정교하고 빠르게 그릴 수 있다면 어떨까요?
굳이 3D 공간에서 모델링을 하고, 재질을 입히는 작업을 할 필요가 있을까요?
3D 기술은 2D 이미지를 만들기 위해서, 사람이 손쉽게 컨트롤을 하려고 탄생한 기술입니다.
그래서, 이미지 생성AI가 발전할수록, VFX에서 3D를 활용하는 영역은, 급격하게 줄어들 것이라고 생각합니다.
다시 한번 말씀 드리지만, 이것은 순전히 제 생각일 뿐입니다.
참고만 해 주시길 부탁드립니다.