Runway Research - Gen-2: 비디오 생성의 새로운 지평
Runway Research의 Gen-2는 놀라운 기능을 갖춘 멀티모달 AI 시스템입니다. 이 시스템을 통해 텍스트, 이미지 또는 비디오 클립을 사용하여 독창적인 비디오를 생성할 수 있습니다. 2023년 2월에 출시된 이 시스템은 실제적이고 일관성 있게 새로운 비디오를 합성합니다.
Gen-2는 다양한 모드를 제공합니다. Text to Video 모드에서는 단순히 텍스트 프롬프트만으로 상상할 수 있는 어떤 스타일의 비디오도 합성할 수 있습니다. 예를 들어, '뉴욕시 로프트의 창문을 통해 저녁 햇빛이 비추는 모습'과 같은 프롬프트를 입력하면 그에 맞는 비디오를 생성할 수 있습니다. Text + Image to Video 모드는 운전 이미지와 텍스트 프롬프트를 사용하여 비디오를 생성합니다. '거리에서 네온사인에 비춰 걷는 남자의 낮은 각도 촬영'과 같은 프롬프트와 이미지를 결합하여 비디오를 만들 수 있습니다.
Image to Video 모드는 운전 이미지만을 사용하여 비디오를 생성하며, Stylization 모드는 어떤 이미지 또는 프롬프트의 스타일을 비디오의 모든 프레임에 전달합니다. Storyboard 모드는 모의작업을 완전히 스타일화되고 애니메이션화된 렌더로 변환하며, Mask 모드도 유사한 기능을 제공합니다. Render 모드는 입력 이미지 또는 프롬프트를 적용하여 비텍스처드 렌더를 실제적인 출력으로 변환하고, Customization 모드는 Gen-1의 모델을 사용자 정의하여 더 높은 충실도의 결과를 얻을 수 있습니다.
사용자 연구에 따르면, Gen-1의 결과는 기존의 이미지-이미지 및 비디오-비디오 변환 방법보다 선호됩니다. 그리고 Runway Research는 새로운 창의적인 형태를 가능하게 하는 멀티모달 AI 시스템을 구축하기 위해 노력하고 있으며, Gen-2는 이 미션에서 또 하나의 중요한 발전입니다.
