Что такое Sora от OpenAI?
OpenAI недавно представила Sora — нейросеть, трансформирующая простые текстовые запросы в видеоролики высокого разрешения. Sora отличается от предыдущих моделей видео на базе ИИ своей исключительной последовательностью, длиной и фотореалистичным качеством.
В чем заключается особенность Sora?
OpenAI, компания-пионер в области искусственного интеллекта, заслужила мировую известность благодаря своим прорывам в разработке генеративных моделей ИИ, в том числе созданию ChatGPT. Этот чатбот стал катализатором текущего бума интереса к технологиям генеративного ИИ.
Продолжая эту тенденцию, OpenAI недавно представила Sora — нейросеть, трансформирующая простые текстовые запросы в видеоролики высокого разрешения. Эта модель основывается на опыте, разработанном на таких продвинутых системах, как GPT и DALL.E, что позволяет ей создавать подробные сцены с несколькими персонажами, разнообразными движениями и детализированными фонами.
ChatGPT — это чатбот, который имитирует человеческий диалог, используя мощные генеративные алгоритмы ИИ. Аналогично, DALL.E, ещё один продукт OpenAI, позволяет пользователям преобразовывать текстовые описания в чёткие изображения.
Sora отличается от предыдущих моделей видео на базе ИИ своей исключительной последовательностью, длиной и фотореалистичным качеством. Ранние версии видео, генерированные с помощью нейросетей, часто страдали от недостаточного качества и реализма, однако Sora представляет собой значительное улучшение.
В настоящее время модель способна создавать видео длительностью до одной минуты. Этот процесс не ограничивается созданием последовательности изображений для имитации движения; он также включает отслеживание позиционирования объектов, чтобы обеспечить их реалистичное перемещение и правильное взаимодействие с другими элементами.
Sora играет ту же роль для создания видео, какую ChatGPT играет для текстового взаимодействия, и DALL.E для создания изображений. Пользователям достаточно ввести промт (текстовое описание), и Sora воплотит его в жизнь в формате динамичного видео. Хотя эти видео пока не содержат звука, быстрый прогресс в области генерации звука и музыки с помощью ИИ предполагает, что эта функция скоро может быть интегрирована.
Источник и правооблдадатель: Openai.com
OpenAI представила Sora 16 февраля, но пока что она не стала доступна широкой публике. Компания на данный момент предоставляет доступ к инструменту лишь избранной группе пользователей и хакеров из "красной команды". Эти группы исследуют потенциальные преимущества и возможные негативные аспекты использования технологии. Тем не менее, OpenAI опубликовала множество примеров видео с этим новым инструментом в блоге, техническом отчете и на профиле X (ранее Twitter) основателя и главного исполнительного директора Сэма Альтмана.
Как работает нейросеть Sora?
Уникальность Sora заключается в её способности создавать видео с высокой степенью реализма. Это включает точное воспроизведение объектов и окружения, а также их движения и взаимодействия в любой данной сцене. Обученная с использованием таких принципов, как реалистичное освещение, естественные текстуры и плавная динамика движений, Sora превосходит простое визуальное восприятие, захватывая мельчайшие детали, оживляющие видео.
Подобно моделям ИИ для преобразования текста в изображение, таким как DALL·E 3, StableDiffusion и Midjourney, Sora представляет собой сложную компьютерную программу, предназначенную для преобразования текстовых описаний в соответствующий видеоконтент.
Более точно, Sora использует диффузионную модель в сочетании с архитектурой кодирования трансформера, схожей с той, что используется в ChatGPT. Процесс начинается с создания случайного шумового узора, который ИИ постепенно уточняет, чтобы он более точно соответствовал введённому запросу.
Согласно техническому отчету OpenAI, в диффузионных моделях изображения разделяются на меньшие прямоугольные "патчи", которые являются трехмерными и простираются во времени. Эти патчи функционируют аналогично "токенам" в больших языковых моделях, представляя части последовательности изображений, а не части текста. Архитектура трансформера организует эти патчи, в то время как процесс диффузии заполняет каждый патч подробным содержанием.
Для снижения вычислительных требований при генерации видео, модель включает этап уменьшения размерности при создании патчей, что позволяет избежать обработки каждого пикселя каждого кадра.
Представьте, что вы начинаете с холста, покрытого случайным визуальным шумом, похожим на статический шум на старом телевизоре. Используя определенный текстовый запрос, Sora методично уточняет этот шум до согласованного изображения, а затем в ряд изображений, образующих видео.
Подобно ChatGPT, который интерпретирует слова в контексте для формулирования связных предложений, Sora понимает динамику реальных действий и взаимодействий. Эффективное использование Sora зависит от предоставления точных и ясных запросов, подобно тому, как вы бы взаимодействовали с ChatGPT.
Обучение Sora: подробности
OpenAI разработала Sora, обучив её на огромном массиве видеоматериалов общего доступа, включая всё от личных видео селфи до художественных фильмов, телевизионных передач, реальных сцен, записей из видеоигр и многое другое, для чего компания заранее приобрела лицензионные права. Для улучшения понимания Sora реального мира, компания использовала движок, который преобразует видео в текст, создавая подписи и метки на основе видеоданных.
Хотя OpenAI не раскрыла точное количество видео, использованных в процессе обучения, считается, что речь идет о миллионах видеозаписей. Некоторые эксперты предполагают, что OpenAI могла также использовать синтетические данные из инструментов для разработки видеоигр, таких как Unreal Engine.
На протяжении этапа обучения эксперты по безопасности и специалисты «красной команды» принимали активное участие в мониторинге, маркировке и предотвращении любого потенциального неправомерного использования, связанного с дезинформацией, предвзятостью или ненавистным содержанием, проводя тщательные противоборственные испытания. Видео, созданные Sora, содержат метаданные, подтверждающие их искусственное происхождение, и используются классификаторы текста, чтобы гарантировать соответствие запросов к политике использования.
По словам представителей OpenAI, после выпуска Sora будет действовать строгий контентный фильтр. Эти ограничения исключат возможность создания изображений реальных людей и запретят контент, содержащий жестокость, сексуальные темы, ненавистную символику, сходства с известными личностями или использование интеллектуальной собственности других, такой как логотипы и продукция. Это подобные ограничения, с которыми сталкивалась DALL-E 3.
В настоящий момент Sora не доступна широкой публике. После тестования, дотсуп к нейросети будет будет расширен до небольшой группы визуальных художников, дизайнеров и кинематографистов, чтобы оценить, как эти творческие профессионалы могут использовать инструмент в своей работе.
Ожидается, что в конечном итоге Sora станет доступна для широкой публики, но учитывая её мощные функции, предполагается, что она будет работать по модели оплаты за использование, подобно GPT.
Чего ожидать от Sora?
Из уже опубликованных видео становится очевидно, что Sora значительно превосходит все предыдущие попытки создания видео на основе искусственного интеллекта. Теперь Sora производит видео с точным освещением, отражениями и реалистичными человеческими выражениями лица.
Тем не менее, Sora не без изъянов. Просматривая серию видео, созданных Sora, можно легко заметить такие ошибки, как части тел, которые исчезают и появляются вновь, персонажи, возникающие буквально из воздуха, и ноги, которые кажутся парящими над землей. Пока что нам доступен только ограниченный набор видео от OpenAI, но когда доступ будет предоставлен широкой публике, вероятно, появятся и другие несовершенные видео, которые покажут как сильные, так и слабые стороны модели.
Несмотря на эти недостатки, несомненно, что Sora является прорывом в своей области. Потенциал этой генеративной модели огромен. В базовом варианте Sora позволяет создавать видео по текстовым запросам, хотя насколько она будет полезна в реальном мире, пока остаётся под вопросом. Хотя изображения, созданные искусственным интеллектом, еще не заменили фотографов и других творческих профессионалов, их использование становится всё более распространённым, особенно в интернете.
Возможности Sora могут потенциально упростить производство видео и создание спецэффектов, сокращая необходимость в специализированном программном обеспечении. Кроме того, OpenAI рассматривает Sora не только как инструмент для создания видео, но и как симулятор для искусственных процессов, таких как видеоигры.
Однако мощность таких технологий также вызывает беспокойство в связи с возможностью создания дипфейков. Хотя существующие инструменты уже облегчают их создание, текстовые видеомодели, такие как Sora, могут сделать производство реалистичных дипфейков ещё более доступным для тех, кто имеет злые намерения. Хотя качество видео пока что не идеально, это лишь вопрос времени, прежде чем оно улучшится, что представляет собой значительные вызовы в различении видео, созданного ИИ, от настоящих кадров.
OpenAI ввела строгие меры безопасности для предотвращения злоупотреблений своими моделями, стандарт, который не всегда соблюдается другими платформами, использующими аналогичные открытые модели. Предстоящие годы могут оказаться сложными, поскольку общество адаптируется к возрастающей лёгкости и доступности создания поддельных видео.
