Команда исследователей Google AI (Brain Team) представила новую технологию масштабирования изображений на базе диффузионных моделей. В ней используются алгоритмы искусственного интеллекта, которые генерируют фотографии высокой чёткости из снимков с низким разрешением. Потенциальное применения этой технологии — восстановления старых фотографий, а также улучшение медицинских изображений.
Google изучает эту концепцию с 2015 года, когда она впервые была предложена. Однако до недавнего времени она уступала методам глубокого обучения — так называемым глубоким генеративным моделям. Компания обнаружила, что результаты нового подхода превосходят все существующие технологии.
Brain Team представила две модели. Первая называется SR3 (или апскейлинг посредством повторного уточнения), и она генерирует изображение с высоким разрешением из чистого шума, взяв за основу изображение с низким разрешением. SR3 хорошо работает при масштабировании портретов и пейзажей. Результаты действительно впечатляют.
Вторая модель под названием CDM использует каскадный подход. Она обучена на данных ImageNet для создания реалистичных изображений с высоким разрешением. Сначала она генерирует данные с низким разрешением, а затем постепенно повышает разрешение сгенерированного изображения до самого высокого значения. Компания Google опубликовала набор примеров, демонстрирующих работу этой модели. К примеру, фото 32×32 может быть увеличено до 64×64, а затем до 256×256, а фотография 64×64 может быть увеличена до 256×256, а затем до 1024×1024. То есть с помощью этой технологии можно повысить разрешение изображения в 16 раз.
Google изучает эту концепцию с 2015 года, когда она впервые была предложена. Однако до недавнего времени она уступала методам глубокого обучения — так называемым глубоким генеративным моделям. Компания обнаружила, что результаты нового подхода превосходят все существующие технологии.
Brain Team представила две модели. Первая называется SR3 (или апскейлинг посредством повторного уточнения), и она генерирует изображение с высоким разрешением из чистого шума, взяв за основу изображение с низким разрешением. SR3 хорошо работает при масштабировании портретов и пейзажей. Результаты действительно впечатляют.
Вторая модель под названием CDM использует каскадный подход. Она обучена на данных ImageNet для создания реалистичных изображений с высоким разрешением. Сначала она генерирует данные с низким разрешением, а затем постепенно повышает разрешение сгенерированного изображения до самого высокого значения. Компания Google опубликовала набор примеров, демонстрирующих работу этой модели. К примеру, фото 32×32 может быть увеличено до 64×64, а затем до 256×256, а фотография 64×64 может быть увеличена до 256×256, а затем до 1024×1024. То есть с помощью этой технологии можно повысить разрешение изображения в 16 раз.
