Новое приложение от Google — Lyria Camera: музыка, генерируемая через объектив смартфона

Команда Google DeepMind анонсировала приложение Lyria Camera, которое в реальном времени создаёт музыку на основе того, что видит ваша камера. Проще говоря, оно превращает окружающую действительность в уникальный, постоянно меняющийся саундтрек.

Наводите камеру на что угодно — городскую улицу, страницу скетчбука или тарелку с завтраком, — и приложение начинает генерировать музыку, отражающую настроение сцены. Под капотом две мощные технологии: Gemini, который анализирует изображение и описывает его музыкальными терминами, и Lyria RealTime API, который превращает описания в непрерывный поток звука.

Разработчики предлагают несколько сценариев использования, которые отлично демонстрируют потенциал приложения:

• Мелодии можно искать в рисунках, интерьере или случайном узоре.

• Направьте камеру в окно поезда или закрепите телефон над приборной панелью автомобиля. Lyria Camera будет реагировать на меняющийся пейзаж.

• На десктопе можно использовать функцию «Поделиться экраном», чтобы вместо камеры использовать вкладку браузера или любое другое окно. Попробуйте запустить приложение во время работы или игровой сессии — и получите уникальный саундтрек к процессу.

В основе Lyria Camera лежит связка AI‑моделей, создающая бесшовный аудиовизуальный цикл.

• Gemini анализирует видеопоток с камеры и переводит кадры в текстовые описания, но не просты, а связанные с музыкой. Например: «Задумчивое фортепиано, спокойствие городского пейзажа». Эти описания становятся инструкциями для следующего шага.

• API Lyria RealTime производит бесконечный поток аудио, который можно «направлять». Когда промпты от Gemini меняются, музыка плавно трансформируется, подстраиваясь под новое описание без пауз и скачков.

Lyria Camera — это демонстрация возможностей новой Lyria RealTime API, которая теперь доступна для разработчиков. Google создала этот демо‑проект, чтобы показать потенциал непрерывной и управляемой генерации музыки

• Попробовать Lyria Camera можно на смартфоне или компьютере.

• Разработчикам, готовым экспериментировать, стоит изучить документацию Lyria RealTime API на платформе Google AI Studio.

Делегируйте часть рутинных задач вместе с BotHub! Для доступа к сервису не требуется VPN и можно использовать российскую карту. По ссылке вы можете получить 100 000 бесплатных токенов для первых задач и приступить к работе с нейросетями прямо сейчас!

ИСТОЧНИК