Запрашиваете у нейросети открытку ко дню рождения с подписью «С днём рождения, Маша», а получаете «C дhём pождehя, Mаwа». Буквы кривые, слова — нечитаемая каша. Хотели открытку — получили современное искусство.
Это не случайность. Большинство моделей для генерации изображений обучаются на открытых датасетах, в которых русский язык представлен слабо. Английские надписи получаются плюс-минус сносно, а с русскими модель буквально не знает, как они должны выглядеть.
Мы взялись за эту задачу в Алисе AI и хотим рассказать, что получилось.
1/6
Что сделали
Собрали новый датасет — картинки с русскоязычными надписями и детальной разметкой текста. Параллельно переписали архитектуру модели Alice AI ART, которая отвечает за генерацию изображений.
В итоге картинки с корректным русским текстом — без кривых букв и нечитаемых символов — стали получаться в 3 раза чаще, чем раньше. Заодно подтянулось и общее качество: доля картинок без визуальных искажений выросла на треть.
Как пользоваться, чтобы получилось хорошо
Тут несколько простых приёмов, которые сильно повышают шансы на нормальный результат:
-
Текст в кавычки. Если хотите конкретную надпись на картинке — напишите её в кавычках в запросе. Модель так понимает, что это именно текст, а не описание.
-
Сложные слова — заглавными. Если слово длинное или редкое, заглавные буквы помогают модели не запутаться.
-
Длинные надписи — на короткие фразы. Чем короче кусок текста, тем больше шансов, что он отрисуется без ошибок. Если нужна большая надпись, разбейте её на несколько частей.
С этими тремя приёмами уже можно делать постеры, афиши и открытки, которые не стыдно показать.
Заодно подтянули русский культурный код
Это, кажется, отдельная боль всех нейросетей: попросишь «русский народный ансамбль» — а на картинке люди, отдалённо напоминающие участников фолк-фестиваля где-нибудь в Скандинавии.
Мы дообучили модель на русскоязычных промптах и добавили систему, которая превращает общие запросы в более конкретные визуальные образы. Теперь по запросу «русский народный ансамбль» получаются гармонисты и балалаечники. «Традиционный русский праздничный стол» — это икра, соленья и самовар. А на иллюстрациях про космос появляются российские космонавты, а не безликие астронавты в скафандрах непонятной страны.
Где это работает
Новая модель уже работает в чате с Алисой AI — попробовать можно прямо сейчас.
Реклама ООО «Яндекс», ИНН: 7736207543 erid:3apb1QrvkfDXctBjSXMMdCHhrNy7KqAGzLrvTiV31SHdc
