Нейромережу навчили в реальному часі перетворювати малюнки в фотографії
Київ • УНН
КИЇВ. 29 вересня. УНН. Американські та британські розробники створили додаток, в якому користувач може зробити малюнок і відразу ж отримати зображення, створене нейромережею на його основі. Алгоритм складається з двох частин, одна з яких домальовує малюнок, а друга перетворює домальовану картинку в фотографію. Розробка буде представлена на конференції ICCV 2019. Про це повідомляє УНН спираючись на статтю про цю технологію, що була опублікована на arXiv.org, а також на науково-популярний портал N+1.
“Протягом останніх років розробники створили безліч алгоритмів для генерації зображень, які деколи складно відрізнити від реальних фотографій. Наприклад, помітних результатів досягли розробники з NVIDIA, навчили нейромережі синтезувати фотографії неіснуючих людей, а також реалістичні відеоролики. Пізніше розробники стали створювати доступні звичайним користувачам програми, в яких т перетворити простий начерк або кольоровий малюнок в фотореалістичні зображення. Однак ці програми працюють або не в реальному часі, або вимагають від користувача самостійно малювати повний нарис”, — йдеться у повідомленні порталу.
Таким чином, розробники під керівництвом Елі Шехтман з Adobe Research створили додаток, який в реальному часі самостійно домальовує малюнок і перетворює його в синтезовану фотографію. Додаток складається з двох вікон і допоміжних кнопок. У першому вікні користувач малює начерк, а в другому бачить створене нейромережею зображення. Для початку користувач вибирає клас об’єкта, наприклад, ананас, і алгоритм відразу ж видає типовий для нього малюнок. Після початку малювання нейромережа постійно оновлює начерк, доповнюючи частина, намальовану користувачем.
ЧИТАЙТЕ ТАКОЖ: Створено нейромережу, яка дозволяє змішувати усі живі істоти та об’єкти в одне зображення
Автори розбили проблему на дві частини і використовували для її вирішення зв’язку з двох генеративно-змагальних нейромереж. На першому етапі алгоритм, навчений на начерках певного класу, отримує первісний начерк користувача і домальовує його до повного. На другому етапі на основі домалювати начерку формується реалістичне зображення.
Розробники створили власну базу для навчання нейромереж, що складається з фотографій і начерків об’єктів десяти типів. Начерки створювалися автоматично на основі контурів об’єктів на фотографіях. У своїй роботі автори провели тестування двох схем, і створили не тільки десять окремих нейромережевих моделей для кожного класу, а й многоклассовий генератор, який створює різні зображення в залежності від умовного вектора.
Як відзначають у виданні, цікавим є те, що існує і зворотний проект, який перетворює фотографії в ескізи.
“У минулому році австралійський інженер створив картонну камеру, яка після натискання кнопки знімає фотографію, перетворює її в начерк, а потім відразу ж друкує на вбудованому термопринтері”, — резюмує портал.
Нагадаємо, штучний інтелект навчився створювати портрети неіснуючих людей в повний зріст.
