вдається

Кайвен Го та ін./SIGGRAPH Азія 2019

Інженери Google дізналися, як створити реалістичну модель людини, що рухається, та вбудувати її у віртуальний простір, змінивши освітлення моделі. Вони створили кабінку з кількома десятками камер і сотнями контрольованих джерел освітлення, всередині яких знаходилася людина. Розробка буде представлена ​​на конференції SIGGRAPH Asia 2019, а стаття про неї опублікована на веб-сайті авторів.

Контекст

Протягом багатьох років технології для зйомки руху та створення віртуальних аватарів використовуються в різних сферах. Деякі з них засновані на фіксації рухів обличчя та інших частин тіла, записи яких використовуються для анімації іншого персонажа. У випадках, коли важливо підтримувати зовнішній вигляд людини, використовуються багатокамерні системи.

Деяким розробникам у цій галузі вдалося отримати досить якісні результати. Наприклад, на деяких спортивних стадіонах Intel використовує систему, яка дозволяє відображати повтори з будь-якого кута. Однак такі системи не можуть збирати дані про оптичні властивості об'єктів, а модель, отриману з їх допомогою, не може бути реально перенесена в середовище з іншим освітленням.

Новинка Google

Група інженерів Google на чолі з Полом Дебевеком та Шахрамом Ізаді створили кабіну та програмне забезпечення, що дозволяє створити модель, яка реалістично відображає як форму, так і оптичні властивості людини в русі, а також перенести цю модель в інше середовище та відрегулюйте освітлення відповідно до нього.

Стенд має майже сферичну конструкцію з отвором, через який проникає людина. У стійках, що складають сферу, встановлено 331 освітлювальний блок, кожен з яких складається з окремих світлодіодів певного кольору, 42 кольорові камери, а також 16 блоків захоплення глибини, кожен з яких складається з кольорової та двох інфрачервоних камер та одного інфрачервоного лазера проектор. Оскільки система створює великий обсяг даних, їх обробка здійснюється на серверах у хмарі.

Під час роботи лазер проектує інфрачервоний малюнок, що складається з тонких ліній. Завдяки цьому система може відновити форму людини з високою точністю, порівнюючи отримані інфрачервоні дані з вихідним малюнком.

Схема системи.
Кайвен Го та ін./SIGGRAPH Азія 2019

Світлодіоди проектують світло з бажаним просторовим розподілом, і швидко (60 разів на секунду) чергуються два протилежні кольорові градієнти. Це дозволяє створити не тільки карту розподілу кольорів на тілі та одязі, а й карту відбиття, яка дозволяє програмно змінювати освітлення людини, реально інтегруючи його в нове середовище.

Також додаток

Автори порівняли їх розробку з попередніми подібними системами. Нова система дозволяє отримати модель з більш високою роздільною здатністю, а також меншою кількістю артефактів. Крім того, він набагато краще працює з предметами, що швидко рухаються, наприклад, кинутим м’ячем.

Розробники також створили демонстраційний додаток, який працює в режимі доповненої реальності та реалістично інтегрує модель людини та відображає її на передній панелі телефону. Він працює на основі попередньої розробки, яка визначає характеристики освітлення та відбиття об'єктів відповідно до даних камери.

На початку цього року група Пола Девебека представила чергову розробку апаратного та програмного забезпечення, яка забезпечує незвичайні візуальні ефекти. Вони зібрали прототип камери світлового поля з 16 GoPro та використали алгоритми, щоб поділити сцену на окремі кадри, упорядковані в міру віддалення від камери.

Віктор Роман
Ця новина була спочатку опублікована в N + 1, наука, яка додає.