Технологія накладення масок базується на платформі розпізнавання осіб LUNA. Спеціальний алгоритм накладає на обличчя користувача в реальному часі 2D- і 3D-маски, які підлаштовуються до міміки і рухів голови. Рухи і міміка визначаються по ключових точках на очах, щоках, бровах, лобі і носі.

Народження нової маски — все починається з ідеї

Все починається з ідеї. В першу чергу потрібно відповісти на питання, що ми хочемо побачити в результаті? Наприклад, Снігуроньку або робота. Для створення конкретної маски Hi-Tech дизайнери надихалися популярними нині трендами: серіалами «Світ дикого Заходу», «Привид в обладунках», а також останніми досягненнями світу нейромереж і біомеханічними татуюваннями. В результаті з’явилася ідея маски кіборга — людиноподібного робота.
малюнок

Відштовхуючись від ідеї, дизайнер малює від руки ескізи, з яких вибирається один. Він береться за основу для всієї подальшої роботи.

Комп’ютерна модель

Від ручної роботи дизайнер переходить до комп’ютерного втілення свого начерку. Скетч накладається на 3D-модель особи. На даному етапі відбувається уточнення початкового зображення, додаються нюанси і деталі, змінюється колірна гамма. Проміжні варіанти «приміряються» на фотографії і в разі потреби знову вносяться правки в концепцію майбутньої маски.

Після остаточного затвердження колірних рішень, відбувається «розфарбування» ескізу, після чого той знову накладається на модель особи.

Технічно малювати маски не складно. Але оскільки напрямок нове, немає точних рецептів, що спрацює, а як робити не варто. Доводиться думати, що повеселила б тебе самого, чим би захотілося поділитися. Дякую Hi-Tech Mail.Ru за відкритість експериментам і команді ICQ за блискавичну технічну реалізацію. Вийшло круто!

Так наша маска наближається до свого кінцевого поданням. По ходу роботи дизайнер пробує різні фільтри, щоб подивитися, як може виглядати маска вже в «робочому» варіанті користувача.

Після того як ескіз прийнятий, його розбирають на «шматочки», щоб зрозуміти, які технології слід використовувати для створення елементів маски.
— «Грімм» — програма визначає контрольні точки на обличчі, до яких прив’язується еталонна, алгоритмічно отримана вченими модель «усередненого» особи, на яку накладено намальована художниками текстура. Ця модель адаптується під риси обличчя і копіює міміку і рухи обличчя користувача
— 2D- або 3D-зображення, які накладаються на контрольні точки на обличчі. Вони можуть бути статичними або анімованими
— Фонові деталі (мерехтіння, метелики, сніжинки і т.д.)

Далі починаються робочі тести, які дозволяють в «лайв» подивитися перший прототип нашої маски в роботі.

Коли перша версія всіх графічних файлів готова, допомогти їй «ожити» в додатку — завдання технічних фахівців.
Дизайнер віддає всі файли в форматі PNG технічного художнику, який повинен «зібрати» маску в єдине ціле.
Згідно обраним технологіям в спеціальному файлі .json прописуються правила (режим, порядок накладення і т.п.), за якими маска накладається на обличчя.
«JSON (JavaScript Object Notation File) — визначає невеликий набір правил форматування для портативного уявлення структурованих даних».
Далі наша маска потрапляє в тестове додаток, де її можна «приміряти» на себе. За результатами знову відбуваються коригування.
Наприклад, на нашій масці за результатами тестування зменшили розміри проводів, які «підключені» до користувача.
Подібних змін можуть бути десятки, поки результат не стане ідеальним.

Далі папка з .json файлом і зображеннями в PNG заливається програмістами на сервер.
Додаток «розуміє», що йому потрібно оновити файли. Після того, як файли буде завантажено, у користувача на екрані загориться індикатор, що сигналізує про те, що з’явилися нові маски.
Я — кіборг! майбутнє настало!) здорово бачити, коли колеги експериментують з добре знайомими технологіями і отримують такі круті результати.