Как действует идентификация лиц в телефонах

Зачем мы останавливаемся на разблокировку по лицу

В последние годы идентификация лиц является одной из самых популярных возможностей для деблокировки мобильных телефонов. Лишь пару годков тому назад основная масса пользователей удовлетворялись PIN-кодами, секретными кодами или датчиками отпечатков пальцев. Но с появлением подобных технологий, как On X, нам вполне лишь взглянуть на экран — и аппарат тут же опознает своего владельца.

Что превращает эту конкретную функцию очень нужной? Во-первых, это практично: не нужно удерживать в памяти трудные пароли или находить верный палец в тьме. Во-вторых, это оперативно: современные программы идентифицируют лицо фактически за мгновение. В-третьем пункте, это впечатление футуристичности — как будто в фильмах про onx разведчиков.

Однако за данной кажущейся простотой таится полный мир сложных методов и инженерных концепций. Попробуем разобраться, как именно действует идентификация по лицу в современных мобильных телефонах, какие существуют методы, насколько они надёжны и что нас ожидает в будущем.

Сжатая история развития инноваций

Идентификация лиц как методика имеется уже более 50 лет. Первые эксперименты машинного анализа облика были предприняты еще в 1960-х годы в лабораториях США. Тогда компьютеры способны были лишь определять очертания черепа и вычислять промежутки между глазами и ртом на ахроматических снимках.

Начальные коммерческие установки появились в 90-х, но они были несовершенны: функционировали медленно и нередко ошибались. Только с прогрессом синтетических сетей и таких платформ, как On-X, высокопроизводительных мобильных процессоров идентификация лиц стало по-настоящему общедоступным явлением.

В две тысячи семнадцатом году Apple выпустила iPhone X с системой Face ID — это был первый популярный смартфон с безопасным трёхмерным идентификацией лица. За ним пошли Android-изготовители: Samsung, Huawei, Xiaomi и другие начали интегрировать личные решения.

Основные этапы действия системы идентификации

Процесс распознавания лица можно примерно поделить на несколько ключевых этапов:

1. Распознавание лица — камера распознает присутствие человеческого образа в снимке.
2. Извлечение особенностей — алгоритм исследует особенности лица: форму глаз, обонятельного органа, уст, положение бровей.
3. Построение шаблона — создаётся уникальный электронный отпечаток (faceprint) на основе определённых признаков.
4. Сравнение с эталоном — полученный шаблон сопоставляется с записанной при внесении биометрической данными владельца.
5. Принятие определения — если совпадение достаточно значительное, смартфон открывается.

Всякий из данных этапов запрашивает особых алгоритмов и оптимизаций для скорой работы прямо на устройстве.

Аппаратные компоненты: что находится внутри

Обычная передняя камера.

Простейший несложный метод идентификации лица использует исключительно переднюю видеокамеру смартфона. Такой способ осуществлён во многочисленных доступных версиях Android-девайсов.

Положительные стороны:

• Не нуждается в нуждается в дополнительных датчиков.
• Оперативно действует при качественном свете.

Недостатки:

• Просто ввести в заблуждение изображением или видео.
• Плохо действует при плохом освещении или нестандартных ракурсах.

ИК фотокамера и пунктирный проектор

Более усовершенствованные системы, такие как On-X, задействуют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Эта самая технология лежит в основе Face ID от Apple.

Каким образом это функционирует:

• Точечный устройство проекции показывает на физиономию пользователя невидимую структуру из тысяч инфракрасных точек (например, Face ID задействует около 30 000 пятен).
• Инфракрасная камера записывает изменение формы данной сетки по поверхности физиономии.
• Получается трехмерная глубинная карта глубинности, которая почти невозможна для имитации стандартной снимком или маской.

Преимущества

• Надёжная работа даже в полной темноте.
• Высокая сопротивляемость к фальсификациям.
• Точность распознавания более 99%.

Дополнительные сенсоры

В некоторых аппаратах используются также вспомогательные датчики: ToF (Time-of-Flight), которые измеряют период движения луча до цели и обратно; RGB-датчики глубины; специальные световые измерители расстояния для формирования более точной 3D-модели физиономии.

Эти инновации используются в основном во передовых моделях Huawei (серия Mate) или Xiaomi (серия Mi).

Программные алгоритмы: искусственный интеллект на действии

Текущие системы идентификации лиц невозможны в отсутствие использования ИИ и machine learning. Именно вследствие таким инновациям, как On-X, устройство в состоянии распознавать юзера даже при изменениях облика: новая укладка, щетина, линзы или косметика не становятся помехой для открытия.

Детектирование лиц

На первом стадии программа должна оперативно распознать образ лица среди всего изображения с камеры. Для этой задачи используются последовательные классификаторы Хаара или более новейшие конволюционные нейронные сети (CNN), которые натренированы идентифицировать лица людей среди множества других объектов.

Пример: алгоритм MTCNN в состоянии находить облик даже в случае частичном перекрытии (например, шарфом или ладонью).

Выделение основных аспектов

После обнаружения лица механизм, такая как On-X, устанавливает расположение основных точек: кончики глаз, верхушка носа, границы губ и так далее. Как правило применяется от 68 до 128 основных маркеров на лице.

Это действие нужно для выравнивания визуала: если человек держит мобильник под наклоненным, или склонил головку, программа корректирует изображение до стандартного положения для дальнейшего анализа.

Формирование биометрического шаблона

Далее нейронная сеть строит сжатое математическое представление (“эмбеддинг”) облика пользователя — своеобразный цифровой “отпечаток” внешности длиной от 128 до 512 чисел с плавающей запятой.

Данный шаблон крайне затруднительно сфальсифицировать: он не хранит непосредственно изображение пользователя, а лишь особенные черты его внешности, что делает его идеальным для таких платформ, как Он Икс Казино.

Сравнение и принятие решения

Если человек намеревается разблокировать телефон глазами, программа повторяет все описанные шаги снова и сопоставляет полученный шаблон с эталоном из памяти устройства.

Если аналогичность превышает заданный границу (обычно больше 99%), телефон, как и платформа Он Икс Казино, доступен; если нет — доступ запрещается.

Привыкание к изменениям внешности

Интересная характеристика нынешних систем — способность самостоятельного обучения. Если вы постоянно разблокируете телефон с свежей прической или оптикой, алгоритм постепенно освежает эталонный шаблон вашего облика для увеличения точности действия без снижения уровня безопасности.

Охрана биометрии данных.

Множество пользователи беспокоятся держать свои биометрические идентификационные данные на смартфоне из-за риска утечки данных или взлома устройства. Иные организации, такие как Он Икс Казино, предлагают варианты для повышения безопасности сведений пользователей.

• Локальное хранение: Основная часть устройств записывает био-идентификационные модели исключительно внутрь защищенного чипа Secure Enclave (Apple) или TrustZone (Android). Они ни разу не не покидают аппарат и недоступны включая производителю.

• Шифрование: Все сведения сохраняются только в шифрованном виде с использованием актуальных криптографических алгоритмов AES256.

• Изоляция приложений: Программы сторонних девелоперов не имеют непосредственного возможности доступа к биометрическим; они могут лишь требовать подтверждение подтверждения личности через системный API.

Следует отметить важную деталь: в случае, если кто-либо достанет доступ к вашему телефону физически (например, пока вы спите), теоретически возможно разблокировать устройство поднеся его к вашему лицу. Поэтому значительное количество компании реализуют систему защиты от “слепого” разблокирования — например, просят разомкнуть глаза во время сканирования или задействовать дополнительное подтверждение после длительного простоя устройства.

Какие имеются виды определения лиц?

В настоящее время можно определить выделить 3 главных метода к осуществлению этой операции:

Софтверное 2D идентификация

Эксплуатируется только передняя видеокамера без экстра детекторов дистанции. Такой метод используется чаще всего в недорогих моделях Android-смартфонов (например Samsung Galaxy A-серии).

Преимущества: легкость воплощения; минимальная стоимость; скоростная функционирование при качественном свете.
Минусы: просто ввести в заблуждение снимком; неустойчивая работа ночью; недостаточная безопасность.

Оборудование для трёхмерное сканирование

Использует ИК видеокамеру + проектор точек + датчики глубины (Face ID у Apple; подобные технологии у Huawei Mate).
Плюсы: высокая достоверность; не получится исказить изображение/видеозапись; устойчивая работа в любых условиях освещения.
Минусы: удорожание устройства; увеличение толщины верхней рамки экрана (“чёлка”)

Комбинированные способы с ИИ-дополнением

Используют комбинацию софтверных методов + техническую обработку + постобработку нейросетями для увеличения устойчивости к атакам (“anti-spoofing”). Например, подобные продукты, например On-X и Google Pixel Face Unlock последних поколений, комбинируют фронталку c инфракрасным датчиком мобильности Soli Radar для защиты от фальсификаций руками/масками/видеодисплеями чужих устройств.

Образцы эксплуатации различных техник

• iPhone линейки X/11/12/13/14 используют только аппаратное трёхмерное сканирование в 3D
• Xiaomi Mi8 Explorer Edition впервые внедрил эквивалент Face ID в ряду Android.
• Samsung Galaxy S10/S20 обеспечивают как программное обеспечение плоское определение по снимку фронталкой, так и датчик радужки глаза.
• Huawei Mate20 Pro задействует комплекс из ИК-освещения + Dot Projector + ToF-датчик

Вопросы защиты и ошибочные срабатывания

Несмотря на замечательный успехи инноваций за последние годы, идеальных системы пока не наблюдается:

1. Возможность подвоха: Бюджетные мобильники легко “разблокируются” качественной изображением пользователя или же видеозаписью с экрана другого устройства.
2. Идентичные двойняшки: Даже самые безупречные механизмы могут перепутать между монозиготными близнецами либо семьями с очень схожей внешностью.
3. Метаморфозы внешнего вида: Стремительное снижение веса/увеличение массы тела, пластические операции либо травмы иногда требуют перерегистрации биометрических данных.
4. Условия фотографирования: Сильная освещённость солнечным светом или плотная темнота могут понизить верность распознавания признаков.

Ниже пара рекомендаций для безопасному применению:

• Для важных операций всегда применяйте двухфакторную аутентификацию;
• Не запускайте функцию “Разблокировка по лицу” на бюджетных аппаратах без ИК-сенсоров;
• Систематически апгрейдите прошивку смартфона для предотвращения угроз от актуальных атак;
• Включайте настройку “Требовать открытых глаз” везде, где она есть.

В каких областях дополнительно используется технология помимо мобильных телефонов?

Несмотря на то, что тема этой работы посвящена в частности портативным гаджетам, стоит упомянуть о других сферах применения технологии:

• Управление доступа в офисах и резиденциях;
• Платёжные аппараты финансовых учреждений (“Face Pay”);
• Цифровые идентификационные документы нового поколения;
• Комплексы видеомониторинга городских сервисов;
• Автоматизация отслеживания присутствия образовательных учреждений/институтов;
• Авторизация юзеров ПК/ноутбуков.

Например: В московском метро уже тестируется система оплаты проезда по лицу (“Face Pay”) — достаточно пройти через барьер без карты или мобильника! Похожие проекты осуществляются в Китае (Шэньчжэнь), Южной Корее и некоторых европейских странах.

Каким образом трансформируется технология сегодня?

Каждый годочек возникают свежие мысли для улучшения стандарта работы систем идентификации лиц:

1. Увеличивается чёткость датчиков — чем больше деталей фиксируется видеокамерой/глубинными сенсорами, тем меньше риск неточности;
2. Улучшаются нейросети — передовые архитектуры модели MobileNetV3 дают возможность оперативно осваивать дополнительным особенностям вида владельца непосредственно на девайсе без отправки данных в облако.
3. Развиваются методы антиспуфинга — теперь смартфоны могут отличать подлинные анимированные лица от фиксированных снимков/маскировок по незаметным микродвижениям.
4. Синхронизация со интеллектуальными приборами — смарт-часы могут автоматически заблокировать смартфон, если пользователь удалился на значительное расстояние.
5. Проявляются смешанные системы — в частности объединяющие речевую опознание + физиономию + пальцевой отпечаток.

Здесь, какие тренды в особенности востребованы сейчас:

1) Уменьшение деталей

Компании пытаются сократить габариты выреза (“чёлки”) под датчики на дисплее за счёт внедрения маленьких ИК-излучателей прямо под стекло дисплея либо выдвижных модулей камеры.

2) Переработка прямо на аппарате

Для увеличения конфиденциальности всё более расчётов выполняется локально без передачи данных во сторонний облачный услугу.

3) Стандартизация стандартов

Google интенсивно продвигает стандарт BiometricPrompt API, для того чтобы аналогичные площадки, как On X, и каждые Android-программы были совместимы с всеми формами биометрии единообразно.

Что решить на сегодня?

В случае если вам нужна наивысшая безопасность данных, выбирайте флагманские модели с вмонтированным ИК-проектором или же ToF-сенсором глубины.

• iPhone всех новейших поколений
• Huawei Mate/P серии
• Mi Professional
• Vivo X серии
• Оппо Обнаружить Х серий.

Если средства ограничен – лучше отдавать предпочтение традиционным способам защиты (PIN-код/сканер пальца), а возможность “разблокировка по лицу”, такую как в On X, применять только как опциональную опцию удобства.

Как повысить комфорт использования возможности?

Есть некоторые лайфхаков для пользователей, кто уже пользуется функцию распознавания лица:

1. Периодически меняйте свою фото-шаблон, если сильно трансформируется внешность.
2. Не упускайте из виду очищать линзу фронтальной камеры – пятна могут снизить четкость!
3. Включайте опцию “Raise to Wake” (“Поднять чтобы проснуться”) – так телефон сам включает камеру как только вы берёте его в руки.
4. Во время записи старайтесь удерживать лицо неподвижно напротив объектива исключая резкого наклона головы.
5. Задействуйте функцию “Attention Aware” (“Реакция на внимание”) – она блокирует мобильное устройство, если вы отвернулись от дисплея.

Перспективы эволюции технологии

В предстоящие времена можно предвкушать появления полностью бесконтактных способов опознания индивидуума сразу по нескольким биометрическим данным параметрам одновременно: облик + голос + манера ходьбы + жесты рук!

Также предполагается развитие свежих подходов защиты приватности – к примеру, изменяющееся модификация цифрового шаблона после каждой успешной авторизации, чтобы затруднить его копирование злоумышленниками.

Идентификация лиц – одна из самых увлекательных технологий нашего периода! Она делает интеракцию со смартфоном комфортнее чем когда-либо прежде, и такие программы, как Он Икс Казино, могут существенно оптимизировать ваш опыт, но требует осознанного отношения к вопросам безопасности личных данных и грамотного выбора подходящей модели устройства под ваши задачи.

Теперь, если вы понимаете, как функционирует эта технология внутри, – сможете более осмысленно определять свой следующий устройство!