Что такое биометрия видео
Биометрия и биометрические данные: что это такое и безопасно ли это?
Биометрические данные являются частью передовых технологий. Проще говоря, биометрия — это любые показатели, связанные с человеческими особенностями. Наиболее распространенными примерами биометрической системы распознавания являются отпечатки пальцев и технология распознавания лиц. Как новая технология, биометрические системы могут повысить удобство, заменяя пароли и помогая правоохранительным органам поймать преступников. Биометрические идентификаторы также выполняют функцию контроля доступа в безопасной среде, как физической, так и цифровой. Но первый вопрос, который вы должны задать: защищены ли мои биометрические данные от кражи?
Что такое биометрия и для чего используются биометрические данные?
Биометрия — это способ измерения физических характеристик человека для проверки его личности. Они могут включать физиологические признаки, такие как отпечатки пальцев и глаза, или поведенческие характеристики, которые оценивают уникальное поведение и подсознательные движения человека. Для того, чтобы биометрические данные были полезными, они должны быть уникальными, постоянными и собираемыми. После измерения, информация сравнивается и сопоставляется в базе данных.
Каждый раз, когда вы разблокируете экран смартфона с помощью функции распознавания лиц, запрашиваете у голосового помощника прогноз погоды или прикладываете отпечаток пальца на на какое-либо устройство, вы используете биометрические данные. Вы можете использовать эту технологию каждый день для идентификации личности или для взаимодействия с личным устройством, но существует множество других способов использования биометрических данных.
Например, полиция может собирать ДНК и отпечатки пальцев на месте преступления или использовать видеонаблюдение для анализа походки или голоса подозреваемого. В медицине применяется сканирование сетчатки глаза или проводятся генетические тесты. И даже ваша подпись относится к биометрическим данным.
Типы биометрических данных
Распознавание голоса. Измеряет уникальные звуковые волны в голосе во время разговора с устройством. Ваш банк может использовать систему голосового управления для проверки вашей личности при звонках.
Как работает биометрия?
Если вы когда-либо вставляли свой отпечаток пальца в устройство, то у вас возможно сложилось смутное представление о том, как работает биометрия. В основном, вы записываете свои биометрические данные в устройство, в данном случае отпечатки пальцев. Эта информация сохраняется, и к устройству можно будет получить доступ только после сравнения вашего отпечатка и сохраненного. Любой человек в мире может прикоснуться пальцем к сенсорному кругу вашего смартфона и вряд ли сможет разблокировать его.
Отпечатки пальцев — это всего лишь одна из форм биометрических данных. Одной из новых форм биометрической технологии является сканирование глаз. Обычно сканируют радужную оболочку. Почерк и голосовые отпечатки — это другие биометрические данные, которые являются исключительно вашими и иногда необходимы для обеспечения безопасности.
Биометрическая система состоит из трех различных компонентов:
Биометрические данные широко распространены на смартфонах, таких как iPhone Apple и некоторых устройств Android. Ноутбуки и другие вычислительные устройства все больше полагаются на биометрические системы, и эта тенденция только начинается. Биометрическая аутентификация и идентификация являются безопасным способом входа на устройства и в различные службы. Кроме того, это может снять трудности с запоминанием десятков паролей учетных записей.
Конфиденциальны ли биометрические данные?
Когда речь заходит о биометрических данных, существует серьезная озабоченность по поводу конфиденциальности. Некоторые из основных проблем, выявленных с помощью биометрических данных, включают в себя следующие:
Как защитить биометрические данные?
Для защиты биометрических данных, вы можете принять ряд мер по обеспечению их безопасности на основе здравого смысла:
Биометрические данные могут сделать мир более безопасным и удобным. Соблюдение принципов здравого смысла в области безопасности может сыграть важную роль в защите вашей частной жизни.
На видео: Биометрические данные в России
Биометрия в банках: что это, зачем и к чему приведет
Что такое биометрические данные
Биометрические данные — это уникальные физические характеристики человека, которые используются для установления (идентификации) или проверки (аутентификации) личности. К ним относятся лицо, движение губ, сетчатка глаза, отпечаток пальца, рисунок вен и голос.
Зачем банки собирают биометрию
Российские банки собирают биометрические данные клиентов в двух направлениях: для собственных целей, чтобы повысить безопасность, удобство и скорость обслуживания клиентов, а также для Единой биометрической системы (ЕБС), которая была запущена Банком России и «Ростелекомом» летом 2018 года. Эта система позволяет гражданам становиться клиентами банков без посещения офиса за счет удаленной идентификации. В двух этих случаях сдача биометрии для клиентов является добровольной.
Собирать данные в ЕБС (изображение лица и цифровой слепок голоса) по закону должны все банки, однако услуги через ЕБС (открытие счета, выдача кредита и проведение платежей) пока оказывают только несколько кредитных организаций:
Скоро к этому списку должны добавится Росбанк, «Русский Стандарт» и РНКБ. Собственные биометрические проекты реализуют не все участники рынка: из крупнейших игроков это делают Сбербанк, ВТБ, Альфа-банк, Почта Банк и «Хоум Кредит».
Способы использования биометрии кредитными организациями
Как происходит сбор биометрии
Для регистрации в ЕБС необходимо один раз посетить отделение банка с паспортом и СНИЛС, а также иметь подтвержденный аккаунт на сайте госуслуг. Если человек еще не является клиентом банка, ему надо открыть счет. Для сдачи своих данных клиент подписывает согласие на их обработку, после чего сотрудники производят запись образца голоса и делают фотографию. Для записи необходимо прочитать три последовательности цифр. Процедура длится не больше десяти минут. В перспективе сдать данные для ЕБС можно будет в МФЦ или в специальном мобильном приложении, рассказал представитель «Ростелекома».
Процедура сдачи биометрии для собственных систем в каждой кредитной организации может отличаться. Например, ВТБ записывает образцы голоса при общении с оператором. Во время записи разговор может вестись на любую комфортную для пользователя тему, чтобы система могла зафиксировать и записать корректный слепок.
Какими законами регулируется сбор биометрии
В настоящее время работа Единой биометрической системы регулируется двумя законами: «Об информации, информационных технологиях и о защите информации», а также «О противодействии легализации (отмыванию) доходов, полученных преступным путем, и финансированию терроризма». Согласно им, использование ЕБС в новых сферах может определяться только отдельными законодательными актами.
На рассмотрении в Госдуме сейчас находится законопроект о расширении сферы деятельности ЕБС, его принятие позволит использовать систему без необходимости внесения изменений в отраслевое законодательство, а также приведет к появлению внебанковских сервисов, предоставляющих услуги через ЕБС.
Почему немногие хотят сдавать биометрию в банке
Россияне пока с настороженностью относятся к ЕБС: по последним данным «Ростелекома», на август 2020 года в ЕБС было зарегистрировано около 150 тыс. пользователей. Внутрибанковским проектам клиенты передают свои данные охотнее. Так, Сбербанк собрал около 1 млн данных клиентов (точную цифру банк не раскрывает, но всего у него насчитывается 94 млн клиентов), ВТБ — более 130 тыс. У Почта Банка внутреннюю биометрическую идентификацию по изображению лица прошли все клиенты. Несмотря на то, что сдача биометрии является добровольной, отказавшемуся фотографироваться клиенту будет доступен ограниченный перечень услуг, поскольку банк иначе не сможет гарантировать безопасность всех операций, объяснил 100%-ную сдачу биометрии представитель Почта Банка.
Небольшое число клиентов, готовых воспользоваться услугами ЕБС, связано с недостаточной информированностью граждан о такой возможности, считает представитель «Хоум Кредит». По мнению Емельянова из Почта Банка, чтобы применение биометрических шаблонов стало массовым, нужно, чтобы технология вышла широко за пределы банковской индустрии. Как пояснил представитель «Ростелекома», после принятия законопроекта о сферах применения биометрии появятся новые массовые сервисы: оплата по биометрии, дистанционная сдача экзаменов в образовательных учреждениях, сервисы для нотариусов, судопроизводства, а также другие продукты, которые сейчас находятся на стадии проработки — технической и нормативной.
Еще одна причина — сильно преувеличенные страхи, связанные с возможными утечками биометрических данных, добавляет Емельянов. С точки зрения безопасности ЕБС хорошо продумана, говорит руководитель проектов департамента технологического развития СКБ-банка Альберт Усенко. Записанные фото и голос хранятся в виде математической модели, поэтому ее попадание в руки злоумышленников ничего им не даст, объясняет он: «Ценность представляет связка биометрического контрольного шаблона и набор персональных данных пользователей. Поэтому биометрический контрольный шаблон хранится в ЕБС, а набор персональных данных храниться в Единой системе идентификации и аутентификации (ЕСИА). Они обе расположены в разных местах и никак напрямую между собой не связаны».
Биометрические системы — это надежный и апробированный механизм повышения защищенности дистанционного взаимодействия клиентов с организациями, говорит начальник отдела по противодействию мошенничеству Центра прикладных систем безопасности компании «Инфосистемы Джет» Алексей Сизов. Однако, по его мнению, биометрия должна быть дополнительным, а не единственным фактором проверки или подтверждения личности клиента, поскольку фото, видео и голос человека не являются «секретами», как пароли и кодовые слова, а значит, в теории могут быть собраны и использованы без ведома клиентов.
Партнер технологической практики KPMG в России и СНГ Оксана Борисова также видит эффективность применения биометрии в защите от мошенников и считает, что несмотря на риски, ее лучше сдавать для обеспечения безопасности операций и настраивать многофакторное подтверждение проведения операции.
«Наиболее частым сценарием хищения денежных средств является получение данных клиента, необходимых для идентификации и проведения операций в удаленных каналах обслуживания. На сегодняшний день клиент может выбрать различные способы идентификации: обычный PIN-код или пароль, отпечаток пальца, распознавание голоса, проверка с помощью видео и т.д. Ни один из способов не обеспечивает 100%-ную защиту от действий злоумышленников, биометрия — не исключение. Однако использование биометрии в качестве второго или третьего фактора аутентификации может значительно повысить безопасность данных и улучшить клиентский опыт, потому что клиенту не требуется запоминать сложные пароли», — считает Борисова.
Что касается ЕБС, то, по мнению руководителя группы по оказанию услуг компаниям финансового сектора Deloitte Максима Налютина, сдача биометрии важна только в том случае, если клиент собирается активно открывать счета и новые продукты в банках, где он ранее не обслуживался, особенно в условиях эпидемиологических ограничений.
Влияние пандемии на будущее биометрии
Под влиянием пандемии COVID-19 технология начала развиваться быстрее. «За последние полгода по биометрии было предоставлено столько же услуг, сколько за предыдущие полтора года», — пояснил представитель «Ростелекома». Он объяснил это тем, что пандемия сформировала тренд на бесконтактные и дистанционные технологии.
«В сложном 2020 году, когда возникла необходимость перевода всех видов банковских и прочих услуг в дистанционный формат, биометрия стала особенно востребованной. Например, мы наблюдали спрос на использование удаленной идентификации, чтобы стать клиентами банка через мобильное приложение, воспользоваться рядом финансовых услуг, зарегистрироваться и подтвердить учетную запись на портале госуслуг с помощью биометрии», — рассказал директор по инновациям банка «Ак Барс» Дамир Галиев.
ВТБ с помощью голосовой биометрии в контакт-центре уже планирует предоставлять сервисы и услуги, которые ранее были доступны только в офисе, например, разблокировка карт, говорит старший вице-президент банка Чугунов.
Согласно Глобальному исследованию KPMG по банковскому мошенничеству за 2019 год, 67% банковских лидеров инвестируют в инструменты с использованием физической биометрии — голос, отпечатки пальцев, распознавание лиц. Наиболее передовые организации уже вкладываются в развитие более сложной поведенческой биометрии, которая представляет собой сбор уникальных для каждого пользователя набора характеристик, позволяющих составить профиль пользователя и отсеивать мошенников.
Если смотреть на мировой опыт применения биометрии, прежде всего она используется для услуг регистрации новых клиентов в банках и верификации существующих, рассказал руководитель аналитического отдела «Ассоциации ФинТех» Никита Ломов: «Несмотря на то, что пользователи с осторожностью соглашаются на предоставление биометрических данных, мировой опыт показывает, что их использование значительно упрощает процесс взаимодействия клиентов с банками».
Самые известные мировые примеры, по его словам, это:
По аналогии со странами Азии, в России могут начать развиваться сервисы мгновенной оплаты покупок или услуг по индивидуальным чертам лица, считает Ломов:
«Также в ряде европейских стран активно выпускаются биометрические банковские карты, позволяющие пользователям совершать безлимитные операции, для подтверждения которых нужно приложить палец к специальному чипу на карте. Правда, адаптацию данного решения российскими банками предсказать сложно в силу высокого проникновения в России более удобного способа бесконтактной оплаты смартфоном Apple Pay, Android Pay, Samsung Pay и прочих».
Капкан биометрии: Зачем чиновники хотят нас оцифровать?
В правительстве решили резко активизировать сбор биометрических данных. Процесс сейчас продвигается черепашьим шагом. За два года власти рассчитывают увеличить число записей в единой биометрической системе почти в 500 раз, охватив половину населения страны.
«Обиометривание» всех и каждого
Стало понятно, что банки с глобальной задачей сбора биометрических данных не справляются. За 2,5 года работы системы им удалось собрать только 164 тысячи биометрических «слепков» клиентов. Темпы не устраивают ответственное за этот проект Министерство цифрового развития, связи и массовых коммуникаций (к слову, это три совершенно разные сущности) РФ. Там рассчитывают в ближайшие 2 года заполучить данные 70 миллионов граждан России, то есть почти всего трудоспособного населения страны. Поможет в этом увеличение пунктов сбора биометрии офисами МФЦ. Кроме того, оператор реестра единой биометрической системы (ЕБС) «Ростелеком» в настоящее время разрабатывает специальное мобильное приложение для самостоятельной регистрации. Независимый источник в интервью «Коммерсанту» заявил, что в Минцифры планируют ввести «административные меры», в том числе закрыть удалённый доступ к ряду госуслуг гражданам, не сдавшим биометрию. В ведомстве поспешили эту информацию опровергнуть. Однако интернет-омбудсмен, член экспертного совета Агентства стратегических инициатив Дмитрий Мариничев уверен, что такой добровольный порядок сохранится недолго. Скоро биометрические данные вынудят сдавать всех и каждого.
Мы всегда с вами имеем возможность отказаться от обработки наших персональных данных. Но тогда мы не сможем получить услугу со стороны государства или бизнеса. Те, кто откажется от обработки данных, станут изгоями с точки зрения социально-экономических отношений внутри общества.
Эксперты отрасли уверяют: сбор биометрических данных уже вовсю ведётся, и не только банками. Во многих регионах России власти втихомолку изучают индивидуальные особенности населения, заносят в базы данных информацию о нём и при этом не утруждают себя получением разрешения, что, по сути, нарушает федеральный закон. Эксперт по биометрическим системам безопасности Константин Новиков напомнил про камеры в метро.
В метро поставили камеры. Зачем? Человек приходит и прикладывает карту «Тройка» – его в этот момент фотографируют и сопоставляют изображение лица с фамилией, именем и отчеством. Как-то это очень странно выглядит, с моей точки зрения. Мне, например, не нравится это слежение. Это пассивная биометрия. Я не давал своё согласие.
Оператор реестра единой биометрической системы «Ростелеком» никаких странностей не замечает. Президент компании Михаил Осеевский личным примером показал, как легко сдать биометрию, а после сравнил единую биометрическую систему с Международной космической станцией, где безопасность гарантирована и даже избыточна.
Цифровая нагота
Не проходит и месяца, чтобы не появилась новая информация об утечке каких-нибудь баз данных. Но если оказалась скомпрометирована банковская карта, то её можно перевыпустить. Если вскрыты пароли, их можно изменить. Но тембр голоса или отпечатки пальцев перевыпустить нельзя, а потому любая утечка биометрических данных сродни катастрофе для каждого конкретного человека, который, по сути, оказывается беззащитен перед глобальным цифровым миром. Никакой информации о том, как обеспечивается сохранность данных в ЕБС, нет. Константин Новиков рассказал, что использование одновременно сразу нескольких идентификаторов усиливает безопасность, однако о 100-процентной защите говорить всё равно не приходится:
Необходимо предпринимать меры для того, чтобы нельзя было записать голос, например, на диктофон и потом проиграть его в случае, если человек – злоумышленник. Лучше использовать две и более систем идентификации. Например, в дополнение использовать отпечатки пальцев или изображение лица.
Биометрические данные граждан имеют денежный эквивалент. Запрос для подтверждения личности в ЕБС стоит 200 рублей, 100 рублей из этих денег остаются у «Ростелекома», ещё 100 рублей уходят банку, который раздобыл информацию. Прибыльное дело – неудивительно, почему банки так активно рекламируют биометрию. Сбер, например, даже Жоржа Милославского перенёс в современный мир. Киномошенник подходит к банковскому терминалу – и тот ему без предъявления карты выдаёт хрустящие купюры.
Согласен на всё!
Сбер остаётся первым среди первых. «Больше чем банк» уже запустил оплату одним взглядом в крупных гипермаркетах по всей стране. Подмигнул терминалу – и колечко краковской само летит к тебе в сумку. Впрочем, люди к прогрессу всё равно относятся настороженно. Даже те, кто дал согласие на сбор биометрических данных, порой возвращаются и пишут заявление на их отзыв. И сталкиваются с неожиданностью: сдавали они тембр голоса, изображение лица – и только. Но это они так думали, а банк – в данном случае Сбер – рассудил иначе. Если уж человек согласен, то на всё. Одна из клиенток раскрыла подробности:
В ответ на отзыв моих персональных данных мне дали письменный ответ, что в соответствии с Федеральным законом №152 «О персональных данных» отзывается согласие на обработку персональных данных, ранее предоставленных ПАО «Сбербанк», а именно биометрических образцов моего лица – я их сдавала, моего голоса – сдавала, а также рисунка кровеносных сосудов ладони и отпечатков пальцев – их я не сдавала и согласия не давала. Откуда они у банка?
В настоящее время никто не может нам гарантировать сохранность персональных данных. Сотрудники – обычные клерки – могут записать информацию на флешку, продать её, и им за это, как правило, ничего не бывает.
Никто ещё не придумал ничего надёжнее, чем сложные пароли. Следующие стадии защиты лишь ухудшают ситуацию. Взлом хорошего пароля – дело чрезвычайно трудозатратное, куда проще обойти эту стадию. «Забыл пароль» – «имя первой учительницы» – поиск в соцсети – бинго. Или двухфакторная авторизация, когда достаточно перевыпустить симку (подкупить сотрудника салона связи), чтобы получить доступ к счёту. Чем больше данных клиента запрашивают, тем меньше защищён этот клиент!
Таким образом, Минцифры и ПАО «Ростелеком» нас уверяют, что «от биометрии никуда не деться», совсем не ради защиты нас от мошенников. Скорее уж наоборот.
Как устроена Единая биометрическая система
Единая биометрическая система (ЕБС) с 2018 года используется для идентификации человека по его биометрическим характеристикам: голосу и лицу.
Чтобы получать услуги по биометрии, пользователю необходимо зарегистрироваться в системе в одном из 13,1 тысяч отделений банков. Там операционист сделает его фотографию, запишет голос и отправит эти данные в систему. А для того чтобы компании могли оказывать по биометрии различные услуги, им необходимо провести интеграцию с ЕБС.
Меня зовут Сергей Браун, я заместитель директора департамента цифровой идентичности в РТЛабс. Вместе с Артуром Душелюбовым, начальником отдела развития и разработки департамента цифровой идентичности, мы расскажем, как мы создавали платформу для любой биометрии, с какими проблемами встретились и как их решали.
Для тех, кто предпочитает видео – смотрите выступление на HighLoad++ Весна 2021, под катом ждет запись.
Выступление на HighLoad++ Весна 2021
Биометрия. Начало
Когда наше государство решило сделать биометрическую систему, первый вопрос, который возник у нас: «Хорошо, но как это организовать?». Мы не хотели изобретать велосипед и знали, что очень много коллег работают с самой разной биометрией. Поэтому сначала мы посмотрели, что есть на рынке. Оказалось, что существует много решений вендоров, а модные сегодня нейросети постоянно развиваются, обучаются и растут. Здорово!
Мы стали изучать существующие решения и выяснили, что у каждого вендора свои характеристики биопроцессоров. Один работает лучше, другой — хуже. Этот видит в темноте, а тот — нет, кто-то умеет распознавать голос. А нам нужен был однозначный результат. В итоге мы решили проверять вендоров по нескольким модальностям с несколькими сетями и работать с разными вендорами, чтобы брать от каждого лучшее.
С другой стороны, перед нами стояли вопросы безопасности. Когда к нам приходит человек, для платформы он находится в удаленном канале, мы его не видим. Нам неизвестно, что происходит с ним, где он, как он выглядит. Но нам надо понимать, что это действительно человек, а не фото или видеозапись, смонтированная злоумышленниками. И уметь отражать возможные атаки.
И, конечно, бизнес хотел знать, сколько будет ему стоить риск ошибки распознавания биометрии. Не говоря уже о том, что вся система должна работать отказоустойчиво, без потерь данных и не разъехаться под нагрузкой.
Итак, что в итоге у нас получилось.
Нейросети и попугаи
Нейросети работают загадочно. Если попросить вендоров сравнить две фотографии, то мы получим разные score. Один вендор скажет 42, другой — 78, а третий — 33. Почему так? И что это означает?
Чтобы понять их объяснения, нам пришлось собрать собственную базу образцов и на ней измерять самим:
Вероятность ложного допуска;
Вероятность ложного недопуска;
Вероятности ложного совпадения;
Вероятности ложного несовпадения;
Обобщенную вероятность ложного допуска;
Обобщенную вероятность ложного недопуска.
Мы открыли ГОСТ, написали много кода и посчитали реальные вероятности для каждого score каждого вендора.
Так мы закрыли первый шаг нашей схемы ЕБС:
Сравниваем биометрию
На следующем этапе мы создали отдельные процессы переиндексации данных и перерегистрации образцов во всех биометрических процессорах. Потому что вендоры постоянно что-то меняют в своих нейросетях. У каждого своя платформа, и не все извлекают шаблон по запросу. Плюс у всех различное API.
С API мы решили просто. Предложили вендорам реализовать стандартную и очень простую API, всего из пары методов. Это стало необходимым условием сотрудничества. Многие смогли это сделать.
Сейчас процесс выглядит примерно так. Для нас вендор — это black box, перед которым мы ставим nginx для балансировки. Если вендор медленный, то для распределения нагрузки мы ставим его 10-20 копий. Когда нам надо сравнить две фотографии, мы отправляем их вендору в разные API: «Вот два вектора, они похожи или нет?»
Что происходит, когда к нам приходит биометрия, например, фотография? Мы распознаем, что это она, а затем смотрим в конфиг, сколько у нас вендоров. Например, шесть. У каждого из них мы запрашиваем на фотографию вектор, он же шаблон. К сожалению, вендор отвечает не всегда, потому что не все из них извлекают данные. Но в итоге фотографию и все векторы (биометрические шаблоны), которые вендор смог из нее извлечь мы сохраняем к себе.
Сейчас, когда к нам приходит новый вендор, все наши актуальные фотографии сразу проходят через него. То же самое мы делаем и со звуком, и с чем угодно.
Так мы закрыли следующий квадрат схемы:
Как обезопасить себя и клиента?
На рынке много решений для проверки, что это живой человек, а не фотография или видео. Разница в том, что одни хорошо видят подделки на веб-камере, а другие — на фотографиях, снятых телефоном. Еще можно проверять не по фотографии, а по голосу. Третий вариант — взять видео и проверять и по голосу, и по лицу. Посмотреть, как человек открывает рот, правильные ли буквы говорит, хорошо ли их произносит, и вообще не монтаж ли это.
Мы решили комбинировать всё, чтобы наверняка удостовериться, что человек живой. Подход применяем такой же, как на предыдущем шаге. Считаем liveness обычным вендорским решением с единой API. Если интересно, на портале можно об этом прочитать подробнее.
Так мы закрыли очередной элемент нашей схемы ЕБС:
Транспорт и очередь
После того, как работа с вендорами наладилась, мы стали смотреть, что за биометрия к нам приезжает.
Например, мы хотим проверить человека, который открывает счет. Операция не самая простая, поэтому хочется надежно проверить, что это действительно он. Мы запрашиваем данные в виде видео, потому что это пока самый надежный liveness.
20Mb на транзакцию. По-хорошему, нам нужно транспортировать и фотографию, а качественная фотография легко может весить 1Mb. А еще некоторые вендоры возвращают нам на 30Kb звука мегабайтный вектор. Чтобы передвигать это всё по системе, мы выбрали отличное решение, о котором наверняка все знают.
Очереди c персистентностью + балансировка
Мы взяли Kafka, потому что она довольно простая и эффективная для решения задач с большим количеством мегабайтов. Создали очереди, поставили модули с двух сторон: один пишет, второй читает. С каждой стороны их, очевидно, может быть несколько:
Apache Kafka architecture
При всей своей простоте Kafka децентрализована. Это позволило нам малой кровью закрыть возможности масштабирования и вопросы балансировки. Стандартные механизмы балансировки Kafka позволяют читателям отваливаться, приходить и уходить.
С точки зрения надежности Kafka позволяет получить копии упавшего модуля и все данные с него. Даже если упала вся нода или весь сервер. Если потребитель не обработал сообщение, он для Kafka его не коммитит. Даже если модуль «умрет», то другая копия получит данные и выполнит задачу.
Очереди с репликацией
Поскольку Kafka живет в основном на дисках, то по факту это — журнал. Поэтому мы осознанно пошли на то, что, если данные отреплицировались, то мы ждем при записи с каждого из наших модулей ответ от всех имеющихся в кластере брокеров. И так как в этом случае нам быстрые и дорогие диски не нужны, мы взяли обычные. Репликация позволяет их легко менять если что-то выйдет из строя чисто механически или совсем невосстановимо по софту.
А так как Kafka поделена внутри себя на партиции, то, если одна выпадет, мы сможем прожить какое-то время на оставшихся. И одновременно за счет количества партиций мы увеличиваем потенциально возможное количество читателей.
Сравнение с RMQ
Вполне логичный вопрос — почему именно Kafka? А не, например, тот же RabbitMQ?
Первая и основная причина — это децентрализация. У RabbitMQ есть Central Store. Да, он имеет свои механизмы отказоустойчивости. Но он не предназначен для того, чтобы в него передавать ощутимый объем сообщений, при этом еще и разный, скачущий то вверх, то вниз. Не очень понятно, как он себя будет вести. Плюс у него довольно плотная связь с памятью.
У других решений такого же типа механизм чтения и общения с очередями построен так, что если потребитель забрал то, что отправили, это считается доставленным. В Kafka, в силу того, что она ближе к журналу, сообщение будет храниться вне зависимости от того, прочитал его потребитель или нет. Сообщение будет удалено только в момент срабатывания определенной политики очистки по месту или по времени.
Нам не очень хотелось устраивать сложную маршрутизацию и строить хитрые схемы. Проще записать один раз — кому надо, те придут и прочитают. Всю архитектуру системы мы построили в основном в режиме пайплайнов, то есть это прямой поток, когда от очереди не нужен роутинг.
Но в случаях, когда он нам все-таки нужен, Kafka тоже справилась.
Схема с Kafka streams для конвейеров обработки
Мы просто воспользовались встроенной логикой самой Kafka, ее удобным DSL с возможностью за счет механизмов кеш-журналов переобработать сообщение, если что-то пошло не так. Мы поставили один модуль с Kafka-стримами и сагрегировали то, что нужно:
Здесь логика такая. Если к нам на вход что-то пришло, мы разветвляем работу и собираем воедино, дожидаясь результата. Например, на схеме видно, что мы работаем параллельно с несколькими вендорами и с liveness. В этом режиме нам помогают именно стримы.
Так мы достроили еще один элемент нашей архитектуры:
Передавать научились – давайте сохраним!
Логика RegionServer’а
Когда мы посмотрели на данные, которые у нас ходят, то увидели, что они все неструктурированные и вообще непонятные. Для странного и непонятного мы нашли отличное решение — HBase поверх Hadoop.
В силу того, что HBase — это колумнарная база данных, выросшая из BigTable, в ней есть ряд особенностей того, как она хранится на дисках в самом «низу» схемы хранения. Так как там есть прямой стык с HDFS, то она может жить на распределенной FS (файловой системе).
В HBase также есть понятия RegionServer и Region, которые по факту — единицы хранения. И мало того, что они хранятся обособленными кусками, так каждый из них может распределяться на блоки HDFS. Далее эти блоки разделяются на файлы в обычной FS на диски на машинах. Что опять нас возвращает к тому, что есть много дешевых дисков. Почему бы не использовать их примерно для того же, что и в Kafka? И этот подход себя оправдал.
Логика сбора данных выглядит так. RegionServer отвечает за Region, он управляет одним или несколькими регионами. Дальше все это проваливается в HDFS. Здесь применяется фактор репликации, который вы настроили. Потерять что-нибудь очень трудно.
Посмотрим, как это стыкуется с тем, что мы говорили про передачу биометрии и прогон сообщений с биометрией по Kafka.
Распределение нагрузки на кластер
Здесь все довольно просто. У нас есть некие однотипные данные с точки зрения того, как они выглядят. Но они могут быть размером как 10Mb и больше, так и 1Kb. Логично разделить их по какому-то признаку, чтобы не перемешивать и равномерно сложить.
Для этого мы взяли таблицы HBase, так как там есть понятие column family. По факту это просто объединение данных, которое уже внизу разделяется на регионы. И при этом все хранится единым куском.
Мы разделили один column family — одна модальность. Это может быть либо отдельно звук, либо голос, либо еще что-нибудь. Но если мы поставим, например, размер региона 10Gb, то не будем умирать на постоянных compaction или на сложных перебалансировках таблиц.
Конечно, стандартная рекомендация HBase по настройкам — делать регионы поменьше. Потому что, когда в HBase что-то пишется, весь column family начинает схлопываться и собираться или, наоборот, разбиваться. Это одна из самых тяжёлых операций для HBase, которая использует память по количеству объектов. Но, так как у нас регионы хоть и достаточно крупные, но их немного, то мы можем себе это позволить. Плюс это равномерным слоем ляжет в FS, распределившись на диски и на машины.
Что в итоге получилось?
Схема хранения биометрии по CF + запросы
По логике получаемых данных мы их разделили на модальности: фото, звук, видео. Вендоры отдают нам шаблоны разного размера и объёма, с разными характеристиками. Мы их также поделили на column family и назначили каждому вендору свой.
Каким образом это все раскладывать так, чтобы не делать bottleneck, не пережать при перебалансировке? Здесь у нас подход довольно стандартный. В HBase все привязано к row key. Чем лучше вы определили, какие ключи будут использоваться в качестве ключей для строк, тем равномернее можно распределить данные.
Например, можно взять Round Robin, сделать пресплит таблицы, и начать «проворачивать» ключи (row key) так, чтобы они не шли непосредственно инкрементально друг за другом (+1). Обеспечить такое распределение можно просто меняя первый и последний байт ключа. Мы так и сделали. Начинаем отсчёт с нуля, дальше просто меняем байты и получаем цифры уже не от 0 до N, а инкремент по несколько другой логике.
Это позволяет наполнять довольно равномерно каждый из RegionServer, распределяя при этом нагрузку, в том числе и на запись, на разные машины, диски и ноды в самом кластере.
Дело в том, что HBase набивает каждый регион по кускам. Он просто назначает каждому региону диапазон id. Если вы будете инкрементально крутить id каким-нибудь автоинкриментом, вы положите всю запись в один RegionServer. HBase будет «греть» одни и те же диски, и в какой-то момент они рассплитятся. Для нас стало лучшим решением простая замена двух байтов местами в инкрементальном id.
А мы тем временем донесли данные и сложили на хранение:
Мультимодальность, мульти-liveness
Теперь надо поговорить о том, как это работает. У нас есть Kafka и модули, которые работают сами по себе:
Когда человек хочет пройти биометрическую верификацию, фронт запрашивает одноразовые инструкции персонально под этого человека, сгенерированные прямо сейчас. Он получает их из модуля инструкций (который, кстати, тоже пишет всю историю в тот же самый HBase) и отвечает наружу.
Человек выполняет инструкции, например, улыбается или приседает — всё, что мы его просим сделать. Потом присылает нам видео, и мы начинаем его разбирать. Вытаскиваем фотографию, отрезаем звук. Если проверок несколько, то определяем, какой liveness какую часть будет проверять. Все раздаем по исполнительным модулям. После этого получаем результат, собираем его и отдаем наружу. Вроде бы всё понятно. Но для нас возникает следующая проблема.
Модулей у нас много. И каждый должен быть запущен не в одном экземпляре, а нескольких. Если API не один, а хотя бы два, то запрос пришел на одну ноду, а ответ может получить другая. А нам надо ответить точно в тот же TCP-коннект. Что делать?
Мы нашли простое решение. У Redis есть хороший механизм PubSub, и мы отправляем ему все пакеты с id. Когда какая-то из нод получает ответ, она проверяет — это мой коннект или нет? Если это не ее коннект, она отдает данные в Redis. Та нода, которая изначально получила запрос, на эту информацию подписана. При изменении данных в Redis через механизм PubSub она всё получает и может отвечать наружу.
В качестве приятного бонуса мы решили с помощью Redis также оповещать модули. Мы просто подписываемся на нужный ключ в Redis. Когда произойдет ивент того, что админ что-то настроил, модулю не надо ничего перезапускать. Он получит этот ивент через Redis, заберет нужное обновление из реестра, и проапдейтится.
Вторым приятным бонусом для нас стал отказ от Zookeeper. С ним мы жили вполне успешно, пока модулей было не очень много и не было постоянного изменения сторонних настроек для модулей (например, настроек вендоров или модальностей). Балансировка была построена на том, что Zookeeper и Kafka всё между собой синхронизировали.
Но как только появились настройки, отличающиеся от технических настроек модулей, возникла проблема. Человеку, который видит Zookeeper второй и даже третий раз, довольно сложно посмотреть, что в нем хранится. Приходилось все время вспоминать, как работать с Zookeeper.
В итоге мы выпилили много кода взаимодействия с Zookeeper, синхронизации, подключения и уменьшили объём конфигов. Переехали в обычные плоские JSON-конфиги. Выкатили модуль в OpenShift, дали ему новый configmap, он при подъеме с контейнера получил JSON, и всё работает. Всем стало проще.
Мы пришли почти к финалу. Осталось поговорить про внешние API.
Внешнее взаимодействие
Мы не находимся внутри бункера. У нас есть еще потребители сервисов, и им надо как-то помочь. Если для наших сложных проверок просто написать им текстовые инструкции, то это не сработает. Поэтому мы сами реализовываем логику инструкций и проверки на стороне платформы.
У нас есть своя часть фронта, у клиента — своя. Например, для телефона это SDK. Но лучше сделать всё через наше приложение, которое само реализует эту сложную логику.
Преимущество в том, что мы полностью контролируем фронт. А значит, если нас ломают или нам надо срочно внедрить новые liveness или проверки, мы проводим эти работы сами. Не ждем, пока контрагент встроит в свое приложение нашу новую версию.
Протокол у нас общий и на веб-интерфейсе, и на мобильной версии — мы видим, кто пользуется сервисом. И в зависимости от того, какие сигналы пришли, например, от системы аномалий, мы можем сформировать инструкции для этой конкретной сессии, для конкретного человека.
Наружу мы отдаем всего пару простых интерфейсов. Тем самым мы закрываем проблемы с нормативами и сертификацией.
Итак, мы сложили полную схему ЕБС:
Остается сказать несколько слов об архитектуре.
Мы используем Docker, который прекрасно работает для биометрических вендоров, потому что они используют библиотеки, собрать которые самому невозможно. Для себя мы от всех вендоров запрашиваем докер-образ.
А дальше мы ставим кластер Hadoop, транспорт в Kafka, хранение в HBase. Hadoop — хорошая база данных, а все остальные модули размещаем в OpenShift.
Вот так сложилась архитектура Единой биометрической системы.
Видео нашего выступления можно посмотреть здесь.