Для чего нужен ии модуль в камере
Модуль ИИ в камере Хуавей: что это такое
11.12.2019 7,666 Просмотры
Под аббревиатурой ИИ принято понимать искусственный интеллект. В настоящее время им оснащается большое количество устройств. И смартфоны HUAWEI – не исключение. Что представляет собой данный модуль, какие возможности он предоставляет и как им пользоваться, будет рассмотрено в статье.
Что это такое
Компания ХУАВЕИ в 2019 году на слуху у всех. И это неудивительно, ведь она создала большое количество разработок, которые призваны изменить мир к лучшему. Камеры устройств, выпущенных ею, оснащены специальным процессором, используемым в ходе проведения нейросетевых вычислений. Альтернативное его наименование – ускоритель искусственного интеллекта. Этот ход компании стал прогрессивным.
Зачем это нужно
Особого внимания заслуживает камера устройства. С ее помощью можно без труда распознавать всевозможные сцены в кадре, а также осуществлять поиск и выбор оптимальных настроек. Количество этих сценариев в последнее время увеличилось. Новый показатель стал равняться 1500. Это дало пользователям возможность объединять несколько элементов в кадре и делать уровень адаптации более высоким.
Наряду с этим доступно одновременно несколько фильтров, которые делают картинку более красивой. Основной цвет при этом заметно выделяется, а фон при желании пользователя может быть размытым. Вместе с этим модуль ИИ позволяет осуществлять анализ пользовательских действий и делать соответствующие выводы.
Компания постоянно радует пользователей оригинальными новинками, в числе которых не только смартфоны, но и прочие устройства. Качество их постоянно растет, а цены остаются на приемлемом уровне.
AI-камера в смартфоне — что это такое?
Особенности и принцип работы AI-камер в смартфонах.
AI-камера в смартфоне — это камера с искусственным интеллектом, который помогает устройству автоматически применять различные настройки, улучшающие качество фотографий. Такая камера может одновременно выполнять несколько функций, которые не только сэкономят время, но и позволят сделать хороший кадр без особых знаний в области фотографий.
AI-камера представляет собой программное обеспечение, которое автоматически выставляет и регулирует настройки фотографий, чтобы пользователю не приходилось делать это вручную. Вопреки распространенному мнению, AI-камера не просто накладывает фильтры на изображения — она отвечает за гораздо большее число настроек, во многих из которых пользователь может не разбираться. К основным функциям, за которые ответственен искусственный интеллект в камере, относятся:
Искусственный интеллект позволяет оценить фотографию перед съемкой, чтобы затем сделать ее лучше. Продвинутые AI-камеры могут сравнивать кадр до фотографии с другими кадрами в свободном доступе, чтобы дать пользователю подсказку, как лучше выстроить кадр, и какие параметры отрегулировать, чтобы фотография выглядела лучше. Камера самостоятельно определяет, что будет снято, а затем оптимизирует фотографии под определенный сценарий.
Самыми популярными и востребованными считаются две функции — именно их чаще всего используют начинающие пользователи:
AI-камера самостоятельно настраивать и другие параметры, которые обычно располагаются в режиме «Эксперт»: ISO, баланс белого, HDR, ручной фокус и т.д. Большинство пользователей, которые не занимаются фотографией профессионально, не знают, как настраивать эти характеристики. Камера с искусственным интеллектом убирает необходимость самостоятельно изучать эту сферу, ведь устройство само выставит все нужные параметры в зависимости от кадра.
Плюсы и минусы AI-камеры в смартфоне
Список плюсов камеры с искусственным интеллектом довольно широк. Такое устройство экономит время пользователя, автоматически выставляя все нужные характеристики. Любой человек, не разбирающийся в них, может сделать достойную фотографию с минимумом усилий. AI-камера позволяет людям запечатлеть интересный кадр без профессионального оборудования и долгих часов редактирования. Камера сама определит объект, отрегулирует свет, фокус и другие параметры, а затем отретуширует готовое изображение.
К минусам можно отнести сильную зависимость качества AI-камеры от самого смартфона и его производителя. На некоторый дешевых и некачественных устройствах даже стандартный эффект боке (портретный режим) может смотреться неестественно. Кроме того, на данный момент AI-камера выполняет лишь базовые изменения изображений, которых достаточно обычному пользователю. Для профессиональной работы с фотографией все еще понадобится как оборудование, так и специальные программы для обработки.
Хотите делать на смартфон красивые снимки? Попробуйте следовать простым советам из нашей инструкции.
Зачем Huawei искусственный интеллект?
Отдельный процессор для нейросетевых вычислений (его также называют ускорителем искусственного интеллекта) – хороший ход для компании Huawei, которая активно использует эту технологию в своих устройствах. Как и следовало ожидать, вслед за Huawei почти сразу последовали и конкуренты. HiSilicon Kirin 980 NPU, по словам производителя, стал эффективнее на 226%. Так на какие же задачи сегодня направлена деятельность искусственного интеллекта, спрятанного в смартфоне?
В Huawei Mate 20 Pro у NPU есть несколько направлений деятельности, рассказывает 3DNews. Самое главное – это, конечно, камера. Еще ранее смартфоны Huawei научились распознавать самые разные сцены в кадре и подбирать под них наиболее подходящие настройки. В прошлом году выросло как количество этих сцен (1500 сценариев из 25 категорий съемки), так и появилась возможность объединять по несколько сцен в одном кадре, тем самым повышая качество адаптации изображения под сценарий.
Также искусственный интеллект принимает активное участие в процессе фокусировки – он пытается предсказывать движение объектов, уверенно цепляется за них даже в динамичных сценах и хорошо себя проявляет при съемке видео. При видеосъемке камера Huawei Mate 20 Pro может даже делать приближение к ключевому, по мнению смартфона, объекту.
Также при съемке видео доступно несколько программных фильтров, делающих картинку более «киношной», а также программное размытие фона и выделение цвета при общей монохромной сцене.
Помимо активной помощи пользователю при фото- и видеосъемке нейросети внутри Huawei Mate 20 Pro анализируют действия пользователя и стараются адаптировать его работу для лучшего энергосбережения.
Специальная нейронная сеть работает и при элементарных телефонных звонках – она анализирует внешние шумы и подавляет их, что они не мешали беседе. Ну и, наконец, нейросеть работает в специальном приложении Microsoft для машинного перевода, не требующем постоянного подключения к Сети.
Конечно, ИИ для Huawei – это не только смартфоны. Компания достаточно давно занимается развитием технологий искусственного интеллекта. Совместно с партнерами она создает решения в самых разных областях. Одна из наиболее наглядных сфер применения ИИ — умные города: видеонаблюдение, современные городские ИИ-системы на транспорте и др.
В октябре 2018 года Huawei представила процессоры серии Ascend, оптимизированные для задач ИИ. Разработчики компании пошли по пути перекладывания решения отдельных задач на специализированные чипы, что должно обеспечивать более эффективное выполнение. Стратегия Huawei в области ИИ помимо процессоров включает также продукты и облачные сервисы на их базе, инвестиции в фундаментальные исследования и подготовку кадров, развитие портфолио комплексных решений для разных сценариев использования и создание открытой экосистемы.
В линейке Ascend пока что два процессора. Ascend 310 создан по технологии 12 нм и уже доступен на рынке. Выпуск Ascend 910 запланирован на второй квартал 2019 года. Как сообщается, он создается по технологии 7 нм и будет конкурировать с NVIDIA Tesla V100, обладая более высокой производительностью — 256 Тфлопс против 125 у V100. Серверы Huawei с новыми процессорами появятся в России в 2019 году. Они могут быть востребованы в финансовом секторе и в интернет-сегменте.
Huawei также анонсировала программно-аппаратную вычислительную платформу Atlas для ускоренной обработки рабочих нагрузок, связанных с ИИ. Она включает модули и устройства для создания инфраструктуры, в частности, — модуль ускорителя Atlas 200 AI, карту ускорителя Atlas 300 AI (для датацентров и периферийных серверов), периферийную станцию Atlas 500 AI и платформу Atlas 800 AI.
Новое оборудование Huawei нередко становится основой технологического предложения облаков российских провайдеров – партнеров компании. В их облаках появляются новые возможности для вычислений, связанных непосредственно с искусственным интеллектом.
Huawei также выпустила набор инструментов с открытым исходным кодом на своей облачной платформе, которые помогут разработчикам упростить создание решений ИИ — от моделей машинного обучения до развертывания систем на локальных устройствах. Инструменты будут доступны на сервисной платформе ИИ Huawei Cloud Enterprise Intelligence. Их можно будет применять и для ее движка для интеллектуальных устройств HiAI.
Новый фреймворк Huawei MindSpore на основе унифицированной распределенной архитектуры для машинного обучения поддерживает модели, обученные на других платформах, таких как TensorFlow и PyTorch, а также предоставляет гибкие API-интерфейсы.
Кроме того, Huawei анонсировала вычислительную архитектуру для нейронных сетей (CANN) с инструментарием разработки Tensor Engine, который обеспечивает автоматическую генерацию, настройку и оптимизацию кода. CANN также включает в себя TVM — комплексный оптимизирующий компилятор для задач глубокого обучения. По данным Huawei, CANN может утроить эффективность разработки.
Как искусственный интеллект меняет фотографию
Если вас заботит вопрос о том, насколько будет хороша камера вашего следующего смартфона, то стоит обратить внимание на то, что производитель говорит о наличии искусственного интеллекта (ИИ). Если отбросить шумиху и чистый маркетинг, то нет смысла отрицать, что эта технология подняла прогресс фотографии на новый уровень за последние несколько лет и нет никаких сомнений полагать, что темп прогресса замедлятся.
Аппаратное обеспечение тоже не стоит на месте, но самые впечатляющие достижения в области фотографии за последнее время случились на программном уровне, и это во многом благодаря ИИ, который даёт понять объективам куда их навёл пользователь.
Сервис Google Фото продемонстрировал, как искусственный интеллект умеет взаимодействовать с огромными массивами снимков. До его запуска Google использовала машинное обучение для категоризации изображений в Google+, эти навыки перекочевали в Google Фото. ИИ привел в порядок миллиарды неорганизованных пользовательских библиотек в порядок.
Искусственный интеллект Google Фото основывался на предыдущей разработки компании DNNresearch, которую поисковый гигант приобрел в 2013 году. Компания создала нейронную сеть с контролируемым обучением, она могла находить визуальные подсказки на уровне пикселей, чтобы идентифицировать категорию. Со временем алгоритм научился правильно распознавать изображения с помощью шаблонов, например, по снимку панды он обучился правильно идентифицировать другие фотографии панд. Он определяет, где черный мех, а где белый, а также пропорции животного. Используя эту информацию ИИ отличает панд от коров голштинской породы. Все эти «знания» классифицируются и заносятся в базу данных, они используются для поиска снимков по абстрактным терминам, таким, как «животное» или «завтрак».
Подобный алгоритм требует много времени и вычислительной мощности, поэтому вся работа выполняется на серверах компании после того, как снимок загружается в облако. Как только фотографии попадают в центр обработки данных (ЦОД) Google начинает использование алгоритма для анализа и маркировки. Примерно через год после запуска сервиса Google Фото компания Apple анонсировала функцию поиска фотографий, которая аналогичным образом задействовала нейронные сети, но в рамках обязательств компании по обеспечению конфиденциальности категоризация выполняется процессором устройства без отправки данных на сервера. Обычно этот процесс занимает несколько дней и происходит в фоновом режиме.
Эти компоненты используются в «вычислительной» фотографии, под этот термин попадают такие явления современного мобильного фото, как эффект глубины резкости портретных режимов и алгоритмы, позволяющие создавать качественные изображения в смартфонах Pixel. Apple использует эту технологию для управления портретным режимом в смартфонах с двумя камерами. Процессор обработки изображений iPhone идентифицирует в кадре человека с помощью одной камеры, а вторая камера создает карту глубины резкости, чтобы отделить объект и размыть фон.
Google остается очевидным лидером в области «вычислительной фотографии» и превосходные результаты камер всех трех поколений Pixel тому доказательство. Режим HDR+ использует сложный алгоритм, объединяющий несколько снимков с разным уровнем экспозиции в одну фотографию. Наличие машинного обучения означает, что система продолжает улучшаться со временем. Google обучил свой искусственный интеллект огромному набору данных с помощью сервиса Google Фото и эти знания помогают камере Pixel в подборе правильной экспозиции.
Говоря о преимуществе смартфонов Google стоит упомянуть режим Night Sight, который с помощью длинных выдержек и алгоритма машинного обучения показывает впечатляющие результаты на съемках в условиях плохого освещения. Эта функция наилучшим образом реализована в Pixel 3, потому что алгоритмы разрабатывались с учетом аппаратного обеспечения этого устройства. Несмотря на это, Google сделала режим Night Sight доступным для всего модельного ряда смартфонов Pixel, даже для самых первых, в которых отсутствует оптическая стабилизация. Это решение доказывает, что программное обеспечение выходит на первый план, когда дело доходит до мобильной фотографии.
Тем не менее, аппаратная составляющая все еще имеет значение, особенно в случаях, когда она умеет взаимодействовать с искусственным интеллектом. Отдельные процессоры обработки изображения были очень важны для качества мобильной фотографии, но похоже, что чипы с ИИ будут играть более важную роль в развитии цифровой фотографии. Huawei была первой компанией, представившей систему на кристалле (SoC) с искусственным интеллектом — Kirin 970, хотя Apple Bionic A11 в конечном итоге первым добрался до пользователей. Крупнейший поставщик процессоров Qualcomm не уделяет особого внимания машинному обучению. Google разработала свой собственный чип под названием Pixel Visual Core, который помогает решать задачи связанные с ИИ. Последняя версия Apple A12 Bionic оснащена восьмиядерным нейронным движком, который может выполнять задачи в среде машинного обучения Apple до 9 раз быстрее, чем A11. Apple сообщает, что это дает камере лучшее понимание фокальной плоскости, а это помогает создавать более реалистичную глубину резкости.
Эта технология важнее для эффективного и производительного машинного обучения прямо на устройстве. Google продемонстрировала впечатляющую работу, которая снижает нагрузку на обработку с ghvhom. ЦОД, в то же время нейронные движки (Neural Engine) становятся быстрее с каждым годом. На раннем этапе развития «вычислительной» фотографии у камер смартфонов, которые разрабатывались для работы в тандеме с машинным обучением, есть реальные преимущества. Из всех возможностей искусственного интеллекта, фотография — наиболее практичная область применения. Камера — неотъемлемая часть любого смартфона, а ИИ — отличный способ её улучшить.
Для чего нужен ии модуль в камере
Искусственный интеллект – едва ли не главное словосочетание всего 2018 года. И оно уже активно используется не только в разговорах футурологов, но и в пресс-релизах, посвященных выходу новых смартфонов. И особенно на этой ниве преуспела компания Huawei.
В этой статье мы не будем углубляться в историю, искать истоки современных нейросетей и рассказывать о том, как это работает в принципе. Сказано и написано об этом в последние годы так много, что повторяться совсем не хочется. Выстрелившие еще в 2016-м сервисы вроде Prisma или How-old указали направление, в котором вскоре рванули все.
Сегодня технологии машинного обучения применяются не только в демонстрационных целях, как, например, знаменитая программа AlphaGo, обыгравшая человека в го еще два с лишним года газад – хотя раньше это считалось невозможным из-за во многом интуитивной природы игры. Появляются и по-настоящему качественные нейропротезы, когда человек может управлять искусственной конечностью силой мысли, и первые опыты с искусственными глазами. Эти технологии внедряются и в повседневную жизнь с простыми потребительскими устройствами – все голосовые помощники используют машинное обучение для того, чтобы подстраиваться под пользователя – и бум как специализированных устройств (вроде «Яндекс.Станции», умных колонок Google или Huawei AI Cube), так и встроенных в смартфоны голосовых помощников: от Алисы до свежей разработки Huawei – пока еще активного только на китайском рынке, но очень умного YoYo.
До недавнего времени тема присутствия нейросетевых вычислений на смартфоне не педалировалась. Да, голосовые помощники, да, идет постоянный обмен информацией с облаком для того, чтобы они учились, но на этом более-менее все. Ситуация изменилась в сентябре 2017 года с появлением аппаратной платформы HiSilicon Kirin 970 – первой со встроенным модулем NPU (neural processor unit), предназначенным специально для работы с машинным обучением. В рамках смартфонного процессора не приходится говорить о мощностях стационарных компьютеров и серверов, обрабатывающих совсем другие объемы данных, но за счет специально разработанной структуры они позволяют выполнять множество параллельных однотипных задач, чего и требуется для работы нейросетей.
На стационарных системах эти задачи, как правило, поручаются графическим платам – в смартфоне для этого пришлось бы либо загрузить встроенный в платформу GPU (и тем самым здорово напрячь его, отвлекая от других задач), либо непрерывно слать данные в облако. Что требует одновременно и постоянного подключения к Сети, и полного доверия компании, которая этим занимается. Все-таки отправлять пришлось бы личные данные.
Так что отдельный процессор для нейросетевых вычислений (его также называют ускорителем искусственного интеллекта – AI accelerator) – отличный выход для компании, которая активно использует эту технологию в своих устройствах. Как и следовало ожидать, вслед за Huawei почти сразу последовали и конкуренты.
В HiSilicon Kirin 980 NPU, по словам производителя, стал эффективнее аж на 226%. Так на какие же задачи сегодня направлена деятельность искусственного интеллекта, спрятанного в смартфоне?
В Huawei Mate 20 Pro у NPU есть несколько направлений деятельности.
Самое главное – это, конечно, камера. Еще в прошлом году смартфоны Huawei научились распознавать самые разные сцены в кадре и подбирать под них наиболее подходящие настройки. В этом году выросло как количество этих сцен (1500 сценариев из 25 категорий съемки), так и появилась возможность объединять по несколько сцен в одном кадре, тем самым повышая качество адаптации изображения под сценарий.
Также искусственный интеллект принимает активное участие в процессе фокусировки – он пытается предсказывать движение объектов, уверенно цепляется за них даже в динамичных сценах и хорошо себя проявляет при съемке видео. При видеосъемке камера Huawei Mate 20 Pro может даже делать приближение к ключевому, по мнению смартфона, объекту.
Пример видеосъемки с выделением цвета
Также при съемке видео доступно несколько программных фильтров, делающих картинку более «киношной», а также программное размытие фона и выделение цвета при общей монохромной сцене.
Помимо активной помощи пользователю при фото- и видеосъемке нейросети внутри Huawei Mate 20 Pro анализируют действия пользователя и стараются адаптировать его работу для лучшего энергосбережения.
Специальная нейронная сеть работает и при элементарных телефонных звонках – она анализирует внешние шумы и подавляет их, что они не мешали беседе. Ну и, наконец, нейросеть работает в специальном приложении Microsoft для машинного перевода, не требующем постоянного подключения к Сети.
Конечно, то, что мы называем сегодня искусственным интеллектом, не является таковым по сути – используя принципы работы нейронов человеческого мозга, современные технологии машинного обучения ни на йоту не отклоняются от поставленных перед ними задач. Ни намека на свободную волю. Бояться своего смартфона еще рано – пока можно спокойно наслаждаться технологиями без побочных эффектов.