Для чего используется система hadoop

Hadoop

Apache Hadoop — это пакет утилит, библиотек и фреймворков, его используют для построения систем, которые работают с Big Data. Он хранит и обрабатывает данные для выгрузки в другие сервисы. У Hadoop открытый исходный код, написанный на языке Java. Это значит, что пользователи могут работать с ним и модифицировать его бесплатно.

Hadoop разделен на кластеры — группу серверов (узлов), которые используют как единый ресурс. Так данные удобнее и быстрее собирать и обрабатывать. Деление позволяет выполнять множество элементарных заданий на разных серверах кластера и выдавать конечный результат. Это нужно в первую очередь для перегруженных сайтов, например Facebook.

Внутри Hadoop существует несколько проектов, которые превратились в отдельные стартапы: Cloudera, MapR и Hortonworks. Эти проекты — дистрибутивы или установочный пакет программы, которые обрабатывают большие данные.

Архитектура Hadoop

Основные компоненты

Hadoop разделен на четыре модуля: такое деление позволяет эффективно справляться с задачами для анализа больших данных.

Hadoop Common — набор библиотек, сценариев и утилит для создания инфраструктуры, аналог командной строки.

Hadoop HDFS (Hadoop Distributed File System) — иерархическая система хранения файлов большого размера с возможностью потокового доступа. Это значит, что HDFS позволяет легко находить и дублировать данные.

HDFS состоит из NameNode и DataNode — управляющего узла и сервера данных. NameNode отвечает за открытие и закрытие файлов и управляет доступом к каталогам и блокам файлов. DataNode — это стандартный сервер, на котором хранятся данные. Он отвечает за запись и чтение данных и выполняет команды NameNode. Отдельный компонент — это client (пользователь), которому предоставляют доступ к файловой системе.

MapReduce — это модель программирования, которая впервые была использована Google для индексации своих поисковых операций. MapReduce построен по принципу «мастер–подчиненные». Главный в системе — сервер JobTracker, раздающий задания подчиненным узлам кластера и контролирующий их выполнение. Функция Map группирует, сортирует и фильтрует несколько наборов данных. Reduce агрегирует данные для получения желаемого результата.

YARN решает, что должно происходить в каждом узле данных. Центральный узел, который управляет всеми запросами на обработку, называется диспетчером ресурсов. Менеджер ресурсов взаимодействует с менеджерами узлов: каждый подчиненный узел данных имеет свой собственный диспетчер узлов для выполнения задач.

Дополнительные компоненты

Hive: хранилище данных

Система хранения данных, которая помогает запрашивать большие наборы данных в HDFS. До Hive разработчики сталкивались с проблемой создания сложных заданий MapReduce для запроса данных Hadoop. Hive использует HQL (язык запросов Hive), который напоминает синтаксис SQL.

Pig: сценарий преобразований данных

Pig преобразовывает входные данные, чтобы получить выходные данные. Pig полезен на этапе подготовки данных, поскольку он может легко выполнять сложные запросы и хорошо работает с различными форматами данных.

Flume: прием больших данных

Flume — это инструмент для приема больших данных, который действует как курьерская служба между несколькими источниками данных и HDFS. Он собирает, объединяет и отправляет огромные объемы потоковых данных (например файлов журналов, событий, созданных десктопными версиями социальных сетей) в HDFS.

Zookeeper: координатор

Zookeeper это сервис-координатор и администратор Hadoop, который распределяет информацию на разные сервера.

Data Scientist с нуля

Получите востребованные IT-навыки за один год и станьте перспективным профессионалом. Мы поможем в трудоустройстве. Дополнительная скидка 5% по промокоду BLOG.

Источник

Технология Hadoop

Технология Hadoop представляет собой программную инфраструктуру распределенных вычислений, работающих на кластерах. По сути это оболочка централизующая и оптимизирующая работу всех узлов системы. Hadoop можно сравнить с Windows. Но если Windows предназначена для работы одного компьютера, распределяя задачи между ядрами, то Hadoop работает с тысячами узлов.

Что такое кластер

Это группа, связанных компьютеров, которые работают совместно для выполнения общих приложений. Для пользователей кластер представляется единым ресурсом. Сегодня на них работают многие поисковые и контекстные гиганты такие, как Yahoo, Google, Фейсбук и другие высоконагруженные ресурсы.

Идея объединить несколько машин в единую сеть возникла еще в начале 1970-х гг. Первый кластер был создан в 1977 г. компанией Datapoint, однако развитие проекта началось только после 1984 г. Чтобы объединить несколько компьютеров в одну виртуальную машину для совместного вычисления и использования файлов требовалась операционная система. Первой такой системой стал Hydra, но множественные недостатки сделали проект нерентабельным. Только в 1984 г. появилась операционная система VAXcluster, способная распределять задачи и файлы через сеть. В настоящее время для оптимизации работы кластеров используется инфраструктура Hadoop, обросшая целой экосистемой программного обеспечения.

Hadoop

Это проект Apache, разработанный на языке Java и представляющий собой набор библиотек, разных утилит и фреймворк. Говоря проще, чтобы представить структуру Hadoop для чайников, ее можно сравнить с системой распределения труда на производстве. Например, утилита – это оборудование, библиотека – инструменты и заготовки, а фреймворк – распределение труда и планирование заданий, объединяющие разные задачи в единый производственный процесс.

Определение терминов

Составляющие модули Hadoop

Инфраструктура проекта включает 4 основные модуля, которые позволяют обеспечивать бесперебойную и отказоустойчивую работу кластеров, состоящих из сотен тысяч узлов.

Hadoop Common

Это связующее ПО, включающее библиотеки и утилиты, предназначенные для управления распределенной обработкой данных и использующиеся др. модулями.

Hadoop Distributed File System – это система для хранения файлов, которые распределены поблочно между кластерными узлами. К тому же каждый файл разбивается на блоки. Они могут храниться на нескольких разных узлах кластера (дублироваться). Размер блока и количество узлов размещения определяются в настройках, а метаданные файловой системы о распределении блоков сохраняются в центральном узле имен. Благодаря такой репликации достигается отказоустойчивость при отказах отдельных блоков.

В последней версии применена параллельная обработка, которая исключает разделения ресурсов. В то же время инфраструктура Hadoop заменяется SQL-механизмом, развертываемым в системе HDFS.

Это система используется для планирования задач, а также управления кластером. Ранее эта функция возлагалась на модуль MapReduce, но в версии 2.0 работает логически самостоятельный планировщик ресурсов, запускаемый самой системой в фоновом режиме без взаимодействия с пользователем. YARN поддерживает параллельное выполнение нескольких заданий с изоляцией процессов по принципу мультиарендности.

YARN можно рассматривать как кластерную ОС, потому что модуль выступает в качестве интерфейса между аппаратным ресурсом и приложениями, которые используют его мощности для выполнения разных вычислений.

Hadoop MapReduce

Модуль является платформой для программирования распределенных вычислений. Более ранняя версия содержала планировщик задач JobTracker. В современной версии планировщик задач перенесен в YARN, а программные интерфейсы сохранены. Для совместимости с программами из предыдущих версии, необходим их рефакторинг.

Источник

Hadoop: введение в системы больших данных

Apache Hadoop – один из важнейших открытых инструментов для хранения и обработки большого количества цифровых данных, накопленных с ростом World Wide Web. Он развился из открытого проекта под названием Nutch, который предназначался для поиска в Интернете. Создатели Nutch были в большой степени подвержены влиянию Google. В конечном итоге функции хранения и обработки были выделены в проект Hadoop, а Nutch разрабатывается как инструмент поиска.

Данная статья расскажет, что такое системы больших данных.

Системы данных

Данные существуют повсюду: на клочках бумаги, в книгах, на фотографиях, в мультимедийных файлах, логах сервера и на веб-сайтах. Когда эти данные собираются целенаправленно, они входят в систему данных.

Представьте себе школьный проект, в котором ученики ежедневно измеряют уровень воды в близлежащем ручье. Они записывают свои измерения, возвращаются в свой класс и вводят эти данные в электронную таблицу. Когда они соберут достаточное количество информации, они будут анализировать ее. Они могут сравнить данные за один тот же месяц в разные годы и определить самый высокий или самый низкий уровень воды. Они могут создать графики для определения тенденций.

Этот проект хорошо иллюстрирует систему данных:

Этот проект – очень простой пример системы данных. Один компьютер может хранить, анализировать и отображать ежедневные измерения уровня воды в одном ручье. А теперь представьте весь контент на всех веб-страницах в мире – несоизмеримо больший набор данных. Это большие данные: столько информации не может поместиться на одном компьютере.

Чем отличаются большие данные?

Статьи Google и реализация этих идей в Hadoop основаны на четырех изменениях в восприятии данных, которые необходимы для учета объема данных:

Выпущенная в 2007 году версия 1.0 основанного на Java фреймвока Hadoop стала первым открытым проектом, который учитывал все эти изменения. Его первая версия состоит из двух уровней:

HDFS 1.0

Распределенная файловая система Hadoop, HDFS, представляет собой уровень хранения, который Hadoop использует для распространения и надлежащего хранения данных для обеспечения высокой доступности.

Как работает HDFS 1.0?

Для надежного хранения очень больших файлов на нескольких компьютерах HDFS использует блочную репликацию на основе двух компонентов программного обеспечения: это сервер NameNode, который управляет пространством имен файловой системы и доступом клиентов, а также DataNodes, ответственный за выполнение запросов на чтение и запись, создание блоков, удаление и репликацию. Базовое понимание шаблона репликации полезно для разработчиков и администраторов кластеров, поскольку дисбаланс в распределении данных может повлиять на производительность кластера и потребовать дополнительной настройки.

HDFS хранит каждый файл в виде последовательности блоков, все они одного размера, за исключением последнего. По умолчанию блоки реплицируются три раза, но размер блоков и количество реплик можно настроить для каждого файла индивидуально. Файлы не перезаписываются.

NameNode принимает все решения о репликации блоков на основе алгоритма пульсации и отчетов, которые он получает от каждого DataNode в кластере. Алгоритм пульсации позволяет убедиться, что DataNode работает, а отчет о блоках предоставляет список всех блоков в DataNode.

Когда создается новый блок, HDFS помещает первую реплику на ноду, где выполняется запись. Вторая реплика сохраняется на случайно выбранной ноде в этом же раке (это не может быть та же нода, где была записана первая реплика). Затем третья реплика помещается на случайно выбранную машину о втором раке. Если в конфигурации указано больше трех реплик (по умолчанию), оставшиеся реплики помещаются случайным образом, при этом действует такое ограничение: не более одной реплики на ноду, не более двух реплик на рак.

Ограничения HDFS 1.0

HDFS 1.0 сделал Hadoop лидером среди открытых инструментов для хранения больших данных. Отчасти этот успех был вызван решениями в архитектуре, которые упростили распределенное хранение. Но при этом ограничения оставались. К основным ограничениям версии 1.0 относятся:

Несмотря на эти ограничения, HDFS сделал большой вклад в работу с большими данными.

MapReduce 1.0

Второй уровень Hadoop – MapReduce – отвечает за пакетную обработку данных, хранящихся на HDFS. Внедрение в Hadoop модели Google MapReduce позволяет разработчикам использовать ресурсы HDFS без параллельных и распределенных систем.

Как работает MapReduce 1.0

Предположим, у вас есть текст, и вы хотите знать, сколько раз в нем появляется каждое слово. Текст распределяется между несколькими серверами, поэтому задачи сопоставления выполняются на всех нодах кластера, в которых есть блоки данных. Каждый маппер загружает соответствующие файлы, обрабатывает их и создает пару ключевых значений для каждого события.

Каждый маппер имеет данные только одной ноды, поэтому их необходимо перетасовать, чтобы отправить на редуктор все значения с одним и тем же ключом. Результат редуктора записывается на его диск. Эта неявная модель взаимодействия освобождает пользователей Hadoop от явного перемещения информации с одной машины на другую.

Давайте рассмотрим, как это работает на таком примере:

Если бы это сопоставление выполнялось последовательно над большим набором данных, это потребовало бы слишком много времени, но благодаря параллельности процессов и сокращению эту процедуру можно масштабировать для больших наборов данных.

Компоненты более высокого уровня могут подключаться к MapReduce для предоставления дополнительных функций. Например, Apache Pig предоставляет разработчикам язык для написания программ анализа данных, абстрагируя идиомы Java MapReduce на более высокий уровень (аналогично тому, что делает SQL для реляционных баз данных). Apache Hive поддерживает анализ данных и отчетность с помощью SQL-подобного интерфейса для HDFS. Он абстрагирует запросы MapReduce Java API для обеспечения функциональности запросов высокого уровня. Для Hadoop 1.x доступно множество дополнительных компонентов, но экосистема MapReduce также имеет некоторые ограничения.

Ограничения MapReduce 1

Улучшения в Hadoop 2.x

Ветка Hadoop 2.х, выпущенная в декабре 2011 года, представила четыре основных усовершенствования и исправила ключевые ограничения версии 1. Hadoop 2.0 устраняет ограничение производительности и единую точку отказа NameNode. Кроме того, он отделяет MapReduce от HDFS с введением YARN (Yet Another Resource Negotiator), открыв экосистему дополнительных продуктов и разрешив моделям обработки взаимодействовать с HDFS и обходить слой MapReduce.

1: Федерация HDFS

Федерация HDFS вводит четкое разделение пространства имен и хранилища, что делает возможным наличие нескольких пространств имен в кластере. Благодаря этому появляются такие улучшения:

Как работает федерация HDFS

Федерация управляет пространством имен файловой системы. NameNodes работают независимо и не координируются друг с другом. DataNodes регистрируются в кластере с каждым NameNode, отправляют пульс и отчеты блоков и обрабатывают входящие команды из NameNode.

Блоки распространяются по всему хранилищу с той же случайной репликацией, что и в Hadoop 1.x. Все блоки, принадлежащие одному пространству имен, называются пулом блоков. Такие пулы управляются независимо, позволяя пространству имен генерировать идентификаторы блоков для новых блоков без согласования с другими пространствами имен. Комбинация пространства имен и пула блоков называется томом пространства имен; том формирует автономный блок, так что когда один из NameNode удаляется, его пул блоков удаляется вместе с ним.

Помимо улучшенной масштабируемости, производительности и изоляции, Hadoop 2.0 также обеспечил высокую доступность NameNodes.

2: Высокая доступность NameNode

Если в предыдущих версиях NameNode прекращал работу, весь кластер был недоступен, пока NameNode не перезапустится или не появится на новом компьютере. Модернизация программного или аппаратного обеспечения NameNode также создавала окна простоя. Чтобы предотвратить это, Hadoop 2.0 реализовал конфигурацию active/passive, чтобы обеспечить быстрый переход на другой ресурс.

Как работает высокая доступность NameNode

Две отдельные машины настроены как NameNodes, одна из них активна, другая находится в режиме ожидания. Они совместно используют каталог на общем устройстве хранения. Когда активная нода вносит изменения, она записывает его в лог, хранящийся в этом общем каталоге. Резервная нода постоянно наблюдает за каталогом и когда происходит редактирование, она применяет эти изменения к собственному пространству имен. Если активная нода выходит из строя, резервная нода читает непримененные изменения из общего хранилища, а затем переходит в режим активной ноды.

3: YARN

Hadoop 2.0 отделяет MapReduce от HDFS. Управление рабочими нагрузками, многоуровневым обслуживанием, безопасностью и функциями высокой доступности было выделено в YARN (Yet Another Resource Negotiator). YARN – это, по сути, крупномасштабная распределенная операционная система для приложений больших данных, которая позволяет использовать Hadoop как для MapReduce, так и для других приложений, которые не могут дождаться завершения пакетной обработки. YARN устранил необходимость работы через инфраструктуру MapReduce с высокой задержкой ввода-вывода, что позволяет использовать новые модели обработки HDFS.

У пользователей Hadoop 2.x есть доступ к таким моделям обработки.

Это лишь несколько альтернативных моделей и инструментов обработки. Подробное руководство по экосистеме Hadoop можно найти здесь.

4: Высокая доступность ResourceManager

В первом релизе YARN было свое узкое место: ResourceManager. Единственный JobTracker в MapReduce 1.x обрабатывал управление ресурсами, планирование задач и мониторинг работы. Ранние релизы YARN улучшили это, разделив обязанности между глобальным ResourceManager и ApplicationMaster для каждого приложения. ResourceManager отслеживал ресурсы кластера и планировал приложения, такие как MapReduce Jobs, но был единственной точкой отказа до версии 2.4, в которой была представлена архитектура Active/Standby.

В Hadoop 2.4 единый ResourceManager был заменен одним активным ResourceManager и одним или несколькими резервными. В случае сбоя активного ResourceManager администраторы могут вручную активировать один из менеджеров. Чтобы обеспечить автоматический переход на другой ресурс, можно добавить в свой стек Apache Zookeeper. Помимо прочих обязанностей по координации задач, Zookeeper может отслеживать состояние нод YARN и в случае сбоя автоматически запускать переход в режим ожидания.

Источник

Зачем нужен Hadoop

Неструктурированные большие данные для задач бизнеса

Большие данные необходимы крупным компаниям, чтобы совершенствовать бизнес-процессы, обгонять конкурентов и улучшать клиентский сервис. Массивы информации о клиентах, сотрудниках, финансовых показателях, транзакциях, операционной деятельности нужно хранить, обрабатывать, анализировать.

Hadoop — одно из решений для хранения и анализа больших данных. Его используют Google, Amazon, Facebook, Twitter, eBay и другие гиганты рынка. При этом технология подходит для любого бизнеса, работающего с объемами данных свыше терабайта, оптимизирована для работы на виртуальных машинах, удобно масштабируется. Поэтому облачные провайдеры предлагают ее компаниям как сервис в облаке, который легко внедрить и применять.

В статье разберем, что такое Hadoop и какие его функции полезны для бизнеса.

Что такое Hadoop

Hadoop помогает хранить и обрабатывать массивы информации, готовить ее для выгрузки в другие сервисы, собирать статистику. По сути, это конструктор, на основе которого строят хранилища данных под потребности бизнеса.

Лучше всего Hadoop подходит для работы с неструктурированными данными — неупорядоченной информацией без определенной структуры, которую сложно классифицировать и разбить на группы. Например, с файлами документов, сообщениями, аудио- и видеозаписями, изображениями.

Система может искать нужные сведения в огромном архиве, получать из массива «пустой» информации небольшое количество значимой для компании. Например, подсчитать уникальных пользователей в трафике с миллионов IP-адресов.

Так, крупная сеть универмагов может собирать и обрабатывать информацию о поведении и предпочтениях клиентов из интернета, обрабатывать ее, помещать в хранилище. Там данные объединяют с информацией о продажах, анализируют, в результате становится ясно, какие действия на сайте приводят к покупкам.

Hadoop состоит из нескольких инструментов, в частности файловой базы данных и готовых решений для их обработки, его преимущества:

Функции Hadoop: для чего ваш бизнес может использовать технологию

Hadoop подходит для управления безопасностью и рисками, оптимизации маркетинга, финансового анализа, научных и маркетинговых исследований, индексации веб-сайтов, анализа «озер данных» — большого объема неструктурированной информации, собранной компанией.

По данным исследования Syncsort, 71% компаний применяют Hadoop не только для решения новых проблем с большими данными, но и чтобы улучшить работу с типами информации, которую они используют много лет.

Hadoop для анализа «озер данных»

«Озера данных» — несистематизированная информация, которую компания собирает из разных источников для дальнейшего анализа. Такие данные могут пригодиться в будущем или их обязывает хранить закон.

Когда информация хранится в разных источниках и форматах, она недоступна для анализа, моделирования, прогнозирования, а значит, бесполезна для компании. С помощью Hadoop собранные данные можно распределить и структурировать, настроить аналитику для построения моделей и проверки предположений.

Hadoop для обработки данных из соцсетей

В социальных сетях есть массивы данных, анализ которых важен, чтобы понять потребности клиентов. Hadoop помогает извлекать информацию для обогащения клиентских профилей: идентификационные данные, семейное положение, интересы, образование, социальный статус и т. д.

Аналитика помогает управлять репутацией компании, таргетировать рекламу на нужную аудиторию, повышать эффективность социальных сетей как канала продаж.

Hadoop для анализа отношения к бренду

Hadoop может собирать и анализировать мнения и эмоции, которые пользователи высказывают в социальных сетях, блогах, онлайн-обзорах, отзывах. Это помогает понять, как люди относятся к продуктам и услугам компании или ее конкурентов, оценить репутацию на рынке, скорректировать продвижение продукта, спрогнозировать продажи.

Hadoop для обработки данных о поведении клиентов

Hadoop может быть полезен для сбора и оценки данных о вовлеченности и поведении клиентов на сайте компании. Платформа собирает данные, откуда пользователи приходят на сайт, на какую веб-страницу, по какому поисковому запросу, куда переходят, сколько времени проводят на сайте, что покупают и с каких страниц уходят.

Анализируя эту информацию, компании могут оптимизировать путь пользователя к покупке, повысить конверсию страниц, сделать удобнее сайт и корзину интернет-магазина, спрогнозировать, какие товары купят пользователи.

Hadoop для обеспечения безопасности и управления рисками

Hadoop анализирует данные серверных журналов и помогает реагировать на нарушения безопасности.

Серверные журналы генерирует компьютер, там собраны данные о работе сети, важные для безопасности и соответствия нормативам. Hadoop подходит для извлечения ошибок, подсчета сбоев системы, получения информации об использовании корпоративных сетей и кибератаках.

С помощью Hadoop определяют причины нарушения безопасности, оценивают и моделируют риски, обнаруживают сетевые вторжения. Это помогает разработать способы защиты от злоумышленников.

Hadoop для анализа геоданных

Компании розничной торговли, автомобильной промышленности, производства и магазины могут с согласия клиентов собирать данные об их передвижениях через смартфоны и планшеты, затем хранить и анализировать информацию. Это позволяет прогнозировать визиты покупателей, делать пользователям предложения с учетом их геолокации, строить оптимальные маршруты для транспорта. Hadoop поможет сохранить, оптимизировать и обработать огромное количество геоданных.

Hadoop для обработки данных от интернета вещей

Hadoop подходит для обработки данных с различных устройств интернета вещей. Это могут быть персональные IoT, например: фитнес-трекеры, которые отдают информацию о местоположении и привычках пользователя, или устройства умного дома.

IoT также применяют в городских экосистемах и промышленности для поддержки процесса производства и управления инфраструктурой, мониторинга транспортных средств и грузов, разработки умных инженерных систем, например, электро-, газо- и водоснабжения.

Обработка данных от систем IoT позволяет компаниям сократить расходы, улучшить качество выпускаемой продукции, оптимизировать производство и увеличить продажи.

Hadoop для создания корпоративного центра данных

С помощью Hadoop обрабатывают и анализируют массивы внутренних данных компании, получаемых в процессе работы или взаимодействия с клиентами.

Например, ритейлеры анализируют данные о покупках, складских остатках, ассортименте магазинов. Транспортные компании анализируют движение и скорость автомобилей, время грузоперевозок. Банки прогнозируют и оценивают число транзакций, поток клиентов, риск мошеннических действий.

Также на базе Hadoop можно создать корпоративный центр данных, из которого пользователи будут брать информацию для работы.

Как компании используют Hadoop

По результатам исследования iDatalabs, технологию чаще используют компании, работающие в сферах программного обеспечения, IT-технологий и услуг, рекрутинга, образования, здравоохранения.

Как быстро внедрить Hadoop

У Hadoop есть обширная экосистема дополнительных проектов с открытым исходным кодом, поэтому большинству компаний сложно внедрять и применять технологию. Например, нужны отдельные специалисты, которые занимаются построением хранилищ данных. Это затрудняло использование Hadoop как самостоятельного решения.

Сейчас настроенные инструменты Hadoop можно получить в виде облачного сервиса.Такие решения упрощают внедрение Hadoop, поскольку не требуют капитальных затрат для пилотных проектов. Кроме того, провайдеры берут на себя экспертное администрирование Hadoop, что снимает с пользователей необходимость искать экспертов в штат и делает применение и масштабирование Hadoop дешевле и проще.

Наконец, интеграция облачных решений Hadoop с недорогими S3-хранилищами снижает затраты на хранение больших данных — обслуживание локальной инфраструктуры обходится дороже.

Источник