Что такое data science в программировании
Data Science для начинающих: обзор сферы и профессий
Давайте разберёмся, что представляет из себя Data Science и как построить карьеру в сфере работы с данными.
Что такое Data Science
Data Science — наука о данных и их анализе. Сфера охватывает сбор больших массивов структурированных и неструктурированных данных и преобразование их в человекочитаемый формат. Преобразование включает в себя визуализацию, работу со статистикой и аналитическими методами — машинным и глубоким обучением, анализом вероятностей и построением предиктивных моделей, построением нейронных сетей и их применением для решения актуальных задач.
Начнём с определения терминов.
Искусственный интеллект — обучение машин «думать» для упрощения рутинных процессов и освобождения людского ресурса для творческих задач. Используется в персонализации, цифровых двойниках, имитации человеческого мышления, алгоритмах-игроках.
Первыми моделями ИИ считают машины Тьюринга, созданные в 1936 году. Несмотря на долгую историю, ИИ в большинстве областей ещё не способен полностью заменить человека. И соревнования искусственного интеллекта с человеком в шахматах, и шифрование данных — две стороны одной медали.
Руководитель факультета «Аналитика и Data Science» в Нетологии
Машинное обучение (Machine learning, ML) — создание инструментов для извлечения знаний из данных. Это рекомендательные системы, предсказательные (предиктивные) алгоритмы, распознавание образов, перевод картинок в текст, синтез текстов. В ML модели могут обучаться на данных самостоятельно или поэтапно: обучение с учителем, то есть наличие подготовленных человеком данных ⟶ обучение без учителя, работа со стихийными, зашумлёнными данными.
Глубокое обучение — создание многослойных нейронных сетей в областях, где нужен более продвинутый или быстрый анализ и традиционное машинное обучение не справляется. «Глубину» обеспечивает более чем один скрытый слой нейронов в сети, которая проводит математические вычисления.
Используется в дип-фейках, «масках» в приложениях, высокоточных автопилотах, синтезе изображений, голоса и звука.
Data Science — понимание и придание смысла данным, визуализация, сбор инсайтов и принятие на основе данных решений. Специалисты направления используют некоторые методы машинного обучения и Big Data — облачные вычисления, инструменты создания виртуальной среды разработки и многое другое.
Применяется для автоматизации, ускорения исследований, моделирования. Обеспечивает сочетание разных подходов и математически доказанную значимость в принятии решений.
Big Data (Большие данные) — совокупность подходов к огромным объёмам неструктурированных данных. Это данные соцсетей, медиатеки, стриминг данных, банковские транзакции, события в MMORG.
Специфика сферы — инструменты и системы, способные выдержать высокую нагрузку.
Как и где зарабатывать на данных
Самая обширная сфера — извлечение пользы из данных. Она охватывает:
Из чего состоит аналитика данных
Сбор. Поиск каналов, где можно собирать данные, и способов их получения.
Проверка. Валидация, отсечение аномалий, которые не влияют на результат и сбивают с толку при дальнейшем анализе.
Анализ. Изучение данных, подтверждение предположений, выводы.
Визуализация. Представление в таком виде, который будет простым и понятным для восприятия человеком — в графиках, диаграммах.
Действие. Принятие решений на основе проанализированных данных, например, о смене маркетинговой стратегии, увеличении бюджета на какое-либо направление деятельности компании.
Кем можно работать в аналитических проектах
Аналитики McKinsey еще в 2012 году предсказали дефицит специалистов по данным. Только в США в 2018 году нехватка составила 140‒190 тысяч человек. Недостаток менеджеров, которые могут задавать аналитикам правильные вопросы, ещё больше — 1,5 миллионов человек. Прогнозы подтвердились: специалистов действительно не хватает.
Аналитика
и Data Science
Карьерная траектория и карьерный трек
На каждом из этапов необходимо разное количество инструментов и навыков.
Есть роли и треки со схожими компетенциями (можно развиваться в одном направлении, а потом идти глубже или свернуть в другую сторону).
С точки зрения обучения это означает выкладку дорожки из кирпичиков знаний и умений – мы называем это модулями.
Уровень трансформации данных. ETL-специалисты преобразуют неструктурированные массивы данных в базы данных (БД):
Уровень обработки данных. Анализируют собранные на предыдущем уровне данные, чтобы получить из них знание и извлечь пользу:
Больше всего карьерных треков у ML Engineer — по сути, это разработчик алгоритмов. Это нейросети, голосовые помощники, Object detection — сфера безопасности, предсказание спроса, предиктивная аналитика, распознавание объектов. Среди более сложных направлений: GAN — работа с изображениями, RL — игровые стратегии, геймдев, Black-box AI — коробочные решения для искусственного интеллекта.
Как найти своё направление
Каждый профессионал уникален, ведь у всех нас разный бэкграунд, опыт и образование.
Что такое Data Science и кто такой Data Scientist
Что делает Data Scientist, сколько получает и как им стать, даже если вы не программист. Объясняем и делимся полезными ссылками.
Что такое Data Science?
Data Science — это работа с большими данными (англ. Big Data). Большие данные — это огромные объёмы неструктурированной информации: например, метеоданные за какой-то период, статистика запросов в поисковых системах, результаты спортивных состязаний, базы данных геномов микроорганизмов и многое другое. Ключевые слова здесь — «огромный объём» и «неструктурированность». Чтобы работать с такими данными, используют математическую статистику и методы машинного обучения.
Специалист, который делает такую работу, называется дата-сайентист (или Data Scientist). Он анализирует большие данные (Big Data), чтобы делать прогнозы. Какие именно прогнозы — зависит от того, какую задачу нужно решить. Итог работы дата-сайентиста — прогнозная модель. Если упростить, то это программный алгоритм, который находит оптимальное решение поставленной задачи.
Пишу научпоп, люблю делать сложное понятным. Рисую фантастику. Увлекаюсь спелеологией. Люблю StarCraft, шахматы, «Монополию».
Эти прогнозы и правда полезны?
Да. Очень многие сервисы, к которым мы уже привыкли, создали дата-сайентисты. И вы сталкиваетесь с результатами их работы каждый день. Например, это прогнозы погоды, чат-боты, голосовые помощники… А ещё — алгоритмы, рекомендующие музыку и видео под вкус конкретного пользователя. Список возможных друзей в социальных сетях — тоже результат Data Science. В основе поисковых систем и программ для распознавания лиц тоже лежат алгоритмы, написанные дата-сайентистами.
То есть Data Science — то же самое, что и обычная бизнес-аналитика?
Нет, это не одно и то же. Основная разница заключается в результате. Data Scientist ищет в массивах данных связи и закономерности, которые позволят ему создать модель, предсказывающую результат, — то есть можно сказать, что Data Scientist работает на будущее. Он использует программные алгоритмы и математическую статистику и решает поставленную задачу в первую очередь как техническую.
Бизнес-аналитик сосредоточен не столько на технической, программной стороне задачи, сколько на коммерческих показателях компании. Он работает со статистикой и может оценить, например, насколько эффективна была рекламная кампания, сколько было продаж в предыдущем месяце и так далее. Вся эта информация может использоваться для улучшения бизнес-показателей компании. Если данных много и нужен какой-то прогноз или оценка, то для решения технической стороны этой задачи бизнес-аналитик может привлечь дата-сайентистов.
Поясним на примере. Допустим, программа анализирует финансовые операции клиента и рекомендует выдать ему кредит или отказать. То есть задача программы — оценить платёжеспособность клиента. Создание такого програмного алгоритма — работа дата-сайентиста.
А бизнес-аналитик не занимается такими техническими задачами. Его не интересует работа с конкретным клиентом, но он может проанализировать всю статистику банка по кредитам, например, за последние три месяца — и рекомендовать банку сократить или увеличить объёмы кредитования. Это бизнес-задача: предлагаются действия, которые увеличат доходность банка либо снизят финансовые риски.
Работа бизнес-аналитика и дата-сайентиста нередко пересекается, просто каждый занимается своей частью задачи.
А где обычно работает Data Scientist?
Вот несколько вариантов:
И это далеко не полный список. Везде, где нужны прогнозы, совершаются сделки или оцениваются риски, пригодится Data Scientist. Вот несколько примеров рабочих моделей. Некоторые неожиданные: например, Corrupt Social Interactions — модель, выявляющая коррупцию в Департаменте строительства (Department of Building) США. Или сервис А Roommate Recommendation — он помогает подобрать соседа по комнате в кампусе или хостеле.
Понятно. А работу найти легко? Это точно востребовано?
Легко ли найти работу — зависит и от кандидата тоже. Но сама профессия весьма востребована. В 2016 году американская компания Glassdoor опубликовала рейтинг 25 лучших вакансий в США и профессия Data Scientist возглавила этот список. С тех пор востребованность стала даже выше.
Алгоритмы машинного обучения сейчас стремительно развиваются, прогнозы на их основе становятся точнее, а сфер их применения всё больше. Это значит, что у профессии Data Scientist большое будущее.
Но это за рубежом. А что в России?
У нас спрос на этих специалистов тоже постоянно растёт. Например, в 2018 году вакансий с названием Data Scientist было в 7 раз больше по сравнению с 2015 годом, а в 2019 году рост продолжился.
На середину апреля 2020 года на hh.ru — 323 вакансии с заголовком Data Scientist, из них 204 вакансии — в Москве, 39 — в Санкт-Петербурге и остальные — в других городах.
А сколько они зарабатывают?
Как и везде, это зависит от опыта работы и навыков дата-сайентиста, особенностей компании и сложности конкретного проекта. Но общий расклад примерно такой (данные приведены по состоянию на февраль 2020 года):
Высококвалифицированные специалисты по Data Science могут получать в месяц 250 тысяч рублей и более.
Вы сказали, что Data Scientist создаёт программный алгоритм. А что конкретно он делает?
В разных компаниях деятельность дата-сайентиста будет различаться. Однако основные этапы похожи:
Что нужно знать и уметь, чтобы работать в Data Science?
Если в общих чертах, то нужно знать математику, математическую статистику, программирование, принципы машинного обучения и ту отрасль, где всё это будет использоваться.
И умение работать в команде тоже никто не отменял: дата-сайентисту приходится общаться с разными специалистами.
Если у меня нет технического образования, то о работе в Data Science лучше не мечтать?
Будем откровенны — гуманитариям осваивать эту профессию может быть непросто: для работы в Data Science нужно хорошее знание математики и программирования. А у гуманитария этих знаний чаще всего нет. И наоборот: чем увереннее вы чувствуете себя в этом уже на старте, тем проще будет учиться.
Однако не стоит опускать руки: очень многое зависит от мотивации, от того, насколько вы готовы восполнять пробелы в своем образовании. Сейчас люди приходят в Data Science с разным бэкграундом и в разном возрасте. Вот пример одной такой истории — возможно, она вас поддержит.
А с чего лучше начать?
Начать лучше с математики. Очень сложная математика не понадобится, но вы должны свободно ориентироваться в таких понятиях, как производная, дифференциал, определитель матрицы, и в том, что с ними связано. Освоить это вам помогут книги и лекционные курсы. Например, книга «Математический анализ» Липмана Берса, написанная довольно простым языком.
А что дальше? Там было что-то о статистике?
Да, потому что математическая статистика используется в любой аналитике. И Data Science не исключение. Вот несколько бесплатных курсов, которые помогут вам изучить статистику.
Кажется, с математической частью закончили. Что по программированию?
Следующим шагом будет изучение Python. Сейчас этот язык программирования, пожалуй, основной инструмент в Data Science. Среди его достоинств — относительная простота и гибкость. Освоить Python вполне по силам новичку, который до того не программировал. Неслучайно этот язык нередко рекомендуют для начинающих.
По Python есть много курсов, как платных, так и бесплатных. Вот один из бесплатных курсов. И ещё один: «Питонтьютор».
У Skillbox тоже есть курс, он называется «Профессия Python-разработчик». Курс платный, длится год, и за это время студенты фактически осваивают с нуля новую профессию (как теорию, так и практику) и собирают личное портфолио — с помощью наставника. Поэтому по окончании курса им уже есть что показать потенциальному работодателю.
Что учить после Python?
Теперь можно изучать алгоритмы машинного обучения. Когда освоитесь с ними, уже сможете работать в Data Science.
Вот несколько бесплатных онлайн курсов по машинному обучению (много курсов на английском, но кое-что есть и на русском).
Мало знать методы машинного обучения, нужно уметь применять их для решения практических задач. Научиться этому можно на платформе Kaggle, где собрано огромное количество реальных задач.
Если вы хорошо знаете английский, он поможет вам быстрее развиваться в Data Science. Если нет — самое время его выучить.
Очень много всего. Может быть, есть курсы, где можно освоить сразу всё?
Да, есть и такие. Например, наш курс по Data Science. Он так и называется — «Профессия Data Scientist». На наш курс приходят как люди с опытом в программировании, так и совсем новички, программа курса это учитывает. Обучение длится около года, в нём уже есть все блоки, которые мы описали выше.
Учиться можно онлайн, из любого города. Наши преподаватели — практики с опытом работы 10–15 лет. У вас будет возможность не только освоить теорию, но и практиковаться на реальных задачах, получая рекомендации от наставника. Очень важный бонус — помощь при трудоустройстве.
📈 Обучение Data Science: основы науки о данных за 10 минут
Мы уже писали о выборе специализации и обучении разным профессиям в сфере Data Science с нуля. В подготовленной при поддержке Факультета Искусственного интеллекта онлайн-университета GeekBrains статье постараемся ответить на самые часто задаваемые вопросы о Data Science, которые волнуют новичков.
Что такое Data Science?
Наука о данных – это область исследований, которая включает в себя получение информации и обнаружение в ней скрытых закономерностей для принятия и оптимизации решений. При этом используются огромные объемы данных и различные научные методы, алгоритмы и процессы. Термин Data Science появился в связи с развитием математической статистики и анализа данных, а также благодаря появлению больших данных.
Наука о данных – область междисциплинарная. Ее методы позволяют извлечь знания из структурированной или неструктурированной информации, перевести бизнес-проблему в исследовательский проект, а затем применить результаты в процессе принятия решений.
Источник
Применение Data Science
Существует множество применений и преимуществ использования анализа данных в различных сферах. Например, следующие:
С чего начать обучение Data Science?
Статистика
Статистика и математика являются основами науки о данных. Их принципы и методы применяются для сбора и анализа числовых данных в больших количествах, а также для принятия решений.
Программирование
Наука о данных – захватывающая область для работы, поскольку она сочетает передовые статистические и количественные навыки с реальными навыками программирования. В зависимости от вашего бэкграунда и желаемой роли в Data Science, можно выбрать один или несколько языков программирования. Однако наиболее популярными в сообществе Data Science являются R, Python и SQL.
Визуализация
Машинное обучение и ИИ
Машинное обучение и Искусственный интеллект исследуют построение и оптимизацию алгоритмов, задача которых – прогнозирование непредвиденных/будущих данных.
Deep Learning
Методы Deep Learning – это относительно новое направление машинного обучения, в котором алгоритм самостоятельно выбирает модель анализа, которой нужно следовать.
Источник
Какова роль специалиста Data Science?
Существует несколько основных ролей специалистов по Data Science, каждая из которых направлена на решение определенных проблем с помощью данных:
Data Scientist
Роль: специалист, который с помощью различных инструментов, методов, методологий и алгоритмов управляет огромными объемами данных, а также анализирует и оптимизирует их для создания эффективных бизнес стратегий.
Языки и инструменты: R, SAS, Python, SQL, Hive, Matlab, Pig, Spark
Инженер
Роль: работает с большими объемами информации, разработка, конструирование, тестирование и поддержка архитектуры крупномасштабных систем обработки и баз данных.
Языки и инструменты: SQL, Hive, R, SAS, Matlab, Python, Java, Ruby, C++, Perl
Аналитик данных
Роль: отвечает за получение и обработку больших объемов информации. Аналитик будет искать в данных взаимосвязи, закономерности и тенденции. В его задачи также входит предоставление отчетности и визуализации анализа данных, которые будут использованы для принятия наиболее эффективных бизнес-решений.
Языки и инструменты: R, Python, HTML, JS, C, C++, SQL
Статистик
Роль: собирает и анализирует качественные и количественные данные, используя статистические теории и методы.
Языки и инструменты: SQL, R, Matlab, Tableau, Python, Perl, Spark, Hive
Администратор данных
Роль: администратор должен убедиться, что база данных доступна всем пользователям. Он также следит, чтобы она работала правильно и была защищена от взлома.
Языки и инструменты: Ruby on Rails, SQL, Java, C#, Python
Бизнес-аналитик
Роль: главная задача такого специалиста – улучшить существующие бизнес-процессы. Он является посредником между командой бизнес-менеджеров и IT-отделом.
Языки и инструменты: SQL, Tableau, Power BI and, Python
Как стать экспертом Data Science?
Чтобы стать экспертом в области науки о данных, сосредоточьте свое внимание на одной области и направьте усилия на изучение ее специфики. Вы также станете лучше разбираться в техниках, которые используете ежедневно в разных областях – все дело в практике. Попробуйте также получить навыки за пределами своей зоны комфорта. Если вы знаете язык программирования Python, перейдите на Django, R или Java. Если вы хотите повысить свой профессиональный уровень, обратите внимание на следующий список:
Как реализуется проект Data Science?
Многие считают, что Data Science – это только построение моделей. На самом деле, общий процесс разработки проекта разбивается на несколько этапов. Полный его жизненный цикл выглядит примерно так:
Постановка проблемы
Любой проект в Data Science начинается с постановки проблемы и определения задач для команды, с помощью которых она может быть решена. На данном этапе разрабатывается набор стратегий аналитического процесса и определяются ожидаемые результаты.
Сбор данных
Получение данных из всех идентифицированных внутренних и внешних источников, которые могут помочь ответить на бизнес-вопрос.
Данные могут быть получены из следующих источников:
Подготовка
Данные могут иметь множество несоответствий, вроде пропущенных значений, пустых столбцов и неправильных форматов. Перед разработкой модели их необходимо обработать, очистить и подготовить к анализу. Чем чище ваши данные, тем лучше ваши прогнозы.
Разработка модели
На этом этапе необходимо определить метод и технику построения связи между входными переменными. Планирование модели осуществляется с помощью различных статистических формул и средств визуализации. SQL Analysis Services, R и SAS – наиболее часто используемые для этих целей инструменты.
Построение модели
На этом этапе начинается процесс моделирования и проверки гипотез. Здесь Data Scientist разделяет наборы данных для обучения и тестирования. К первому набору применяются такие методы, как ассоциация, классификация и кластеризация. Эффективность модели далее определяется с помощью тестирования на тестовом наборе.
Операционализация
На этом этапе разрабатывается окончательная базовая модель с отчетами, кодом и техническими документами. Она развертывается в производственной среде после тщательного тестирования.
Презентация результатов
Полученные результаты и предложения решения проблем презентуются заказчикам проекта. На основе входных данных модели определяется, являются ли результаты проекта успешными или неудачными, и соответствуют ли они ожиданиям.
Если вы хотите начать карьеру в Data Science, стоит обратить внимание на курс Факультета Искусственного интеллекта онлайн-университета GeekBrains. Его особенность заключается в проектно-ориентированном обучении, во время которого вы сможете на практике понять, как работает команда и как избежать ошибок. Программа курса включает основательную математическую подготовку, занятия по программированию и машинному обучению, а также работу над бизнес-проектами.