Резко врываемся в дату: чему учат и каким будет результат

Резко врываемся в дату: чему учат и каким будет результат

Профессии, которые будут перспективны ещё много лет

Биг-дата — это русский вариант английского big data (большие данные). Смысл биг-даты в том, что у нас есть огромное количество данных о чём-то и мы на основе этих данных можем сделать какие-то выводы, что-то спрогнозировать или обучить нейронку. 

Биг-дата — это не одно, а несколько разных направлений в ИТ. У них общая основа, но различаются инструменты и подход к работе. Рассказываем, чему учат на разных направлениях и где это будет полезно.

Коротко суть:

  • в биг-дате есть несколько вариантов работы: стать аналитиком или стать инженером;
  • аналитики обрабатывают данные и делают выводы, а инженеры — программируют нейросети и строят новые модели работы с данными;
  • основа и там и там одна — Python и базы данных;
  • аналитиков учат визуализировать данные — показывать их в наглядном виде, чтобы всё сразу было понятно;
  • инженерам для работы нужно знать много математики и сложных алгоритмов — без этого писать нейронки не получится;
  • вакансий на рынке много, зарплаты хорошие, перспективы есть.

Направления в биг-дате

Работа с биг-датой делится на аналитическую и инженерную. 

Аналитики работают с уже собранными данными — приводят их в порядок, анализируют, строят графики и модели. 

Инженеры и специалисты по Data Science делятся на две категории: те, кто занимается сбором данных, и те, кто потом занимается машинным обучением.

Резко врываемся в дату: чему учат и каким будет результат

Что общего у всех

Все, кто работают с биг-датой, учатся сначала одним и тем же вещам: программированию, работе с базами данных и предварительной обработке.

Программирование. Основной язык, на котором работают почти все дата-сайентисты в мире, — это Python. На нём можно написать любой скрипт для обработки данных и подключить много готовых библиотек.

Базы данных. Все данные должны где-то храниться, и чаще всего это SQL-базы данных. С ними нужно уметь работать: брать данные, сохранять, фильтровать и т. д. 

Предварительная обработка данных. Чтобы от данных был какой-то толк, с ними нужно предварительно поработать: проверить на дубли, пустые поля или неверные значения.

Это то, что было общего у всех. Теперь разное.

Чему учат аналитиков

Задача аналитика — обработать большой массив информации и сделать на его основе какие-то выводы. Примеры: 

  • какой товар и по каким причинам продаётся лучше всего;
  • в какое время лучше всего привозить свежую выпечку, чтобы она не залёживалась на прилавке до вечера;
  • какие метрики влияют на прибыль и выручку от клиента, а какие нет;
  • какое решение лучше всего принять, исходя из имеющихся данных.

Чтобы презентовать результаты своей работы в понятном и наглядном виде, аналитики используют сервисы визуализации данных, например Tableau. А дальше — техники и методы анализа, чем дольше работаешь, тем больше в них вникаешь.

Tableau позволяет вывести разные графики в любом виде и сочетании, чтобы можно было сравнивать данные между собой

Как работают инженеры по сбору данных

Вообще, эту работу может сделать и аналитик, и инженер машинного обучения, но иногда сбор становится отдельной задачей. В этом случае инженер:

  • пишет скрипт, который будет собирать информацию из нужных источников;
  • настраивает базу данных;
  • следит за правильностью собранных данных и корректирует скрипт, если что-то идёт не так;
  • фильтрует данные, чтобы в базу попадало меньше мусора.

Для этого достаточно общих знаний из биг-даты плюс знание API того сервиса, откуда забираем данные. Но этому всё равно нужно учиться — сложно будет прийти в такой проект, если знаешь только базы данных или у тебя начальные навыки программирования на Python.

Чему учат и что делают специалисты по Data Science

У этих ребят задачи технически намного сложнее, потому что они чаще всего работают с нейросетями — обучают их или программируют самостоятельно. Для этого надо знать много математики:

  • теорию вероятностей, 
  • статистику, 
  • математическую логику,
  • матан, 
  • численные методы,
  • работу с векторами и матрицами,
  • теорию рядов.

Кроме этого, будущим дата-сайентистам дают углублённые знания Python и учат их работе с нейросетями. Это значит — много программирования, библиотеки, фреймворки, API, базы данных, тестирование и облачные вычисления. В итоге всё это позволяет разработчикам создавать нейросети, заниматься компьютерным зрением, искусственным интеллектом, голосовыми помощниками и вообще быть впереди компьютерной науки.

Что по работе и деньгам

В 2022 году спрос на тех, кто работает с биг-датой, такой:

  • аналитик данных — 11 095 вакансий на hh.ru;
  • дата-сайентист — 5790 вакансий;
  • специалист по машинному обучению — 9331 вакансия.

По зарплатам вот средние цифры на второе полугодие 2022-го такие:

Резко врываемся в дату: чему учат и каким будет результат

Где научиться 

Самый простой способ ворваться в биг-дату — прийти в Практикум на курсы «Аналитик данных» или «Специалист по Data Science». Учиться можно двумя способами: 

Обучение в обычном темпе длится от 6 до 9 месяцев, на буткемпе — в 2-3 раза быстрее. На выходе у вас портфолио с учебными проектами, навыки для работы в отрасли и помощь карьерного центра.

Если интересно, как вообще устроены такие курсы, почитайте наш разбор обучения в Практикуме. Там всё как раз на примере курсов про биг-дату.

Текст:

Михаил Полянин

Редактор:

Максим Ильяхов

Художник:

Алексей Сухов

Корректор:

Ирина Михеева

Вёрстка:

Кирилл Климентьев

Соцсети:

Виталий Вебер

Любите данные? Посмотрите вот это
Возможно, у вас получится построить карьеру в мире дата-сайенса. Это новое направление, в котором очень нужны люди. Изучите эту сферу и начните карьеру в ИТ: старт — бесплатно, а после обучения — помощь с трудоустройством.
Посмотреть
Любите данные? Посмотрите вот это Любите данные? Посмотрите вот это Любите данные? Посмотрите вот это Любите данные? Посмотрите вот это
Получите ИТ-профессию
В «Яндекс Практикуме» можно стать разработчиком, тестировщиком, аналитиком и менеджером цифровых продуктов. Первая часть обучения всегда бесплатная, чтобы попробовать и найти то, что вам по душе. Дальше — программы трудоустройства.
Начать карьеру в ИТ
Получите ИТ-профессию Получите ИТ-профессию Получите ИТ-профессию Получите ИТ-профессию
Еще по теме
Давид Роганов о работе фронтенд-разработчика в Яндекс.Практикуме
«Успешный программист не привязывается к языку. Он просто умеет программировать»

Давид Роганов о работе фронтенд-разработчика в Яндекс.Практикуме.

Биотех-стартапы: что они делают и что в них интересного
Биотех-стартапы: что они делают и что в них интересного

Краткий конспект подкаста

easy
Почему разработчик сегодня злой
Почему разработчик сегодня злой

Три главные проблемы в работе программиста и как с ними быть.

easy
Настраиваем сервер для своего облачного хранилища
Настраиваем сервер для своего облачного хранилища

Готовимся к переезду в личное облако

hard
Как работает автоматизация в компьютере
Как работает автоматизация в компьютере

Пусть потеет машина

easy
Как устроена радиосвязь
Как устроена радиосвязь

Wi-Fi, 4G, 5G и другие приключения электромагнитного поля

medium
Как установить Python на компьютер и начать на нём писать

Это занимает всего 10 минут.

medium
Как работает шифрование в мессенджерах
Как работает шифрование в мессенджерах

Секретная переписка.

hard
Как выиграть в самой сложной игре мира
Как выиграть в самой сложной игре мира

Поручим это нейронке.

easy
«Никому не нужны высокомерные гении»
«Никому не нужны высокомерные гении»

ИТ-рекрутер об ошибках программистов на собеседовании.

easy
easy