Все мы уже привыкли к мысли, что за нами следят: телефон, банк, карта лояльности в магазине, сайты с баннерами: каждый что-то записывает. Отсюда и популярная фраза про то, что данные стали новой нефтью. Звучит красиво, но если начать считать деньги, ситуация получается гораздо скромнее и интереснее.
Сегодня посмотрим на экономику данных — разберёмся, кто именно собирает данные, какие из них стоят дороже, а какие три копейки, сколько на них реально зарабатывают и почему крупные игроки в итоге продают не данные, а готовый результат. А ещё заглянем к тем, кто зарабатывает не на продаже данных, а на их хранении.
Предупредим сразу: говорим только про легальный рынок. Утечки, слитые базы и «пробив» оставляем за скобками. Нас интересуют компании, которые собирают, покупают и продают данные по официальным контрактам. Поехали.
ВАМ ПРИШЛО ПРИГЛАШЕНИЕ 💌
Приходите к нам в соцсети поделиться своим мнением и почитать, что пишут другие. А ещё там выходит дополнительный контент, которого нет на сайте — шпаргалки, опросы и разная дурка. В общем, вот тележка, вот ВК — велком!
Что такое данные и почему их собирают все
Данные окружают нас везде: вы пробили чек в магазине, зашли на сайт, позвонили другу: каждое такое действие где-то записалось. Но запись сама по себе ничего не стоит, чтобы на ней заработать, её нужно превратить во что-то полезное.
От данных к действию
В работе с данными есть цепочка из четырёх пунктов:
- Данные. Сырые факты о том, что произошло в физическом мире: пробитый чек, запись в логе сайта, клик.
- Информация. Данные после первичной обработки: собрали все чеки за день, посчитали количество заходов, просуммировали.
- Знания. Понимание причин и следствий: почему люди покупают и что будет, если поменять цену.
- Действие. Решение на основе знаний: отправить скидку, поменять ассортимент, показать рекламу.
Долгое время компьютеры отвечали только за первый переход, от данных к информации. Отчёты и таблицы читали люди, применяли свой опыт и делали выводы. Нейросети сдвинули эту границу — модель по сути хранит закодированные связи вида «если человек сделал X, то он, скорее всего, интересуется Y», поэтому машина теперь может извлекать из данных не только информацию, но и знания.
Главное правило всей цепочки: если в конце нет действия, деньги на сбор, хранение и обработку данных потрачены зря — место занято, пользы ноль.
Пользовательские, машинные и природные
Данные рождают три источника:
- Люди. Покупки, звонки, переходы по сайтам. Именно о них обычно и спорят.
- Машины. Телеметрия оборудования, датчики, логи серверов.
- Природа. Погода, температура воздуха, солнце.
Про природные данные часто забывают, а зря. Простой пример: на какой-то территории пошёл дождь, и продавец зонтиков тут же поднимает ставки на рекламу в этом районе.
Обезличенные и персональные
Данные о людях делятся ещё на два вида. Аудиторные данные обезличены: они привязаны не к конкретному человеку, а к сегменту вроде «мужчины 30+ из Москвы, которые интересуются автомобилями». Персонализированные данные описывают конкретного человека, и на них работают рекомендательные системы и узкие сегменты.
Примерно с начала 2010-х маркетинг научился дробить сегменты всё мельче, вплоть до одного человека. Вместе с выгодой пришли и вопросы, этические и юридические. К ним вернёмся в разделе про законы.
Почему всё упирается в рекламу
Данные собирали всегда, но большими деньгами они стали тогда, когда попали в маркетинг. Причина простая: компании тратят на рекламу сотни миллиардов рублей в год, а зарабатывать там, где деньги уже есть, проще, чем создавать новый рынок с нуля.
Раньше реклама в основном показывалась всем подряд. Если нельзя нацелить рекламу на конкретного человека, остаётся купить показы подешевле, показать ролик как можно большему числу людей и надеяться, что креатив запомнится. На рынке тогда правили креативщики.
Потом появился таргетинг, или адресация: возможность доставить рекламу конкретному человеку и при этом понимать, кто он. Причём не только в интернете: адресными стали цифровые билборды, телевизионная реклама и аудиореклама. Логика закупки перевернулась. Раньше рекламодатель выбирал площадку, где аудитория хоть как-то похожа на его покупателей. Теперь он выбирает саму аудиторию. А чтобы выбирать аудиторию, нужны данные.
Второй эффект ещё интереснее: данные замкнули петлю. Обезличенные данные банков и сотовых операторов позволяют проверить, пришёл ли человек после показа рекламы в обычный офлайновый магазин и купил ли товар. Определяется это по транзакции.
Выводы из главы
- Данные сами по себе бесполезны: деньги появляются, только когда из них получается действие.
- Нейросети позволили машинам извлекать из данных не только информацию, но и знания.
- Данные бывают пользовательскими, машинными и природными, а данные о людях делятся на обезличенные и персональные.
- Главный денежный поток в экономике данных идёт из рекламы: данные сделали её адресной и измеримой.
Кто собирает данные о вас
Что за нами следят телефон и умные часы, знают уже все. Интереснее другое: кто из собирающих на этом зарабатывает и что именно каждый видит. Пройдёмся по основным игрокам.
Сотовые операторы
Операторы связи похожи на дремавшего гиганта: данных у них много, но монетизировать их они начали позже других. Что вы делаете в интернете, оператор видит плохо. Почти весь браузерный трафик сейчас шифруется по HTTPS, и провайдер видит только домен сайта, а не страницы внутри него. Зато у оператора есть то, чего нет у других: кому вы звоните, от кого получаете SMS и о чём эти SMS.
Исторически главная статья дохода оператора на данных связана с кредитным скорингом. Работает это так. Банк присылает оператору номер телефона и спрашивает, насколько надёжен этот человек. Оператор не отдаёт ни имени, ни истории звонков, только число, например 5 из 10. Банк добавляет это число в свою модель и решает, давать ли кредит. Похоже на справку из бухгалтерии: всю ведомость вам не покажут, только итоговую цифру.
Ещё операторы обогащают чужие CRM-системы и помогают компаниям оценить свою клиентскую базу, например понять, какой доход у её пользователей.
Банки
Банки видят ваши транзакции и так называемый золотой соцдем. В соцсети можно указать любой возраст, а в банке вы показывали паспорт, поэтому банк точно знает ваш пол и возраст.
Но у банков есть слепое пятно. Они видят, где прошла покупка и на какую сумму, но не видят, что именно вы купили. Списание на 1500 рублей в супермаркете может оказаться и продуктами на неделю, и кормом для кота, и новой сковородкой.
Операторы фискальных данных
Это относительно новый тип сборщиков. После перехода на онлайн-кассы каждый чек уходит в налоговую через специального посредника, оператора фискальных данных (ОФД). Создавали ОФД для налогового контроля, но у них появился побочный бизнес: они видят состав чека. Если связать чек с транзакцией, например через телефон или email, можно наконец понять, купил ли человек тот самый йогурт, который ему только что рекламировали.
Имена покупателей при этом нигде не фигурируют. ОФД могут использовать сведения из чеков только в обезличенном виде, а в 2021 году ФНС утвердила список из 30 полей, которые нужно обезличивать: имя, телефон, почту, паспортные данные, ИНН покупателя и другие.
Ритейлеры
Магазины вышли на рынок данных последними. Раньше они были почти слепыми: по залу ходят тысячи людей, но отличить одного покупателя от другого невозможно. Всё изменили карты лояльности. Вы пикаете карту на кассе, и у магазина появляется ваш номер телефона. Номер шифруют, чтобы защитить персональные данные, и получается идентификатор, к которому привязана вся история покупок.
Внутри компании эти данные решают три задачи:
- Логистика. Что, куда и в каком количестве везти. Крупные сети пересчитывают это каждую ночь для тысяч магазинов.
- Ассортимент. В каждом магазине сети он свой, с учётом района и людей, которые живут вокруг.
- Коммуникации. Кому прислать SMS о завтрашней скидке на творожок, а кому о скидке на морковку.
А наружу ритейлеры продают таргетинг для брендов. Производителю больше не нужно показывать рекламу всем мужчинам 30+. Можно выбрать тех, кто ходит в конкретные магазины, имеет нормальный средний чек и покупает нужную категорию товаров.
Авиаперевозчики и системы бронирования
Они знают, куда и как часто вы летаете. Человеку, который собирается в отпуск, можно предложить страховку, а тому, кто давно никуда не летал, снова напомнить про отпуск.
В России этот рынок практически исчез, крупные международные системы бронирования постепенно перестали работать со страной, и их данные для таргетинга на российском рынке стали недоступны.
Wi-Fi-ловушки
Самый шпионский способ из всех. Телефон в кармане постоянно ищет знакомые сети Wi-Fi и отправляет запросы. Цифровой рекламный щит притворяется точкой доступа, ловит такой запрос и записывает MAC-адрес устройства, его уникальный идентификатор. Следующий щит делает то же самое.
В итоге складывается история перемещений: где человек ходил и какую рекламу видел в этот момент. Можно мерить эффективность наружной рекламы и таргетироваться на людей, которые ходят определёнными маршрутами. Например, показать всем посетителям конкретного торгового центра рекламу магазина, который там же и находится.
Соцсети и агрегаторы поведения
Соцсети знают, в каких группах вы состоите и с кем дружите. Агрегаторы поведения следят за другим: по каким сайтам ходит ваш браузер.
Работает это через рекламные аукционы. Когда на сайте загружается баннер, за долю секунды проходит аукцион: запрос улетает множеству роботов-покупателей. Робот агрегатора видит: пользователь 123 сейчас на таком-то сайте. Запоминает. Пользователь идёт на другие сайты с баннерами, и у него постепенно складывается профиль интересов.
В профиле интересы записаны с процентами аффинитивности. Иначе говоря, система оценивает, насколько человек похож на идеального фаната туризма: на 90, 70 или 50%. Сюда же добавляют обезличенные траты по категориям магазинов, чтобы реклама была точнее. Имени и телефона в профиле нет: для системы это просто браузер с набором признаков, которому можно показать рекламу.
В реальном времени это выглядит как режим бога в стратегии. Система видит, что за сегодня у ещё миллиона человек появился интерес к автомобилям, потому что каждый из них подряд посмотрел 6–7 автомобильных сайтов и долго их листал.
Платформы обмена данными
Над всеми сборщиками есть ещё один слой: платформы, где поставщики встречаются с покупателями. Поставщики загружают туда свои данные в виде атрибутов: пол, интерес к категориям товаров, частота покупок. Причём данные часто неполные. Например, у поставщика может быть аудитория 15 миллионов человек, а пол известен только для 70% из них, тех, кто заполнил анкету при регистрации. Покупатель заходит на платформу, как в меню, выбирает атрибуты, собирает из них сегмент и заключает сделку.
Примерно с 2019 года рынок сдвинулся от cookies к устойчивым идентификаторам: номеру телефона, email, логину, MAC-адресу. Cookie живёт в одном браузере, а номер телефона остаётся с человеком годами. Тогда же данные пошли не только в привлечение клиентов, но и в удержание: рассылки, пуши, персональные витрины в интернет-магазинах. Там привязка к конкретному человеку работает лучше, чем в рекламе. По объёму поставок данных на первые места вышли телеком и ритейл.
Выводы из главы
- Данные о людях собирают операторы связи, банки, ОФД, ритейлеры, авиакомпании, рекламные щиты, соцсети и агрегаторы поведения.
- У каждого своё слепое пятно: банк не видит состав чека, оператор почти не видит, что вы делаете на сайтах.
- Почти все игроки работают с обезличенными данными: покупателю отдают не имя, а признаки или итоговую цифру.
- Рынок уходит от cookies к устойчивым идентификаторам, а данные всё чаще работают на удержание клиентов, а не только на рекламу.
Полезный блок со скидкой
По промокоду: KOD (можно просто нажать) — вы получите скидку на все курсы Практикума.
Если хочется самому превращать чеки и клики в выводы, на которые опирается бизнес, посмотрите курс Аналитик данных. А если интереснее обучать модели, которые раскладывают товары по категориям и находят в чеках владельцев котов, есть курс ML-инженер.
Бесплатные вводные курсы в Практикуме тоже есть — по всем направлениям, от Python до аналитики.
Какие стоят дороже, а какие три копейки
Казалось бы, если данные собирают все подряд, каждый из них должен зарабатывать горы денег. Особенно банки: что может быть ценнее ваших транзакций? На практике всё иначе, и чтобы понять почему, нужно разложить данные по типам.
Четыре типа данных
- Демографические. Пол, возраст, город. И, пожалуй, всё.
- Поведенческие. Какие сайты вы посещаете и что там смотрите.
- Социальные. В каких группах состоите и с кем дружите.
- Данные о намерении (intent data). То, что вы сообщаете сами, например когда вбиваете в поиск «купить айфон дёшево».
У каких данных конверсия выше
Если сравнить среднюю конверсию в продажу по множеству рекламных кампаний, картина получается такая. Таргетинг по демографии немного лучше показа наугад, но редко на что-то влияет, а вот данные о намерении дают конверсию в 3-5 раз выше, чем поведенческие.
Логика понятная. Человек, который прямо сейчас ищет диван, купит диван с куда большей вероятностью, чем тот, кто неделю назад листал мебельные сайты. При этом в абсолютных цифрах конверсия низкая у всех типов, особенно если считать от показа баннера.
Ценных данных меньше всего
Теперь посмотрим, сколько таких данных на рынке. Демографических больше всего, и стоят они копейки. Один из первых сервисов знакомств в своё время пробовал продавать пол и возраст пользователей и быстро бросил: данных было очень много, а платить за них никто не хотел.
На втором месте по объёму социальные данные: в соцсетях зарегистрирована почти вся страна. Поведенческих тоже море. Их собирают счётчики веб-аналитики, которые стоят почти на каждом сайте.
А вот данных о намерении на рынке почти нет. Все расставили счётчики, организовали биржи, потом измерили конверсию и выяснили, что самых эффективных данных в продаже практически не бывает. Если подумать, сильная сторона поисковиков не столько в самом поиске, сколько в моменте: человек сам говорит, что ему нужно, и реклама отвечает прямо на этот запрос. Наружу такие данные не уходят, они превращаются в показ объявления внутри системы.
Конкурировать с поисковиками по эффективности рекламы остальным сборщикам практически не удаётся. Но многие крупные владельцы данных до сих пор пытаются сделать это с помощью транзакций. Это как соревноваться с такси на самокате: тоже едет, но это другая игра.
Данные быстро протухают
У поведенческих и социальных данных есть ещё одна беда: они быстро устаревают. Если человек начал смотреть машины, а реклама автосалона догнала его через два-три часа, эффективность уже резко падает.
Данные о намерении работают в моменте: запрос, тут же реклама в ответ, высокая конверсия. Демография не стареет, но она и так не особо работала. Похоже на свежий хлеб: утром его разбирают, а вечером даже со скидкой берут неохотно.
Выводы из главы
- Данные о людях бывают демографическими, поведенческими, социальными и данными о намерении.
- Чем данных на рынке больше, тем они дешевле: демография почти ничего не стоит.
- Данные о намерении дают конверсию в 3-5 раз выше поведенческих, но их мало, и главные владельцы таких данных их не продают.
- Поведенческие и социальные данные теряют ценность за считанные часы.
Сколько зарабатывают на продаже данных
Теперь про деньги. Ниже оценки игроков рынка начала 2020-х, которые сами покупали и продавали данные. Это экспертные прикидки, а не официальная статистика, но порядок цифр они показывают хорошо.
Одно уточнение: речь именно о продаже данных. Если оператор связи сам показывает рекламу своим абонентам, это уже рекламный рынок, и в эти цифры он не попадает.
| Кто продаёт | Что продаёт | Оценка, руб. в год |
| ОФД и ритейл | данные о покупках для рекламы и её измерения | около 2 млрд |
| Сотовые операторы | скоринг, обогащение CRM, оценка дохода клиентской базы | до 1,5 млрд |
| Агрегаторы поведения в интернете | таргетинг по интересам | от 500 млн до 1 млрд |
| Соцсети | данные для обогащения CRM и скоринга | около 500 млн |
| Банки | результаты анализа транзакций и таргетинг по ним | не больше 500 млн |
| Агрегаторы перемещений | маршруты людей для наружной рекламы | около 300 млн |
| Авиаперевозчики | данные о перелётах | было около 300 млн, рынок практически исчез |
Несколько деталей к таблице:
- Один крупный банк может платить одному оператору 200–300 млн рублей в год только за данные для скоринга.
- Банки зарабатывают мало ещё и потому, что всё чаще вообще не дают свои данные наружу, даже обезличенные.
- Соцсети большую часть работы с данными делают внутри и продают готовый рекламный продукт: маржинальность там выше.
- Данные о перемещениях нужны лишь отдельным категориям рекламодателей, и рынок упёрся в этот потолок.
В сумме получается порядка пяти миллиардов рублей в год на всех. Немало? Давайте сравним.
Почему рынок данных не взлетел
- Ценных данных мало. Даже если удалось достать данные о намерениях с какого-нибудь специализированного сайта, их слишком мало, чтобы продавать много раз.
- Данные выгорают. Скажем, вы знаете, что человек интересуется автомобилем, и продали этот таргетинг пяти автобрендам подряд. На пять тест-драйвов он не пойдёт, выберет один. А четыре других рекламодателя решат, что данные не работают.
- Завышенные ожидания. Рекламодатели ждали, что таргетинг на данных банка будет на порядок эффективнее поисковой рекламы. С чего вдруг? Тот же баннер, тот же интернет. В поиске человек минуту назад вбил «хочу купить диван», а по данным банка известно лишь, что неделю назад он интересовался мебелью и у него высокий средний чек. Конверсия будет выше средней, но не в десять раз.
- Нехватка компетенций. Многие рекламодатели просто не понимали, как устроен таргетинг, что такое конверсия и как её правильно считать.
- Агентства не хотели делиться. Им невыгодно было отдавать часть маржи продавцам таргетинга, поэтому клиентам часто советовали привычные спецпроекты на крупных порталах.
- Фрод. Рекламодателю продавали, например, «людей с высоким доходом», а потом выяснялось, что сегмент собран с ошибкой и в нём вообще другие люди. Одной такой покупки достаточно, чтобы потерять доверие навсегда.
Итог всех шести причин можно услышать на рекламном рынке и сейчас: «данные не работают». Чаще всего за этой фразой стоит одно из двух: или плохой опыт с поставщиком, или непонимание, что именно нужно измерять.
Выводы из главы
- Прямая продажа данных в России, по оценкам участников рынка, приносит всем игрокам вместе порядка пяти миллиардов рублей в год.
- Это считанные проценты даже от рынка интернет-рекламы начала 2020-х, а к 2025 году он вырос до 510 миллиардов рублей.
- Рынок упёрся в дефицит ценных данных, их выгорание, завышенные ожидания, слабую экспертизу покупателей, интересы агентств и фрод.
Как на данных зарабатывают на самом деле
Если продавать данные невыгодно, что делать тем, у кого они есть? Продавать не данные, а результат.
Типичная история выглядит так. Компания отдаёт данные, покупатель их как-то использует и не получает результата. Вывод он делает не «наверное, я плохо анализирую», а «у вас плохие данные». И больше не приходит. Поэтому владельцы данных перестают их отдавать и предлагают запустить рекламную кампанию прямо в своей системе. Рекламодатель платит за рекламу, а не за данные.
От нефти к бензину
Сырые данные похожи на сырую нефть: стоят недорого. Бензин из той же нефти стоит дороже, и продавать его выгоднее. На рынке данных такая же лесенка:
- Сырые данные. Самая дешёвая ступень.
- Обработанные и проверенные данные. Их проще применить, поэтому они дороже. Плюс поставщик гарантирует, что данные настоящие. Это важнее, чем кажется: как иначе доказать, что вам не продали 5 гигабайт случайно сгенерированных записей о посещениях сайтов?
- Сервис. Данные превращаются в готовые характеристики людей, аудиторий или товаров.
- Готовые сегменты. Например, телеком сам строит сегмент людей, которые с высокой вероятностью купят автомобиль, и загружает его в рекламную систему. Рекламодатель просто вешает на него свою рекламу.
- Собственная реклама. Владелец данных сам показывает рекламу своей аудитории. Те самые баннеры поверх экрана, которые иногда показывают операторы связи.
- Лидогенерация. Рекламодатель платит за конкретный результат: клики, заполненные формы, покупки.
Чем выше ступень, тем больше нужно вложить: собрать команду, нанять продакт-менеджера, бороться за клиентов. Зато и денег там больше.
Поисковики показывают, как выглядит самый верх лесенки. Человек вводит запрос, система мгновенно проводит аукцион среди рекламодателей, выбирает подходящее объявление и получает деньги за результат. Данные превращаются в действие и деньги за доли секунды. Неудивительно, что поиск в 2021 году был одним из самых быстрорастущих сегментов рекламного рынка.
Почему маркетплейсы берегут свои данные
У маркетплейсов и сервисов объявлений есть то, о чём мечтают все: данные о намерениях. Человек ищет конкретный товар прямо сейчас, поэтому такие площадки охраняют свои данные.
Вот реальная история. Агрегатор поведения собирал данные через рекламные баннеры на страницах крупного сервиса объявлений. Пользователь смотрит рессоры, потом колёса, потом автоаксессуары, и агрегатор это запоминает. Такой человек запишется на тест-драйв с куда большей вероятностью, чем кто угодно другой, так что данные получались отличные. Сервис это заметил и шаг за шагом применил около 25 разных приёмов, чтобы внешние роботы не могли понять, о чём страница.
Где поведенческие данные всё-таки работают
После всего сказанного может показаться, что поведенческие данные бесполезны. Это не так, у них есть две понятные ниши.
- Переманивание покупателей категории. Производитель йогуртов хочет показывать рекламу тем, кто уже покупает йогурты, и переключить их на свой бренд. Тут транзакционные и поведенческие данные дают огромную пользу.
- Верх воронки. Допустим, вы уже выжали всё из поисковой рекламы: всех, кто прямо сейчас ищет ваш товар, вы уже охватили. Дальше нужно идти к людям, у которых потребности ещё нет, и запомниться им заранее. Человек пока не готов сказать «хочу кукурузные чипсы», но когда захочет, вспомнит вас.
Свои данные: first party и CDP
Данные принято делить на три вида: first party (собственные данные компании), second party (данные партнёра) и third party (данные, купленные у посторонних поставщиков). Всё больше компаний работают со своими данными: это проще согласовать с законом и можно строить собственные дата-продукты.
Для этого есть Customer Data Platform, или CDP. Возьмём онлайн-кинотеатр. Он делит своих зрителей на сегменты: кто купил подписку, кто нет, кто что смотрел. Дальше можно собрать, например, сегмент людей, которые за последние 30 дней посмотрели минимум три фильма одной шпионской франшизы. Систему настраивают так, чтобы она сама выгружала этот сегмент в рекламную платформу, где крутится ретаргетинг: зрителю напоминают вернуться и досмотреть.
А вот пример задачи для аналитиков данных и ML-инженеров. Нужно найти в чеках всех покупателей, у которых есть домашний питомец. Звучит просто, но товаров для животных огромное количество, и каждый магазин называет их по-своему. Перечислить их вручную невозможно, поэтому чеки классифицирует модель.
Чтобы обучить такую модель, нужна обучающая выборка. Её можно собрать, например, из поисковой выдачи: вбить запросы про кошек, собак и других животных, собрать тексты, разложить слова по корзинам «относится» и «не относится». Потом модель обучают вместе с чеками, и на выходе в профиле человека появляется признак «есть питомец». Такую работу обычно делают в ноутбуках с кодом, и это вполне конкретная инженерная задача.
Выводы из главы
- Владельцы данных уходят от продажи сырых данных к готовым продуктам: сегментам, рекламе, лидам.
- Чем выше по этой лесенке, тем больше вложений и тем больше денег.
- Маркетплейсы и сервисы объявлений защищают свои данные о намерениях всеми способами.
- Поведенческие данные хорошо работают для переманивания покупателей и на верху воронки.
- Компании всё активнее работают с собственными данными через CDP, а чтобы превратить чеки в признаки, нужны ML-модели.
Кто зарабатывает на хранении данных
Пока одни спорят, как продать данные, другие спокойно зарабатывают на том, что эти данные где-то лежат. Чтобы данные работали, их нужно собрать, очистить, сохранить и сделать удобными для анализа. Под это существует отдельный рынок, и он заметно стабильнее рынка продажи данных. Это классические продавцы лопат в золотую лихорадку.
Зачем бизнесу платформа данных
Вернёмся к ритейлу. Чтобы каждую ночь пересчитывать поставки для магазинов, сети нужно корпоративное хранилище данных. В нём лежат чеки, остатки, движение товаров и данные клиентов, а это миллиарды записей. Хранилище не должно упасть в ночь, когда нужно рассчитать предпраздничные поставки яиц. А если что-то случилось с дата-центром, данные должны переехать в другой и продолжить работать.
Универсального инструмента тут нет. Для хранилищ нужны одни системы управления базами данных (СУБД), для аналитических витрин другие, для данных в реальном времени третьи, поэтому крупные компании покупают не одну базу, а платформу данных с набором инструментов под разные задачи.
Загрузка, очистка и каталог
Сама СУБД только часть платформы. Вокруг неё есть ещё несколько слоёв:
- Загрузка. Данные нужно откуда-то взять и передать в хранилище.
- Контроль качества. Представьте государственный реестр недвижимости. Тысячи операторов по всей стране вбивают адреса, кадастровые номера и паспортные данные. Ошибка в одной цифре, и юридически значимые данные уже неверны. Поэтому качество проверяют прямо в момент ввода.
- Каталогизация. В крупном банке сущностей данных тысячи: выручка, клиенты, транзакции, возрастные характеристики. Аналитику, который хочет узнать, какую колбасу покупают женщины за 40 в Воронеже, не хочется искать нужное по десяткам таблиц. Ему нужен каталог данных, похожий на витрину магазина.
Open source бесплатный только на старте
Резонный вопрос: зачем платить за СУБД, если есть бесплатные open source решения? Скачал, развернул, работаешь, но чтобы превратить open source в рабочий продукт, нужна большая команда. Она должна допилить решение под свои задачи, а потом постоянно его поддерживать, обновлять и проверять совместимость со всем остальным софтом. Вендоры берут эту работу на себя и продают open source в виде корпоративной версии с техподдержкой.
На практике компании часто совмещают оба подхода. Где сидят аналитики и база может полежать пару дней без последствий, ставят самосбор на open source. Где система рассылает клиентам маркетинговые предложения и простой означает потерю реальных денег, покупают платное решение с гарантиями. А в банках бизнес-критично почти всё, поэтому там хранилища часто целиком строят на коммерческих платформах.
Как устроен бизнес вендора
- Долгая продажа. Крупный клиент сразу ничего не покупает. Пилот, расчёт архитектуры, сайзинг и согласование бюджетов занимают больше года, само внедрение ещё от полугода.
- Интеграторы. Чаще всего платформу внедряет не сам вендор, а партнёр или команда клиента. Интегратор зарабатывает на перепродаже лицензий и на проектах внедрения стоимостью в сотни миллионов рублей, а вендор получает армию чужих продавцов.
- Облака. Облачный провайдер размещает платформу вендора у себя и продаёт её по подписке. В итоге с одним клиентом работают сразу трое: вендор, облако и интегратор.
- Привязка клиента. После нескольких лет выбора и внедрения уйти на другое решение очень сложно. Именно поэтому уход западных вендоров из России в 2022 году стал для российских игроков окном возможностей: клиентам пришлось переезжать, хотя сами бы они на это не пошли.
- Рост внутри клиента. Клиент начинает с одного продукта и строит хранилище, сначала, скажем, для рисков. Потом добавляет туда данные для розницы, потом для маркетинга. Хранилище растёт, нужны новые лицензии, рядом появляются витрины, инструменты загрузки и очистки. У одного из российских вендоров платформ данных новые клиенты приносят 30–40% выручки, а остальное даёт рост внутри уже существующих.
И главное: такой бизнес растёт вместе с объёмом данных. Открыл клиент новые магазины или отделения, появились новые бизнес-задачи, данных стало больше, и вендор зарабатывает больше. Даже если сами данные так и не принесут клиенту ни рубля.
Выводы из главы
- Стабильные деньги в экономике данных зарабатывают те, кто продаёт инфраструктуру: СУБД, хранилища, инструменты загрузки, очистки и каталогизации.
- Open source экономит на лицензиях, но не на команде, поддержке и обновлениях.
- Продажа и внедрение платформы занимают годы, зато потом клиенту очень сложно уйти.
- Вендоры растут вместе с объёмом данных клиентов и продают через интеграторов и облака.
Что говорят законы
Работа с данными почти всегда обгоняет законы. Сначала появляется новая практика, потом вокруг неё возникает серая зона, а уже потом приходит регулятор. Сейчас регуляторы активно догоняют рынок практически везде. Кратко пройдёмся по трём подходам.
Россия
Главный документ здесь федеральный закон «О персональных данных» (152-ФЗ). За последние годы в нём поменялось многое:
- С 1 сентября 2022 года закон распространяется и на иностранные компании, которые обрабатывают данные россиян.
- Тогда же операторов персональных данных обязали взаимодействовать с ГосСОПКА, государственной системой обнаружения компьютерных атак, и сообщать об утечках в Роскомнадзор: первично в течение суток, а результаты внутреннего расследования в течение трёх суток. Не уведомили вовремя, и это уже отдельный штраф: от 1 до 3 млн рублей.
- С 30 мая 2025 года штраф за утечку зависит от её масштаба. За первую утечку компания заплатит 3-5 млн рублей, если пострадали от 1 до 10 тысяч человек, 5-10 млн за 10-100 тысяч и 10-15 млн, если пострадавших больше 100 тысяч. Утечка биометрии обойдётся в 15-20 млн. За повторную утечку штраф уже оборотный: от 1 до 3% годовой выручки, но не больше 500 млн рублей.
Плюс есть отраслевое саморегулирование. Например, кодекс этики использования данных: компания, которая к нему присоединяется, обещает работать с данными только теми способами, которые рынок считает этичными.
Европа
В Европе действует общий регламент по защите данных, GDPR. Его главная особенность в том, что он защищает людей, а не территорию. Если на ваш сайт зашёл житель ЕС, вы должны соблюдать GDPR, даже если сама компания и серверы находятся далеко от Европы. Штрафы серьёзные: до 20 млн евро или до 4% годового мирового оборота, смотря что больше. Поэтому российские компании, работавшие с европейской аудиторией или европейскими партнёрами, тоже должны были подстраиваться.
Китай
Китай пошёл своим путём. Данные там официально записали в факторы производства, рядом с землёй, трудом, капиталом и технологиями, и государство жёстко контролирует их использование. С 1 марта 2022 года там действуют правила для рекомендательных алгоритмов:
- сервисы обязаны делать удобную кнопку, чтобы отключить рекомендации;
- запрещено показывать разным людям разные цены в зависимости от их предпочтений и покупательских привычек.
Отдельно любопытно, что объясняют эти правила не только безопасностью, но и заботой о пользователях: чтобы люди проводили в цифровых продуктах поменьше времени.
Выводы из главы
- Работа с данными опережает законы, но регуляторы быстро догоняют.
- В России закон о персональных данных стал экстерриториальным, а за повторные утечки теперь действуют оборотные штрафы.
- GDPR защищает жителей ЕС где угодно и грозит штрафами до 4% мирового оборота.
- Китай считает данные фактором производства и напрямую регулирует рекомендательные алгоритмы.
Что будет с рынком данных дальше
Сами участники рынка признают, что когда-то сильно его переоценили и что он до сих пор на ранней стадии. Но у него есть три понятных направления роста.
Замкнуть цепочку целиком
Помните цепочку «данные, информация, знания, действие»? Сейчас слабое звено в ней люди: они думают и учатся медленно, а машины быстро. Настоящая выгода появится тогда, когда цепочка замкнётся автоматически. Человек что-то купил, и тут же подстраиваются рекламные кампании, витрины, рекомендации и рассылки.
Поисковики уже показали, как это работает: там, где данные научились мгновенно превращать в действие, появились лидеры рекламного рынка. Скорее всего, с другими типами данных будет то же самое.
Учиться на данных, не обмениваясь ими
Чтобы обучить модель, данные обычно сводят в одно место. А тут начинаются проблемы: законы, этика, недоверие компаний друг к другу и просто физические объёмы, которые нереально скопировать.
Решение называется федеративным, или распределённым, обучением (federated learning). Модель учится у каждого участника на его стороне, а наружу уходят только градиенты, то есть числа, которые показывают, как поправить модель, сами данные никуда не передаются.
Главный дефицит: люди
Одна из главных проблем рынка данных не в технологиях, а в культуре и экспертизе. Мы уже видели, как рынок тормозили непонимание конверсии и завышенные ожидания. Люди, которые умеют строить хранилища, чистить данные, обучать модели и мерить результат, нужны практически на каждом шаге этой экономики.
Тезисные выводы из всей статьи
- Данные ничего не стоят без действия. Деньги появляются только тогда, когда из данных получается показ рекламы, скидка или решение.
- Деньги в экономику данных принесла реклама. Данные сделали её адресной и позволили измерять, купил ли человек товар после показа.
- Собирают все, но у каждого своё слепое пятно. Операторы знают звонки, банки транзакции, ОФД состав чека, ритейл историю покупок.
- Ценность обратно пропорциональна количеству. Демография стоит копейки, данные о намерении дают конверсию в 3-5 раз выше поведенческих, но их почти нет в продаже.
- Данные протухают. Поведенческие и социальные данные теряют ценность за часы.
- Продажа данных оказалась маленьким рынком. Порядка пяти миллиардов рублей в год по оценкам начала 2020-х: считанные проценты от интернет-рекламы, которая к 2025 году выросла до 510 миллиардов.
- Рынок подкосили сами игроки. Выгорание данных, завышенные ожидания, слабая экспертиза, интересы агентств и фрод.
- Зарабатывают на продукте, а не на сырье. Сегменты, собственная реклама и лиды приносят больше, чем сырые данные.
- Стабильные деньги у инфраструктуры. Вендоры платформ данных, интеграторы и облака растут вместе с объёмом данных клиентов.
- Регулирование ужесточается. Экстерриториальные законы, оборотные штрафы и правила для алгоритмов появились в России, Европе и Китае.
Итог всей статьи
Фраза про данные как новую нефть верна только наполовину. Данные действительно похожи на нефть: в сыром виде они стоят дёшево.
Зарабатывает не тот, у кого данных больше, а тот, кто быстрее всех превращает их в действие: показ рекламы, скидку, решение о кредите. И ещё тот, кто продаёт всем остальным лопаты: хранилища и платформы, без которых данные просто лежат на серверах и ждут своего «когда-нибудь».
А ваши личные данные в этой системе стоят совсем немного. Дорого стоит только момент, когда вы сами сказали, что хотите купить, и кто-то успел ответить первым.
Советуем дополнительно почитать
Ваш гид по профессиям, связанным с данными — что такое big data, где она возникает и чем различаются дата-сайентист, аналитик и инженер данных.
Цифровой след: что это, как формируется и чем опасен — активный и пассивный след, откуда он берётся и как его сократить: от настроек приватности до проверки отпечатка браузера.
5 видов баз данных, которые подходят для разных задач — реляционные, колоночные, графовые, key-value и документные базы: какие задачи решает каждая и почему одной базы на всё не бывает.
Как учатся нейронки — на примере прогноза «закажет ли человек такси» показано, как модель подгоняет веса под правильные ответы.
Как на самом деле работает режим инкогнито в браузерах — что приватный режим скрывает, а что по-прежнему видят сайты, провайдер, владелец Wi-Fi и рекламодатели.
Бонус для читателей
Если вам интересно погрузиться в мир IT и при этом немного сэкономить, держите наш промокод на курсы Практикума. Он даст вам скидку при оплате, поможет с льготной ипотекой или безлимитом на маркетплейсах. Ладно, окей, это просто скидка, без остального, но хорошая.
