К 2025 году общемировой объем данных вырастет в 10 раз и достигнет 163 зеттабайт. Причем большую часть этих данных будут генерировать предприятия, а не потребители, говорится в докладе «Эпоха данных — 2025» (The Data Age 2025), подготовленном аналитиками компании IDC. Эти цифры свидетельствуют, что интернет для бизнеса уже не просто канал продаж и привлечения новых клиентов — а ценный источник информации, который помогает компаниям развиваться. И этим каналом нужно уметь управлять.
При поддержке
Что такое Big Data и зачем она бизнесу
Большие данные — это гигантские массивы различной информации, структурированной и неструктурированной. Структурированные данные легко обрабатывать и интерпретировать — это могут быть чеки, сумма заказов, содержимое корзины и т.д. Неструктурированные данные обрабатывать сложнее. Сюда относятся текст, фото, видео и т.д.
Big Data позволяет бизнесу различного масштаба экономить деньги, работать эффективнее и развиваться быстрее. Эксперты McKinsey провели большое исследование в нескольких крупных областях, в числе которых розничная торговля и сфера здравоохранения в США, а также госсектор в Европе. И, по данным аналитиков, большие данные могут помочь работать эффективнее каждой из них. Например, ритейлеры, которые опираются на Big Data, могут увеличить маржу на 60%, а большие данные в госсекторе — в частности, в здравоохранении — могли бы повысить эффективность компаний и увеличить их ежегодный совокупный заработок на $300 млн. Это в свою очередь сократило бы расходы на здравоохранение из госбюджета примерно на 8%. Европейские госкомпании с помощью Big Data могли бы ежегодно экономить до $149 млн на операционных расходах.
Big Data помогает бизнесу не только в сослагательном наклонении. Например, платежная система Mastercard с их помощью собирает данные, которые помогают выявлять неплатежеспособных контрагентов, не возвращающих кредиты. Mastercard предупреждает финансовые организации, что с этими компаниями не стоит вести дела. В сети супермаркетов «Лента» работает система лояльности — она позволяет анализировать данные о покупках клиента, а после предлагать персональные скидки. Например, система может понять, что человек на диете, и предложить ему скидки на диетические продукты.
Большие данные и большие ограничения
В 2022 году различные сектора российской экономики оказались под западными санкциями. В числе прочих пострадал и IT-сектор. По словам исполнительного директора ассоциации разработчиков программных продуктов Рената Лашина, уже сейчас среди российских продуктов есть те, которыми можно заменить иностранные без потери качества. «Сегодня освобождаются целые пласты российского ИТ-рынка в связи с уходом с него зарубежных производителей операционных систем, офисных пакетов, системного программного обеспечения и управления базами данных. Поэтому переход на российское ПО выглядит как никогда логичным», — говорит Лашин.
Один из примеров российского решения — платформа передачи, обработки и хранения данных ITS Data Processing Platform (ITS DPP), которую создала российская компания ITSumma. Ее (платформу) могут использовать как крупные корпорации, так и небольшие бизнесы. Концепция предусматривает модульное строение, поэтому платформа максимально гибко подстраивается под нужды конкретного бизнеса. Решение легко запустить на небольших мощностях, при этом эффективно используя возможности каждого модуля.
Платформа умеет собирать данные из любых источников — CRM, базы данных, ERP, IoT — и приводить их в удобный для анализа вид. Она хранит структурированные и неструктурированные данные и обрабатывает их пакетным и потоковым способами и подходит для реализации как OLAP-, так и OLTP-систем.
«Наша команда делает продукт для компаний, которым нужна инфраструктура для обработки данных. Кроме того, мы не только можем быстро интегрировать платформу в эту инфраструктуру, но и взять на себя DataOps-сопровождение, и тогда мы напишем еще и ETL-преобразования. А в это время наши заказчики занимаются своим делом — развивают продукт, развивают свой бизнес», — говорит руководитель направления систем обработки данных ITSumma Иван Хозяинов.
Платформа использует программное обеспечение с открытым кодом (или Open Source): Apache Hadoop, Kafka, Spark, Airflow и другие решения. Это гарантирует бизнесу отсутствие так называемого вендор-лока, то есть ситуации, в которой обслуживание приобретенного ПО осуществимо только силами его изготовителя. «Иначе говоря, найти на рынке IT-специалистов, которые быстро разберутся в платформе и смогут качественно ее администрировать, — легко осуществимая задача даже в текущих условиях», — говорит Иван Хозяинов.
Что дальше?
Пока еще российские продукты не могут заменить ушедших гигантов вроде Oracle или SAP, рассуждает Иван Хозяинов из ITSumma. «Но в нише продуктов для хранения и обработки данных мы вполне конкурентоспособны. Кроме того, большая часть решений зарубежных игроков были ориентированы на крупный бизнес. А для малого и даже иногда среднего бизнеса тема Big Data была закрыта из-за стоимости этих решений. Новые решения — в том числе и наше — доступны даже малым компаниям», — подчеркивает Хозяинов.
Еще одна важная для отечественных разработчиков тема — «горизонтальные связи», обмен знаниями, сохранение комьюнити. «Продукты с открытым исходным кодом специфичны тем, что они развиваются благодаря огромному сообществу энтузиастов. Задача российских айтишников — следить за этими изменениями и быть в курсе новых возможностей. Ведь основа успеха продукта — это не технология, на которой он построен. Это — идея, которая лежит в основе», — резюмирует он.
В будущем рынок продолжит развиваться. При этом эксперты утверждают, что тренд в среднесрочной перспективе — на «сращение» технологий обработки данных и облачных сервисов. По данным исследования VK Cloud, в России облачные решения для работы с Big Data проектами уже используют 46% компаний, а 29% планируют начать работать с облаками в ближайшее время.
Сейчас все отрасли жизнедеятельности, от производства до здравоохранения, неразрывно связаны с цифровыми продуктами. И в отсутствие зарубежных аналогов удовлетворять этот спрос придется отечественным IT-компаниям.
редактор Дарья Громова