Инновационные услуги в сфере больших данных

——Фокус на данных·Меняющийся бизнес

Недавно в Шанхае успешно прошел ежегодный масштабный саммит StarRocks по обмену технологиями StarRocks Summit 2023, инициированный сообществом StarRocks и организованный компанией Jingzhou Technology, демонстрирующий нам последние тенденции развития отрасли. Столкнувшись с огромными и разнородными требованиями к обработке данных и растущими проблемами анализа данных в реальном времени, StarRocks не только предлагает решения, но и создает новые технические пути. Начиная с первоначальной ориентации на область OLAP и заканчивая сегодняшней волной интеграции озер и хранилищ, каждый шаг развития StarRocks привел к эволюции технологии больших данных.

Чтобы выяснить направление этой тенденции, Data Ape взяла интервью у Сунь Вэньсяня, генерального директора Jingzhou Technology, и Чжан Юдуна, технического директора. На основе этого в этой статье будет подробно рассмотрен инновационный путь StarRocks, проанализирована ее основная технология и обсуждены ее особенности. бизнес-стратегия Jingzhou Technology, а также перспективы будущего развития StarRocks с целью предоставить читателям всестороннюю и глубокую перспективу.

Проблемы в эпоху больших данных,

Поднимитесь вместе со StarRocks

В эпоху больших данных предприятия и учреждения сталкиваются с беспрецедентными проблемами, связанными с данными.

В условиях быстрого роста объема данных традиционные системы обработки данных часто не могут справиться с крупномасштабными и разнородными данными. Этим системам часто требуется много времени для обработки и анализа данных, что не позволяет компаниям принимать быстрые решения на основе данных. Например, если финансовые учреждения не могут быстро анализировать и реагировать на изменения рынка при обработке сложных данных о транзакциях, они могут упустить ключевые инвестиционные возможности или не суметь своевременно выявить риски.

Еще одной ключевой проблемой является разделение озер данных и хранилищ данных. Такое разделение часто приводит к образованию «островков» данных в реальных операциях, что влияет на эффективность интеграции и анализа данных. Например, в сфере розничной торговли, поскольку данные разбросаны по разным системам хранения, предприятиям часто бывает трудно обеспечить мгновенный доступ и комплексный анализ данных при проведении анализа рынка и понимания клиентов.

С ростом популярности Интернета и мобильных устройств предприятиям необходимо обрабатывать и анализировать данные в режиме реального времени, чтобы поддерживать быстрые бизнес-решения и обратную связь с клиентами. В этом контексте это является существенным недостатком традиционных инструментов анализа данных, которые не могут обеспечить возможности обработки данных в реальном времени.

Чтобы преодолеть эти проблемы, существует острая необходимость в новом решении для обработки данных, которое могло бы эффективно обрабатывать крупномасштабные разнородные данные, интегрировать озера данных и хранилища данных, а также обеспечивать возможности анализа данных в реальном времени. Именно эти потребности привели к появлению инновационных решений, таких как StarRocks.

Появление StarRocks знаменует начало новой эры. Первоначальной целью StarRocks было заполнить пробел в OLAP в области больших данных. Ее цель — предоставить платформу анализа, которая может эффективно обрабатывать большие объемы данных и поддерживать сложные данные. запросы. Благодаря этому компания StarRocks постепенно развилась и стала яркой звездой в области анализа данных.

Со временем StarRocks развивалась, адаптируясь к растущим требованиям рынка и техническим задачам. Он превратился из первоначального фокуса на OLAP в более комплексное интегрированное решение для озера и хранилища. Этот сдвиг является прямым ответом на потребности рынка, особенно в области обработки огромных объемов данных и обеспечения плавной интеграции озер и хранилищ данных.

От разделения хранения и расчета до интеграции озер и складов,

Эволюция StarRocks

В экосистеме больших данных StarRocks занимает уникальное положение благодаря своим передовым технологиям и высокой производительности. Итак, каковы уникальные возможности StarRocks? Далее мы разберем его подробно.

Разделение хранения и расчета

В традиционных системах обработки данных вычисления и хранение обычно тесно связаны, и эта архитектура может столкнуться с узкими местами при обработке крупномасштабных данных. Например, когда объем данных увеличивается, системе приходится масштабировать как ресурсы хранения, так и вычислительные ресурсы, хотя на самом деле может потребоваться масштабирование только одного из них. Это не только увеличивает затраты, но и снижает гибкость.

StarRocks от Разделение хранения и Расчетная архитектура решает эту проблему. В этой архитектуре вычислительные узлы отвечают за выполнение SQL-запросов и анализ. данных, в то время как узлы хранения сосредоточены на хранении и управлении данными. К основным преимуществам такого разделения относятся:

Гибкое расширение:позволятьпредприятие Независимое масштабирование вычислительных ресурсов и ресурсов хранения.,Обеспечить большую гибкость для решения различных рабочих нагрузок и потребностей бизнеса;

Оптимизация затрат:предприятие Ресурсы хранения или вычислительные ресурсы можно индивидуально масштабировать по мере необходимости.,Избегайте ненужных расходов;

Улучшения производительности:Вычислительные узлы могут сосредоточиться на оптимизации и выполнении запросов.,и не ограничиваются физическими методами хранения.

Однако,Разделение хранения и Хотя расчетная архитектура имеет множество преимуществ, поскольку задержка доступа к удаленному хранилищу намного выше, чем при доступе к локальному хранилищу, это обычно приводит к некоторым потерям. Например, в TPC-DS В сравнительном тесте емкостью 1 ТБ по сравнению с интегрированной архитектурой хранения и вычислений Разделение хранения и расчета увеличит задержку импорта на 30%,Общее время запроса увеличивается в 3 раза.

Чтобы решить Разделение хранения и расчетаможет принестиизпроизводительность Влияние,StarRocks представляет унифицированный изданный слой кэша StarCache. StarCache через данные точки доступа кеша,Ограниченный прямой доступ к системе хранения.,Тем самым улучшая производительность запросов. Такая конструкция позволяет StarRocks оставаться очень устойчивыми и экономичными, при этом,Это также может обеспечить эффективные возможности обработки данных.

Следует отметить, что из есть Разделение. хранения и Расчет — это не только технологическая инновация, но и фундаментальное изменение в концепции обработки. StarRocksиз Разделения хранения и Расчетная архитектура играет ключевую роль в повышении гибкости системы и сокращении затрат.,Внедрение StarCache гарантирует, что производительность не будет нарушена. Эти инновации позволяют StarRocks эффективно обрабатывать крупномасштабные и сложные изданные наборы.,Встречайте современное предприятие по обработке данных, отличающееся высокой эффективностью и производительностью.

Озеро и склад интегрированы

существовать Разделение хранения и расчет на основе StarRocks 3.0из Еще одно большое нововведение — Озеро. и склад интегрированы. Это понятие введено,отметкаStarRocksот простотыизбаза данных OLAPк более всеобъемлющемуизданные Обработка изменений платформы,Означает, что StarRocks может легко интегрировать озеро данных и хранилище данных из функций.,Достичь унифицированного управления и анализа данных. В рамках этой структуры,Хранятся ли данные на традиционном и зданном складе,Или хранилищесуществоватьнравитьсяApache В технологиях озера данных, таких как Hadoop, StarRocks может предоставить эффективные возможности запроса и анализа.

StarRocksОзеро и склад интегрированы Архитектура

Чтобы достичь Озеро и склад интегрированы,StarRocks осуществила ряд технологических инноваций. например,StarRocksuse имеет открытую архитектуру Lakehouse.,Он сочетает в себе преимущества экономии за счет масштаба и складских помещений.,Запись данных в StarRocks обеспечивает лучшую производительность запросов, чем в озере данных. Упростите данные из ETL с помощью материализованных представлений;,Упрощенное иерархическое моделирование озерных складов.,И добиться ускорения запросов с помощью материализованных представлений.

StarRocks от Озеро и склад интегрированыизменятьобеспечивает унификациюизданныевид,Позволяет пользователям беспрепятственно получать доступ к хранилищу в озерах данных, хранилищах данных и зданных.,Такая унификация значительно упрощает процесс доступа и анализа данных.

Кроме того, поскольку потребности бизнеса все чаще требуют анализа данных в реальном времени, StarRocks может поддерживать мгновенный запрос и анализ крупномасштабных данных благодаря своей эффективной архитектурной конструкции, которая идеально подходит для сценариев приложений, требующих бизнес-аналитики в реальном времени (например, электроника). .бизнес, финансовые услуги и т. д.) особенно важны.

Инкапсулируйте технологии в продукты,

Путь коммерциализации StarRocks компании Jingzhou Technology

StarRocks добилась множества технологических прорывов,Но необходимо применить эти технические возможности в реальных бизнес-сценариях.,На этой основе также необходимо разрабатывать коммерческие продукты. с этой целью,Цзинчжоу Технология будетStarRocksизосновная технология, интегрированная в егопредприятиесортКоммерческая база данныхсередина,Сформирован продукт, который можно реализовать. Он основан на возможностях StarRocks.,Jingzhou Technology имеет множество преимуществ во многих аспектах.,Конкретно показано в:

●Максимальная производительность обработки данных.

База данных Цзинчжоу использует архитектуру MPP, которая позволяет нескольким процессорам параллельно выполнять сложные задачи запроса и анализа данных, что значительно повышает скорость и эффективность обработки данных.

Star Schema Benchmark (далее SSB) — это набор тестов звездообразной схемы, широко используемый в научных кругах и промышленности. С помощью этого набора тестов можно легко сравнивать основные показатели производительности различных продуктов OLAP. По 13 запросам стандартного набора тестовых данных общая производительность запросов StarRocks в 2,1 раза выше, чем у ClickHouse, и в 8,7 раза выше, чем у Apache Druid. Кроме того, после того, как StarRocks включил Bitmap Index, общая производительность запросов в 1,3 раза выше, чем при его отключении. На данный момент общая производительность запросов в 2,8 раза выше, чем у ClickHouse, и в 11,4 раза выше, чем у Apache Druid.

Из данных тестирования производительности видно, что база данных Jingzhou, разработанная на основе StarRocks, показывает значительные преимущества в производительности по сравнению с традиционными системами баз данных при обработке крупномасштабных наборов данных, особенно при выполнении сложных операций агрегирования данных, анализа и времени формирования отчетов. высокая скорость и высокое использование ресурсов.

● Чрезвычайно быстрые возможности анализа данных могут обеспечить бизнес-аналитику в режиме реального времени.

Еще одним важным преимуществом базы данных Jingzhou Database являются ее чрезвычайно быстрые возможности анализа данных, которые основаны на эффективном механизме запросов StarRocks и оптимизированном формате хранения данных. В бизнес-среде реального времени это означает, что Цзинчжоу может быстро предоставлять ценную информацию и результаты анализа, помогая предприятиям принимать немедленные решения на основе данных. Будь то анализ рыночных тенденций, анализ поведения клиентов или оптимизация операционной эффективности, Jingzhou может предоставить точную поддержку данных в режиме реального времени.

● Единая архитектура и модель данных.

Унифицированная архитектура и модель данных базы данных Jingzhou означает, что предприятия могут обрабатывать все типы данных на одной платформе, будь то неструктурированные данные из озера данных или структурированные данные из хранилища данных. Эта унификация упрощает процессы управления и анализа данных, а также снижает сложность архитектуры данных предприятия. В то же время унифицированная архитектура хранилища Lake делает хранение и анализ данных более эффективным и гибким, удовлетворяя потребности современных предприятий в разнообразии данных и крупномасштабной обработке.

● Пакетная интеграция, обновление и обработка данных в реальном времени.

В современной бизнес-среде возможность обрабатывать и анализировать данные в режиме реального времени становится все более важной. Интегрированная функция пакетной обработки данных Jingzhou позволяет предприятиям собирать и реагировать на динамику рынка и бизнеса в режиме реального времени, будь то анализ данных транзакций в реальном времени или мониторинг постоянно генерируемых данных журнала, она может гарантировать своевременность и точность данных.

● Гибкое онлайн-расширение и высокая доступность.

База данных Цзинчжоу может динамически регулировать распределение ресурсов в соответствии с потребностями бизнеса, что особенно важно в среде облачных вычислений. Эта функция не только повышает эффективность использования ресурсов, но также снижает затраты на эксплуатацию и обслуживание. Высокая доступность обеспечивает стабильность и надежность системы, гарантируя непрерывную доступность данных и непрерывность бизнеса даже в случае аппаратных сбоев или сетевых проблем.

Подводя итог, можно сказать, что на основе технической оптимизации и специальных функций StarRocks компания Jingzhou Technology успешно создала коммерческую базу данных корпоративного уровня со многими преимуществами. Его преимущества в производительности, возможности анализа в реальном времени, потоковая пакетная обработка, масштабируемость и высокая доступность не только улучшают возможности предприятий по обработке данных, но также предоставляют предприятиям мощную поддержку данных для адаптации к быстро меняющейся бизнес-среде и растущему росту данных. требования.

Сообщается, что в настоящее время его используют более 300 компаний с рыночной стоимостью 1 миллиард долларов США. Стар Рокс. Среди них есть некоторые знакомые имена, такие как данные WeChat, записываемые в режиме реального времени. Данные Iceberg хранятся единообразно; Улей, прими StarRocks Непосредственно запрашивайте ускоренные отчеты и т. д.; TV использовать StarRocks Разделение хранения и как единствоиз Лейкхаус, все данные импортируются в StarRocks Осуществлять единое управление.

В настоящее время число пользователей сообщества StarRocks превысило 10 000 и продолжает сохранять тенденцию быстрого роста. Более того, масштабы пользовательского внедрения StarRocks также быстро растут.

По словам Сунь Вэньсяня, продукты корпоративного уровня Jingzhou Technology, основанные на StarRocks, в течение года подверглись почти сотне POC, причем показатель успеха превысил 90%.

Далее мы будем использовать типичные примеры клиентов, чтобы проиллюстрировать практическую ценность продуктов баз данных Jingzhou.

Пример 1. Компания по производству умных автомобилей: более глубокий анализ пользовательских данных в режиме реального времени и более глубокое понимание пользователей

В связи с быстрым развитием автомобильной промышленности в сторону цифровизации и интеллекта компании, производящие интеллектуальные автомобили, сталкиваются с проблемой применения больших данных в производстве, маркетинге, услугах и других аспектах. Данные стали ключевым фактором в содействии развитию компаний, производящих умные автомобили, особенно в контексте растущего объема данных Интернета транспортных средств. Эти данные охватывают множество сложных сценариев, таких как транспортные средства, владельцы автомобилей, зарядные станции, продажи и т. д., и предъявляют более высокие требования к управлению и анализу данных.

Для решения этих задач,Известное предприятие по производству умных автомобилей внедрило технологию базы данных «зеркальная лодка». Jingzhou Technology — решения для интеграции и анализа данных из разных сценариев и платформ.,Обеспечивает всестороннюю поддержку. Сюда входит не только анализ производственного оборудования, аппаратного обеспечения автомобилей, зарядного оборудования и т.д.,Обеспечить эффективность, стабильность и безопасность производственного процесса.,Сюда также входит углубленный анализ поведения автовладельца, потребления, вождения и т. д. в сфере маркетинга и гарантийного обслуживания.,Помогите компании лучше понять потребности пользователей,И предоставить индивидуальные маркетинговые стратегии.

После внедрения базы данных Цзинчжоу компания по производству умных автомобилей добилась значительных улучшений в возможностях обработки и анализа данных. Руководство по анализу данных в реальном времени помогает компаниям предоставлять дифференцированный опыт в предпродажных процессах, таких как тест-драйвы. В то же время оно предоставляет клиентам более персонализированные услуги посредством анализа поведения владельцев автомобилей в реальном времени. Кроме того, благодаря мощным возможностям OLAP базы данных Jingzhou предприятия могут эффективно обрабатывать данные из нескольких источников и достигать унифицированной обработки бизнес-данных в режиме реального времени. Это не только улучшает качество обслуживания клиентов, но и открывает предприятиям больше возможностей для бизнеса и конкурентных преимуществ.

Пример 2: China-Europe Fortune – Двойное улучшение эффективности и производительности анализа платформы данных

China Europe Wealth, как дочерняя компания China Europe Fund, усердно работает над предоставлением эксклюзивных финансовых решений в сфере финансовых услуг. В связи с быстрым ростом масштабов информационных активов в финансовой отрасли и высоким спросом на анализ данных в реальном времени компания China Europe Wealth сталкивается с двойной проблемой эффективности и производительности анализа платформы данных. С точки зрения принятия бизнес-решений и обслуживания клиентов решающее значение приобретает точная обработка данных в режиме реального времени, что требует от China Europe Wealth эффективного управления и использования своих огромных активов данных.

Чтобы решить эти проблемы, China-Europe Fortune в сотрудничестве с Jingzhou Technology создала единую платформу данных, работающую в режиме реального времени, на базе StarRocks. Jingzhou Technology специально предлагает решения по оптимизации проблем бизнес-данных компании China-Europe Fortune, охватывая множество бизнес-сценариев, таких как самоуправляемые платформы, платформы Hang Seng и платформы CRM. Внедрив многоуровневую платформу данных, включающую базовый уровень данных, вычислительный уровень, уровень потока данных, хранилище данных, управление данными и приложения данных, компания Jingzhou Technology помогла China-Europe Fortune добиться чрезвычайно быстрого и точного анализа и обработки данных.

Оптимизированная платформа данных о богатстве Китая и Европы значительно повысила эффективность обслуживания пользователей и принятия бизнес-решений. Например, специалисты по финансовому планированию могут быстро получать ключевую информацию о клиентах с помощью обновляемых в режиме реального времени отчетов, чтобы предоставлять клиентам более эффективные услуги. В то же время аналитики данных могут использовать агрегированные данные и унифицированные сервисы для проведения более глубокого анализа рынка и повышения точности бизнес-решений. Техническая команда также может быстрее обнаруживать и решать проблемы с данными благодаря эффективной функции запроса данных платформы, обеспечивая стабильность бизнес-операций. Успех этого инновационного приложения не только улучшил возможности работы с данными China Europe Fortune, но и заложил прочную основу для цифровой трансформации.

Эволюция никогда не останавливается

В нынешнюю цифровую эпоху объем данных, с которыми сталкиваются предприятия, резко возрос, особенно на таком быстро развивающемся рынке, как Китай. Предприятиям необходимо не только обрабатывать данные из традиционных бизнес-систем, но также необходимо интегрировать большие данные из нескольких каналов, таких как социальные сети, устройства Интернета вещей и онлайн-транзакции. Эффективная обработка и анализ этих данных имеет решающее значение для операционной эффективности компании, понимания рынка и возможностей принятия решений.

Такие производители, как Jingzhou, разрабатывают коммерческие продукты и решения для баз данных корпоративного уровня на основе StarRocks. Благодаря своей превосходной производительности они могут предоставлять предприятиям более гибкие и эффективные услуги по работе с данными, особенно при обработке крупномасштабных и сложных наборов данных. идеально подходит для предприятий на китайском рынке, которые быстро расширяют свою деятельность и ищут эффективные решения для обработки данных.

Кроме того, компании на китайском рынке сталкиваются с проблемами и возможностями цифровой трансформации. Это требует от предприятий не только способности обрабатывать растущие объемы данных, но и извлекать из этих данных ценную информацию для принятия бизнес-решений. Продукты и решения для баз данных на базе StarRocks могут поддерживать этот расширенный анализ данных и обработку больших данных, удовлетворяя основные потребности предприятий китайского рынка в их цифровой трансформации.

Конечно, чтобы лучше соответствовать требованиям рынка, собственное технологическое развитие StarRocks никогда не остановится. В будущем оно продолжит развиваться в таких аспектах, как облачные технологии, анализ данных в реальном времени и возможности больших моделей.

Что касается облачных технологий, поскольку предприятия все чаще обращаются к средам облачных вычислений, StarRocks будет и дальше оптимизировать свою производительность и доступность в облачных средах, включая улучшение адаптивности, повышение эластичности и доступности в мультиоблачных и гибридных облачных средах. Возможности автоматизированной эксплуатации и обслуживания. Развитие облачных технологий также означает, что StarRocks будет более глубоко применяться в области контейнеризации, микросервисов и DevOps, тем самым предоставляя более гибкие, эффективные и масштабируемые услуги обработки данных.

Что касается анализа данных в реальном времени, StarRocks продолжит оптимизировать свои возможности потоковой обработки, уменьшит задержку данных и увеличит пропускную способность данных. Это позволит компаниям быстрее принимать решения на основе данных и своевременно реагировать на изменения рынка.

Что касается поддержки больших моделей, StarRocks улучшит свои возможности обработки больших моделей за счет оптимизации структуры хранения данных, комплексного механизма векторизации и усиления алгоритмов машинного обучения. Это не только помогает повысить скорость запроса и анализа данных, но также помогает повысить точность интеллектуального анализа и прогнозирования данных.

Кроме того, благодаря тесному сотрудничеству с такими партнерами, как поставщики облачных услуг, разработчики программного обеспечения и поставщики отраслевых решений, такие компании, как Jingzhou, могут еще больше расширить свое влияние на корпоративном рынке и создать более мощную и богатую экологию решений для обработки данных. Короче говоря, независимо от того, с точки зрения технологического развития или коммерческого внедрения, промышленная экосистема, основанная на StarRocks, станет более процветающей. Это будущее данных, которого стоит с нетерпением ждать.

Текст: Юэманьсилоу / информационная обезьяна