Чтобы поделиться прогрессом в разработке стандартов Cloud Native Industry Alliance (CNIA) за прошедший год,、Оценочный тест、технологические исследования、Достижения в практическом сотрудничестве и другие аспекты、Изучите последние тенденции отрасли,9 января 2023 года отраслевой альянс Cloud Native провел ежегодное онлайн-собрание 2022 года, опубликовал «Модель зрелости возможностей облака больших данных» и провел стандартную интерпретацию.

Облачная эра,Техническая архитектура систем данных быстро развивается под влиянием разнообразных потребностей пользователей. Глубокая интеграция облачных технологий, таких как контейнеры, бессерверные технологии, CI/CD, Kubernetes и системы больших данных.,Может эффективно бороться с массовыми、гетерогенный、Запросы на обработку пользовательских данных в режиме реального времени。Полное использование возможностей облачной платформы для достижения «облачной» трансформации и модернизации систем больших данных стало важной тенденцией развития, признанной в отрасли.

В этом контексте,Китайская академия информационных и коммуникационных технологий и Tencent Cloud лидируют,United Volcano Engine, China Electronics, Neusoft Group, Zhongan Technology, Xinhuaxin, Xinhua Third и другие подразделения,После многих раундов обсуждений,сформированный«Модель зрелости облачных возможностей» Часть 6: Платформа больших данных».

Модель охватывает 3 области возможностей: инфраструктуру, исследования и разработки платформ и сервисы приложений, 9 областей процессов и 34 подпункта возможностей. Она оценивает облачную среду платформы больших данных с таких аспектов, как управление ресурсами, эластичность ресурсов, оркестровка. и планирования, совместимости интеграции и уровня зрелости, результаты подразделяются на базовый уровень, комплексный уровень и отличный уровень.

На ежегодном собрании 2022 Cloud Native Industry Alliance, состоявшемся 9 января 2023 года, Ху Цянь, старший инженер Tencent, и Ван Лэй, старший эксперт по продуктам в области облачных вычислений из Volcano Engine, поделились темой больших данных в облаке соответственно. .

Учитель Ху Цянь упомянул в своем сообщении: «Существующие проблемы и болевые точки больших данных заключаются в их слишком большой и сложной архитектуре, сложной работе по эксплуатации и техническому обслуживанию, высоких затратах, вызванных невозможностью совместного использования пулов ресурсов, а также проблемах многопользовательской изоляции в система Хадуп. Преимущества облачных технологий заключаются в сокращении затрат на ресурсы, эксплуатацию, обслуживание и технологии, повышении эффективности предоставления услуг больших данных, повышении доступности больших данных, а также в сочетании с технологией искусственного интеллекта, чтобы помочь большим данным создать хорошую облачную экосистему.

На данном этапе большинство облачных компонентов выросли вместе со спросом в Интернете. Развитие облачных онлайн-сервисов является относительно более зрелым, и поддержку бизнеса, связанного с большими данными, необходимо постоянно улучшать. Характеристики приложений больших данных отличаются от характеристик онлайн-приложений с точки зрения времени работы, пропускной способности планирования, эластичности ресурсов, бизнес-задержек и разделения хранения и вычислений. Это также привело к появлению проблем с эластичным планированием, сверхбольшим масштабом, высокой пропускной способностью, разделением хранилища и вычислений, а также модификацией ядра.

На основе облачной экосистемы команда Tencent по работе с большими данными создала собственную облачную архитектуру, состоящую из оркестрации хранилища, среды выполнения больших данных, гибридного развертывания, унифицированного планирования задач и собственных облачных механизмов путем создания унифицированной оркестровки данных, архитектуры виртуального кластера и удаленного перемешивания. и другие возможности. Решение проблем, возникающих при облачной адаптации больших данных, таких как разделение хранилища и вычислений, эластичность ресурсов и т. д. В то же время ценность облачной нативизации больших данных дополнительно изучается с помощью возможностей выполнения больших данных и возможностей автономного совместного размещения, обеспечивая недорогие, эффективные и стабильные услуги больших данных для бизнеса.

Tencent Cloud Big Data возникла в результате совершенствования и накопления огромного внутреннего бизнеса Tencent. Спустя более чем десять лет она превратилась в платформу больших данных четвертого поколения, представленную «облачными вычислениями, конфиденциальными вычислениями и интеграцией цифрового интеллекта». Полнофункциональная матрица продуктов Tencent Cloud для работы с большими данными развивается в сторону облачных технологий: версия эластичного контейнера MapReduce была открыта для публичного тестирования 22 июля, предоставляя новый опыт работы с компонентами больших данных, полностью основанный на развертывании контейнерных сервисов CDW; 22 декабря — встроенная эластичная версия облака Clickhouse, Приняв новую архитектуру разделения хранилища и вычислений и самостоятельно разработанный механизм таблиц, компания Tencent Cloud ES также запустила собственную облачную версию, которая обеспечивает эластичное масштабирование второго уровня за счет разделения хранилища и вычислений. выдерживают более высокие пиковые нагрузки на чтение и запись. Быстро адаптируйтесь к развитию бизнеса и устраняйте избыточность систем хранения и вычислений, чтобы сократить расходы на 40%.

Учитель Ван Лэй упомянул в своем выступлении, что, став облачной платформой, платформа больших данных продемонстрировала очевидные преимущества в трех измерениях: развертывание, эксплуатация и обслуживание, планирование ресурсов и носители данных.

Что касается развертывания и эксплуатации,Традиционные службы приложений требуют ручного развертывания на «голом железе» или облачных хостах.,Неэффективный процесс развертывания,Мониторинг сигналов тревоги также требует мониторинга, настройки и обслуживания различных серверных узлов после перевода в облако;,Развертывание одним щелчком мыши,Сервис быстро запускается и естественно поддерживает высокую доступность.,Эксплуатация и обслуживание Мониторинг должен быть сосредоточен только на единой инфраструктуре K8s Просто кластеризируйте.

Что касается планирования ресурсов,Традиционная архитектура требует отдельной подготовки ресурсов сервера.,Требования к расширению в пиковые ситуации в бизнесе могут быть подготовлены только за счет заранее зарезервированных машинных ресурсов после облачных вычислений;,Все вычислительные ресурсы, такие как потоковые, пакетные, поисковые системы и системы сообщений, могут быть полностью запланированы и распределены в большом пуле ресурсов контейнера.,Очень отзывчивый.

Что касается носителей информации,В традиционной архитектуре носитель хранилища сервера поступает с подключенного жесткого диска, и когда существует поток данных между различными службами, он также полагается на ввод-вывод между разными серверами. HDFS HDFS HDFS HDFS HDFS HDFS HDFS хранение файлов с поддержкой ускорения кэширования, что позволяет реализовать использование ресурсов по требованию без ручного расширения. в больших данных В сценарии ETL передача данных выполняется в хранилище файлов больших данных CFS, которое естественным образом имеет эффективный дисковый ввод-вывод и пропускную способность сети.

Собственная система больших данных Volcano Engine CloudВ настоящее время поддерживает различные бизнес-приложения в рамках ByteDance Group.,Основную архитектуру можно резюмировать как «три основные платформы (открытая платформа, платформа двигателя, платформа планирования).,Крупная система поддержки (Эксплуатация и система обслуживания)». Среди них,Платформа планирования является самой основной платформой после облачной нативизации.,Для различных пользовательских сценариев, таких как потоковая передача, автономный режим, обработка запросов и пакетная обработка.,Реализуйте три ценности: улучшенное использование ресурсов, гибкое переключение ресурсов и унифицированное управление автономными ресурсами.,Может удовлетворить потребности в развертывании и планировании мультиоблачных сред.,И выполняйте глобальное управление квотами и контроль через виртуальные очереди.,Можно учитывать различные факторы нагрузки, такие как ответственность компьютерного зала, время отклика, стоимость и т. д.,Автоматически распределять соответствующие компьютерные залы/кластеры/очереди,Удовлетворение потребностей в аварийном восстановлении.

В будущем Китайская академия информационных и коммуникационных технологий продолжит проводить оценку и исследовательскую работу, связанную с «нативными облачными службами данных», публиковать отчеты об исследованиях больших облачных данных и обновлять «Облачный каталог продуктов 2.0», чтобы помочь развитие облачных технологий и инновационных приложений в отрасли.

Следите за официальным аккаунтом Tencent Cloud Big Data

Приглашаем вас изучить безграничные возможности данных

Нажмите, чтобы прочитать оригинальный текст и перейти прямо к основной площадке конференции.

↓↓↓