Озеро Дэйт-Лейк, Худи и Айсберг. Введение. Заметки о молодежном тренировочном лагере |
Озеро Дэйт-Лейк, Худи и Айсберг. Введение. Заметки о молодежном тренировочном лагере |

Три мушкетера озера Дейта: озеро Дельта, Худи и айсберг. Подробное объяснение.

озеро данных

озеро данных — это тип хранилищеданных системы естественного/необработанного формата или хранилища.,Обычно объектный блок или файл。озеро Данные обычно представляют собой единое хранилище полного объема данных в бизнесе. Полные данные включают копии необработанных данных, сгенерированных исходной системой, а также преобразованные данные, созданные для различных задач, включая составление отчетов, визуализацию, расширенную аналитику и машинное обучение.

озеро данныхиз Архитектураразвивать

озеро данных можно рассматривать как новое поколение инфраструктуры больших данных.

Первый этап: инфраструктура автономной обработки данных в лице Hadoop.

Hadoop — это инфраструктура пакетной обработки данных с HDFS в качестве основного хранилища и MapReduce (MR) в качестве базовой вычислительной модели.

Этап 2: Лямбда-архитектура

Поскольку возможности обработки данных и требования к обработке продолжают меняться, все больше и больше пользователей обнаруживают, что независимо от того, насколько повышается производительность в режиме пакетной обработки, он не может удовлетворить некоторые сценарии обработки с высокими требованиями к потоковым вычислениям, например. как Storm, Spark Streaming, Flink и т. д.

LambdaАрхитектураиз Основная концепция заключается в“Интегрированный поток и партия”,Как показано на картинке выше,Весь поток данных поступает в платформу слева направо. После выхода на платформу она разделяется на две части.,Частично в пакетном режиме,Некоторые применяют модель потоковых вычислений. Независимо от режима расчета,Окончательные результаты обработки передаются приложению через сервисный уровень.,Обеспечьте постоянный доступ.

Третий этап: Каппа архитектура

Архитектура Lambda решает проблему согласованности считываемых приложением данных, но звено обработки «разделение потока-пакета» увеличивает сложность исследований и разработок. Поэтому некоторые люди задаются вопросом, можно ли использовать одну систему для решения всех проблем. В настоящее время более популярный подход — сделать это на основе потоковых вычислений. Естественно распределенные характеристики потоковых вычислений призваны обеспечить лучшую масштабируемость. Повышая параллелизм потоковых вычислений и увеличивая «временное окно» потоковой передачи данных, мы можем унифицировать два вычислительных режима — пакетную обработку и потоковую обработку.

Сегодняшнее озеро все данные интегрированы в озеро и хранилище в сочетании с озером. Преимущества данных и хранилищ данных напрямую реализуют строгое управление данными из хранилища данных в недорогую распределенную хранилище.

основная технология

Time Travel

Каждая запись генерирует новый файл метаданных.,Запись изменений。Разделданныесуществоватьupdateчас,Не удаляйте старые данные,Обеспечить сосуществование старого и нового. Конкретный путь к файлу в хранилище данных.,не только папки с разделами

Реализация: каждая операция записи,Создайтеиндивидуальныйновыйизjsonдокумент,Назван с увеличением номера версии,Запишите это новое дополнение/удалитьиздокумент;В любое времяNиндивидуальныйjson,сделать агрегацию,Полные записииз Разделдокументинформация;использоватьcheckpointЗапишите последнюю агрегациюизномер версии

Transaction

озеро данныхсерединаизACID

  • атомарность : эта запись либо видна пользователю, либо невидима (требуется дизайн).
  • Последовательность : Какими бы ни были входные данные, размещение будет одинаковым (гарантируется механизмом расчета).
  • Изоляция: Правильно разрешать конфликты чтения-записи и конфликты записи-записи (требуется разработка)
  • Долговечность: После завершения обработки данных результат остается неизменным, даже если сервер перезапускается (гарантируется движком хранилища)
атомарность

Процесс записи: сначала напишите файл данных паркета, затем напишите файл метаданных json.

Как обеспечить атомарность?

Нужно начать с видимости пользователей,использовать户只会读取以номер версииданныеимяизjsonдокумент,Читайте по максимуму каждый разизномер версии作为данныенаборизстатус-кво。новыйизписать Законченныйparquetначну писать позжеjsonдокумент,делатьиспользоватьhashпара значенийjsonдокументимя。доjsonдокументсодержаниеписатьполный,выгодаиспользоватьhdfsизrenameIfAbsentСпособность будетhashценитьдокумент Замените имена цифрамидокументимя,До сих пор,commmitЗаканчивать,Новые операции чтения будут иметь числовое имя файла, соответствующее последней версии.

Таким образом конфликт чтения-записи был разрешен.,новыйизписатьпока неcommit,В противном случае пользователь не сможет прочитать раздел, который он читает;,Обновлено другим автором,данные не будут заменены,Но сосуществование.

Изоляция транзакций (Изоляция)

updateПроцесс записи

  1. из последней версии,Получить потребностиupdateиз Раздел
  2. Оптимистическая блокировка сначала записывает на диск все файлы, которые необходимо записать.,Тогда войдите и напишитеjsonэтап

Давайте обсудим следующие ситуации:

  • Я обнаружил, что номер версии тот же, что и в начале, поэтому сразу написал новую версию.
  • Я обнаружил, что номер версии увеличился. Давайте посмотрим, обновили ли эти новые версии разделы, которые я хочу обновить.
    • Нет, просто напиши новую версию напрямую
    • Да, оба обновили один и тот же раздел, обновите еще раз

Schema Evolution

Add/Drop/Rename

важный:использовать Пользователь не читает напрямуюparquetдокументсам,Вместо этого они считываются через интерфейс озера данных.,нравитьсяDataset<Row> ds = simpleDataLake.read(mytable).option(date=2020-01-01)。озеро данных Внутри он будет читать и должен читатьизparquet,исуществоватьschemaдля дальнейшей обработки

ID устанавливает взаимно однозначное соответствие между именами столбцов данных и метаданных.,Существуют следующие ситуации:

  • единственная уверенностьизID。Добавить новый столбец в новыйID。Удалить столбецIDБольше не надоиспользовать。
  • писатьданныеназад,IDтакжеписатьданныедокумент
  • При чтении данных,использоватьIDделать картографирование,нравитьсяфрукты
    • dataНикто,metadataЕсть:ADD
    • dataЕсть,metadataНикто:DROP
    • dataиmetadataУ всех одинаковоеID,ноnameдругой:RENAME

IcebergHudiDelta Lakeконтраст

Выбор технологии

Приходится выбирать исходя из реальной ситуации. В краткосрочной перспективе: у каждого проекта есть свои функции:

  • Если есть острая потребность в расстройствах, Худи — лучший выбор.
  • Если вам нужна высокая масштабируемость, то хорошо продуманный Iceberg — лучший выбор.
  • Если вы хотите использовать такие оптимизации, как Z-Order, потратьте деньги на покупку корпоративной версии Delta у Databricks.

В долгосрочной перспективе озеро данных неизбежно заменит Hive и станет стандартом формата таблиц в HDFS. Прежде чем сделать выбор, задайте себе четыре вопроса.

  • Мне нужноизfeatureсуществоватьгдеиндивидуальныйозеро Самый стабильный по данным
  • Какое озеро данныхможетиспользовать Самый простойиз Как присоединиться(SQL),Используйте самые полные функции
  • Какое озеро Данные имеют поддержку со стороны вычислительной машины и поддержку сообщества.
  • Какое озеро управление версиями данных является лучшим и наиболее надежным

Подвести итог

озеро Последним состоянием развития данных является интеграция озер и складов. data обеспечивает ACID при низкой стоимости хранилища Transaction、Schema evolution、 Time Расширенные функции, такие как путешествия.

boy illustration
Неразрушающее увеличение изображений одним щелчком мыши, чтобы сделать их более четкими артефактами искусственного интеллекта, включая руководства по установке и использованию.
boy illustration
Копикодер: этот инструмент отлично работает с Cursor, Bolt и V0! Предоставьте более качественные подсказки для разработки интерфейса (создание навигационного веб-сайта с использованием искусственного интеллекта).
boy illustration
Новый бесплатный RooCline превосходит Cline v3.1? ! Быстрее, умнее и лучше вилка Cline! (Независимое программирование AI, порог 0)
boy illustration
Разработав более 10 проектов с помощью Cursor, я собрал 10 примеров и 60 подсказок.
boy illustration
Я потратил 72 часа на изучение курсорных агентов, и вот неоспоримые факты, которыми я должен поделиться!
boy illustration
Идеальная интеграция Cursor и DeepSeek API
boy illustration
DeepSeek V3 снижает затраты на обучение больших моделей
boy illustration
Артефакт, увеличивающий количество очков: на основе улучшения характеристик препятствия малым целям Yolov8 (SEAM, MultiSEAM).
boy illustration
DeepSeek V3 раскручивался уже три дня. Сегодня я попробовал самопровозглашенную модель «ChatGPT».
boy illustration
Open Devin — инженер-программист искусственного интеллекта с открытым исходным кодом, который меньше программирует и больше создает.
boy illustration
Эксклюзивное оригинальное улучшение YOLOv8: собственная разработка SPPF | SPPF сочетается с воспринимаемой большой сверткой ядра UniRepLK, а свертка с большим ядром + без расширения улучшает восприимчивое поле
boy illustration
Популярное и подробное объяснение DeepSeek-V3: от его появления до преимуществ и сравнения с GPT-4o.
boy illustration
9 основных словесных инструкций по доработке академических работ с помощью ChatGPT, эффективных и практичных, которые стоит собрать
boy illustration
Вызовите deepseek в vscode для реализации программирования с помощью искусственного интеллекта.
boy illustration
Познакомьтесь с принципами сверточных нейронных сетей (CNN) в одной статье (суперподробно)
boy illustration
50,3 тыс. звезд! Immich: автономное решение для резервного копирования фотографий и видео, которое экономит деньги и избавляет от беспокойства.
boy illustration
Cloud Native|Практика: установка Dashbaord для K8s, графика неплохая
boy illustration
Краткий обзор статьи — использование синтетических данных при обучении больших моделей и оптимизации производительности
boy illustration
MiniPerplx: новая поисковая система искусственного интеллекта с открытым исходным кодом, спонсируемая xAI и Vercel.
boy illustration
Конструкция сервиса Synology Drive сочетает проникновение в интрасеть и синхронизацию папок заметок Obsidian в облаке.
boy illustration
Центр конфигурации————Накос
boy illustration
Начинаем с нуля при разработке в облаке Copilot: начать разработку с минимальным использованием кода стало проще
boy illustration
[Серия Docker] Docker создает мультиплатформенные образы: практика архитектуры Arm64
boy illustration
Обновление новых возможностей coze | Я использовал coze для создания апплета помощника по исправлению домашних заданий по математике
boy illustration
Советы по развертыванию Nginx: практическое создание статических веб-сайтов на облачных серверах
boy illustration
Feiniu fnos использует Docker для развертывания личного блокнота Notepad
boy illustration
Сверточная нейронная сеть VGG реализует классификацию изображений Cifar10 — практический опыт Pytorch
boy illustration
Начало работы с EdgeonePages — новым недорогим решением для хостинга веб-сайтов
boy illustration
[Зона легкого облачного игрового сервера] Управление игровыми архивами
boy illustration
Развертывание SpringCloud-проекта на базе Docker и Docker-Compose