Вдохните жизнь в свои рабочие нагрузки с данными, интегрировав Postgres со встроенным механизмом быстрых запросов.

Переведено с Unleashing Postgres for Analytics With DuckDB Integration,Пол Лоуренс.

Postgres Экосистема процветает, что делает ее Лучший выбор разработчиков Для новых рабочих нагрузок с данными и инструментов баз данных. о "Почему Postgres побеждает" Об этом написано много, и есть много веских причин (включая его масштабируемость) использовать Postgres Возможность масштабирования для новых вариантов использования по мере возникновения необходимости, например. pg vector способный удовлетворить различные AI нуждаться.

хотя Postgres существовать OLTP Рабочая нагрузка разумная, но Postgres Все еще существуют проблемы с точки зрения высокопроизводительного анализа больших коллекций данных (OLAP). Хотя есть некоторые решения, модифицированные ядром Postgres решить OLAP рабочую нагрузку или использовать Postgres Некоторые функции, но каждое решение существуетиспользовать. Postgres Существуют присущие проблемы, затраты и ограничения, связанные с ветвлением.

вместе с Postgres Пользователи все чаще ищут Postgres родной OLAP Решения, сдвиг акцента на недорогие хранилища данных и появление новых стандартов форматов данных, Crunchy Data Начните разработку нового масштабируемого решения Postgres Чтобы удовлетворить эти потребности, наше решение использует преимущества. Postgres Известные мощные возможности расширения,а также Встроенный Новый победитель среди быстрых механизмов запросов——DuckDB。

Люблю Postgres и нуждаюсь в анализе

Мы помогаем организациям развертывать Postgres. С этой точки зрения пользователи успешно развертывают Postgres в различных сценариях использования. На самом деле, когда нас спрашивают о случаях использования, которые решает Postgres, нам трудно ответить, потому что ответ заключается в том, что мы действительно видели их все.

но этосуществовать OLTP в контексте. ОЛАП Исторически «еще одна рабочая нагрузка», Postgres существуют. Для этого нет конкуренции. Да, есть некоторые решения, но особенно вместе. Миграция пользователей в облако и облачные методы, не так уж и много Postgres роднойрешение。

Мы видели это воочию: многие Crunchy Bridge Клиенты – они любят Постгрес — использование Postgres руководить OLTP Работайте с загрузкой, но используйте различные инструменты Воляданные, скопированные на различные сторонние аналитические платформы для управления аналитическими запросами. существуюти Эти клиенты обсуждают свои потребности, когда переезжают на Воляданные. Postgres Не устраивает, но лучшего варианта нет. Можем ли мы построить его?

Обрабатывайте свои данные там, где они находятся, и анализируйте их в S3.

чтобы построить собственный анализ решений Postgres - Очевидно, что нам нужен современный формат для размещения и организации решающих решений, а также организации использования. Две важные тенденции определяют наше направление:

• данные все большесуществовать S3. S3 и подобные облачные библиотеки получили широкое распространение как недорогая и долговечная платформа. Их можно бесконечно расширять,И доступ к нему возможен откуда угодно. Пользователи могут одновременно предоставлять свой контент множеству различных механизмов.
• Открытые стандарты форматов файлов и таблиц становятся победителями. Хотя многие озера данных все еще являются «S3 в CSV файл", но нравится Parquet и Iceberg Такие форматы анализа и оптимизации стремительно набирают популярность.

конечно,Перспектива разделения ихранилищ (данных) Volya Query Engine (Computing) породила множество проектов библиотек данных. Это дает возможность воляданным хранилищам с небольшими затратамисуществовать место.,Эффективный одновременный запрос данных,Без необходимости перемещать его в механизм запросов.

В конечном итоге мы пришли к выводу, что S3 (с кэшированием) является подходящим уровнем хранения для аналитических данных, а мощная интеграция S3 с PostgreSQL предоставляет средства для решения этих вариантов использования.

Масштабируемость Postgres снова делает его победителем

Postgres Расширение Postgres в состоянии вместе с Решение новых вариантов использования по мере возникновения необходимости. путем загрузки PostGIS Расширения, Постгрес Станьте ведущей базой данных для управления пространственными данными. Постгрес Можно использовать Citus Поддерживается расширенное сегментирование или используйте pgvector Преобразуйте его в векторную базу данных. каждый Postgres У всех пользователей есть свои любимые расширения, и многие пользователи могут использовать ряд расширений, не задумываясь о Postgres Расширьте возможности фреймворка.

Воля Postgres расширен для поддержкиВнешние механизмы запросов в полной мере используют эту расширенную функциональность.。использовать Postgres «Перехватчики» позволяют нам прозрачно разбивать планы запросов на части, которые можно «передать» этому внешнему независимому механизму запросов, что позволяет нам использовать преимущества существующих специализированных механизмов для этих конкретных рабочих нагрузок. существуют В этом случае мы используем DuckDB, будущий победитель в области встроенных механизмов запросов.

Для тех, кто не знаком с DuckDB Зависит от Hannes Mühleisen и Mark Raasveldt существовать Centrum Wiskunde & Informatica (CWI) развиваться, и Зависит от DuckDB Labs Активно развивается благодаря большому вкладу сообщества. Дак ДБ стала ведущей встроенной системой запросов, использующей современные OLAP технологическая пара Parquet ифайл хранилищ объектов руководит быстрым поиском. Паркет Файл поддерживает сжатые столбчатые данные, что делает его воля строк исторических временных рядов из транзакционных данных. Postgres Архивировать в эффективную форму на длительный срок OLAP Идеальный формат для использования.

Это означает, что мы можем сделать это, используя Postgres Расширять Воля DuckDB и Postgres Интегрированная идентификация может быть сведена к DuckDB Векторизует часть плана запроса для параллельного выполнения в функции "руководить" и создает часть, которая будет передана DuckDB соответствующий SQL Запрос. Аналогично мы используем PostgreSQL Комбинация хуков для реализации фильтров、полимеризация、присоединитьсяи Более сложные структуры запросов。существоватьв некоторых случаях,В других случаях весь запрос может существовать;,Мы объединяем разные подпланы.

Преимущества нативных решений Postgres

Но зачем выбирать Postgres руководитьанализировать？вместе с Postgres Принятие продолжает расти, и пользователи всех типов учатся использовать Postgres руководить разработкой приложений OLTP требования, предусмотренные для данных аналитических запросов Postgres Родной опыт имеет много преимуществ.

Как пользователь, вы существуете S3 вданные Воля отображается в виде таблицы и можно по всем критериям PostgreSQL Таблица запрашивает их вместе и другие PostgreSQL Функции и расширения в сочетании с универсальной простотой использования включают в себя:

• контроль доступа
• вид
• Материализовать вид
• Запрос данных о производительности с помощью pg_stat_statements
• использовать PL/pgSQL () изхранилищепроцесс
• использовать pg_cron периодические задания
• упорство NVMe и кэш-памяти
• Инструменты информационной панели

Если Воля Postgres Расширение поддержки внешних механизмов запросов для аналитических запросов звучит немного сложно, и это, вероятно, правда. Тем не менее, поскольку Результаты Воля доступны в виде размещенной службы, пользователи могут извлечь выгоду из функций этого решения, не беспокоясь о низкоуровневых деталях, таких как перехваты или запросы. С точки зрения пользователя, все, что вы видите, это возможность быстро раскрыть существующее хранилище. S3 данные для использования стандарта Postgres руководить Запрос。Crunchy Bridge Обеспечивает управляемую производственную готовность Postgres все преимущества и ориентированность на разработчиков UX, ныне существующий, имеет расширенный функционал для поддержки Зависит от DuckDB Обеспечивает поддержку быстрых аналитических запросов.