1. Как оптимизировать скорость запросов?

Так называемая «большая таблица» относится к большому объему данных в таблице, и обычно чем больше объем данных, тем медленнее скорость запроса. Это связано с тем, что при увеличении объема данных необходимо сопоставить и получить больше контента для запроса данных, и чем больше элементов будет получено, тем медленнее будет скорость запроса.

Например, когда в семье только один ребенок, ежемесячные расходы могут быть не слишком высокими, но по мере того, как детей в семье становится все больше, семейные расходы будут становиться все больше и больше, и то же самое справедливо и для . взаимосвязь между объемом данных в таблице и эффективностью запроса.

Итак, вопрос в том, как оптимизировать скорость запросов?

Основные оптимизационные решения этой задачи заключаются в следующем.

1.1 Создайте соответствующие индексы

проходить Создайте соответствующие индексы, которые могут ускорить операции запросов. Индексы могут повысить эффективность выполнения операторов запроса, особенно индексирование общих условий запроса и полей сортировки, что может значительно сократить объем сканирования запросов. IO накладные расходы.

1.2 Оптимизация операторов запроса

Оптимизируйте сам оператор запроса, чтобы избежать полного сканирования таблицы и связанных с ним запросов с большими объемами данных. Вы можете оптимизировать условия запросов, использовать соответствующие индексы и разумные стратегии запросов, чтобы уменьшить количество ненужных полей и возвращаемых данных.

1.3 Кэширование результатов запроса

Некоторые относительно стабильные результаты запросов можно кэшировать в памяти, чтобы избежать повторных запросов к базе данных и повысить скорость запросов.

Скорость запроса кеша должна быть выше, чем скорость прямого запроса к базе данных. Это связано с тем, что кеш имеет следующие характеристики:

1. Быстрый доступ к памяти：Кэши обычно хранят данные в памяти.,С другой стороны, база данных хранит данные на диске. По сравнению с доступом к диску,Доступ к памяти стал быстрее,Достижение скорости чтения наносекундного уровня,Гораздо быстрее, чем скорость чтения базы данных на миллисекундном уровне.
2. Меньше операций ввода-вывода：Базам данных обычно требуется диск. IO Операции, включая чтение и запись данных на диск. Кэш хранит данные в памяти, что позволяет избежать необходимости использования диска. IO изнакладные Доступ к памяти не требует адресации диска и механического перемещения и происходит относительно быстрее.
3. специальная структура данных：Кэшированная структура данных обычно key-value То есть в форме кэш может обеспечить сложность данных запроса любого уровня данных. O(1), поэтому эффективность запросов очень высока; база данных использует традиционную структуру данных, которая может потребовать таких операций, как запрос двоичных деревьев, полнотекстовый поиск или запросы к таблицам, поэтому производительность запросов намного ниже, чем у кэш Систематический.

1.4 Улучшение конфигурации оборудования

Для таблиц с большими объемами данных вы можете рассмотреть возможность использования более производительных аппаратных устройств, таких как более быстрые носители данных (например, твердотельные накопители), больший объем памяти и т. д., чтобы повысить производительность ввода-вывода запросов.

1.5 Архивирование и разделение данных

Для исторических данных или данных, к которым редко обращаются, вы можете заархивировать и отделить эти данные от основной таблицы, чтобы уменьшить объем данных в основной таблице и повысить скорость запросов.

1.6 Шардинг базы данных

Когда одна база данных не может удовлетворить потребности в производительности запросов,Рассмотрите возможность использования техники Шардинг базы данных.,Распределение данных по нескольким базам данных,Каждая база данных обрабатывает только часть данных.,Тем самым улучшая параллелизм запроса и общую производительность.

Конкретная реализация технологии Шардинг базы данных представляет собой подбазу данных и подтаблицу.。

2. Что такое подбаза данных и подтаблица?

Прежде всего, сегментирование баз данных и таблиц — это набор технологий, а не одну технологию. Шардинг баз данных и таблиц можно разделить на следующие ситуации:

1. Только филиал библиотеки：Разделите большую базу данных на N Небольшая база данных. Например, база данных электронной коммерции разделена на несколько баз данных, таких как: база данных пользователей, база данных склада, база данных заказов, база данных продуктов и т. д.
2. Только таблица：в базе данных,Разделить таблицу на несколько таблиц,Подтаблица имеет следующие две реализации:
   1. горизонтальный раскол：Не изменяйте исходную структуру таблицы,Преобразуйте данные из исходной таблицы в,разделен на N таблица для хранения данных.
   2. Разделить вертикально：Изменить исходную структуру таблицы,Поместите часто используемые поля в основную таблицу.,Поместите поля, которые не часто используются и имеют низкую эффективность запросов, в таблицу расширения.
3. Разделение как базы данных, так и таблиц：Его реализация является наиболее сложной.,Как следует из названия,Он разбивает базу данных на несколько баз данных.,И преобразовать таблицу в базу данных,В то же время он разбит на несколько таблиц.

2. Реализация подбазы данных и подтаблицы.

В настоящее время на рынке представлены следующие основные технологии реализации суббаз данных и субтаблиц:

1. ShardingSphere：ShardingSphere Это многофункциональное промежуточное ПО для распределенных баз данных с открытым исходным кодом, которое обеспечивает комплексное решение для сегментирования баз данных и таблиц. Он поддерживает основные реляционные базы данных (такие как MySQL、Oracle、SQL Server и т. д.), предоставляя такие функции, как сегментирование, распределенные транзакции, разделение чтения и записи и управление данными. Шардинг Сфера Он имеет гибкую настройку и масштабируемость, поддерживает несколько стратегий шардинга, прост и удобен в использовании.
2. MyCAT：MyCAT（MySQL Clustering and Advancement Toolkit) — это промежуточное программное обеспечение распределенных баз данных с открытым исходным кодом, особенно подходящее для крупномасштабных субприложений баз данных и таблиц. он поддерживает MySQ Земля MycatSQL предоставляет такие функции, как сегментирование, разделение чтения и записи и распределенные транзакции. МойCAT Он обладает характеристиками высокой производительности, высокой доступности, масштабируемости и простоты использования и широко используется на различных крупномасштабных платформах Интернета и электронной коммерции.
3. TDDL：TDDL（Taobao Distributed Data Layer) — это суббаза данных и промежуточное программное обеспечение таблиц с открытым исходным кодом Alibaba. Он предоставляет разработчикам прозрачное решение для сегментирования баз данных и таблиц, которое может распределять данные по различным базам данных и таблицам в соответствии с заданными правилами. ТДДЛ поддерживать MyISAM и InnoDB Механизм предоставляет такие функции, как разделение чтения и записи, динамическое расширение и миграция данных.
4. Vitess：Vitess это YouTube Разработка и поддержка промежуточного программного обеспечения кластера распределенных баз данных, поддержка MySQL какзадняя система хранения деталей. Витесс Обеспечивает горизонтальное раскол, Гибкое масштабирование、балансировка нагрузки、Восстановление после сбоев и другие функции,Может обеспечить высокую производительность и масштабируемость в крупномасштабных наборах данных и в сценариях с высокой степенью одновременного доступа.

Существует множество решений по оптимизации запросов для таблиц с большими объемами данных, например: создание индексов, оптимизация. операторов запроса、Кэширование результатов запроса、Улучшение конфигурации оборудования、Архивирование и разделение данных,И технология шардинга данных (подбаза данных и подтаблица) и т. д.,Эти технологии часто используются вместе.,Совместно решить проблему низкой скорости запросов больших объемов данных.,Среди них реализация подбазы данных и подтаблицы является самой сложной.,Поэтому вам необходимо использовать его по мере необходимости в соответствии с потребностями вашего бизнеса.