В последней статье говорилось о нескольких однопоточных методах стресс-тестирования записи MySQL. Изначально я хотел представить некоторые идеи, но просто поделился личным опытом и идеями. Позже фанат оставил сообщение в фоновом режиме и захотел узнать, как бороться с параллелизмом, поэтому сегодня я написал эту статью.

Параллелизм широко используется при тестировании производительности. По моему личному опыту, параллелизм используется практически во всех стресс-тестах. Теперь позвольте мне рассказать об использовании параллелизма в тестировании производительности записи MySQL.

первый,Нам нужно выяснить проблему: одновременно объект. Для реальной ситуации в MySQLtest,я перечислил3индивидуальныйодновременнообъект：java.sql.Statement 、 java.sql.Connection а также database 。

Начну с самопроверки максимального количества строк, записываемых в секунду: 50w. Если я еще раз оптимизирую программу, оно должно быть выше, но по результатам теста оно будет ненамного выше. Грубая оценка в пределах 1 миллиона.

Контрольный показатель

Давайте сначала проведем Контрольный показатель,Потому что мой компьютер уже в состоянии Шрёдингера,производительность очень нестабильна. Для простой и быстрой демонстрации того, как его использовать.,На этот раз я использовал фиксированный sql.

Примеры использования следующие:

package com.funtest.temp  
  
import com.funtester.db.mysql.FunMySql  
import com.funtester.frame.SourceCode  
  
class MysqlTest extends SourceCode {  
  
    public static void main(String[] args) {  
        StringBuilder  s = new StringBuilder();  
        String sql = "insert into user (name, age, level, region, address) values ('FunTester', 23, 2, «глобальная деревня», 'Восемь пар')";  
        String ipPort = "127.0.0.1:3306";// Адрес сервера  
        String database = "funtester"// Адрес сервера  
        String user = "root";// имя пользователя  
        String password = "funtester";// пароль  
        def base = new FunMySql(ipPort, database, user, password);// Создать базовый класс операций с базой данных  
        def statement = base.connection.createStatement();// создавать SQL объект утверждения
        while (true) {  
            statement.executeUpdate(sql);// Выполнить оператор вставки  
        }  
        statement.close();// Закрыть ресурс  
        base.close();// Закрыть ресурс  
    }  
}

Результаты испытаний следующие:

Statement

обсуждалось ранее Statement Фактически, в сценарии запроса параллелизм не поддерживается. Исходный код также был проанализирован. Заинтересованные студенты могут прочитать исходную статью. Причины не будут повторяться. Что касается сценария написания, то соответствующего исходного кода нет. Для простоты мы его непосредственно протестировали.

Ниже приведен пример использования:

package com.funtest.temp  
  
import com.funtester.db.mysql.FunMySql  
import com.funtester.frame.SourceCode  
  
import java.util.concurrent.ExecutorService  
import java.util.concurrent.Executors  
  
class MysqlTest extends SourceCode {  
  
    public static void main(String[] args) {  
        StringBuilder s = new StringBuilder();  
        String sql = "insert into user (name, age, level, region, address) values ('FunTester', 23, 2, «глобальная деревня», 'Восемь пар')";  
        String ipPort = "127.0.0.1:3306";// Адрес сервера  
        String database = "funtester"// Адрес сервера  
        String user = "root";// имя пользователя  
        String password = "funtester";// пароль  
        def base = new FunMySql(ipPort, database, user, password);// Создать базовый класс операций с базой данных  
        def statement = base.connection.createStatement();// создавать SQL объект утверждения
        ExecutorService executors = Executors.newFixedThreadPool(10);// создать пул потоков  
        10.times {  
            executors.execute {// 10 тем  
                while (true) {  
                    statement.executeUpdate(sql);// осуществлять SQL заявление  
                }  
            }  
        }        statement.close();// Закрыть ресурс  
        base.close();// Закрыть ресурс  
    }  
}

Просто используйте 10 потоков, чтобы запустить и посмотреть. Результат следующий:

Connection

Далее мы будем Connection Для параллелизма каждый поток создает Statement Это решение спроектировано так, чтобы быть простым и избегать взаимного вмешательства. Это хорошая стратегия изоляции.

Вариант использования следующий:

import com.funtester.db.mysql.FunMySql  
import com.funtester.frame.FunPhaser  
import com.funtester.frame.SourceCode  
  
import java.util.concurrent.ExecutorService  
import java.util.concurrent.Executors  
  
class MysqlTest extends SourceCode {  
  
    public static void main(String[] args) {  
        StringBuilder s = new StringBuilder();  
        String sql = "insert into user (name, age, level, region, address) values ('FunTester', 23, 2, «глобальная деревня», 'Восемь пар')";  
        String ipPort = "127.0.0.1:3306";// Адрес сервера  
        String database = "funtester"// Адрес сервера  
        String user = "root";// имя пользователя  
        String password = "funtester";// пароль  
        def base = new FunMySql(ipPort, database, user, password);// Создать базовый класс операций с базой данных  
        ExecutorService executors = Executors.newFixedThreadPool(10);// создать пул потоков  
        def phaser = new FunPhaser()// создавать Phaser        10.times {  
            phaser.register()// Зарегистрировать тему  
            executors.execute {// 10 тем  
                def statement = base.connection.createStatement();// создавать SQL объект утверждения  
                while (true) {  
                    statement.executeUpdate(sql);// осуществлять SQL заявление  
                }  
                phaser.done()// Завершить тему  
            }  
        }        executors.shutdown();// Закрыть пул потоков  
        phaser.await()// Подождите, пока все темы, которые интересуют, закончатся.  
        base.close();// Закрыть ресурс  
    }  
}

Результаты испытаний следующие:

database

Дальше мы продолжим database уровни параллелизма, создавая больше Connection для достижения желаемой лучшей производительности записи.

Давайте повторим метод с самой высокой однопоточной производительностью — вставку слов в N строк — и протестируем его еще раз. Результаты следующие:

Ощущается ли это так? MySQL Соответствует ли производительность записи требованиям?

Заключение

В реальной работе сценарий будет более сложным, и на производительность записи влияет множество факторов. Как и в первых двух случаях, хотя теоретически производительность будет значительно улучшена, фактические результаты почти такие же, вероятно, потому, что один Connection узкое место в производительности.

На производительность записи MySQL влияет множество факторов. Помимо аппаратного обеспечения, я кратко перечислю некоторые из них.

На производительность записи MySQL влияет множество факторов. Понимание и оптимизация этих факторов может значительно повысить эффективность записи в базу данных. Вот некоторые из основных влияющих факторов:

Конфигурация базы данных

• innodb_buffer_pool_size：Увеличьте соответствующим образомInnoDBразмер буферного пула,Позволяет кэшировать больше данных и индексов в памяти.,Уменьшите дисковый ввод-вывод.
• innodb_log_file_size：Файлы журналов большего размера уменьшают частоту переключения журналов.,Тем самым улучшая производительность письма.
• innodb_flush_log_at_trx_commit：установлен на1может гарантировать, что каждыйиндивидуальный Когда транзакция зафиксирована, журналыписатьдиск,Храните данные в безопасности,Но это снизит производительность. Установите значение 2 или 0 для увеличения производительности.,но может привести к потере данных。индекс
• индекс Количество и виды：соответствующийиндекс Может улучшить скорость запросов,Но слишком большой индекс увеличит накладные расходы на операции записи. Необходимо сбалансировать производительность запросов и производительность записи.
• сложныйиндекс：Разумныйиспользоватьсложныйиндекс Может снизить потребность в обслуживаниииндексколичество,Тем самым улучшая производительность письма.дизайн стола
• раздел таблицы：Разделить большую таблицу на несколькоиндивидуальный Раздел,Может уменьшить объем данных, которые необходимо обрабатывать при каждой записи.,Тем самым улучшая производительность письма.
• Тип данных столбца：Использование соответствующих типов данных может уменьшить объем памяти иI/Oдействовать。Например,Используйте TINYINT вместо INT для хранения небольших диапазонов целых чисел.
• Архивируйте и очищайте исторические данные：Регулярно архивируйте и очищайте исторические данные, которые больше не нужны.,Уменьшите размер таблицы и уменьшите накладные расходы на запись。управление транзакциями
• Пакетная вставка：использовать Пакетная вставка вместо вставки построчно может существенно повысить производительность записи.
• размер транзакции：соответствующийразмер Обработка может повысить производительность записи, а слишком большие или слишком маленькие транзакции могут повлиять на производительность.
• блокировка конфликта：избегайте долгоговремяудерживать замок,может уменьшить конфликты блокировки,улучшатьодновременнописатьпроизводительность。Управление параллелизмом
• пул соединений：использоватьпул соединения могут снизить затраты на установление и освобождение соединений и повысить производительность записи.
• Количество одновременных подключений：Разумные настройки Количество одновременных подключений,Избегайте чрезмерных подключений, ведущих к конкуренции за ресурсы ипроизводительностьотклонить。Механизм базы данных
• InnoDB vs MyISAM：InnoDBПоддерживает блокировку транзакций и строк.,Подходит для интенсивных операций одновременной записи. MyISAM лучше написан по производительности,но нет Поддерживает блокировку транзакций и строк.。сеть
• сеть Задержка：Минимизируйте трение между клиентом и серверомсеть Задержка,Особенно в распределенных системах.
• сетьпропускная способность：Убедитесь, что их достаточносетьпропускная способность,избегатьпропускная способностьвызванные недостаткамиузкое место в производительности.Операционная система и файловая система
• Настройка операционной системы：КорректированиедействоватьсистематическийI/OАлгоритм планирования、Буферизация файловой системы и другие параметры,Может улучшить производительность записи.
• Выбор файловой системы：Выбирайте высокийпроизводительностьфайловая система,Такие как EXT4, XFS,Оптимизированная файловая системапроизводительность。другой
• Оптимизация запросов：Обязательно напишитедействовать Сделайте это максимально простым и эффективным,Избегайте сложных запросов и подзапросов.
• Версия базы данных：использоватьпоследний Версия базы данных, содержит последние оптимизации производительности и исправления.

В реальных сценариях для разных факторов применяются разные стратегии, а техническая мощь повышается за счет непрерывного обучения.