Всем привет, мы снова встретились, я ваш друг Цюаньчжаньцзюнь.

Сводка сравнения производительности тестовых дисков vdbench и fio

1. Установка

1. Установите vdbench, сначала установите java, а затем загрузите установочный пакет vdbench и установите его: http://pan.baidu.com/s/1b7XooY;

#mv vdbench50406 /var/www/html/ 
#unzip vdbench50406.zip -d vdbench504

Запустить тесттестДо,Проверьте, успешно ли завершилась установка:

# ./vdbench -t

[root@lrrvd vdbench504]# ./vdbench -t


Copyright (c) 2000, 2016, Oracle and/or its affiliates. All rights reserved.
Vdbench distribution: vdbench50406 Wed July 20 15:49:52 MDT 2016
For documentation, see 'vdbench.pdf'.

16:47:50.883 input argument scanned: '-f/tmp/parmfile'
16:47:50.939 Starting slave: /var/www/html/vdbench504/vdbench SlaveJvm -m localhost -n localhost-10-171116-16.47.50.757 -l localhost-0 -p 5570
16:48:01.006 Waiting for slave connection: localhost-0
16:48:01.508 All slaves are now connected
16:48:03.002 Starting RD=rd1; I/O rate: 100; elapsed=5; For loops: None

Nov 16, 2017  interval        i/o   MB/sec   bytes   read     resp     read    write     resp     resp queue  cpu%  cpu%
                             rate  1024**2     i/o    pct     time     resp     resp      max   stddev depth sys+u   sys
16:48:04.051         1      86.00     0.08    1024  54.65    0.012    0.009    0.015    0.064    0.010   0.0  12.6   2.1
16:48:05.047         2      93.00     0.09    1024  50.54    0.016    0.012    0.020    0.064    0.012   0.0   5.1   1.0
16:48:06.047         3      94.00     0.09    1024  50.00    0.010    0.007    0.013    0.043    0.006   0.0   2.0   0.0
16:48:07.046         4      88.00     0.09    1024  50.00    0.012    0.008    0.017    0.043    0.009   0.0   2.5   0.5
16:48:08.051         5      99.00     0.10    1024  57.58    0.009    0.007    0.013    0.026    0.005   0.0   2.0   0.5
16:48:08.076   avg_2-5      92.00     0.09    1024  52.61    0.012    0.008    0.016    0.064    0.009   0.0   6.6   1.1
16:48:08.749 Vdbench execution completed successfully. Output directory: /var/www/html/vdbench504/output

На данный момент установка завершена.

Познакомьте со значением параметров: Для виртуального блочного устройства настройте следующие параметры.

HD: определение хоста

Если вы хотите отобразить текущий хост, установите hd= localhost. Если вы хотите указать удаленный хост, укажите метку hd=.

system= IP-адрес или сетевое имя

клиенты = количество запущенных клиентов, используемых для имитации сервера.

SD: определение хранилища

sd= идентифицирует имя хранилища.

хост= ID хоста, на котором расположено хранилище.

lun= Имя исходного диска, ленты или файловой системы. vdbench также может создать для вас диск.

threads=Максимальное количество одновременных запросов ввода-вывода к SD. По умолчанию — 8.

hitarea= регулирует процент попадания при чтении. По умолчанию – 1 м.

openflags= список_флагов, используемый для открытия луны или файла

WD: определение рабочей нагрузки

wd= идентифицирует имя рабочей нагрузки

sd= идентификатор используемого определения хранилища

хост = идентификатор хоста, на котором будет выполняться эта рабочая нагрузка. По умолчанию — локальный хост

rdpct= Процент запросов на чтение от общего количества запросов. Если оно равно 100, оно читается, если равно 0, то выполняется запись.

rhpct= процент совпадений при чтении. Значение по умолчанию — 0.

wpct= процент попаданий при записи. Значение по умолчанию — 0.

xfersize= Размер передаваемых данных. Настройка по умолчанию — 4k.

seekpct= Процент случайных поисков. Может быть случайным значением, 0 означает последовательность; 100 означает случайную величину.

openflags= список_флагов, используемый для открытия луны или файла,Настройки голого дискаopenflags=o_direct

iorate= фиксированная скорость ввода-вывода для этой рабочей нагрузки

RD: определение запуска

rd= идентифицирует имя запуска.

wd= идентификатор рабочей нагрузки, использованной для этого запуска.

iorate= (#,#,…) Одна или несколько скоростей ввода-вывода.

кривая: кривая производительности (будет определена).

max: Неконтролируемая рабочая нагрузка.

elapsed= time: продолжительность работы в секундах. Значение по умолчанию — 30.

Warmup= time: период нагрева, в конечном итоге будет игнорироваться

распределение = Распределение запросов ввода-вывода: экспоненциальное, равномерное или детерминированное.

пауза = Время сна перед следующим запуском в секундах.

openflags= список_флагов, используемый для открытия луны или файла。

Для файловой системы настройте следующие параметры:

HD: определение хоста. Виртуальное блочное устройство то же самое

FSD: определение файловой системы

fsd= идентифицирует имя определения файловой системы

якорь = Каталог, в котором будет создана структура каталогов

ширина = количество каталогов, которые будут созданы под локатором

глубина = количество уровней, которые нужно создать под локатором

files = количество файлов, которые нужно создать на самом низком уровне

size= (размер,размер,…) Размер файла, который будет создан.

распределение= нижний (если вы хотите, чтобы файлы создавались только на самом нижнем уровне) и все (если вы хотите, чтобы файлы создавались во всех каталогах)

openflags= используется для открытие файловой системы (Solaris) из flag_list

FWD: определение рабочей нагрузки файловой системы

fwd= идентифицирует определение и имя рабочей нагрузки файловой системы.

fsd= Чтобы использовать определение файловой системы из ID

host= хотетьиспользуется для этой рабочей нагрузкииз хоста ID。

fileio= случайный или последовательный, указывающий файл ввода-вывода будет выполнен в этом режиме. Последовательное чтение и запись, случайное зарисовывание, конечно, оборудование должно быть пустым;

fileselect= random или последовательный, определяет метод выбора файла. Выберите, будут ли файлы и каталоги выбираться случайным образом или по порядку.

xfersizes= число Передача данных (операции чтения и записи) обрабатывает данные различных размеров.

операция = mkdir, rmdir, создание, удаление, открытие, закрытие, чтение, запись, getattr и setattr. Выберите операцию с файлом, которую хотите выполнить.

rdpct = (только) операции чтения и записи и проценты.

threads= Эта рабочая нагрузка измеряется числом одновременных потоков. Для каждого потока требуется как минимум 1 файлы.

RD: определение запуска

fwd= Чтобы использовать определение рабочей нагрузки файловой системы, ID。

fwdrate = количество операций с файловой системой, выполняемых в секунду.

format=да/нет/только/перезапуск/очистить/каталоги. Перед началом операции выполните операцию ИЗ.

Нет означает не изменять каталог файлов; да означает изменение; перезапуск означает повторное создание исходного каталога файлов;

Operations= переопределяет операции вперед. Варианты те же.

1) проверка работоспособности блочного устройства (случайная запись)

Отредактируйте файл тестового сценария test1 (проверьте диск этой машины)

hd=default,vdbench=/var/www/html/vdbench504,user=root,shell=ssh
sd=sd1,lun=/dev/vdc,openflags=o_direct,threads=1
wd=wd1,sd=sd1,xfersize=16k,readpct=0,seekpct=100
rd=rd1,wd=wd1,iorate=max,elapsed=120,maxdata=5500g,interval=1,warmup=30

случайное чтение：readpct=100,seekpct=100；писать случайно：readpct=0,seekpct=100；Случайное чтение и запись каждого счета для50%：readpct=50,seekpct=100；последовательное чтение：readpct=100,seekpct=0；Пишите последовательно：readpct=0,seekpct=0；последовательное чтение Напишите долю каждого50%：readpct=50,seekpct=0

Протестируйте два диска этой машины (и так далее)

hd=default,vdbench=/var/www/html/vdbench504,user=root,shell=ssh
sd=sd1,lun=/dev/vdc,openflags=o_direct,threads=1
sd=sd2,lun=/dev/vdb,openflags=o_direct,threads=1
wd=wd1,sd=sd*,xfersize=16k,readpct=0,seekpct=100
rd=rd1,wd=wd1,iorate=max,elapsed=120,maxdata=5500g,interval=1,warmup=30

При тестировании на нескольких узлах вам необходимо настроить соединение ssh и установить vdbench на каждом узле по одному и тому же пути:

Шаг 1. Используйте ssh-keygen на локальном компьютере, чтобы сгенерировать пару открытого и закрытого ключей.

Шаг 2. Используйте ssh-copy-id, чтобы скопировать открытый ключ на удаленный компьютер. # ssh-copy-id -i ~/.ssh/id_rsa.pub удаленный хост

Несколько машин могут работать циклично и выполняться в пакетном режиме, используя ansible.

#for i in {x..y};do ssh-copy-id -i ~/.ssh/id_rsa.pub 10.139.11.$i;done

#ansible test -m copy -a “src=/root/.ssh/id_rsa.pub dest=/root/.ssh/” Уведомление: ssh-copy-id Запишите ключ к удаленной машине из ~/ .ssh/authorized_key, связь прошла успешно, ssh. remote-host

hd=default,vdbench=/var/www/html/vdbench504,user=root,shell=ssh
 hd=hd1,system=10.139.11.118
 hd=hd2,system=10.139.11.119
 #hd=hd3,system=93.93.41.9
 sd=sd1,hd=hd1,lun=/dev/vdc,openflags=o_direct,threads=1
 sd=sd2,hd=hd2,lun=/dev/vdc,openflags=o_direct,threads=1
 wd=wd1,sd=sd*,xfersize=16k,readpct=0,seekpct=100
 rd=run1,wd=wd1,iorate=100,elapsed=120,interval=1

2) Тестовые файлы пишутся случайным образом

hd=default,vdbench=/var/www/html/vdbench504,user=root,shell=ssh

fsd=fsd1,anchor=/mnt/1,depth=1,width=10,files=10,size=2m,shared=yes
fwd=fwd1,fsd=fsd1,threads=6,xfersize=4k,fileio=random,fileselect=random,operation=write

rd=rd1,fwd=fwd*,fwdrate=max,format=restart,elapsed=120,interval=1

fwd=format означает, что все настройки параметра числа в строке fwd являются крышками. Независимо от того, сколько установлено rdpct, все они являются операциями чтения.

Выполните проверку целостности данных: добавьте -vili-jiliValidate=yes.

-vизчисло Проверка данных,Файл проверки будет выведен в память.,Но как только vdbench закроется или система перезапустится,Проверка не удастся. И -j может выполнять непрерывную проверку,Подождите следующего перезапуска,Исходные данные будут восстановлены и повторно проверены. Если вы просто напишете -j без добавления -v,Также будет выполнена операция -v.

Выполнить тест: ./vdbench -f example -jn Среди них -jn для проверки данных.

После каждого запуска vdbench создаст папку вывода, содержащую следующие файлы:

(1) errorlog.html — если для теста включена проверка данных (-jn), в блоке данных может содержаться некоторая информация, связанная с ошибками:

• Неверное чтение ключа
• Неверный lba Чтение (отдельный сектор из адреса логического байта)
• Неверный SD или FSD чтение имени
• число По данным коррупции, даже ошибка inuse из lba или Ключевое время
• Повреждение данных
• плохие сектора

(2) Flatfile.html — содержит vdbench Создание столбца за столбцом ASCII Формат информации.

(3) histogram.html — файл, содержащий гистограмму отчета, время ответа и текстовый формат.

(4) logfile.html — содержит Java Код записывает копию каждой строки информации в окно консоли. файл журнала.html В основном используется для целей отладки

(5) parmfile.html — отображает окончательный результат каждого элемента, содержащего методы для тестирования.

（6）resourceN-M.html、resourceN.html、resourceN.var_adm_msgs.html

Сводный отчет, stdout/stderr отчеты, хост N из Сводный отчет

наконец “nn” строковый файл /var/adm/messages и /вар/адм/сообщения. каждый M индивидуальный JVM/Slave с целевого хоста N и Хост N Выше 0。

（7）sdN.histogram.html、sdN.html——Каждыйиндивидуальный N Определение хранилища из гистограммы и определение хранилища “N” Отчет.

(8) summary.html — основной файл отчета,Отображается как общая рабочая нагрузка, созданная за один запуск в каждом отчетном интервале.,и средневзвешенное значение всех интервалов, кроме первого.

• интервал: порядковый номер интервала отчета
• I/O скорость: среднее количество наблюдений в секунду I/O ставка
• MB сек: передача изчисло по среднему MB число
• bytes Ввод-вывод: средний размер передаваемых данных
• read pct: средний процент прочтения
• resp время: среднее время ответа, измеряемое длительностью запроса на чтение/запись. все vdbench Время указано в миллисекундах.
• resp max: максимальное время ответа, наблюдаемое в этом интервале. наконец Строка содержит максимальное общее число.
• resp stddev: время отклика по стандартному отклонению
• cpu%sys+usr: процессор занят = 100 (системное + пользовательское время) (Solaris, Windows, Linux)
• cpu% sys: загрузка процессора: системное время

（9）swat_mon.txt,swat_mon_total.txt

• vdbench и Sun StorageTekTM Workload Analysis Tool (Swat) Trace Facility (STF) объединено для поддержки использования повторов Swat создаватьизодининдивидуальныйтраекторияиз I/O рабочая нагрузка.
• Swat использовать Create Replay File Опции create и Process из файла дорожки создадут файл. flatfile.bin（flatfile.bin.gz используется для vdbench403 и более поздние версии), который содержит Swat идентифицированныйиз Каждыйиндивидуальный I/O Управляйте записью.

Эти файлы содержат отформатированный отчет, который можно импортировать. Swat Performance Monitor (SPM) создавать диаграммы производительности.

2. установка фиоиз

Загрузите и установите программное обеспечение напрямую,Просто скопируйте его на виртуальную машину,Выполните команду, написав собственный скрипт для проверки.,Следующая команда — это случайное чтение и запись.,Соотношение чтения и записи составляет 7:3.

fio –ioengine=libaio –direct=1 –group_reporting –norandommap –userspace_reap –thread –time_based –runtime=1800 –ramp_time=60 –randrepeat=0 –iodepth=16 –numjobs=4 –rw=randrw –rwmixread=70 –bs=4k –filename=/dev/vdb –size=200G –name=randrw1

2. Различия и сходства между ними

1. Изпотоки в vdbench эквивалентны fioизthreadsиглубина

2. В результате vdbenchtest I/O эквивалентно fioiziops в vdbench, isMB/sec эквивалентно пропускной способности fioizBW, время vdbenchizrest эквивалентно fioizlatency;

3. vdbenchtestiz — общая производительность кластера или всех виртуальных машин, при этом fio нужно написать скрипт для управления несколькими дисками или виртуальными машинами.

4. vdbench имеет проверку целостности данных числа и параметры числа. Чтобы выполнить проверку данных числа, необходимо выполнить -v или написать Validate=yes в файле параметра число.

Издатель: Лидер стека программистов полного стека, укажите источник для перепечатки: https://javaforall.cn/144276.html Исходная ссылка: https://javaforall.cn