Чтобы оценить производительность существующей системы, сначала необходимо определить критерии производительности системы. После определения стандартов необходимо собирать данные из системы. Однако использование разных инструментов, методов и людей для сбора данных может привести к противоречивым результатам, что приведет к ошибочным выводам. Даже при использовании стандартизированных методов измерения всегда существуют ошибки измерения. что делать? Узнайте об анализе измерительных систем (MSA)!

Анализ систем измерений (MSA), обычно используемый на этапе измерения методологий «шесть сигм», представляет собой статистический и научный инструмент, используемый для обеспечения того, чтобы измерения собранных данных были последовательными, надежными, объективными и правильными. В нем особое внимание уделяется стандартизации методов сбора данных и оценке собранных данных. Благодаря этому ошибки в собранных данных сводятся к минимуму.

Статистический анализ будет варьироваться в зависимости от типа данных. Для непрерывных измерений можно определить несколько статистических свойств: стабильность, погрешность, точность (которая может быть разбита на повторяемость и воспроизводимость), линейность и дискриминация. Для дискретных показателей оценки частоты ошибок могут определяться внутри оценщиков, между каждым оценщиком и критерием, между оценщиками и между всеми оценщиками и критерием.

Для дискретных измерений представьте себе ситуацию, когда оценщика просят определить, следует ли классифицировать проверяемый объект (продукт) как соответствующий на основании установленных стандартов качества. В этом случае может быть проведено слепое исследование, в котором ряд пройденных и неудовлетворительных результатов передается двум или трем экспертам. Затем оценщики индивидуально определяют, считают ли они, что продукт соответствует требованиям. Их просили просмотреть один и тот же модуль несколько раз, не зная, что они уже оценивали его раньше. Это называется частотой ошибок «внутри оценщика». Затем можно определить способность всех оценщиков получить одинаковые результаты по одному и тому же продукту, т. е. частоту ошибок «между оценщиками». Кроме того, можно определить степень согласия между оценщиками и экспертами, известную как частота ошибок «оценщик против критерия».

Для непрерывных измерений данных, как подчеркивалось перед оценкой данных, следует соблюдать следующие стандарты:

Стабильность: соответствует способности измерительной системы давать одинаковые результаты при измерении одного и того же образца.

Смещение: разница между фактическим средним значением выборки и его измеренным средним значением.

Линейность: указывает степень, в которой ошибка измерения линейно связана с измеренным значением. Например, если измерение объекта длиной 100 см имеет погрешность 1 см, а измерение объекта длиной 150 см с использованием той же системы измерений имеет погрешность 5 см, можно сделать вывод, что система измерения нелинейна.

Чтобы определить изменения в системе измерения, необходимо оценить два критерия:

Повторяемость: показывает, в какой степени оценщики получают одни и те же результаты, оценивая один и тот же образец несколько раз с использованием одной и той же системы измерения.

Воспроизводимость: показывает, в какой степени разные оценщики получают одинаковые результаты, когда они оценивают один и тот же образец несколько раз, используя одну и ту же систему измерения.

После оценки системы измерений по вышеуказанным критериям система измерений считается надежной, если погрешность составляет менее 10%. Если погрешность составляет от 10% до 30%, надежность системы сомнительна, и рекомендуется улучшить систему измерения, где это применимо. Наконец, если ошибка превышает 30 %, система измерения считается неприемлемой, и на основе данных, собранных этой системой измерения, не может быть сделано никакого анализа или выводов.