Оценка процесса измерений (Evaluating the Measurement Process, EMP) с помощью простых графических методов

Источник: [34] Donald J. Wheeler, Article: "A Better Way to Do R&R Studies. The Evaluating the Measurement Process Approach.." / Дональд Уилер, Статья: "Лучший способ сделать исследования R&R. Оценка процесса измерений". Статья любезно предоставлена нам Доктором Дональдом Уилером. Перевод и комментарии: Григорьев С. П.

Вы можете скачать данные к этой статье.

Бесплатный доступ к статьям нисколько не уменьшает ценности изложенных в них материалов.

С помощью нашего программного обеспечения вы можете провести оценку процесса измерений (Evaluating the Measurement Process, EMP), которая будет понятна всем, кому вы решите показать результаты, от операторов производящих измерения до высшего менеджмента.

В этой статье я покажу вам, как узнать больше о сходимости и воспроизводимости (Gage Repeatability & Reproducibility (Gage R&R) измерительной системы по вашим данным с меньшими усилиями. Вместо того, чтобы теряться в серии вычислений, подход "Оценка процесса измерений" (Evaluating the Measurement Process, EMP) использует силу графического представления информации, чтобы выявить интересные аспекты ваших данных.

Исследование EMP (Evaluating the Measurement Process)

Идея исследования EMP проста и глубока. Как выразился мой друг и коллега, покойный Ричард Лайдей “измерение-это процесс, и с помощью рациональной подгруппы вы можете изучать любой процесс". Исследование EMP начинается очень похоже на калибровочное исследование R&R, но вместо того, чтобы вычислять оценки всего возможного, он немедленно помещает данные на контрольную XbarR-карту средних и размахов подгрупп, чтобы обнаружить, что происходит в данных.

Когда мы используем контрольную XbarR-карту средних и размахов подгрупп с экспериментальными данными, мы делаем что-то совершенно отличное от того, что мы обычно делаем с этой контрольной картой. Когда XbarR-карта средних и размахов подгрупп используется с последовательными данными хода процесса, она правильно называется "диаграмма поведения процесса". Там цель состоит в том, чтобы классифицировать процесс как предсказуемый или непредсказуемый. В отличие от этого, в исследовании EMP мы рассматриваем результаты эксперимента специального типа. Здесь мы пытаемся определить, можем ли мы обнаружить различия между деталями, несмотря на неопределенность, вызванную ошибкой измерения. Этот сдвиг как в характере данных, так и в характере наших вопросов изменит способ интерпретации XbarR-карты средних и размахов подгрупп для исследования EMP.

Хотя подход EMP может быть адаптирован ко многим различным структурам данных и схемам сбора данных, мы проиллюстрируем базовое исследование EMP с использованием той же стратегии сбора данных, которая используется в калибровочных испытаниях (Gauge R&R). Простой, полностью скрещенный эксперимент выполняется, когда два или более операторов измеряют каждую из трех до 10 деталей два или три раза каждый. Для нашего примера мы будем использовать исследование EMP, где шесть операторов измеряли каждую из четырех деталей по три раза.

Измерительная система состоит из ручного стенда испытания, который измеряет электромагнитное свойство определенного продукта. Поскольку этот ручной испытательный стенд используется в производстве для 100-процентного контроля, он имеет решающее значение для работы завода. Поскольку шесть операторов регулярно выполняют это испытание, все шестеро были включены в исследование EMP. Четыре детали, использованные в исследовании, были выбраны из потока продуктов по одной из четырёх разных дней.

Ричард Лайдей обычно собирал свои данные в двух или трёх раундах, где каждый оператор измерял каждую деталь один раз в каждом раунде. Однако при субъективных или сложных измерениях может потребоваться “ослепить” эксперимент, чтобы операторы не знали, когда они повторно тестируют данный элемент, и где порядок тестирования перемешивается или “рандомизируется” тем или иным образом.

Надстройка Excel Контрольные карты Шухарта Оценка процесса измерений (Evaluating the Measurement Process, EMP) в программе Контрольные карты Шухарта ПРО-Аналитик (для Excel +Power Query)

Рисунок 1: Исследование EMP для ручного испытательного стенда. Рисунок подготовлен с использованием нашего программного обеспечения Контрольные карты Шухарта ПРО-Аналитик (для Excel +Power Query) с аппликацией иконок (параллелизм, положение, согласованность).

Ключ к пониманию любой контрольной XbarR-карты средних и размахов подгрупп заключается в том, чтобы понять, какие источники вариации находятся внутри подгрупп и какие источники вариации находятся между подгруппами. На рис.1 представлены три различных источника вариации: различия между операторами и деталями, проявляющиеся между подгруппами на карте средних, и различия между повторными измерениями, проявляющиеся внутри подгрупп на карте размахов.

Вариация тест-ретест, найденная в подгруппах, обычно называется повторяемостью. Эта изоляция ошибки повторного тестирования внутри подгрупп на карте размахов и всех других источников вариации, проявляющихся между подгруппами на карте средних подгрупп, является отличительной характеристикой исследования EMP. Из-за этой изоляции ошибки повторного тестирования контрольные границы, показанные на контрольной XbarR-карте средних и размахов подгрупп на рисунке 1, зависят исключительно от ошибки повторного тестирования. Таким образом, контрольные границы на рисунке 1 конкретно показывают ту величину изменения, которая может быть отнесена только к погрешности измерения.

Как всегда, Xbar-карта средних подгрупп ищет различия между подгруппами, в то время как R-карта размахов подгрупп проверяет согласованность внутри подгрупп. Эта характеристика диаграмм означает, что карта размахов на рисунке 1 проверяет эти 24 подгруппы, чтобы увидеть, есть ли какая-либо несогласованность в показанном размере ошибок повторного тестирования. Значения размаха, превышающие верхнюю контрольную границу размахов, являются сигналами несогласованности ошибки повторного тестирования. Поскольку такие несоответствия представляют собой серьезные проблемы с самой процедурой измерения, причины этих моментов заслуживают изучения.

Поскольку границы для контрольной карты средних и размахов подгрупп являются робастными (надёжными), мы можем, несмотря на несогласованность на R-карте размахов, также использовать X-карту средних для оценки различий между деталями и операторами. Мы начинаем с обсуждения вариации от детали к детали.

Различия между деталями будут зависеть от того, как были выбраны детали. Иногда детали могут быть выбраны в специфические интервалы времени из потока продукта. В другом случае детали могут быть просто случайно выбраны из потока продукта или преднамеренно выбраны для представления возможных различий деталей в определённый период времени. Независимо от того, как выбраны детали, вы захотите обнаружить различия между деталями, несмотря на неопределенность, вызванную ошибкой измерения. Это означает, что вы захотите найти точки вне зоны, образованной контрольными границами на X-карте средних подгрупп. До тех пор, пока вы не выбрали детали таким образом, чтобы они все оказались одинаковыми, вы надеетесь найти точки вне контрольных границ. Xbar-карта средних позволяет провести визуальное сравнение вариации от детали к детали и погрешности измерения. Вариация "от детали к детали" представлена шириной полосы, определяемой значениями средних с минимальным и максимальными значениями. Погрешность измерения представлена шириной полосы между контрольными границами карты средних подгрупп. Таким образом, чем шире полоса, охватываемая значениями средних, относительно ширины полосы между контрольными границами, тем легче будет обнаружить вариации продукта, несмотря на ошибку измерения.

Коридор вариаций от детали к детали

Рисунок 2.1. Коридор вариаций от детали к детали.

Относительная полезность измерительной системы, продемонстрированная на контрольной X-карте
            средних подгрупп

Рисунок 2.2. Относительная полезность измерительной системы, продемонстрированная на контрольной X-карте средних подгрупп.

Чем уже контрольные пределы тем легче будет обнаружить изменение продукта, несмотря на
            ошибку измерения.

Рисунок 2.3. Чем уже контрольные пределы тем легче будет обнаружить изменение продукта, несмотря на ошибку измерения.

В то же время, когда мы хотим обнаружить различия между частями, мы предпочитаем, чтобы не было различий между операторами. Существует два способа проверки различий между операторами с помощью карты средних. Первый из них использует формы (параллелизм) хода значений, а второй использует позиции (положение) хода значений. Для облегчения обоих этих сравнений в исследовании EMP будут скрыты линейные сегменты, которые соединяли бы точки от одного оператора к другому.

Существует два способа проверки различий между операторами с помощью карты средних.

Рисунок 2.3. Существует два способа проверки различий между операторами с помощью карты средних.

Чтобы увидеть, как интерпретировать форму хода значений, полезно начать с рассмотрения того, как выглядел бы график средних подгрупп, если бы не было различий между операторами, а также ошибки измерения. При этих условиях формы хода значений для каждого оператора были бы точно такими же. Сегмент за сегментом они были бы идеально параллельны друг другу (как кривые для операторов 1 и 2) на Рисунке 3. Однако, как только мы введем ошибку измерения в нашу картину происходящего, мы начнем видеть небольшие отклонения от идеального параллелизма (скорее, как кривые для операторов 1 и 6). До тех пор, пока существует разумная степень параллелизма, нам не нужно беспокоиться. Здесь операторы 1, 2, 3, 4 и 6 показывают разумную степень параллелизма. Оператор 5, с другой стороны, показывает серьезное отсутствие параллелизма.

Отсутствие параллелизма для оператора 5.

Рисунок 3. Отсутствие параллелизма для оператора 5.

Так что же означает отсутствие параллелизма? Серьезный непараллелизм указывает на эффект взаимодействия между операторами и деталями. (Алгебраически эффекты взаимодействия и непараллельность - это одно и то же: эффект взаимодействия невозможен без отсутствия параллелизма, и наоборот.) Здесь мы видим, что оператор 5 измеряет эти четыре детали существенно другим способом. Поскольку не должно быть никаких эффектов взаимодействия между операторами и деталями, это взаимодействие представляет собой серьезное несоответствие в процессе измерения, которое требует немедленного внимания. Такие эффекты взаимодействия могут быть вызваны операторами, использующими различные методы, или некоторыми операторами, пропускающими шаг в процедуре измерения, или просто присутствием одного или нескольких неподготовленных операторов. Но какова бы ни была причина, это проблема с процессом измерения, которая должна быть исправлена.

В дополнение к проверке на параллелизм, мы также можем сравнить позиции (положение) хода записей. Когда мы делаем это, мы по существу сравниваем средние значения операторов. На рисунке 4 мы видим, что и оператор 3, и оператор 5 имеют средние значения, которые существенно ниже, чем у остальных четырех операторов. Такие различия между средними значениями операторов являются потенциальными смещениями операторов.

Отсутствие параллелизма для оператора 5.

Рисунок 4. Потенциальные смещения операторов 3 и 5.

О чем же говорит контрольная XbarR-карта средних и размахов подгрупп построенная по данным исследования измерительного процесса? Смотрите рисунок ниже.

Оценка процесса измерений (Evaluating the Measurement Process, EMP) в программе Контрольные карты Шухарта ПРО-Аналитик (для Excel +Power Query)

Рисунок 5. Исследование EMP для ручного испытательного стенда. Рисунок подготовлен с использованием нашего программного обеспечения Контрольные карты Шухарта ПРО-Аналитик (для Excel +Power Query) с аппликацией иконок (параллелизм, положение, согласованность).

Итак, что мы можем сказать об общем сообщении диаграммы EMP на рисунке 5? Операторы 1, 2 и 6 показывают хороший параллелизм, имеют сходные средние значения (положение) для этих четырех деталей и показывают последовательно небольшое количество ошибок повторного тестирования (R-карта размахов). Сравнивая ширину ограничений с этими тремя потоками значений (данные по операторам 1, 2 и 6), мы видим, что ручной тестовый стенд может обнаружить изменение продукта.

Оператор 3 показывает хороший параллелизм и небольшое количество ошибок повторного тестирования, но он стабильно низок по всем своим измерениям. Это потенциальное смещение оператора. Необходимо определить причину такого смещения, чтобы его можно было устранить.

Оператор 4 имеет разумный параллелизм и хорошее среднее, но у него есть точка выше верхнего предела карты размахов. Очевидно, что одно из его измерений детали 1 (три измерения в подгруппе) имеет проблемы. Хотя другие диапазоны и разумный параллелизм показывают, что он обычно делает хорошую работу, причина этого аберрантного измерения должна быть определена.

Оператор 5 имеет большие размахи подгрупп, плохой параллелизм и неправильное среднее значение для этих четырех частей. Что бы вы ни говорили о нем, он явно не знает, как пользоваться ручным испытательным стендом. В то время как операторы 3 и 4 могут нуждаться в повторном обучении при использовании измерительного стенда, оператор 5 должен быть перемещен на другую работу до тех пор, пока он не сможет обучиться тому, как использовать это устройство, и не сможет показать уровень квалификации, сопоставимый с тем, который отображается другими операторами.

Конечно, первый шаг заключается в том, чтобы заставить операторов измерять вещи одинаково и убедить их, что они в настоящее время не делают этого. Вполне вероятно, что операторы 3, 4 и 5 думают, что они измеряют эти части таким же образом, как операторы 1, 2 и 6. Демонстрация им Рисунка 5 является первым шагом в убеждении их, что это не так.

Так чему мы научились?

Исследование EMP начинается с размещения данных исследования R&R на контрольной XbarR-карте средних и размахов подгрупп. Благодаря этому мы можем сделать несколько качественных оценок еще до того, как начнёем делать какие-либо конкретные вычисления:

  1. Карта размахов подгрупп позволит нам определить, согласована ли ошибка повторного тестирования на протяжении всего исследования, а также судить, согласована ли она от оператора к оператору. Когда ошибка test-retest не согласована, нам нужно будет выяснить, почему.
  2. Карта средних подгрупп позволит нам оценить относительную полезность измерительной системы (пригодность), показав, может ли процесс измерения обнаружить изменение продукта.
  3. Карта средних позволит нам определить непараллельность между операторами. Поскольку любой заметный непараллелизм будет указывать на эффект взаимодействия между операторами и деталями, он предупредит о серьезных несоответствиях в процессе измерения.
  4. Карта средних позволит оценить вероятность обнаруживаемых смещений операторов. Если такие предубеждения существуют, их необходимо устранить, чтобы получить максимальную отдачу от процесса измерения.

К тому времени, когда вы построите контрольную карту EMP, вы будете знать, что происходит с вашими данными. Вы будете иметь возможность задать интересные вопросы, и вы будете знать, если проблемы существуют. Один из основных принципов анализа данных - всегда начинать с графика данных. Вычисления существуют для дополнения графиков, но они никогда не могут заменить их. Когда вы зависите только от вычисленных величин, вы, вероятно, пропустите многие интересные аспекты ваших данных.

Цель анализа - понимание, а лучший анализ - это самый простой анализ, который обеспечивает необходимое понимание. Более того, бесполезно открывать что-то, когда вы не можете сообщить о своем открытии другим. Исследования EMP используют силу графического метода, чтобы помочь как с открытием, так и с коммуникацией.

В наших обучающих семинарах мы простым языком объясняем суть методов оценки измерительных систем с применением нашего программного обеспечения.

В нашем программном обеспечении Контрольные карты Шухарта ПРО-Аналитик (для Excel +Power Query) вы можете воспользоваться следующими функциями оценки измерительных систем: