Эксперименты, большие данные или контрольные карты Шухарта?

Статья Дональда Уилера: "Различные подходы к улучшению процессов. Ваш подход делает то, что вам нужно?"
DONALD J. WHEELER: "Different Approaches to Process Improvement. Does your approach do what you need?"
Перевод: научный директор Центра AQT Григорьев С. П..

Бесплатный доступ к статьям нисколько не уменьшает ценности изложенных в них материалов.

Сегодня предлагаются различные подходы к совершенствованию процессов. Оценка того, как работает каждый подход, имеет решающее значение для выбора того, который будет эффективным. Здесь мы рассмотрим проблему производства и то, как различные подходы к улучшению решают эту проблему.

Проблема производства

Для целей последующего обсуждения причинно-следственная связь будет существовать, когда изменения в значении причины приводят к изменениям в значении характеристики продукта. Здесь мы определим эффект причины как отклонение, создаваемое в потоке продукта производства, когда причина изменяется в своем естественном диапазоне значений. Когда же причина ограничена и не может изменяться, она больше не будет создавать никаких изменений в потоке ценности продукта.

Любая конкретная характеристика продукта производства будет результатом десятков, если не сотен причинно-следственных связей. Эти причины можно разделить на две группы: те причины, которые мы знаем достаточно хорошо, чтобы назвать их, и те причины, которые действуют без нашего ведома и поэтому остаются нам неизвестными. Прежде чем мы начнем производство, последствия всех этих причин могут быть неизвестны, что приводит к картине, подобной рисунку 1.

Две категории причинно-следственных связей

Рисунок 1: Две категории причинно-следственных связей

Обычно НИОКР изучают подмножество известных причин, чтобы определить их последствия. Эти изученные причины будут теми, которые, как считается, оказывают ярко выраженное влияние на характеристики продукта. Как только эти эффекты известны, этот набор изученных причин может быть организован в виде диаграммы Парето (Группы I, II), как показано на рисунке 2.

Диаграмма Парето известных эффектов для изученных причин

Рисунок 2: Диаграмма Парето известных эффектов для изученных причин (Группы I, II)

Обозначим причины с первой по пятую, как причины первой группы (рисунок 2, Группа I). Эти причины имеют доминирующие последствия и являются причинами, которые мы хотим контролировать во время производства. Удерживая эти пять причин постоянными, мы эффективно удалим их влияние из потока продукта. В то же время фиксированные значения, выбранные для каждой из этих пяти причин, в совокупности будут определять среднее значение процесса.

Причины от 6 до 14 - причин второй группы (рисунок 2, Группа II). Эти причины имеют такие незначительные последствия, что мы не будем пытаться контролировать их в производстве. (Обычно это те причины, по которым затраты на контроль превышают выгоды от контроля.)

Среди 14 исследованных НИОКР причин, если не было предпринято никаких попыток контролировать эти причины, эффекты пяти причин в первой группе составили бы 85 процентов вариаций в потоке производимого продукта, в то время как оставшиеся девять причин в группе два внесли бы вклад в 15 процентов вариации. Таким образом, контролируя причины первой группы, мы устраняем 85 процентов вариаций в потоке производимого продукта, вызванной изученными причинами.

Причины третьей группы (рисунок 2, Группа III), это те известные причины, которые не были изучены НИОКР. Как правило, это причины, последствия которых считались минимальными и поэтому не заслуживали изучения. Однако, как показано на рисунке 2, эти причины на самом деле будут иметь неизвестные последствия.

Для удобства обозначим совокупность всех неизвестных причинно-следственных связей, влияющих на наш процесс без нашего ведома, как причины четвертой группы (Группа IV).

Изменение процесса происходит из-за всех неконтролируемых причин.

Рисунок 3: Изменение процесса происходит из-за всех неконтролируемых причин.

К сожалению, вариации в потоке производимых продуктов не ограничиваются только причинами второй группы (Группа II). Причины в третьей (Группа III) и четвертой (Группа IV) группах также вносят свой вклад в эту вариацию. Поскольку причины в этих трёх группах (Группы II, III, IV) различны, каждая из них будет вносить свой вклад в вариацию характеристик продукта, и все эти источники вариаций в сумме приведут к вариации потока продукта. Вот почему вариации, наблюдаемые в производстве, обычно превышают вариации, предсказанные НИОКР.

Наконец, нет никакой гарантии, что все неизвестные эффекты причин Групп III и IV будут незначительными. Кроме того, эти эффекты могут меняться со временем. Эти изменения могут происходить по мере износа, смены персонала, развития методов работы и изменений в поставке материалов. Когда эти изменения происходят, они могут еще больше усложнить вопрос улучшения процесса.

Некоторые неконтролируемые причины могут иметь доминирующие последствия

Рисунок 4: Некоторые неконтролируемые причины могут иметь доминирующие последствия.

Таким образом, рисунки 3 и 4 определяют структуру, по которой мы можем оценивать различные подходы к улучшению. Они характеризуют то, что мы знаем и чего мы не знаем, чтобы мы могли увидеть, как конкретный подход относится к каждому элементу проблемы улучшения процесса.

Из рисунка 3 мы видим, что проблемы настройки процесса на его цель (номинал) будут связаны с выбором уровней для причин в первой группе (Группа I). Проблемы уменьшения вариаций в потоке продукции будут связаны с причинами из трех других групп (Группы II, III, IV).

Итак, как мы можем уменьшить изменчивость процесса? По сути, единственный способ уменьшить вариацию — это удалить эффект из потока продукта, удерживая его причину на каком-то фиксированном уровне. Другими словами, мы устраняем вариацию, перемещая причину из второй, третьей или четвертой группы (Группы II, III, IV) в первую группу (Группа I).

Однако, прежде чем перевод причины в первую группу (Группа I) станет рентабельным, выгода должна превысить затраты. Это означает, что причина должна иметь доминирующее следствие, прежде чем будет экономически целесообразно пытаться контролировать её.

Таким образом, задача уменьшения изменчивости процесса заключается в том, чтобы найти причины с преобладающими следствиями во второй, третьей или четвертой группах (Группы II, III, IV), а затем перенести эти причины в первую группу (Группа I).

Экспериментальные подходы

Несколько подходов к улучшению процессов основаны на проведении серии экспериментов. Эксперименты позволяют нам изучать отдельные причины для количественной оценки их влияния на данную характеристику продукта. Эти экспериментальные подходы охватывают все: от простых экспериментов с одной причиной до спланированных экспериментов с несколькими причинами. Независимо от сложности, экспериментальные исследования всегда требуют манипулирования входными данными процесса. Это ограничивает экспериментальные подходы к изучению известных причин из первой, второй или третьей групп (Группы I, II, III).

Когда будут изучены причины из первой группы (Группа I), у вас будет оптимизационное исследование. Здесь вы будете стремиться найти такое сочетание значений причин первой группы, которое приведет к оптимальному значению для соответствия исследуемой характеристики продукта цели процесса (номиналу).

Когда экспериментальные исследования используются с причинами из групп два или три (Группы II, III), цель состоит в том, чтобы идентифицировать любые причины, которые могут иметь доминирующее воздействие. Когда такие причины обнаружены, их можно переместить в первую группу, чтобы удалить их вариации из потока продукта. Конечно, эксперименты с причинами из группы 2 (Группа II) будут искать большие эффекты там, где НИОКР изначально находили только небольшие эффекты. И эксперименты, изучающие причины из группы 3 (Группа III), будут искать большие эффекты там, где, как считалось, больших эффектов не существует. Однако со временем, из-за износа и других эффектов энтропии, причины, которые раньше имели небольшой эффект, могут превратиться в причины с большим эффектом.

По этой причине иногда могут быть полезны эксперименты с причинами из второй и третьей групп (Группы II, III). На рисунке 4 было обнаружено, что причины 16 и 18 (Группа III) имеют доминирующие эффекты и поэтому были перемещены из группы 3 в группу 1 (рисунок 5). Это снизило среднюю стоимость производства и использования (Average Cost of Production and Use, ACP&U) для этого процесса до 75 процентов от того, что было на рисунке 4.

Какие результаты экспериментальных исследований могут быть достигнуты

Рисунок 5: Какие результаты экспериментальных исследований могут быть достигнуты

Но как насчет причин в четвертой группе (Группа IV)? Хотя мы не можем изучать неизвестные причины в эксперименте, это не означает, что наши экспериментальные результаты свободны от влияния любых неизвестных причин в четвертой группе. Если доминирующая причина из четвертой группы изменится в ходе эксперимента, это может разрушить анализ и испортить эксперимент. (Большинство статистиков могут рассказать вам истории о том, что происходило, когда какая-то посторонняя переменная из-за пределов исследования мешала эксперименту.)

Таким образом, хотя экспериментальные исследования необходимы для организации процесса и позволяют нам анализировать влияние различных входных данных процесса, они сталкиваются с определенными ограничениями в задачах улучшения процесса. Хотя эксперименты позволяют нам получить определенные ответы на конкретные вопросы, их полезность ограничена, когда мы не знаем, какие вопросы задавать.

Наблюдательные подходы

Экспериментальные исследования всегда начинаются с определения набора причин для изучения. Наблюдательные подходы этого не делают. Скорее, они стремятся получить информацию о процессе, используя существующие данные. Поскольку существующие данные, как правило, будут получены, пока причины в группе 1 (Группа I) остаются постоянными, наблюдательные подходы будут иметь тенденцию сосредотачиваться на неконтролируемых причинах.

Что нам нужно знать

Рисунок 6: Что нам нужно знать

Идея наблюдательного подхода заключается в том, что нам действительно не нужно знать размеры всех эффектов на рис. 6. Скорее, нам нужно знать только, какие неконтролируемые причины имеют доминирующие эффекты (здесь причины 16, 18, 22, 24 и 30). Как только мы узнаем, какие причины имеют последствия, достаточно большие, чтобы изменить поток продуктов, мы узнаем, какие причины необходимо переместить в первую группу (Группу I). И мы можем принять такое решение относительно этих причин, фактически не оценивая количественно размер их последствий. Ниже будут объяснены характеристики двух основных типов наблюдательных исследований.

Подходы к отслеживанию данных

Благодаря сегодняшним вычислительным мощностям становятся популярными новые гениальные подходы к анализу существующих данных. Эти подходы раньше назывались отслеживанием данных, но сегодня они известны как подходы к большим данным, искусственному интеллекту или машинному обучению. Независимо от названия, эти подходы собирают все доступные данные в базу данных и используют некоторые математические методы для поиска закономерностей, группировок или взаимосвязей в данных. Как бы многообещающе это ни звучало, и независимо от того, сколько переменных используется, основная проблема этих подходов заключается в том, что данные всегда будут иметь неполный контекст.

Контекст настолько важен для анализа, что это первая аксиома анализа данных: никакие данные не имеют никакого значения вне контекста. Тем не менее, подходы с отслеживанием данных никогда не будут иметь полного контекста. Независимо от того, сколько переменных вы включаете в базу данных, вы никогда не сможете включить переменные из четвертой группы (Группы IV). Неизвестные причинно-следственные связи никогда не будут измерены и поэтому не могут быть частью базы данных. (Если бы мы знали достаточно, чтобы измерить их последствия, они были бы известными причинами, а не неизвестными причинами.) Следовательно, хотя подходы с отслеживанием данных могут помочь вам обнаружить отношения между известными причинами и характеристиками вашего продукта, они не могут идентифицировать какие-либо неизвестные причины.

Неявное предположение, стоящее за всеми методами отслеживания данных, заключается в том, что за данными стоит однородность условий — что переменные, не включенные в базу данных, не оказывают никакого реального влияния на изучаемые результаты. Тем не менее, нет никакой эффективной проверки этого фундаментального предположения. Когда неизвестные причины оказывают доминирующее влияние на процесс, они могут полностью исказить закономерности, обнаруженные методами отслеживания данных. Таким образом, хотя эти подходы пытаются найти закономерности среди известных переменных, они могут быть подорваны переменными из четвертой группы (Группы IV).

Контрольные карты поведения процесса

Контрольные карты поведения процессов (контрольные карты Шухарта) зарекомендовали себя как наблюдательный подход к улучшению процессов. Они дают операциональное определение того, как получить максимальную отдачу от любого процесса. Текущие записи характеристики продукта (точки на контрольной карте) отображает фактическую производительность процесса. Пределы контрольной карты определяют потенциал процесса — то, чего процесс способен достичь, когда он работает по назначению с минимальной дисперсией. Накладывая производительность процесса на потенциал процесса, контрольная карта поведения процесса позволяет оценить, насколько процесс близок к работе с полным потенциалом. Кроме того, это позволяет нам определить, когда произошло изменение в процессе. И эти изменения являются ключом к выявлению неизвестных причин с доминирующими эффектами из четвертой группы (Группы IV).

Некоторые критики, которые не понимают, как работают контрольные карты Шухарта, утверждают, что они «устарели». Но когда дело доходит до математики, возраст не обесценивает методику и не меняет ее применимости. Теореме Пифагора не менее 2500 лет. Уолтер Шухарт создал контрольную карту поведения процесса более 90 лет назад. Концепция, лежащая в основе контрольной карты, старше на 2200 лет. Именно Аристотель учил нас, что мы должны смотреть на те точки, где система изменяется, чтобы обнаружить те причины, которые воздействуют на систему. И это, по сути, то, что позволяют нам сделать контрольные карты поведения процесса.

Определяя точки, в которых процесс изменяется, контрольная карты поведения процесса позволяет нам обнаруживать причины с доминирующим следствием, происходящие из любой из четырех групп (Групп I, II, III, IV).

Ожидая, пока процесс продемонстрирует изменение в поведении, мы также позволяем процессу расставить приоритеты причин в соответствии с размером их последствий. Таким образом, мы обнаруживаем те причины, которые имеют доминирующие следствия, не тратя время и силы на изучение многих причин с незначительными следствиями.

Только с подходом Шухарта и Аристотеля мы можем обнаружить неизвестные причины из четвертой группы (Группы IV), которые имеют доминирующие последствия. Хотя контрольная карта поведения процесса позволяет определить как известные, так и неизвестные причины с доминирующими эффектами, которые создают сигналы, обнаруживаемые контрольными картами поведения процесса, возможность узнать о причинах в четвертой группе (Группе IV) представляет собой главное преимущество использования контрольных карт. Это позволяет нам узнать об ошибках, плохих практиках и глупых вещах, которые действительно случаются в производстве, но никогда не будут изучаться ни в одной программе исследований и разработок (НИОКР, R&D). И это позволяет нам в режиме реального времени обнаруживать, когда что-то идет не так, чтобы это можно было своевременно исправить. Таким образом, контрольные карты поведения процесса являются более общими и надежными, чем другие подходы.

Чего можно достичь с помощью контрольной карты поведения процессов

Рисунок 7. Чего можно достичь с помощью контрольной карты поведения процессов

Для процесса, показанного на рис. 7, средние затраты на производство и использование (ACP&U) составят лишь 25 процентов от средних затрат на производство и использование для процесса, показанного на рис. 4. Четырехкратное повышение качества и производительности обусловлено перемещением причин: 22, 18, 24, 16 и 30 в первую группу.

Смотрите пояснение этого абзаца в описании Функции потерь качества Тагути.

Резюме

Экспериментальные подходы к совершенствованию процессов позволяют изучать только известные причинно-следственные связи. Хотя такие исследования необходимы при настройке процесса, они имеют ограничения в роли метода улучшения процесса. Исследования причин в первой и второй групп (Групп I, II) будут повторять предыдущие исследования, а исследования причин третьей группы (Группы III) будут направлены на поиск самородков, которые были пропущены в предыдущих исследованиях. Таким образом, экспериментальные исследования причин из второй и третьей групп (Групп II, III) потребуют времени, денег и усилий, чтобы, по сути, подтвердить, что большинство этих причин по-прежнему имеют незначительные последствия. Более того, эксперименты не могут изучать причины четвертой группы (Группы IV), и экспериментальные результаты могут быть подорваны причинами четвертой группы, оказывающими доминирующее воздействие.

Подходы к отслеживанию данных для улучшения процессов включают в себя большие данные, искусственный интеллект и методы машинного обучения, которые стремятся смоделировать данные и обнаружить взаимосвязи, используя причины во второй и третьей группах (Группах II, III). К сожалению, несмотря на их сложность и изощренность, эти подходы также могут быть подорваны причинами четвертой группы (Группы IV) с доминирующими следствиями.

Только контрольная карта поведения процесса явно ищет сбои, вызванные как известными, так и неизвестными причинами. Подход Аристотеля к изучению точек, в которых процесс изменяется, позволяет нам открывать вещи, которые выходят за рамки экспериментальных исследований и которые не могут быть обнаружены с помощью методов отслеживания данных. Кроме того, подход с использованием контрольных карт поведения процесса не тратит время и усилия на количественную оценку тривиальных эффектов. Всегда сосредотачиваясь на причинах с доминирующими следствиями, контрольные карты поведения процессов позволяют нам научиться управлять нашими процессами предсказуемо, с минимальными отклонениями и точно по цели.

Так что, если вы уверены, что сможете обнаружить то, что упустили из виду исследователи и разработчики, тогда вперед и используйте экспериментальный подход к улучшению процессов.

Или, если, в отличие от Аристотеля, вы уверены, что ваш процесс не меняется с течением времени, используйте один из подходов к отслеживанию данных для улучшения процесса. Сложность и изощренность этих техник не оставят равнодушным никого. Но имейте в виду, что ваши результаты могут быть такими же надёжными, как карточный домик.

Если вы просто хотите улучшить свой процесс, используйте контрольные карты поведения процесса, чтобы узнать, как использовать ваш процесс в полной мере. Ничто даже близко не может дать так много с таким небольшим усилием.