Зачем это нужно? Простая или двойная? А если мы иногда не будем её проводить?
Калибровка в процессе проведения описательных тестов по структурированным картам представляет собой начало львиной доли сенсорных оценок и ключевую операцию, с помощью которой лидер оценочной группы совершенствует свой инструмент. Но техники здесь недостаточно, требуется искусство.
Молодые люди из группы сенсорной оценки, которую мы называем «panel», – это вечное проклятие химиков, которые также занимаются работой «panel leader». Эти технические специалисты часто задаются вопросом: почему, если в газхроматограф вводятся стандартные значения, он выдаёт результат в соответствии с заданными параметрами, а с судьями не получается работать так же? Мы пробовали работать с каждым: тренировали судей, давая им дегустировать интересные решения, используя известные дозы, возрастающую, убывающую шкалу, умеренную и постоянную. И так сотни проб, в том числе и для того, чтобы определить лучших судей, но всё напрасно: всякий раз, когда вносилось хоть минимальное изменение, инструмент давал сбой. И вскоре выяснялось, что какой-нибудь судья оставался наедине с собой, с утра до вечера, изо дня в день, и мы не говорили о том, что произошло, может, он поссорился с партнёром, до тех пор, пока не приступали к дегустации. Суть как раз в следующем: кто бы и что бы ни говорил, органы чувств, в конце концов, нужны лишь для сбора стимулов, а вырабатывает их мозг. А нам нужно, чтобы судьи совпадали в оценках: чем выше изменчивость в оценках, менее ожидаема и сама оценка, каков бы ни был синтезирующий показатель (среднее арифметическое, медиана и т. д.), используемый для её выражения. С этой целью и проводится калибровка, чтобы была коллимация наших инструментов анализа: судей.
Почему судьи не дают аналогичных оценок
В сенсорном анализе каждый отдельный судья – один из 5-13 элементов измерительного прибора. Мы хотим добиться от человека того, что обычно требуем от машины. Разница лишь в том, что машина не думает, а судья да, хотим мы этого или нет, каким бы талантливым он ни был, чтобы пользоваться одним лишь инстинктом. И каждый судья думает по-своему, одному ему присущим способом, и, в то же самое время, по-разному, меняя физиологические, психологические условия субъекта и меняя анализируемый продукт. Причин, из-за которых человеческая сущность не имеет тех же характеристик, что и машина (в том смысле, что они намного выше, но намного более сложные, чтобы можно было ими управлять), несколько:
• каждый судья истолковывает описываемое ощущение по-своему, в зависимости от опыта, уровня чувствительности, окружающих условий, настроения и физиологического состояния;
• каждый судья может истолковывать отличным от своих коллег образом описываемые ощущения, особенно когда они не относятся к рассматриваемому продукту или очень не точные. Такие ощущения, как «палатальность» («нёбность») и «сочность», – фантастические для жаргонного выражения, которые задают тон тем, кто их использует, но их измеримость весьма ограничена, если нужно проверить их на достоверность;
• каждый судья понимает по-своему предлагаемую ему шкалу, и искажение растёт с переходом по следующим типам шкалы: непрямые непрерывности, горизонтальные, умеренные, умеренные числовые, умеренные адъективные;
• каждый судья в процессе оценки образца находится под влиянием ожиданий и того образца, который он дегустировал перед этим (эффект одного и того же). Так как в большинстве описательных тестов порядок образцов не одинаков для всех судей, что также составляет элемент вариативности.
Калибровка: не только для коллимации
Сократить калибровку, чтобы инструмент оставался чистым и для коллимации группы всё равно, что выбросить кожаную сумку по окончании поездки. Потому что калибровка – правильный путь, который начинается, когда ведущая группа экспертов («panel leader») открывает заседание дегустации и по завершении начала сессии, если она проведена хорошо, сохраняет свою эффективность во время всего теста и ещё после, участвуя непосредственно в личном улучшении работы судьи.
В действительности, совершенная калибровка позволяет «panel leader»:
• разъяснить смысл описательных ощущений и предоставить важную информацию об изучаемых товарах, чтобы судьи были более осведомлёнными и, следовательно, более спокойными и уверенными;
• использовать внутренние ресурсы, которыми располагает каждый судья, ограничивая свои страхи, запреты и искажающие механизмы, применяемые для возврата воспринятой информации путём инструмента, который у него есть в распоряжении (бумажная карта или любой другой носитель информации);
• использовать кратковременную память судьи, чтобы он мог запоминать значение группы на каждое описательное ощущение анализируемого продукта, значит, рассмотреть воспринятые стимулы в контексте этой особой матрицы (т. е. не в связи с полученными воспринятыми образами через стандартные решения, предлагающие одно или небольшое число стимулов за один раз);
• разрешить судье почувствовать имеющееся разнообразие в сравнении с группой и даже показать ему, как использовать определённые искажающие механизмы, чтобы у него была возможность исправиться и улучшить свою работу;
• побудить судей чувствовать себя частью группы, а не как «солистов» хвастливых и не подлежащих обжалованию суждений. Если это основополагающий фактор сенсорного анализа, то это ещё более важно и всегда важно и в жизни. Быть командой, знать, что можно ошибаться, не судить, но оценивать, уметь менять своё мнение – всё это важные понятия. Это немаловажно, это одна из причин того, что сегодня курсы сенсорного анализа стали посещать руководители, для которых это является инструментом личностного развития.
E la mise en bouche? – И положить в сумку? (фр.)
В сфере виноделия калибровка проводится всегда, особенно во время винодельческих конкурсов, но по разным причинам получается плохо: члены одной и той же комиссии (а в некоторых случаях и нескольких комиссий) дегустируют все один и тот же образец, затем один из них (обычно председатель комиссии) громко объявляет им же присвоенные значения. Иногда это обсуждается, иногда нет. Это малоэффективный метод, потому что нет участия в этой работе, и, в конце концов, каждый остаётся со своим мнением.
Как проводить калибровку?
Для достижения вышеупомянутых результатов калибровка должна быть проведена безупречно, с участием максимального числа судей. Калибровка – это техника, которая не может абстрагироваться от хорошо поставленной ритуальности. Всё начинается в гостеприимном и содержащемся в порядке помещении, где «panel leader» открывает заседание и объясняет цели теста, объясняет структуру карты и определения описательных ощущений, далее оценивается рассматриваемый образец и значения, присвоенные каждым судьёй каждому описательному ощущению. В заключение объявляется медиана каждого описательного ощущения.
Окружающая обстановка
Место проведения калибровки должно отвечать всем требованиям, предъявляемым к помещению для экзаменов: идеально, когда не используются громоздкие неподвижные кабины, и чтобы это было то же место, где потом будет работать «panel leader». Мобильные телефоны должны быть выключены и быть вне поля зрения судей, не должно быть посторонних проходящих мимо людей, судьи должны удобно размещаться на своих местах, не разговаривать и сконцентрироваться. Напротив них – только стол без лишних вещей, инструмент регистрации оценок и образец продукта для тестирования.
Простая или двойная калибровка?
Некоторые ведущие группы любят проводить двойную калибровку, т. е. брать 2 прямо противоположных образца и наблюдать за поведением судей. В некоторых случаях метод работает превосходно, тем более, что, как кто-то заметил, лучший способ подготовки судей по определённой матрице – подвергнуть их калибровке с разными образцами, пока «panel leader» не найдёт естественную коллимацию.
Разъяснение описательных ощущений
Сколько бы раз ни работали с той или иной картой, «panel leader» не сможет обойтись без нового определения описательных ощущений. У кого есть опыт организации работы «panel leader», тот уже не мог не заметить, что смысл вопросов карты дегустации варьируется в уме судьи, как будто происходит неосознанная обработка во времени, как будто потерялись элементы памяти, и нужно заново их выстроить для решения новой задачи. Лучше, чтобы эта реконструкция была выполнена с помощью «panel leader» во избежание того, чтобы каждый дегустатор индивидуализировал определение. Во время выработки определения описательных ощущений координатор должен дать практические инструкции, чтобы привести в соответствие, насколько возможно, порядок дегустации, и подчеркнуть ошибки, которых следует избегать, и, что ещё более важно, подтвердить, почему проводится калибровка, чтобы каждый судья сам оставил бы присвоенное им значение в пользу признанного всей группой.
Дегустация
Во время объяснения карты и соответствующего общения между собой членов группы будет хорошо, если судьи не будут иметь доступа к образцу, не важно чего именно, чтобы это их не отвлекало. А уже после этого принести образцы, по одному на каждого судью, и каждый приступает к оценке в самой полной тишине.
Опрос с целью выяснения описательных значений и их запись
Лучший способ записи значений, называемых судьями, – это чистая доска, на которой «panel leader» чертит таблицу, куда переносит значения из дегустационной карты и описательные ощущения. За неимением доски можно использовать большой блокнот или компьютер, подсоединённый к видеопроектору, но в обоих этих случаях снижается эффективность калибровки. В первом случае потому, что судьи не могут следить за распределением значений, во втором – потому, что «panel leader» рискует потерять контакт с судьями. «Рanel leader» один раз называет описательное ощущение, и каждый судья в определённом порядке, в тон вместе со всеми, громко называет значение, и «panel leader» на доске рисует галочку в квадратике, соответствующем номеру значения шкалы в графе напротив описательного ощущения. По завершении переклички «panel leader» подсчитывает медиану и громко её объявляет. Судьи же, которые до этого момента уделяли внимание значениям своих коллег, ищут на своих картах число медианы и думают, на сколько они отдалились от него, присвоив большее или меньшее значение.
Комментирование результатов
Поистине «золотой момент» для «panel leader»: описательное ощущение за описательным ощущением, или после каждой их группы он может:
• воспользоваться возможностью, чтобы поздравить судей за коллимацию в оценке, подбадривая их, чтобы они чувствовали себя увереннее при прохождении следующего теста;
• объяснить причины возможных искажений, обращаясь к психологическим и физиологическим понятиям;
• отметить некоторые погрешности у отдельных судей, очень тактично обращая на них внимание;
• определить описательные ощущения, не указанные некоторыми судьями;
• определить возможные ошибки судей в процессе использования шкалы;
• помочь судьям в случае затруднений по некоторым описательным ощущениям;
• давать пояснения по изучаемым продуктам, чтобы группа лучше знала предмет изучения;
• определить взаимосвязь между полученными значениями и технологией их получения.
Ошибки переклички значений и их запись
На таком деликатном этапе очень легко допустить ошибки, подвергая риску целую операцию калибровки. Рассмотрим наиболее частые из них:
• разрешить судьям комментировать присвоенное значение, обосновывая его;
• разрешить судье вступать в дискуссии с коллегой из-за данного им значения;
• позволять перерывы, невнимательность и, что ещё хуже, чтобы судьи разговаривали между собой или вставали со своего места;
• принимать значения, сообщаемые очень тихо, или чтобы группа сбивалась с ритма;
• вместо того, чтобы рисовать таблицу записывать (даже на листочке) сообщаемые числовые значения: возникает беспорядок, и нет смысла в их частоте;
• вместо отдельных чёрточек для обозначения значений использовать систему клеток: это не позволяет сразу воспринимать распределение;
• не называть громко медиану до тех пор, пока не будут названы все значения описательных ощущений;
• ошибки при расчёте медианы;
• создание хаоса на доске;
• комментировать как ошибочное значение медианы, получившееся из оценки группы (очень грубая ошибка).
Луиджи Оделло
перевод Григорий Климешов
по заказу «Владимирского кофейного клуба».
Публикуется с любезного разрешения автора.
Ваш комментарий будет первым