Обучение сотрудников повышает конкурентоспособность фирмы, но требует значительных временных и денежных затрат. В связи с чем возникает вопрос – а нужно ли вообще тратить на него усилия? Принесет ли оно ожидаемые результаты? И особенно это касается тренингов. Позитивный настрой от участия в них заметен сразу, а вот результат от применения персоналом полученных навыков - лишь спустя 6-12 месяцев. Поэтому важно провести оценку эффективности тренинга - определить его практическую пользу для сотрудников и организации.
По мнению большинства исследователей и экспертов по управлению персоналом, эффективный тренинг приводит, в первую очередь, к изменениям в трех основных психологических сферах:
- аффективной (эмоции, мотивация и установки);
- когнитивной (способность усваивать информацию);
- деятельностной (внедрение усвоенных навыков в свою рабочую деятельность).
Содержание
Модель Дональда Киркпатрика
Методика почетного профессора университета штата Висконсии (США) разработана еще в 1959 г. и представляет собой наиболее полную (а также самую популярную) схему оценки учебных и образовательных программ, применимую как к формальному, так и не формальному стилю обучения.
Исследователь предложил разделить весь учебный процесс на 4 уровня (реакция, обучение, поведение, полученные результаты) и их оценивать. Все уровни связаны, и каждый последующий невозможен без предыдущего. Складывая воедино оценки каждого из них, получаем информацию об эффективности и необходимости проведенного обучения.
Грамотная группировка информации стала ключевым фактором долголетия модели Д.Кирпатрика. Ее эффективность доказана во многих классических и современных исследовательских работах.
Правда, у нее есть и минусы – схема исследований довольно затратна во времени и оценивает результаты тренинга уже после его проведения. Однако такая оценка помогает сбалансировать образование. Поэтому рассмотрим классическую версию модели Д.Кикпатрика подробнее.
Оценка реакций участников
Производится сразу по завершении программы при помощи инструментов обратной связи (листы реагирования, интервью, коллажи, мишени, барометр). Оценивается первое впечатление и общее мнение участников о тренинге (его отдельных частях, аспектах) и тренерах.
Чаще всего при оценивании первого уровня используется листы реагирования (анкеты). В них рекомендуется включать открытые вопросы и вопросы со шкалой (5 или 10 баллов), касающиеся:
- удовлетворенности (или неудовлетворенности) участников тренингом,
- степени достижения поставленных целей;
- уровня личностного развития;
- качества организации самого обучения.
Ниже представлены примеры анкет обратной связи, содержащие вопросы-шкалы.
Анкета обратной связи 1 для оценки степени удовлетворенности тренингом.
Анкета обратной связи 2 для оценки эффективности тренинга.
Анкетирование – быстрый и малозатратный способ сбора информации, но лишь стандартизированной и поверхностной. Чтобы получить объективное мнение участников о тренинге, рекомендуется совмещать его с опросом (интервью с каждым участником, групповое обсуждение, дискуссия). В процессе него следует обратить внимание на следующие моменты:
- наиболее яркие впечатления участников тренинга;
- что полезное они для себя вынесли;
- что могут порекомендовать группе;
- какой вывод они сделали за все дни программы.
При интервьюировании участники бывают эмоциональными, дают фрагментарную информацию. Для ее рационализации можно предложить им составить коллаж из картинок (фотографий, иллюстраций), отобранных в соответствии с темой занятия. Такой метод максимально сочетает приятное с полезным. Во-первых, компонуя свой «вернисаж», участники переживают связанные с творчеством положительные эмоции, и немного расслабившись, вспоминают тренинг в целом и наиболее важные его моменты, тем самым закрепляют полученные знания и осознают их практическое значение. Во-вторых, это проективная методика, и при анализе коллажа (его тональности, набора фрагментов) «вскрываются» еще не осознанные возможности участников и некоторые нюансы самого тренинга.
Еще один способ «наглядно» оценить эффективность тренинга - мишени («дартс»). Для визуализации оценок круглую мишень с оценочной шкалой в виде концентрических кругов (как в дартсе) разбивают на секторы, представляющие собой параметры:
- удовлетворенность подачей материала;
- доступность изложения;
- качество преподавания;
- актуальность информации и пр.
Каждому кругу соответствует свой балл (1…10 или 1%...100%). Участники маркером отмечают баллы, соответствующие их оценке тренинга. Получается довольно наглядная картина успешности прошедшего тренинга – тренер видит буквально, попал ли он в «яблочко» или «молоко».
В качестве альтернативы мишеням можно использовать барометр. На формате А3 изображается стилизованная под известный измерительный прибор градуированная шкала - на ней участники выставляют оценки отдельным аспектам тренинга. Таким образом можно проанализировать общую «погоду» в группе.
Информация, полученная при анализе этого уровня, помогает определить, были ли условия, в которых проводился тренинг, подходящими, а использованные методы – соответствующими. В большинстве случаев обратная связь по окончании тренинга позволяет выявить допущенные во время него технические ошибки, и быстро их исправить.
Оценка уровня усвоения материала
Проверяется, какие новые компетенции получили участники тренинга. Ведь то, что группа осталась довольна обучением, вовсе не значит, что все ее представители в равной степени чему-то научились. Первоочередная цель обучения – помочь персоналу повысить свою эффективность на рабочем месте вследствие совершенствования знаний, развития навыков, изменения установок или освоения технологий. Поэтому оценка уровня усвоения материала – важный критерий эффективности тренинга. Ее можно провести во время или сразу после тренинга, или отсрочено.
Прогресс участников определяют, сравнивая начальный уровень их знаний, умений и установок с конечным. Для этого еще на этапе проектирования тренинга следует выработать четкие методы измерения, которые понятны всем – тренеру, тренинговой группе, руководителю организации, заказавшей тренинг. Прогресс в полученных знаниях, как правило, измеряют при помощи:
- профессиональных и поведенческих тестов («до и после», на знание изученного материала и пр.);
листов проверки умений (наблюдатель отслеживает умение участника использовать отработанные навыки и выставляет ему оценку: 1- неспособность применять умение, 2 – адекватное и 3 – экспертное применение умения);
- составления плана использования полученных знаний (участникам предлагают ответить – что они наметили сделать, что хотели бы научиться делать, что может им помешать, как они планируют преодолевать помехи, сколько времени потребуется для осуществления таких действий, какие результаты они принесут);
- обучения других сотрудников (слушателям курса предлагают провести презентацию для коллег, помочь адаптироваться новым сотрудникам и пр.).
Каждый участник оценивается индивидуально. При необходимости также дается общегрупповая оценка (например, если обучение проводилось для проектной группы)
Оценка уровня поведения
Обходится она недешево и требует значительных временных затрат, из-за чего организации обычно завершают анализ тренинга уже на предыдущем уровне. Что в корне не верно – «сжатая» диагностика не показывает конкретных результатов обучения.
Большинство руководителей ставят целью тренинга изменение профессионального поведения сотрудников - вследствие практического применения полученных знаний и навыков. Исходя из этого «замеры» поведения необходимы для подтверждения достижения поставленных целей и служат доказательством адекватности обучающей программы.
Изменения в поведении наступают сразу или спустя несколько месяцев. Поэтому оценку этого уровня проводят по истечении небольшого отрезка времени после завершения курса – чтобы обученные работники успели найти применение новым знаниям и навыкам. В ходе нее сравнивают их новое поведение с прежним - посредством инструментов, разработанных по принципу «360 градусов» или с использованием существующей в организации системы ключевых показателей (KPI). За каждым инструментом стоят формальные (тестирование, квалификационный экзамен, аттестация и пр.) и неформальные (наблюдение) методы оценивания.
Пример анкеты для исследования изменений поведения на рабочем месте.
Следует отметить, что среди причин отсутствия изменений в поведении сотрудников Д.Киркпатрик называет не только «пробелы» в тренинговой программе, но и:
- нежелание менять поведенческие установки;
- непонимание, что и как нужно делать;
- отсутствие системы поощрений к изменениям.
Бывает, участники не применяют на рабочем месте то, что они узнали во время обучения, поскольку любые изменения запрещены руководителем организации. Поэтому перед принятием решения о прекращении учебной программы следует проверить степень мотивации сотрудников и «измерить» социально-психологический климат на рабочем месте.
Оценка уровня результатов
Изучается влияние результатов тренинга на развитие организации. Основное внимание уделяют тому, оказало ли обучение положительное влияние на снижение затрат, повышение производительности труда, уменьшение текучести кадров, улучшение качества продукции (или сервиса), рост продаж, увеличение прибыли и т.д.
Подобная оценка вызывает наибольшие сложности. Проводимое обучение – лишь одно «звено» в цепочке факторов, внешних и внутренних, которые влияют на эти показатели. А точно измерить вклад отдельного тренинга, например, в увеличение продаж, довольно сложно, особенно если он касался приобретения лидерских или навыков самоорганизации. Стоимость тестирования этого показателя может во много раз превышать стоимость самого обучения. Поэтому данный уровень оценки рекомендуется лишь в случае долгосрочных и дорогостоящих программ. При этом важно отобрать именно те показатели (или показатель), которые непосредственно должны изменяться после обучения, и сопоставить их начальный («до») и конечный («после») уровни.
Модель Д. Киркпатрика весьма популярна среди менеджеров по персоналу, которые используют ее для оценки и улучшения обучающих программ, а также при принятии решения о необходимости инвестировать в обучение (ведь оно требует финансовых ресурсов). Однако и у нее есть свои недостатки:
- когда с тренинговой программой что-то не так, причина проблемы и пути ее устранения остаются не ясными;
- модель не учитывает такие переменные, как мотивация участников и организационный контекст (организационная структура и технология + корпоративная культура);
- модель не отличается высокой точностью. Например, оценка второго уровня, касающаяся усвоения знаний, не определяет, является ли это знание декларативным или процедурным.
Главный же ее «минус» - в использовании одних и тех же переменные при анализе различных тренингов. Современный взгляд на оценку эффективности тренингов предполагает, что ее методы следует выбирать в зависимости от ее целей. Поэтому рассмотрим и некоторые другие способы определения эффектов обучения.
Альтернативные модели
В целом их довольно много, однако все их относят в 2 группы - иерархические модели и концептуальные.
Эффективность обучения в них рассматривают на нескольких последовательных уровнях. В фокус внимания здесь попадает выгода компании от тренинга. Соответственно, оценивают ее преимущественно при помощи количественных методов.
Классический «представитель» этой группы - модель Д.Киркпатрика. За полувековой период она претерпела ряд изменений, но основная ее структура стала эталонной, и сейчас служит базой при построении других систем последовательной оценки эффективности обучения.
Так, ее логическим продолжением можно считать модели А. Хамблина и Дж. Филлипса.
А. Хамблин (A.Hamblin) предложил измерять эффективность тренинга на 5-ти уровнях. Первые 3 – такие, как в модели Д.Киркпатрика. На 4-м оценивают влияние изменений в поведении на функционирование всей компании и на 5-м – ее выгоду от внедрения обучающей программы.
Джек Филлипс (известный эксперт в области управления персоналом) изменил уровень «Поведение» на «Применение» и стал измерять на нем внедрение и использование навыков, инструментов и технологий, которым обучали персонал. А также разработал алгоритм «пересчета» результатов оценки 4 уровня (результаты) в денежный эквивалент.
Полученную прибыль сравнивают с расходами на обучение, что дает возможность оценить их оправданность. Так в четырехуровневой модели Киркпатрика появился «пятый элемент» – отдача на инвестиции (ROI, окупаемость), а измерение эффективности тренингов было переведено в материальную плоскость.
Новую (и довольно надежную) технологию диагностики учебных достижений предложил Р.Бринкерхофф. Его модель, более известная как «Метод успешных ситуаций», помогает понять, насколько хорошо работает программа обучения, и выяснить причину, если она не работает. Процесс оценки включает шаги:
- постановка целей (отвечает на вопрос – что нужно?);
- дизайн программы с учетом целей компании;
- внедрение программы и проверка ее соответствия потребностям компании;
- измерение результатов тренинга сразу по его окончании;
- оценка поведенческих изменений;
- определение финансовой выгоды от обучения.
По сравнению с моделью Д.Киркпатрика, методика Р.Бринкерхоффа проще в применении и менее затратна, что значительно увеличивает ее привлекательность.
Также на всех 4-х уровнях по Д.Киркпатрику появились новые, удобные инструменты измерений. Например, комплексный опросник А. Грохмана и С. Кауффельда, который позволяет выявить появившиеся после тренинга объективные изменения без существенных временных затрат. Он особенно удобен для организаций с проектным управлением - руководители там меняются в зависимости от проекта, в котором задействован сотрудник, и не всегда могут отследить изменения в поведении персонала.
Таким образом, модели в рамках иерархического подхода позволяют провести всестороннюю оценку тренинга и определить его эффективность и полезность для компании. При этом лучшим доказательством эффективности тренинга является дополнительная прибыль, получаемая в результате обучения сотрудников.
Однако большинство иерархических моделей не учитывают ситуацию, в которой происходит обучение (например, мотивация работника к участию в тренинге). Да и «высчитать» влияние тренинга при подсчете прибыли не так-то просто, ведь, как уже говорилось выше, на деятельность организации влияет множество факторов.
Контекстуальные
Основной акцент в них приходится на анализ ситуации, в которой проводится тренинг. К наиболее значимым в рамках этого подхода относят модели CIRO и CIPP.
Первая разработана П. Уордом, М. Бёрдом и М. Рэкхамом в 1970 г. Ее аббревиатура расшифровывается так:
- Content (содержание) – совпадает с выявлением потребности в обучении. Включает сбор информации о целях тренинга и их трансформацию в задачи;
- Input (входные данные) – подразумевает определение возможностей и ресурсов компании с последующим принятием решения о методах тренинга и разработкой критериев оценки его эффективности;
- Reaction (реакция) – собираются мнения участников курса о прошедшем обучении. Наиболее распространенный метод на этом уровне – анкета для оценки
- Outcome (результат) – сбор информации о реальных эффектах тренинга и сравнение их с запланированными.
Автор второй альтернативной методики оценки (CIPP), Д. Стаффлбим, также выделяет 4 типа данных для анализа. Первые 2 из них - такие же, как в CIRO, остальные обозначают оценку процесса (Process evaluation) и оценку продукта (Product evaluation).
Соответственно, на 3 этапе по модели CIPP, помимо обратной связи от участников, оценивается последовательность и полнота выполнения тренинговой программы, определяются промежуточные итоги. На последнем, 4-м этапе оценки проверяется достижение целей (повлиял ли тренинга на поведение сотрудников, улучшились ли рабочие процессы), и вносятся правки – как разрабатывать тренинг в следующий раз.
Таким образом, иерархические модели дают ответ на вопрос о том, выгодно или невыгодно компании вкладывать деньги в обучение сотрудников, в то время как оценка эффективности тренинга в рамках контекстного подхода означает глубокий анализ целей обучения ради создания заведомо полезных для компании обучающих программ.
В том и другом случае комплексный анализ результатов тренинга – это трудоемкое дело, требующее временных и денежных затрат. Однако он важен всем участвующим сторонам: заказчику, поскольку показывает практический эффект тренинга – насколько прошедшие его работники улучшили свою деятельность; тренеру – для усовершенствования дальнейшего процесса обучения. Полученные выводы, соответственно, влияют на планирование развитие системы образования в компании.