эффективность процесса обучения отражает
Эффективность процесса обучения отражает
Обучение это целенаправленный процесс двусторонней деятельности педагога и учащихся, направленный на усвоение знаний, умений, навыков, формирование мировоззрения, развитие умственных сил и потенциальных возможностей обучаемых, закрепление навыков самообразования.
Обучение есть способ организации образовательного процесса. Оно является самым надежным путем получения систематического образования. В основе любого вида или типа обучения заложена система «преподавание учение» (Табл. 15.1).
| Деятельность педагога | Деятельность обучаемых |
|---|---|
| 1. Разъяснение учащимся целей и задач обучения | 1. Собственная деятельность по созданию положительной мотивации учения |
| 2. Ознакомление обучаемых с новыми знаниями (явлениями, событиями, предметами, законами) | 2. Восприятие новых знаний, умений |
| 3. Управление процессом осознания и приобретения знаний, умений | 3. Анализ, синтез, сопоставление, систематизация |
| 4. Управление процессом познания научных закономерностей и законов | 4. Познание научных закономерностей и законов, понимание причинно-следственных связей |
| 5. Управление процессом перехода от теории к практике | 5. Приобретение умений и навыков, их систематизация |
| 6. Организация эвристической и исследовательской деятельности | 6. Практическая деятельность по самостоятельному решению возникших проблем |
| 7. Проверка, оценка изменений в обученности и развитии учащихся | 7. Самоконтроль, самодиагностика достижений |
Целью преподавания является организация эффективного учения в процессе передачи информации, контроля и оценке усвоения, а также взаимодействие с учениками и организация как совместной, так и самостоятельной деятельности.
Целью учения является познание, сбор и переработка информации об окружающем мире. Результаты учения выражаются в знаниях, умениях и навыках, системе отношений к себе, другим и к миру, в общем развитии учащегося его образованности.
Изучением теоретических основ организации процесса обучения (закономерностей, принципов, методов обучения), а также поиск и разработка новых принципов, стратегий, методик, технологий и систем обучения занимается отрасль педагогики дидактика.
Обучение, преподавание, учение основные категории дидактики.
Существует точка зрения, что обучение это характеристика педагогического процесса со стороны деятельности учителя, а учение со стороны деятельности ученика.
Обучение особый вид педагогической деятельности (специально организованный, целенаправленный, управляемый процесс), в которой возникают типичные отношения «учитель-ученик», результат этой деятельности обогащение учащегося знаниями, достижениями культуры, умениями и навыками.
15.1.1. Критерии эффективности обучения
Эффективность обучения определяется внешними и внутренними критериями.
В качестве внутренних критериев используют успешность обучения и академическую успеваемость, а также качество знаний и степень наработанности умений и навыков, уровень развития обучающегося, уровень обученности и обучаемости.
Академическая успеваемость это степень совпадения реальных и запланированных результатов учебной деятельности, которая находит отражение в балльной оценке. Успешность обучения это также эффективность руководства учебным процессом, обеспечивающего высокие результаты при минимальных затратах.
Обучаемость это приобретенная учащимся (под влиянием обучения и воспитания) внутренняя готовность к различным психологическим перестройкам и преобразованиям в соответствии с новыми программами и целями дальнейшего обучения общая способность к усвоению знаний. Показатель обучаемости количество дозированной помощи, которая необходима учащемуся для достижения заданного результата.
Обученность это тезаурус, или запас усвоенных понятий и способов деятельности, т.е. система знаний, умений и навыков, соответствующая норме (заданному в образовательном стандарте ожидаемому результату).
Качество знаний оценивают по таким показателям как полнота, системность, глубина, действенность, прочность.
В процессе обучения возводится здание (сравнение К.Д. Ушинского), фундаментом которого являются знания, умения и навыки, другие из выделенных компонентов основываются на них, а венчает все развитие и воспитание личности (Рис. 15.1).
Рисунок 15.1 Сравнение процесса обучения
со строительством здания (К.Д. Ушинский)
15.1.2. Принципы обучения
В основе процесса обучения лежит система принципов, каждый из которых выступает в качестве руководящих идей, нормы или правил деятельности, определяющих как характер взаимосвязи преподавания и учения, так и специфику деятельности преподавателя и обучающихся. Именно принципы служат ориентиром для конструирования определенного вида обучения.
Правила обучения это, основанные на общих принципах, описания педагогической деятельности в определенных условиях для достижения намеченной цели. Это руководящие положения, которые раскрывают отдельные стороны применения того или иного принципа обучения. Они предписывают учителю выполнять в той или иной ситуации определенные действия, ориентируют его на соблюдение определенных требований. Правила обеспечивают выполнение принципов обучения, имеют форму советов-напоминаний учителю о том, что нужно делать для возможно более полного выполнения требований принципа.
15.1.3. Классификация методов обучения
Методы обучения это способы взаимосвязанной деятельности педагога и учащихся по осуществлению задач образования, воспитания и развития (Ю.К. Бабанский).
Прием это элемент метода, его составная часть, разовое действие, отдельный шаг в реализации метода или модификации метода в том случае, когда метод небольшой по объему или простой по структуре.
Рассказ словесный метод устного изложения. Это монологическое изложение учебного материала, применяемое для последовательного, систематизированного, доходчивого и эмоционального преподнесения знаний.
Беседа вопросно-ответный метод устного изложения, побуждающий учащихся к актуализации (припоминанию) уже известных им знаний и позволяющий достичь усвоения новых знаний путем самостоятельных размышлений, выводов и обобщений.
Лекция отличается более строгой структурой, логикой изложения учебного материала, обилием сообщаемой информации, системным характером освещения знаний.
Дискуссия обмен взглядами по конкретной проблеме, позволяющий приобретать новые знания, укрепляться в собственном мнении и отстаивать его.
Работа с книгой метод, позволяющий многократно обрабатывать учебную информацию в доступном для ученика темпе и в удобное время.
Демонстрация наглядно-чувственное ознакомление учащихся с явлениями, процессами, объектами в их натуральном виде.
Иллюстрация показ и восприятие предметов, процессов и явлений в их символическом изображении с помощью плакатов, карт, портретов, рисунков, схем, репродукций, моделей и т.п.
Видеометод наглядное восприятие информации с использованием кодоскопов, проекторов, киноаппаратов, учебного телевидения, видеомагнитофонов, компьютеров.
Упражнение планомерное повторное выполнение действий с целью овладения ими или повышения их качества.
Лабораторный метод самостоятельное проведение экспериментов, исследований учащимися. Применяется, прежде всего, при изучении естественно-научных дисциплин.
Игра познавательная (дидактическая) специально созданная ситуация, моделирующая реальность, из которой учащимся предлагается найти выход.
Метод проектов система обучения, при которой учащиеся приобретают знания в процессе планирования и выполнения постоянно усложняющихся практических заданий проектов. Возник во второй половине 19 в. в США.
15.1.4. Формы организации обучения
Форма организации педагогического процесса внешнее выражение акта воспитательного взаимодействия учителя и учащихся. Форма характеризуется числом участников воспитательного взаимодействия, местом, временем и порядком его осуществления.
Форма обучения означает коллективную (со всеми учащимися), групповую (с частью учащихся) и индивидуальную работу учащихся под руководством педагога.
Форма организации обучения предполагает какой-либо вид учебного занятия урок, лекцию, факультатив, кружок, экскурсию, мастерскую и др.
В школе и вузе на протяжении столетий функционируют классно-урочная и лекционно-практическая системы обучения.
15.1.4.1. Урок как основная форма обучения и воспитания
Урок это законченный в смысловом, временном и организационном отношении отрезок учебного времени.
Кроме перечисленных требований к уроку выделяют и другие: организационные, психологические, управленческие, требования оптимального общения учителя с учащимися, требования сотрудничества, санитарно-гигиенические, этические и т.д.
15.1.4.2. Типы и структуры уроков
15.1.4.3. Особенности лекционно-практической системы обучения
Лекция основная форма передачи большого объема систематизированной информации как ориентировочной основы для самостоятельной работы студентов.
Практическое занятие /семинар это форма организации детализации, анализа, расширения, углубления, закрепления, применения и контроля за усвоением полученной учебной информации на лекции и в ходе самостоятельной работы под руководством преподавателя вуза.
В качестве основы обучения в вузе выступает самостоятельная деятельность студентов.
Учебная группа это центральная форма организации студентов, как правило, на весь период обучения.
Совокупность учебных групп курс, работает по единому учебному плану и программам согласно расписанию учебных занятий.
Учебный год делится на два семестра, зачетно-экзаменационный период и каникулы.
15.2. Виды и стили обучения
Первым видом систематического обучения считают метод постановки наводящих вопросов в процессе поиска истины. Он связан с именем древнегреческого философа Сократа и называется сократическим.
Догматическое обучение сложившийся в средневековье вид церковно-религиозного обучения через слушание, чтение, запоминание и дословное воспроизведение текста.
Развивающее обучение вид обучения, главная цель которого состоит в том, чтобы подготовить учащихся к самостоятельному освоению знаний, поиск истины, а также независимости в повседневной жизни воспитание субъектности.
Основой является продуктивная деятельность учащихся в «зоне ближайшего развития».
Зона ближайшего развития вызывает появление личностных новообразований как в содержательной стороне психики, так и в сфере способов деятельности и характера поведения. Учитель здесь выступает в качестве организатора поискового процесса, а не просто «передатчика», транслятора знаний и истин. Он организует процесс, активизирующий память, восприятие, воображение, разные формы мышления.
Объяснительно-иллюстративное обучение (репродуктивное) вид обучения, цель которого передача-усвоение знаний и применение их на практике. Иногда его называют пассивно-созерцательным. Учитель стремится изложить учебный материал с применением наглядных и иллюстративных материалов, чтобы обеспечить его усвоение на уровне воспроизведения и применения для решения практических задач.
Репродуктивное обучение включает в себя (Рис. 15.2) восприятие фактов, явлений их осмысление (установление связей, выделение главного и т.д.), что приводит к пониманию (В.И. Загвязинский).
Рисунок 15.2 Структура репродуктивного обучения
Основная особенность репродуктивного обучения состоит в том, чтобы передать ученикам ряд очевидных знаний. Ученик должен запоминать учебный материал, перегружать память, тогда как другие психические процессы альтернативное и самостоятельное мышление блокируются.
Репродуктивный характер мышления предполагает активное восприятие и запоминание сообщаемой учителем и другим источником учебной информации. Применение этого метода не возможно без использования словесных, наглядных и практических методов и приемов обучения, которые являются как бы материальной основой этих методов.
В репродуктивных технологиях обучения выделяют следующие признаки (Рис. 15.3).
Рисунок 15.3 Признаки репродуктивных технологий (РТ)
Главное преимущество данного метода экономность. Он обеспечивает возможность передачи значительного объема знаний, умений за минимально короткое время и с небольшими затратами усилий. При многократном повторении прочность знаний может быть прочной.
В целом же репродуктивные методы обучения не позволяют в должной мере развивать мышление, и особенно самостоятельность, гибкость мышления; формировать у учеников навыки поисковой деятельности. При чрезмерном применении эти методы ведут к формализации процесса усвоения знаний, а порой и просто к зубрежке.
Проблемное обучение (продуктивное) вид обучения, в основе которого лежит идея С.Л. Рубинштейна о способе развития сознания человека через разрешение познавательных проблем, содержащих в себе противоречия. Проблемное обучение раскрывается через постановку (учителем, самими учащимися) и разрешение (учащимися) проблемного вопроса, задачи, ситуации (Рис. 15.4).
Рисунок 15.4 Сущность продуктивного метода обучения
Проблемная задача это учебно-познавательная задача, вызывающая стремление к самостоятельному поиску способов и путей ее решения.
Проблемная ситуация в процессе обучения предполагает, что субъект (ученик или студент) хочет решить трудные для себя задачи, но ему не хватает данных и он сам должен их искать.
Его стержнем является стимулирование учащихся к творчеству в познавательной деятельности.
Продуктивный вариант обучения состоит из ориентированного, исполнительного и контрольно-систематизирующего этапов. И добывание, и применение знаний, и определение отношений и оценок носит поисковый, творческий характер.
Исследовательский метод обучения предусматривает творческое усвоение знаний. Его недостатки значительные затраты времени и энергии преподавателей и учащихся. Применение исследовательского метода требует высокого уровня педагогической квалификации.
Программированное обучение вид обучения, в основе которого лежит кибернетический подход, согласно которому обучение рассматривается как сложная динамическая система, управление которой осуществляется посредством посылки команд со стороны учителя (компьютера) ученику и получение обратной связи (оценка учителем или самооценка).
Программированное обучение возникло в начале 50-х годов XX в., когда американский психолог Б. Скиннер предложил повысить эффективность управления усвоением материала, построив его как последовательную программу подачи порций информации и их контроля. Впоследствии Н. Краудер разработал разветвленные программы, которые в зависимости от результатов контроля предлагали ученику различный материал для самостоятельной работы. Дальнейшее развитие технологии программированного обучения будет зависеть от разработки путей управления внутренней психической деятельностью человека.
Основная цель программированного обучения улучшение управления учебным процессом.
Модульное обучение предполагает такую организацию учебного процесса, при которой учитель и ученик работают с учебой информацией, представленной в виде модулей. Каждый модуль обладает законченностью и относительной самостоятельностью. Например, целевой модуль дает первое представление о новых объектах, явлениях, событиях. Информационный модуль представляет собой систему необходимой информации в виде разделов, параграфов книги, компьютерной программы. Операционный модуль включает в себя весь перечень практических заданий, упражнений и вопросов для самостоятельной работы по использованию полученной информации. Модуль для проверки результатов усвоения знаний может быть представлен системой вопросов для зачета, экзамена, теста и творческих заданий.
Модульное обучение рассчитано на большую самостоятельную работу учащихся при дозированном усвоении учебной информации, зафиксированной в модулях. Иногда этот вид обучения называют блочно-модульным, считая, что каждый модуль формируется при разделении учебной программы в блоки.
© ФГОУ ВПО Красноярский государственный аграрный университет
Эффективность обучения
Эффективность обучения (learning effectiveness) — мера совпадения реально достигнутых результатов с заявленными целями образовательной программы. В английском языке есть три слова, описывающие понятие эффективности: efficiency (соотношение затрат и выгод), effectiveness (результативность), efficacy (соответствие ожиданиям и целям).
Для оценки эффективности используют два типа показателей:
1. Потребительские метрики (consumptive metrics) — «Смотрите, сколько вам это стоит!»
2. Метрики результативности (impact metrics) — «Смотрите, сколько ценности мы вам приносим!»
Модель Д. Киркпатрика
В 1959 году американский исследователь Дональд Киркпатрик предложил модель оценки эффективности обучения, которая получила широкое распространение и сегодня является классической. Она предполагает, что оценка осуществляется на четырех уровнях, однако важность этих уровней для разных заинтересованных сторон (стейкхолдеров) различна.
Дональд Киркпатрик (Donald Kirkpatrick) (1924–2014) — американский исследователь, почетный профессор в Университете Висконсина и бывший президент Американского общества по обучению и развитию (ASTD). В 1954 году создал «четырехуровневую» модель для оценки курса обучения, которая послужила предметом его кандидатской диссертации. Идеи Киркпатрика были опубликованы для более широкой аудитории в 1959 году в серии статей в американском «Журнале обучения и развития», но их лучше знают из таких книг, как «Оценка учебных программ» (Evaluating Training Programs, 1994) и «Влияние обучения на поведение и внедрение четырех уровней» (Transferring Learning to Behavior and Implementing the Four Levels, 2005).
ROE (return on expectations) — отдача на ожидания (или отдача ожиданий, возврат на ожидания) — главный коэффициент, по которому можно оценить эффективность обучения. Это соотношение между ожиданиями от обучения (на всех уровнях оценки), и реальных результатов. При использовании эффективных образовательных программ, ожидания превосходятся, и этим создается новая ценность.
Пятиуровневая модель Дж. Филлипса (Jack Phillips) 1
Уровень 0. Входные данные и индикаторы
► Сколько обученных людей?
► Сколько часов обучения?
► Каковы затраты на обучение одного человека?
Уровень 1. Реакция и запланированные действия
► Была ли программа релевантна для сотрудников?
► Будет ли программа помогать слушателям достигать успеха?
► Предоставляет ли программа новые знания?
► Будут ли слушатели программы использовать на практике то, что узнали?
► Будут ли слушатели рекомендовать программу своим коллегам?
► Что можно улучшить относительно образовательных материалов, образовательной среды или навыков преподавания?
Уровень 2. Научение
► Знают ли слушатели, как смогут применить полученные знания?
► Смогут ли слушатели применить полученные знания?
► Каковы следующие шаги слушателей по наращиванию собственной экспертизы?
Уровень 3. Поведение
► Насколько эффективно слушатели могут применить то, что они узнали?
► Насколько часто им придется применять полученные знания?
► Какой процент полученных знаний в принципе применим на практике?
► Если слушатели применяют полученные знания в рабочем процессе — кто предоставляет им поддержку или помощь?
► Если слушатели не применяют на практике полученные знания — почему так происходит?
Уровень 4. Результаты
► До какой степени применение полученных знаний и умений слушателями помогает улучшить показатели выпуска, качественные, временные и затратные показатели компании?
► Повышается ли уровень удовлетворенности клиентов, удовлетворенности качеством условий труда или степень инновационности?
► Почему мы можем утверждать, что программа действительно оказала положительное влияние на перечисленные показатели?
Уровень 5. ROI (return on investments)
► Правда ли, что количественно оцененные результаты образовательной программы превосходят расходы на разработку программы?
► ROI = Net Program Beneits/Program Costs х 100.
ROI (return on investments) — методика Джека Филлипса, помогающая с помощью различных формул измерить отдачу от инвестиций в обучение как отношение денежного выражения всех выгод, связанных с обучением, к денежной оценке всех затрат (инвестиций) в обучение. Расчет этого показателя сложен и во многом субъективен, поэтому часто получение и расчет ROI не несет значительной ценности.
Джек Дж. Филлипс (Jack J. Phillips) (р. 1945) — доктор философии, член Консультативного совета KnowledgeAdvisors, Inc., председатель Института ROI, ведущего поставщика услуг для измерения, оценки показателей и аналитики. Разработал методологию ROI, создал или отредактировал более 75 книг по оценке, метрикам и аналитике. Автор книги «Руководство по оценке и методам обучения» (Handbook of Training Evaluation and Measurement Methods, 1983). Сегодня его работы печатаются в Wall Street Journal, Bloomberg Businessweek, Fortune и в CNN.
Модель человеческого капитала
Основана на измерении производительности компании через определение пробелов в знаниях и навыках сотрудников и отдачи от их восполнения через систему обучения.
Параметрами оценки при ее использовании являются проблемы в реализации бизнес-процессов (в денежном эквиваленте), оценка знаний и навыков, необходимых сотруднику для устранения проблем в бизнес-процессах, а также проблемы в реализации бизнес-процессов, связанные с работой сотрудников.
Примеры показателей в разных моделях измерения эффективности образования
Модель Дж. Филлипса
► материальные выгоды (оценка производительности труда в денежном эквиваленте, изменение издержек);
► нематериальные выгоды (изменение удовлетворенности сотрудников, текучести кадров, затрат на подбор персонала);
► стоимость услуг преподавателей; стоимость оборудования, учебно-методических материалов, организация питания, стоимость отрыва участников от работы на период обучения.
Модель человеческого капитала
► продолжительность выполнения операций;
► проблемы с движением денежных средств, недостачи;
► какой процент проблемы можно отнести на счет мотивации, навыков, технических решений;
► процент проблемы в реализации бизнес-процесса, обусловленный работой сотрудника, удовлетворенность клиентов.
Модель Д. Киркпатрика
► оценка программы, преподавателя, степени полезности содержания программы, условий обучения;
► оценка уровня усвоения материала участниками программы;
► соответствие полученных навыков рабочим обязанностям сотрудника, применимость и актуальность полученных знаний;
► производительность сотрудника после обучения.
Ожидания заказчиков обучения 2
Индекс лояльности
Индекс лояльности NPS (net promoter score) — индекс готовности рекомендовать, метрика лояльности. Респондентам предлагается ответить на один единственный вопрос: «Какова вероятность, что вы порекомендуете учебную программу своим коллегам?».
Этапы развития системы оценки эффективности
Любая система оценки проходит несколько этапов развития. В 2017 году журнал Chief Learning Oicer предложил разделить процесс на четыре составляющие:
Этап 1. Использование отдельных инструментов и метрик для оценки удовлетворенности
Этап 2. Создание единой системы оценки
Этап 3. Переход к динамической, стандартизированной системе оценки (включает этап 1)
Этап 4. Разработка уникальных практик для оценки эффективности под потребности компании (включает этапы 1 и 2)
► Оценка удовлетворенности образовательными программами на первом уровне модели Киркпатрика — Филлипса
► Определены критерии успешности программ
► Инструменты оценки систематизированы на основе модели Киркпатрика — Филлипса
► Регулярно проводится бенчмаркинг программ
► Единая информационная платформа оценки эффективности обучения
► Метрики доступны ключевым стейкхолдерам
► Оценка краткосрочного и долгосрочного эффекта обучающей программы (предиктивная аналитика)
► Управление портфелем программ на основе данных по оценке эффективности
► Методика оценки ROI для 5% программ
►Применение методов аналитики обучения
Методы оценки в Корпоративном университете Сбербанка
Корпоративный университет Сбербанка находится одновременно на всех четырех этапах развития системы оценки эффективности и успешно применяет некоторые продвинутые методы оценки в различных образовательных программах.
Программа профессиональной переподготовки «Сбербанк 2020»
► Уровень менеджмента: средний. Обучено более 2000 человек.
► Методы оценки эффективности: оценка успешности внедрения бизнес-проекта.
► Отслеживание карьерных траекторий.
► Оценка профессиональных компетенций.
► 9,2 — оценка удовлетворенности слушателей.
«Риск-менеджмент I, II»
► Уровень менеджмента: линейный, средний. Обучено 15 000 человек.
► Методы оценки эффективности: метод proxy-индикатора для оценки динамики риск-культуры в банке (на основе опроса 90 000 сотрудников).
► В основе опросника — шкала Лайкерта.
► 75% — общий показатель риск-культуры.
► 9,0 — оценка удовлетворенности слушателей.
«Мастерская руководителя ВСП» (внутреннее структурное подразделение)
► Уровень менеджмента: линейный. Обучено более 18 000 человек.
► Методы оценки эффективности: пилот по оценке влияния обучения на бизнес-показатели через интегральную оценку работы с отклонениями.
► 9,7 — оценка удовлетворенности слушателей.
Вовлечение руководителей в оценку изменений поведения сотрудников
Для вовлечения руководителей в оценку изменения поведения своих подчиненных была разработана анкета с чек-листом. Она автоматически направляется руководителям через 3–6 месяцев после окончания программы обучения.
Рассмотрим оценку изменений на примере программ Корпоративного университета Сбербанка.
► «Ценообразование и структурирование банковских продуктов». На дистанционной программе слушатели изучают влияние продуктов и сделок на риски банка, выявляют последствия некорректного структурирования продуктов и сделок. NPS слушателей программы составляет 62%, а показатель NPS от руководителей — 66%.
► «Эффективные переговоры 2.0». На программе смешанного формата слушатели учатся внедрять в переговорную практику алгоритмы и приемы, повышающие эффективность переговоров, применяют техники вывода переговоров из «тупика». NPS слушателей программы составляет 71%, а показатель NPS от руководителей — 45%.
► «Дизайн-мышление: от инсайтов к инновациям». На программе слушатели изучают 6 этапов дизайн-мышления для формирования культуры экспериментирования, создания инновационных решений с учетом потребностей целевой аудитории. NPS слушателей программы составляет свыше 70%, а показатель NPS от руководителей — 50%.
Не стоит равнозначно смотреть на показатели NPS руководителей и слушателей. Разница между результатами анкетирования заключается в разных уровнях проведения оценки по модели Д. Киркпатрика. Слушатели оценивают эффективность по первому уровню Киркпатрика (оценка программы, преподавателя, условий обучения) и указывают, насколько они готовы порекомендовать коллегам учиться на программе.
Руководитель в первую очередь оценивает сотрудника по третьему уровню модели (соответствие полученных навыков рабочим обязанностям, применимость и актуальность полученных знаний в рабочих ситуациях), поэтому такой показатель может быть меньше, чем NPS слушателей. Такой подход помогает минимизировать эмоциональную составляющую, которая свойственна слушателям сразу после завершения курса. В некоторых случаях NPS слушателей может быть высоким по причинам, не зависящим от обучающей программы (например, окружающая среда или харизма тренера). Однако использование чек-листов, направляемых руководителям (которые могли не обучаться на программе и не столкнуться с данными факторами), помогает повысить объективность оценки.
Источники
Phillips P., Phillips J. — ‘’Real world training evaluation’’ — ATD, 2016
Mattox J. — ‘’Learning Analytics: Measurement Innovations to Support Employee Development’’ — CEB, 2016
Brinkerhof R. — ‘’Telling training’s story’’, 2011