РУС | ENG
 
 
О компании
 
Оценка эффективности электронного дистанционного обучения  
 
На что следует обратить внимание! При написании данной статьи автор пытался излагать материал насколько это возможно простым языком. Но, вполне возможно, это ему не удалось сделать в полной мере из-за очень сложной темы статьи.

Электронное дистанционное обучение прочно вошло в корпоративную систему обучения российских компаний. И не удивительно,- эта форма обучения позволяет оперативно повышать квалификацию большого количества работников непосредственно на рабочих местах, практически без отрыва от производственного процесса.

Следует отметить, что система дистанционного электронного обучения в целом состоит из множества различных электронных курсов. Эти курсы разрабатываются, тестируются на функциональность, после чего их запускают в эксплуатацию. При помощи электронных курсов персонал банка повышает свою квалификацию. От эффективности каждого в отдельности учебного курса зависит и эффективность всей СДЭО.

В течение пяти лет в банке «Возрождение» успешно функционирует система дистанционного электронного обучения (далее - СДЭО). Под выражением «успешно функционирует», понимаются показатели:

Количественные: количество разрабатываемых и принятых в эксплуатацию учебных курсов, количество сотрудников посещающих веб-портал «Обучения и развития», количество сотрудников, прошедших обучение по каждому учебному курсу.

Качественные: изменение уровня знаний до и после прохождения электронного учебного курса, оценка сотрудниками качества разработанных учебных курсов, оценка руководителями качества обучения подчиненных.

Сотрудники учебного центра банка постоянно проводят мониторинг вышеперечисленных показателей с целью контроля качества проводимого обучения. Но эти показатели не могут в полной мере отразить эффективность внедренной электронной системы дистанционного электронного обучения.

Как измерить эффективность СДЭО?

После того как СДЭО была внедрена в банке «Возрождение», был разработан первый десяток учебных курсов, началось регулярное обучение персонала, была определена необходимость в  проведении оценки  эффективности данной  формы обучения.

Соответственно, перед ключевыми сотрудниками Учебного центра была поставлена задача разработать оценку СДЭО. В 2009 году не было найдено в деловой литературе у партнеров, которые занимаются аналогичной деятельностью необходимых образчиков оценки СДЭО, которые соответствовали бы следующим критериям: оценка должна быть максимально понятной, простой, объективной, практичной и гибкой.

Поэтому сотрудники Учебного центра самостоятельно занялись разработкой такой оценки.

    1. Вначале было дано определение термину «эффективность электронного дистанционного обучения».
    2. Составлена математическая модель расчета эффективности.
    3. Были определены критерии, влияющие на эффективность.
    4. Проведены пробные расчеты.
    5. После получения первых данных, модель расчета была немного доработана.
    6. После чего, модель была запущена в эксплуатацию.

Прежде чем детально описать модель расчета эффективности СДЭО, следует отметить, что полученные данные позволили в цифрах увидеть не только имеющиеся проблемные зоны дистанционного обучения, но и получить ответ, как их исправить. По результатам полученных данных процедура разработки учебных курсов была скорректирована.

ВАЖНО.

Данная модель расчета эффективности СДЭО была разработана исключительно для целей Учебного центра банка «Возрождение» и вполне возможно для других целей, и в других компаниях может быть неприменима.

Модель эффективность СДЭО Учебного центра банка «Возрождение»

Термин «эффективность системы дистанционного электронного обучения» означает процентное отношение протори (совокупность затраченных ресурсов, издержек) с полученными результатами.

Результатом этого отношения будет являться числовое значение между нулем и 100%.

Внимание! Чем ближе результат вычисления к нулю, тем выше эффективность, чем ближе результат вычисления к 100%, тем ниже эффективность.

Вопрос.

Если протори равно нулю (ничего не вложено), а получаемый результат максимальный - СДЭО получается очень эффективным. Такое может быть?

И наоборот. Вложились на все 100%, а результата при этом нет, как такое может быть?

Экспериментальным путем, моделированием различных ситуаций было выявлено, что наиболее эффективной система СДЭО будет при получении расчетных данных близких к 30%. При получении расчетных данных близких к 80% и выше, СДЭО будет практически неэффективным.

Какие критерии объединены в категорию ПРОТОРИ?

Протори насчитывает пять критериев. Каждый критерий оценивается по десятибальной шкале.

Чем выше балл, тем протори будет выше, то есть затраты, издержки возрастают. Высокий протори необходимо всеми силами снижать.

Чем ниже балл, тем протори будет ниже – затраты, издержки уменьшаются. К низкому протори необходимо стремиться.

Опишем каждый критерий:

    1. Наличие документации к СДЭО
Если в компании существует детально прописанная нормативная документация к дистанционному обучению, то разработка учебного контента, создание учебных курсов, проведение обучения занимает минимум времени и ресурсов. Разработчики знают, что необходимо делать, как и в какие сроки. В этом случае этот критерий получает 10 баллов.
В случае полного отсутствия, в учебном подразделении, документов регламентирующих деятельность СДЭО,  балл по данному критерию будет единица.

Какие документы необходимы, чтобы получить 10 баллов?

 «Политика организации электронного дистанционного обучения».

Чем детальнее прописаны процедуры и требования к данному типу обучения, тем проще встроить учебный процесс. Любой работник компании – от рядового сотрудника до руководителя подразделения – должен иметь возможность найти в этом документе ответы на все вопросы, касающиеся дистанционного обучения. Разделы, которые должны быть внесены в данную политику:
  • кто выступает организаторами обучения;
  • по чьей инициативе назначаются учебные курсы;
  • каким образом работникам назначаются (время, сроки, документы) учебные курсы;
  • где, как, когда сотрудник будет проходить обучение;
  • каким образом происходит контроль;
  • как, кто, когда, кому направляет отчеты с результатами;
  • зоны ответственности работников разных подразделений в области СДЭО.

«Политика разработки электронных учебных курсов».

Документ, в котором перечисляются все стадии и требования к процессу разработки учебного курса. Целесообразно включить в эту политику следующие разделы:
  • кто может выступать заказчиками учебных курсов;
  • каким образом заказчик инициирует процедуру их разработки;
  • кто, как, когда формирует рабочую группу;
  • как устанавливаются сроки выполнения работ;
  • кто может выступать разработчиками курсов;
  • что может быть включено (не должно быть включено) в учебный материал;
  • как должен оформляться учебный курс;
  • какие методы дистанционного обучения существуют и как их использовать;
  • как будет тестироваться готовый курс;
  • каким образом курс будет принят в эксплуатацию;
  • как взаимодействовать с внешними провайдерами (в случае их привлечения).
 
    2. Сложность реализации электронного курса
Сложность реализации электронного курса - это критерий, который отражает насколько сложно  с технической стороны  реализован учебный курс.
В учебном курсе материал может быть подан различными способами:
1. В виде сплошного текста. Это самый непродуктивный способ с точки зрения обучения, но самый простой с точки зрения технической реализации.
2. В виде текстового материала и различных задач, которые помогают этот материал усвоить. (Достаточно верное решение, но при этом затратный подход). Логику задач необходимо продумывать,  необходимо механизм задачи реализовать в электронном виде и самое главное необходимо описать задачу в курсе, чтобы участники поняли, что и как необходимо делать.
3. В виде бизнес-кейсов. Через решение бизнес-кейсов  при помощи различных подсказок, наводящих тем,  обсуждения правильных и  неправильных решений участники получают наиболее устойчивые знания. Но этот подход один из самых сложных с точки зрения реализации. Как показывает опыт, для реализации такого подхода необходимы  не только яркие и интересные идеи, которые как всегда в дефиците, но и грамотное техническое решение.

За наиболее простую реализацию, курс получает 1 балл. За наиболее сложную – 10 баллов. Безусловно, при создании учебного курса необходимо стремиться к наиболее простой реализации, но способ подачи учебных материалов является очень важным элементом.

ВАЖНО.

Сложность технической реализации бывает необоснованной и обоснованной. Необоснованная реализация - это когда очень простой материал «заливается» очень сложно технически. В программном продукте CourseLab компании WebSoft (работники банка «Возрождение» применяют только его), который предназначен именно для создания «заливки» учебных курсов, есть все необходимые встроенные средства для реализации очень интересных курсов. Использовать встроенные средства CourseLab - правильное решение с точки зрения «простой реализации». При этом некоторые работники, которые занимаются «заливкой» применяют программные коды, мультипликацию и дополнительные средства для придания «шарма» учебному курсу, что зачастую очень усложняет его реализацию.
Обоснованная реализация - это когда работникам необходимо передать сложные знания. Для передачи их придуманы соответствующие бизнес-кейсы, которые реализовать обычными средствами бывает невозможно.

Для того чтобы воочию оценить разные подходы к реализации учебных курсов, можно посетить сайт courselab.ru раздел «Конкурс 2011». В этом разделе сайта размещены учебные курсы, которые принимали участие в конкурсе на лучший электронный курс. Учебный курс «Проведение презентации» банка «Возрождение» занял в трех номинациях призовые места. Этот курс очень высоко интерактивен: в нем необходимо выполнять бизнес-кейсы, решать сложные задачи, искать решения. С точки зрения технической реализации он достаточно простой, потому как эта реализация осуществлялась стандартными средствами программы CourseLab.

    3. Уровень сложности знаний
Учебный курс предназначен прежде всего  для передачи знаний участнику обучения. Эти знания могут быть общеизвестными: знание правил трудового распорядка в компании, корпоративной культуры, дресс-кода и др. В банковском бизнесе, многие знания являются специализированными:  отличительные признаки поддельных банкнот, методы их защиты, стандарт безопасности данных индустрии платежных карт и др. Общеизвестные и специализированные знания могут быть, как простыми и сложными для изучения. В зависимости от уровня сложности знаний необходимо выбирать и методы их передачи. Для простых знаний балл будет единица, для очень сложных -10 баллов.

    4. Длительность разработки учебного курса

Те, кто занят разработкой курсов, знают, что на длительность создания курсов влияет множество факторов: понятная исходная документация(с ней быстрее можно разобраться), уровень подготовки разработчиков(они быстрее могут разработать контент и его залить), как много времени разработке курсов могут выделять эксперты бизнес-подразделений(один день в неделю или одни день в месяц) и т.д.

В банке «Возрождение» электронные курсы разрабатываются согласно утвержденному на один год календарному плану. На каждый курс отводится необходимое время.

Если время на разработку удалось значительно уменьшить относительно планируемого, тогда присваивается один балл. Если время превышено в несколько раз, тогда десять баллов.

    5. Квалификация специалистов – разработчиков курса

Для банка «Возрождение» была выбрана ролевая модель, когда разработкой всех курсов занимается собственная команда. В эту команду входят специалисты Учебного центра и специалисты, того подразделения, которое является заказчиком курса.

Очень кратко опишем, какие роли существуют?

Заказчик курса. Он ставит цели и задачи перед командой разработчиков; Принимает курс в эксплуатацию.

Архитектор курса. Архитектор курса  является руководителем всего проекта. Он должен определять сроки, распределять ответственность, минимизировать возможные риски. И еще одна задача – создание сценария. Сценарий создается совместно с «Разработчиком контента». Что входит в понятие сценарий? Последовательность подачи материала, определение параллельных ветвей обучения, возможных ответвлений, когда и в каком объеме использовать проверочные вопросы. В Учебном центра банка «Возрождение» архитекторами курсов являются ведущие специалисты Учебного центра, так как они лучше других справляются с данной ролью.

Разработчик контента. Этот специалист должен знать в совершенстве банковский продукт и/или тот бизнес-процесс, о котором пойдет речь в учебном курсе и/или как работает банковская программа, и уметь на доступном языке описать все это на доступном языке. Описать таким образом, чтобы любой пользователь мог разобраться, что и как делать. Разработчиками контента выступают специалисты бизнес-подразделений.

«Заливщик» контента. В задачу данного специалиста входит правильное оформление учебных материалов, компоновка его в нужном порядке, программирование необходимого количества функций и в завершении - предоставление предварительно готовой версии курса для начала процедуры его проверки в целях работоспособности.

Тестировщик курса

Процесс создания электронного учебного курса очень похож по своей структуре на создание программного обеспечения. В завершении работы над курсом правильность его функционирования проверяет специалист в роли «тестировщика». Он должен проверить его функциональность, выявить возможные ошибки, неточности… Результаты своей работы он должен передать «заливщику». Для полноценной проверки курса желательно выделять наиболее квалифицированных специалистов из тех подразделений, специалисты которых и будут в дальнейшем проходить обучение.

Чем выше квалификация специалистов занятых разработкой курсов, тем выше балл – протори будет выше.

Чем ниже квалификация этих специалистов, тем ниже балл.

Как пример: если разработкой курса будет заниматься студент, то затраты будут достаточно низкими в этой категории. Не следует привлекать к написанию простых веб-шаблонов программиста самой высокой квалификации: с этой задачей можете справиться и вы сами, и выпускник колледжа.

Подведем итоги.

Протори необходимо снижать. За счет чего? Вот , на мой взгляд, наиболее важные пункты, влияющие на показатели повышения эффективности СДЭО. Это:

    1. Подготовка детальной документации по СДЭО, изучение которой  позволяет качественнее разрабатывать любые учебные курсы.
    2. Упрощение технической реализации курса. Использование встроенных функций и методов программных средств по разработке учебных курсов.
    3. Соблюдение и уменьшение сроков  разработки электронных курсов.
    4. Привлечение персонала требуемой квалификации.
      5. Какие критерии были объединены в категорию результат?

    Любое обучение должно приводить к какому-либо результату. Для определения общего результата по каждому курсу определены пять критериев.

    Чем выше балл, тем результат будет выше.  

    Чем ниже балл, тем результат будет ниже.

    Опишем каждый критерий:

    Оценка курса участниками обучения.

    Оценка участниками обучения - очень важный критерий. В банке «Возрождение» данная процедура была автоматизирована сразу после внедрения.

      1. Был создан опросный лист в электронном виде. Программа WebTutor компании WebSoft, на базе которой построена вся система электронного дистанционного обучения в банке, позволяет достаточно просто автоматизировать подобные процедуры.
      2. Опросный лист был встроен в процесс прохождения учебного курса.
      3. Прежде чем завершить обучение по курсу, сотрудник должен перейти на опросный лист и его заполнить – выставить оценки  за учебный курс. Все оценки суммируются и в системе отражается балл, который показывает насколько участники обучения удовлетворены учебным курсом.

    Если балл за курс 1, то это означает очень низкую удовлетворенность обучением. Выставленный балл 10, означает очень высокую удовлетворенность обучением.

    Результаты проверки знаний

    Одним из критериев, отражающим эффективность обучения, служит уровень остаточных знаний, который измеряется в промежутке от одного до трех месяцев после завершения обучения. В банке «Возрождение» измерение уровня знаний проводится при помощи модуля электронного тестирования программы WebTutor. Чем выше уровень полученных знаний, тем выше балл у данного критерия.

    Прямое влияние знаний на бизнес

    Перечень необходимых знаний, которыми должны владеть работники банка, достаточно обширен. Это и знания корпоративной культуры, банковского законодательства, требования, описанные во внутренней документации, стандарты обслуживания клиентов и другие.

    При этом некоторые знания могут иметь слабое влияние на ведение бизнеса, а некоторые наоборот - очень сильное влияние на бизнес.

    Как пример - знания управления продажами бизнес-подразделения.

      • Эти знания, если ими обладает рядовой сотрудник, который напрямую не занимается управлением продажами, слабо влияют на бизнес.
      • А в руках руководителя они превращаются в мощный инструмент достижения результатов.  
    Есл· знания, передаваемые в учебном курсе, имеют очень низкое влияние на бизнес, то выставляется балл один. Если знания, передаваемые в учебном курсе, имеют самое высокое влияние на бизнес, то балл выставляется 10.

    Востребованность учебного курса

    Высокая оценка востребованности учебного курса характеризуется высокой заинтересованностью со стороны заказчика, как правило, - это руководители бизнес-подразделений в разработке учебного курса. В случае, когда руководитель подразделения заинтересован в разработке учебного курса, им выделяется наиболее высококвалифицированный специалист, с  предоставлением ему дополнительных полномочий, сам заказчик лично контролирует ход разработки курса и т.д.

    При максимально высокой востребованности учебного курса балл будет 10, при противоположной ситуации балл будет – один.

    Количество участников обучения (целевая аудитория)

    В банке «Возрождение» работникам назначаются курсы исключительно по заявкам руководителей бизнес-подразделений. Заявки на обучение подаются в электронном виде через веб-портал «Обучения и развития». Поле этого в автоматическом режиме  на основании поступивших заявок назначаются учебные курсы.

    Так как этот процесс полностью автоматизирован, то очень легко контролировать весь процесс обучения, в том числе: количество участников обучения, количество тех, кто уже проходит обучение, количество тех, кто завершил учебный курс.

    Чем больше участников обучения, тем выше балл. И наоборот.

     О результатах проведенной оценки эффективности СДЭО.

    С целью представления реальных результатов оценки эффективности СДЭО для данной статьи были выбрано семь различных учебных курсов. Они были разработаны в разное время, различными сотрудниками. Каждому курсу были проставлены баллы в разделе протори и в разделе результаты. В итоге получилась заполненная таблица «Экспертная модель расчета СДЭО».

       Согласно полученным данным два учебных курса, курс №1 и №5, имеют хорошую эффективность. А курсы №6 и 7 предельно низкую эффективность.

     Если посмотреть заполненную таблицу, то сразу становится видным, что:

      1. Курс №6 сложно реализован, в нем заложена подача сложных заданий, а в результатах - влияние на бизнес «низкое».
      2. Курс №7 сложно реализован и очень долго разрабатывался, а количество участников обучение небольшое.

    А понимая, где имеются недоработки, можно их  в дальнейшем исправлять.

    Применяя такой подход в оценке эффективности СДЭО можно:

      1. Во время планирования разработки учебных оценивать их возможную эффективность.
      2. Во время разработки курсов оценивать получающуюся эффективность.
      3. По завершении обучения оценивать реальную эффективность. 

    Источник: Справочник по управлению персоналом
    Автор: Стулов Андрей