Анализ качества модели обучения навыкам алгоритмической природы

Лекция 9

Эффективность экспертных обучающих систем (ЭОС) во многом определяется качеством реализованных в них моделей обучения, предназначенных для управления процессом обучения.

Одним из основных требований предъявляемым к моделям является требование адекватности. Модель считается адекватной, если отражает свойства объекта с приемлемой точностью. Точность определяется как степень совпадения значений выходных параметров модели и объекта. Для модели обучения навыкам алгоритмической природы выходным параметром объекта является управляющее воздействие, формируемое экспертом-педагогом на очередной шаг обучения в соответствии с уровнем обученности обучаемого. В связи с тем, что отсутствует "идеальная" теория обучения, а соответственно и количественные характеристики (оценки) "идеального" процесса обучения, то есть нельзя, например, в общем случае дать количественную оценку требуемой степени совпадения значений выходных параметров модели и объекта (эксперта-педагога), анализ модели на адекватность носит качественный характер.

Как в объекте, так и соответственно в модели можно выделить два следующих основных компонента:

§ оценка знаний обучаемого;

§ собственно формирование управляющего воздействия на основе проведенной оценки знаний.

Оценка знаний обучаемого, осуществляемая моделью обучения, в общем случае может быть более достоверной, чем оценка выставляемая экспертом-педагогом, так как в первом случае отсутствует фактор субъективности. В связи с этим необходимо рассматривать объективный и субъективный аспекты оценки знаний обучаемого и управления процессом обучения.

Объективно адекватность (точность) оценки знаний обучаемого, осуществляемой предлагаемой моделью обучения достигается следующим образом.

Эффективность пооперационного контроля знаний значительно выше контроля по конечному ответу. Предлагаемый метод идентификации знаний инвариантен к числу выделенных операций (значению параметра J), то есть существует объективная возможность увеличения точности оценки знаний до приемлемой за счет увеличения детализации разложения учебной деятельности на составляющие операции.

Широкое использование бейесовского подхода в целом ряде задач управления делает обоснованным его использование в рассматриваемой модели обучения. Характерным достоинством применения бейесовского подхода при идентификации знаний обучаемого является обеспечение эффективного механизма учета предыстории обучения, что обуславливает приемлемую точность оценки знаний.

Рассматриваемая модель инвариантна к числу операций () используемых при решении учебной задачи (к значениям L_j). В то же время точность оценки знаний, при использовании бейесовского подхода, возрастает при росте числа испытаний (значений L_j), то есть и в этом случае существует объективная возможность увеличения ее точности до приемлемой.

Использование в модели коэффициента прогнозирования обучен­ности V, динамически пересчитываемого по результатам каждого шага обучения, позволят учитывать индивидуальный обучающий эффект диагностических сообщений (сообщений о допущенных ошибках и комментариев к ним), что также увеличивает точность оценки знаний обучаемого на очередной шаг обучения.

В существующих моделях обучения практически не рассматриваю­тся "нештатные" ситуации, вызванные внешними по отношению к обучаемому и процессу обучения воздействиями ("шумами"). Это объясняется сложностью моделирования указанных воздействий, что существенно снижает адекватность таких моделей обучения реальному процессу обучения. В рассматриваемой модели обучения вводится понятие "порог стресса", задаваемый значением параметра и предназначен­ный для предотвращения ложного аварийного окончания обучения.

Кроме того, для этой цели, требуется знание значений векторов P(k) за последние () шагов обучения. Таким образом, реализован еще один механизм учета предыстории обучения, направленный на обеспечение адекватности модели обучения как системы управления процессом обучения.

Вместе с указанным механизмом, учет предыстории обучения при реализации принципа стабилизации меры трудности учебных заданий также объективно направлен на обеспечение адекватности разработанной модели обучения.

Наряду с рассмотренным объективным аспектом точности оценки знаний обучаемого и управления обучением, субъективный аспект точности (точность модели с позиции эксперта - педагога) реализован следующим образом.

Сближение оценки знаний, осуществляемой рассматриваемой моделью, с оценкой выставляемой экспертом - педагогом, может обеспечиваться выбором соответствующей размерности шкалы оценок. Размерность шкалы оценок определяется числом введенных состояний обученности (значением параметра N).

В связи с тем, что целью (выходным параметром) модели обучения и объекта (эксперта - педагога) является не оценка знаний, а управление обучением на ее основе, центральной проблемой является не минимизация собственно рассогласования в оценках, а минимизация различий в управлении процессом обучения, вызванных указанным рассогласованием. С позиций эксперта - педагога рассогласование в оценках может выражаться в том, что оценка знаний обучаемого, осуществляемая моделью либо завышена, либо занижена. В случае, когда по мнению эксперта - педагога оценка завышена, необходимо соответственно уменьшить значение оптимальной меры трудности (значение параметра ) с тем, чтобы трудность формируемого моделью учебного задания на очередной шаг обучения была бы меньше и соответствовала знаниям обучаемого. В противном случае, когда оценка по мнению эксперта - педагога занижена, необходимо соответственно увеличить значение оптимальной меры трудности.

Предложенный метод минимизации последствий рассогласования в оценках знаний между моделью обучения и экспертом - педагогом является только одним из способов обеспечения адекватности модели эксперту - педагогу. Наряду с ним требуемая (приемлемая) адекватность в управлении процессом обучения может достигаться путем гибкого варьирования значений всех других параметров рассматриваемой модели. Так, например, изменяя величину минимально требуемой скорости усвоения (изменяя значение параметров Dk и DP₁) можно изменить условия аварийного окончания обучения. Или, изменяя число гипотез о состояниях обученности (значение параметра N) можно изменить требования к конечному уровню обученности, то есть условия успешного завершения окончания обучения и т. д. В то же время необходимо отметить, что адекватность рассматриваемой модели, как системы управления процессом обучения, может быть достигнута лишь в том случае, когда эксперт - педагог принципиально согласен с теми основными дидактическими принципами, которые были сформулированы на основе проведенного анализа наиболее значимых отечественных теорий обучения и формализованы в модели обучения.

Следующим основным требованием, предъявляемым моделям, является надежность (сходимость). Модель считается надежной, если небольшие погрешности в определении исходных данных модели не приво­дят к большому разбросу результатов счета, то есть обеспечивается сходимость к решению. Исходными данными для рассматриваемой модели, а значит и потенциальным источником погрешностей, являются: знания об обучаемом, знания об управлении процессом обучения и знания о предметной области обучения.

При любых допустимых значениях исходных данных рассматриваемая модель обеспечивает решение, заключающееся в принятии решения о завершении обучения (аварийном или успешном), либо в определении свойств учебного задания, адекватного знаниям обучаемого, на очередной шаг обучения.

При моделировании процесса обучения любая количественная оценка понятия “погрешность” носит субъективный характер, когда одни и те же отклонения в определении исходных данных могут интерпретироваться одним экспертом-педагогом как несущественные, другим как принципиальные различия. Следовательно требование сходимости модели должно интегрироваться с требованием ее открытости, то есть модель должна обладать следующим свойством. Если отклонения в исходных данных интерпретируются экспертом-педагогом как “погреш­ности”, то они игнорируются моделью, в противном случае модель дол­жна адекватно (адаптивно) на них реагировать. Требуемое свойство дол­жно обеспечиваться путем параметрической настройки модели.

В случае, когда источником погрешности являются знания об обу­чаемом, необходимый уровень сходимости может быть достигнут, например, следующим образом.

Известно, что в условиях бейесовского подхода чувствительность к начальному априорному распределению гипотез уменьшается с увеличе­нием объема выборки. Таким образом, увеличение значений , обеспечиваемое как соответствующим изменением векторов , так и увеличением значения параметра , приведет к тому, что погреш­ности в априорной оценке знаний обучаемого не будут оказывать такого как ранее влияния на апостериорную оценку его знаний (оценку знаний по результатам обучения). Для дальнейшего увеличения сходимости в оценке знаний обучаемого, а следовательно и в решении, принимаемом моделью, можно уменьшить вводимое число состояний обученности (значений параметра N). Указанное уменьшение размерности шкалы оценок приводит к тому, что увеличивается диапазон отклонений в оценке знаний обучаемого от введенных состояний обученности игнорируемый моделью обучения и соответственно снижается требование к конечному уровню обученности.

Знания эксперта-педагога об управлении процессом обучения пред­ставлены в модели совокупностью значений введенных параметров. Характер влияния погрешностей в указанных значениях параметров на схо­димость различный и иллюстрируется следующими примерами.

Если значение параметра N в данной реализации модели отличается от его значения в другой и при этом сами значения достаточно велики, в рамках своей области допустимых значений, то влияние указанных различий на уровень сходимости невелико. В случае, когда сами зна­чения параметра N малы, их различие может понизить уровень сходимости. Аналогичные утверждения справедливы и для параметра Dk. Ухудшение сходимости, вызванное отклонением в значениях параметра в различных реализациях модели, минимизируется увеличением значения параметров DT. Рост значения параметров DT и Dk увеличивает уровень сходимости.

Знания эксперта-педагога о ПО обучения представлены в модели с помощью алгоритмического предписания Q и соответствующего ему множества векторов . Проведенное выше исследование инвариантных к содержанию свойств ПО обучения позволяет следующим образом охарактеризовать влияние погрешностей в ука­занных знаниях на сходимость модели обучения.

Различие в выделенном экспертом-педагогом пооперационном составе алгоритмического предписания Q (значение параметра J) существенно влияет на сходимость модели обучения.

Если логическая структура алгоритмического предписания Q такова, что имеет место вырожденный случай, то сходимость модели зависит только от значения минимально требуемой скорости усвоения, задаваемой значениями параметров DP₁ и Dk. Чем ниже значение минимально требуемой скорости усвоения, тем выше уровень сходимости.

Если имеет место частично вырожденный случай, то на сходимость модели влияют, в дополнение к указанному, различие в сортировке векторов по сложности, а также различие в значениях параметра .

В общем случае, когда подмножество векторов (,

, ) определяет область возможной адаптации по трудности учебных задач, можно сформулировать следующие закономерности. Уровень сходимости не зависит от сортировки векторов , принадлежащих выделенному подмножеству, по их сложности в каждом r-м классе (). Чем меньше векторов содержится в выделенном подмножестве, тем выше уровень сходимости. Чем больше изоморфных реализаций тем выше уровень сходимости.

Таким образом, приведенные примеры наглядно иллюстрируют, что эксперт-педагог имеет возможность самостоятельно определять и задавать необходимые уровни сходимости и адаптивности в управлении процессом обучения.

Наряду с требованиями адекватности и надежности модель должна отвечать требованиям экономичности и универсальности.

В условиях компьютерной реализации разработанной модели обу­чения ее экономичность оценивается временем счета, требуемым для по­лучения решения и размером необходимой памяти. Размеры указанных ресурсов могут варьироваться и зависят от следующих факторов:

§ значений, присвоенных экспертом-педагогом ряду параметров модели обучения ( J, N, , , );

§ логической структуры алгоритмического предписания Q, описывающего пути решения учебных задач в рассматриваемой ПО обучения;

§ количества векторов , описывающих свойства учебных задач

§ рассматриваемой ПО обучения;

§ количества обучаемых.

В качестве характерной особенности, свидетельствующей об экономичности разработанной модели обучения, можно отметить рекурсивный характер формул, используемых при идентификации знаний обучаемого и позволяющих эффективно использовать память при учете предыстории обучения. Рекурсивное использование памяти для хранения векторов P(k) за последние шагов обучения также свидетельствует об экономичности модели.

Кроме того, необходимо отметить, что те или иные компоненты информационной базы модели могут в ряде случаев совместно использоваться различными системами обучения (речь идет о создании семейства ЭОС, имеющего сетевую структуру). Указанное свойство не только минимизирует трудозатраты эксперта-педагога по разработке ЭОС, принадлежащей семейству, но и позволяет эффективно использовать память компьютера.

Универсальность модели обеспечивается тем, что дидактические принципы обучения, реализованные в ней, инвариантны к содержанию ПО обучения. В качестве ограничения на область применения выступают требования разработки алгоритмического предписания Q, описывающего пути решения учебных задач в рассматриваемом ПО обучения, и возможность организации соответствующего пооперационного контроля деятельности обучаемого при выполнении указанных задач, то есть предметно-ориентированная подсистема диагностики ЭОС на каждом шаге обучения должна обеспечивать формирование вектора

(2.44)

где: (k) - число правильно выполненных операций на k-м шаге обучения.

Проведенный анализ качества разработанной модели обучения показывает, что она в целом удовлетворяет основным требованиям, предъявляемым к математическим моделям, а именно: адекватности (точности), надежности (сходимости), экономичности и универсальности.

Практическая ценность указанной модели заключается в обеспечении возможности разработки на ее основе инструментальных средств проектирования экспертных обучающих систем некоторому виду формируемой деятельности (навыкам алгоритмической природы).

Вопросы для самоконтроля

1. Назовите основные компоненты, которые можно выделить и в модели, и в объекте.

2. При выполнений каких требований модель считается надежной?

3. На что влияет различие в пооперационном составе алгоритмического предписания Q (значение параметра J)?

4. Из каких факторов зависят размеры ресурсов?

5. Чем обеспечивается универсальность модели?

6. Что показывает проведенный анализ качества разработанной модели обучения?

7. В чем заключается практическая ценность модели?

8. Каким свойством должно обладать требование сходимости модели?

9. Что необходимо сделать, когда по мнению эксперта - педагога оценка завышена?

10. В чем представлены знания эксперта-педагога об управлении процессом обучения?

Выводы

1. В результате анализа наиболее значимых отечественных теорий обучения (ассоциативно-рефлекторной теории обучения, теории поэтапного формирования умственных действий, теории уровней усвоения) выделен следующий ряд принципов организации обучения:

§ процесс обучения рассматривается как управляемый и контролируемый процесс решения учебных задач;

§ в процессе обучения должен соблюдаться принцип перехода от усвоения простого учебного материала к сложному;

§ переход к усвоению нового учебного материала должен осуществляться в случае успешного усвоения предыдущего материала;

§ в процессе обучения должна осуществляться стабилизация субъективной степени трудности учебных заданий для каждого обучаемого.

2. Рассмотренные теории обучения изложены в содержательных терминах психолого-педагогических понятий и не могут непосредственно использоваться при автоматизации учебного процесса. Задача состоит в том, чтобы осуществить формализацию выделенных аспектов указанных теорий обучения с целью их дальнейшей автоматизации. В основе требуемой формализации лежит алгоритмический подход к организации обучения (алгоритмизация в обучении).

3. Предложена общая схема разработки алгоритмических предписаний, являющихся одним из основных компонентов алгоритмизации в обучении. Алгоритмические предписания описывают пути решения учебных задач в рассматриваемых предметных областях обучения, то есть носят двойственный характер: с одной стороны они служат средством усвоения некоторой суммы знаний, с другой стороны одновременно входят и в содержание цели обучения.

4. Вторым основным компонентом алгоритмизации в обучении является алгоритм самого обучения. Таким образом, завершением этапа формализации рассмотренных проблем организации процесса обучения является разработка модели обучения, обеспечивающей управление процессом обучения навыкам алгоритмической природы (описываемым с помощью алгоритмических предписаний).

5. Для построения указанной модели введены следующие основные понятия: модель обучаемого, сложность задания, трудность задания, максимальная емкость задания, цель обучения, предаварийное число шагов обучения, "порог стресса", состояние обученности, коэффициент прогнозирования обученности.

6. В модели обучения предусмотрена возможность аварийного окончания обучения в случае, когда процесс обучения не является эффективным, что оптимизирует затраты на его проведение.

7. Использование бейесовского подхода при идентификации знаний обучаемого, запоминание результатов обучения за некоторое число шагов при контроле на аварийное окончание и осуществление прогнозирования состояния обученности обеспечивают учет предыстории обучения, что является основой для организации адаптивного обучения.

8. В результате проведенного исследования инвариантных к содержанию свойств предметных областей обучения выявлены три базовых варианта логической структуры алгоритмического предписания, определяющих потенциальную возможность организации адаптивного по сложности и трудности процесса обучения.

9. В случае, когда множество реализаций алгоритмического предписания состоит только из одной реализации, адаптация к обучаемому по сложности и трудности невозможна. Указанный случай характеризуется как полностью вырожденный.

10. В случае, когда множество реализаций алгоритмического предписания состоит более чем из одной реализации, каждая из которых описывается уникальным подмножеством типов используемых операций, возможна адаптация по сложности и частично по трудности учебных заданий. Указанный случай характеризуется как частично вырожденный (минимально адаптивный).

11. В случае, когда множество реализаций алгоритмического предписания содержит один или несколько классов реализации, каждый из которых характеризуется своим подмножеством типов используемых операций и существуют такие классы, которые, в свою очередь, содержат более одной реализации, каждая из которых описывается уникальным вектором используемых операций, потенциально возможна адаптация к обучаемому как по сложности, так и по трудности учебных заданий. Указанный случай характеризуется как потенциально адаптивный.

12. Для реализации дидактического принципа обучения "от простого к сложному" разработана двухшаговая процедура упорядочивания учебных задач по сложности. Предложен ряд подходов к оценке сложности, использование которых экспертом-педагогом повысит обоснованность указанного упорядочивания.

13. Введено понятие изоморфизма реализаций алгоритмического

предписания. Установлена следующая зависимость между изоморфизмом реализаций и возможностью организации адаптивного по трудности процесса обучения. Чем меньше изоморфных реализаций, тем выше потенциальная возможность обеспечения адаптации по трудности к конкретному обучаемому.

14. При вынесении решения о необходимости продолжения обуче­ния разработанная модель определяет задание, адекватное знаниям обу­чаемого, на очередной шаг обучения, то есть обеспечивает индивидуальную минимизацию времени обучения.

15. Проведенный анализ разработанной модели обучения показал, что она удовлетворяет основным требованиям, предъявляемым к математическим моделям, а именно: адекватности (точности), надежности (сходимости), экономичности и универсальности.