Адаптивное оценивание в аттестационных процедурах студентов и выпускников

УДК 378-044.3:005.6

DOI 10.20339/AM.08-23.039

А.А. Малыгин,

канд. пед. наук, доцент, ректор

Ивановский государственный университет;

руководитель Ивановского научного центра

Российской академии образования

РИНЦ AuthorID: 204438, Scopus Author ID: 57191283114

ORCID: 0000-0002-7812-4439

e-mail: malygin@ivanovo.ac.ru

Компетентностный подход, выступающий сегодня основой для проектирования и реализации образовательных программ подготовки профессиональных кадров, предусматривает в качестве образовательных результатов сформированный у студентов и выпускников определенный набор компетенций (универсальных, общепрофессиональных, профессиональных). Оценить компетенции как латентные характеристики возможно только в деятельности. Эта латентная характеристика, являющаяся причиной того, насколько способны студенты и выпускники выполнять профессиональные задачи, выступает целью измерения. Но на практике получают наблюдаемые оценки способностей или навыков выполнения квазипрофессиональных задач, по которым делаются выводы об уровне сформированности латентных компетенций.

В свою очередь реализация компетентностного подхода предусматривает изменение подходов к оцениванию результатов обучения, поскольку традиционными оценочными средствами, разработанными в знаниевой парадигме и, как правило, на качественном уровне измерений, невозможно говорить о получении объективной (надежной), сопоставимой (валидной) и достоверной информации о достигнутых результатах обучения и об уровне сформированности компетенций. Это порождает необходимость обращения к смешанной (бипарадигмальной) методологии образовательных измерений, с одной стороны, и специального математического аппарата современной теории тестирования (Item Response Theory — IRT), предназначенного для оценки латентных параметров испытуемых и параметров заданий оценочного инструментария, с другой стороны.

Предлагаемые подходы к организации и проведению аттестационных процедур студентов и выпускников обеспечивают получение объективных, сопоставимых и обоснованных результатов. В отличие от традиционных форматов проведения государственного экзамена на итоговой аттестации выпускников, адаптивное оценивание привлекательно с позиции получения более точных оценок параметров испытуемых (уровень подготовленности, или уровень сформированности компетенций) за счет меньшего количества заданий и создания «ситуации успеха» каждому аттестуемому в процессе измерения через машинные алгоритмы и подбора таких заданий, которые ему будут посильны для выполнения. Алгоритмы IRT, строящиеся, например, на методе максимального правдоподобия, позволяют реализовать гуманистические идеи контрольно-оценочной деятельности.

Для реализации любого из описанных адаптивных подходов в промежуточной или итоговой аттестации необходимо выполнение следующих условий: наличие банка калиброванных заданий, имеющих устойчивые характеристики (трудность, дифференцирующая способность) либо алгоритмы их клонирования; наличие компьютерных программ либо программно-инструментальной среды (сервиса, платформы), в которых используется одна или несколько выбранных моделей IRT, способствующих достижению максимально возможной точности измерений при оценивании уровня подготовленности или сформированности компетенций студента; наличие спецификации к оценочному инструментарию, обеспечивающей содержательную валидность результатов измерений.

С дидактической точки зрения последнее условие особенно важно, поскольку для получения объективных и сопоставимых результатов во время аттестации необходимо учитывать содержательные элементы образовательной программы, проверка которых планируется в спецификации оценочного инструментария.

Ключевые слова: адаптивное оценивание, аттестация, валидность, компетентность, компетенции, надежность, результаты обучения, стандарты.

Литература

1. Ананьев Б. Г. Психология педагогической оценки. Избранные психологические труды. М.: Педагогика, 1990. 288 с.
2. Анастази А., Урбина С. Психологическое тестирование. 7-е изд. СПб.: Питер, 2009. 668 с.
3. Болотов В.А. Сериков В.В. Компетентностная модель: от идеи к образовательной программе // Педагогика. 2003. № 10. С. 8–14.
4. Дрондин А.Л. Независимая оценка качества высшего образования как научная проблема и практическая задача // Высшее образование сегодня. 2019. № 3. С. 17–23.
5. Ефремова Н.Ф. Аргументации и доказательства надежности оценок компетенций студентов // Известия Дагестанского государственного педагогического университета. Психолого-педагогические науки. 2018. Т. 12. № 2. С. 43–50. DOI: 10.31161/1995-0659-2018-12-2-43-50
6. Звонников В.И. Как поднять эффективность аккредитации профессиональных образовательных программ и снизить ее нагрузку на вузы? // Высшее образование сегодня. 2019. № 3. С. 11–16.
7. Звонников В.И., Челышкова М.Б. Современные подходы к оцениванию качества результатов высшего образования // Педагогические измерения. 2016. № 1. С. 32–38.
8. Звонников В.И., Малыгин А.А., Семенова Т.В., Сизова Ж.М., Челышкова М.Б. Справедливость оценок в аккредитации специалистов как проблема // Ценности и смыслы. 2023. № 2 (84). С. 53–71. DOI: 10.24412/2071-6427-2023-2-53-71
9. Зимняя И.А. Компетенция и компетентность в контексте компетентностного подхода в образовании // Ученые записки национального общества прикладной лингвистики. 2013. № 4 (4). С. 16–31.
10. Карданова Е.Ю. Моделирование и параметризация тестов: основы теории и приложения. М.: Федеральный центр тестирования, 2008. 292 с.
11. Блинов В.И., Батрова О.Ф., Есенина Е.Ю., Факторович А.А. Концепция оценивания квалификаций // Образование и наука. 2012. № 10. С. 46–66.
12. Куравский Л.С., Артеменков С.Л., Юрьев Г.А., Григоренко Е.Л. Новый подход к компьютеризированному адаптивному тестированию // Экспериментальная психология. 2017. Т. 10. № 3. С. 33–45. DOI: 10.17759/exppsy.2017100303
13. Малыгин А.А. Адаптивное тестирование учебных достижений студентов в дистанционном обучении: автореф. дис. ... канд. пед. наук. М., 2011.
14. Малыгин А.А., Челышкова М.Б. Обеспечение качества оценок студентов в итоговой аттестации // Отечественная и зарубежная педагогика. 2023. Т. 1. № 1 (89). С. 7–23. DOI: 10.24412/2224–0772–2023–89–7–23
15. Об образовании в Российской Федерации: Федер. закон № 273-ФЗ от 29 декабря 2012 года с изменениями 2022 года. (Включает все изменения до 1 января 2023 г.). URL: http://consultant.ru/ (дата обращения: 12.05.2023).
16. Сизова Ж.М., Челышкова М.Б. Совершенствование качества оценочного инструментария для аккредитации специалистов здравоохранения // Медицинское образование и вузовская наука. 2018. № 1 (11). С. 19–23.
17. Спенсер Л., Спенсер C. Компетенции на работе. Модели максимальной эффективности работы / пер. с англ. М.: HIPPO, 2005. 384 с.
18. Хлопотов М.В. Применение байесовской сети при построении моделей обучающихся для оценки уровня сформированности компетенций // Интернет-журнал «Науковедение». 2014. № 5 (24).
19. Челышкова М.Б. Теоретико-методологические и технологические основы адаптивного тестирования в образовании: автореф. дис. ... д-ра пед. наук. М., 2001.
20. Шмелев А.Г. Практическая тестология: Тестирование в образовании, прикладной психологии и управлении персоналом. М.: Маска, 2013. 668 с.
21. Advances in Educational and Psychological Testing: Theory and Applications. R.K. Hambleton, J. Zaal (eds.). 4 ed. Boston : Kluwer, 2000. 458 p.
22. Automatic Item Generation: Theory and Practice. M.J. Gierl, T.M. Haladyna (eds.). N. Y.: Teylor & Francis, 2013. 246 p.
23. Bartram D., Hambleton R.K. Computer-based Testing and the Internet: Issues and Advances. L.: Wiley, 2006. 263 p.
24. Bock R.D., Gibbons R.D. Item Response Theory. University of Chicago. Hoboken: Wiley, 2021. 384 p.
25. Hambleton R.K., Swaminathan H., Rogers H.J. Fundamentals of Item Response Theory. N.Y.: Sage Publications, 1991. 174 p.
26. Linden W.J. van der. Handbook of Item Response Theory: Models. N.Y.: CRC Press, 2016. 624 p.
27. Wainer H. Computerized Adaptive Testing : A Primer. 2nd ed. Mahwah (NJ): Lawrence Erlbaum Associates, 2000. 278 p.