Что хуже: отсутствие науки или ее видимость – квазинаука? Должна ли экспертиза опираться на науку, и кто такой эксперт: ученый или шоумен? Должен ли эксперт доказывать свои выводы и свойственна ли «иллюзия экспертности» только ИИ? Ответы на эти важнейшие вопросы искали участники экспертного семинара Центра экономики непрерывного образования (ЦЭНО) Президентской академии «Проблемы достоверности и содержательности результатов при анализе образования».
Центральной темой исследования ведущего научного сотрудника ЦЭНО Академии Валерия Григорьева «Проблемы достоверности и содержательности результатов при анализе образования» стала роль науки в экспертизе и анализе образования. Отдельное внимание ученый уделил нюансам и подводным камням применения различных методов кластеризации и факторного анализа при исследовании образовательных систем.
В числе основных проблем методов кластеризации при исследовании образовательных систем Валерий Григорьев прежде всего выделил тривиальность, выражающуюся фразами типа «сильнее всего, на …% вырос, причем в … регионе». Другая сложность связана с достоверностью в тех случаях, когда доказанные причинно-следственные связи подменяются декларациями, вроде: «Посмотрите на коэффициенты корреляции – это же очевидная зависимость!» Сюда же относится и проблема факторного анализа с подменой научного анализа перечислением «влияющих словосочетаний» и набором мантр типа «коэффициент корреляции/детерминации».
«Одной из фундаментальных проблем стала кластеризация. Это – гильотина, которая всегда рубит то, что под ней лежит. При кластеризации возникает большое число развилок, на которых решение о выборе пути принимает сам исследователь. В пятерку основных ключевых моментов входят: набор показателей; метрика различий между отдельными объектами; число кластеров; метод кластеризации; различия между кластерами», – комментирует Валерий Григорьев.
Произвольность ряда выводов, полученных таким образом, автор проиллюстрировал на примере оценки вклада негосударственного сектора в систему высшего образования в зависимости от выбранных методик расчетов.
В ходе дискуссии директор ЦЭНО Президентской академии Татьяна Клячко затронула также вопросы финансирования науки и научной отчетности: «Отрицательный результат в науке – тоже результат. Однако в этом случае заказчик может счесть, что его деньги потрачены зря. Что же касается сегодняшнего требования 80% оригинальности в тексте научного исследования, то оно не столько подтверждает значимость этого исследования, сколько работает как система “Антиплагиат”».
Дополнительные сложности с точки зрения достоверности научных результатов в нашей стране создает расширяющаяся практика использования индуктивного метода научного исследования и, в частности, кейсов. Характерный для англо-американской модели, в отличие от традиционной для России и ряда стран континентальной Европы дедуктивной матрицы, этот подход требует особых навыков и компетенций, отметила эксперт.
«Бич современности – рейтингование в образовании. Это – крайне опасный инструмент, измерения которого зависят от того, в чьих руках он находится и как эти результаты трактуются. В итоге он может стать демотиватором для большой доли как образовательных организаций, так и учащихся», – дополнила старший научный сотрудник ЦЭНО Президентской академии Инна Каракчиева.
