Доказательная педагогика: критерии экспериментальных исследований

Полный текст

Введение Сегодня в педагогических исследованиях отмечается «проблема дефицита научной культуры, проявляющаяся в совершенно неоправданных, наукообразных формализмах: в искусственном конструировании противоречий, в произвольном описании объекта и предмета исследования, этапов исследования, в представлении спекулятивной, не всегда эмпирически обоснованной гипотезы и пр.» (Шадриков и др., 2016, с. 53). Также звучат упоминания «кризиса воспроизводимости», причинами которого называют «публикационные смещения», «эффект прайминга», «увеличение информационного шума», бюрократизацию научных исследований и продуктов научной деятельности (Донской и др., 2022, с. 318). Проблема кроется большей частью в диссертационных работах по педагогике, поскольку в них часто отсутствует надежная эмпирическая база, а гипотезы и выводы довольно тривиальны (Весна, Сериков, 2023, с. 66). В то же время количество защищенных в период с 2011 по 2020 г. кандидатских и докторских диссертаций по педагогическим наукам составляет от общего числа защит 4,8 и 6,8 % соответственно (Щеголева и др., 2022, с. 37), это большой показатель. Базис для разработки критериев качества педагогических экспериментальных исследований можно найти в сфере доказательной медицины и клинических исследований, а также в экспериментальной психологии, где эта проблематика давно обсуждается и на данный момент регулируется. Однако следует отметить, что, по замечанию профессора РУДН А.В. Нестерова, «то, что называется „доказательная аналитика, медицина, политика, образование“ и т. п., представляет собой неудачный (метафоричный) перевод с английского, поэтому такую деятельность необходимо называть доказательственной деятельностью аналитика, медика, политика и т. д.» (Нестеров, 2020, с. 682). В статье рассмотрены принципы доказательной медицины, понятие доказательной педагогики и критерии качества педагогических экспериментальных исследований, вытекающие из компаративистского анализа этих двух сфер. Принципы доказательной медицины как база для разработки принципов доказательной педагогики Доказательная медицина первоначально определялась как «добросовестное, точное и разумное использование лучших современных доказательств при принятии решений об уходе за отдельными пациентами. Практика медицины, основанной на доказательствах, означает объединение индивидуального клинического опыта с лучшими доступными практиками данных клинических систематических исследований» (Sackett et al., 1996). Иными словами, это «систематический подход к решению клинических проблем, который позволяет интегрировать наилучшие доступные научные данные с клиническим опытом и ценностями пациентов» (Sackett et al., 1996). Критериями методологической строгости в доказательной медицине для постановки диагнозов являются ответы на вопросы: ««Был ли диагностический тест оценен в выборке пациентов, которая включала соответствующий спектр легких и тяжелых, леченых и нелеченых заболеваний, а также лиц с различными, но часто неясными расстройствами? Было ли независимое, слепое сравнение с «золотым стандартом» диагностики?»; для назначения лечения: «Было ли рандомизированным распределение пациентов по группам? При завершении исследования были ли учтены все пациенты, участвовавшие в нем?» (Guyatt et al., 1992). Клиническое исследование в медицине - это любое исследование, проводящееся с участием человека. Сейчас эта сфера более-менее расширяется, не только касательно медицины, но и любых наук, реализующих исследования с участием человека, будь то психология, педагогика или социология. Логично брать за методологическую основу именно медицину, потому что в ней в наибольшей степени разработан и составлен протокол подобных исследований. Любое клиническое исследование включает три аспекта, которые хорошо ложатся и в любое другое исследование, касающегося человека. Это: 1. Этика. 2. Информированное согласие. 3. Методология. «Стандарт GCP (Good Clinical Practice, надлежащая клиническая практика) - это международный стандарт этических норм и качества научных исследований, описывающий правила разработки проведения документального оформления представления результатов исследований, отчетности, и так далее» (Ларина, 2021). Они опираются на 6 принципов, которые задекларированы в 1964 г. в Хельсинкской декларации (представляет собой набор этических принципов для медицинского сообщества, касающихся исследовательской этики и экспериментов на людях)[28]. Это: 1) принцип защиты прав субъекта исследования; 2) информированное согласие, которое закрепляется необходимым протоколом; 3) этический комитет и его работа; 4) взаимоотношения со спонсором; 5) стандартные операционные процедуры; 6) возможность побочных явлений. До этого этические вопросы в медицине были подняты в рамках Нюрнбергского кодекса[29] в 1947 г. - первый международный документ, описывающий принципы проведения медицинских опытов на людях, вводящий этические нормы для ученых, занимающимися медицинскими экспериментами. Отдельно следует отметить Бельмонтский отчет[30] 1978 г., включающий этические и руководящие принципы по защите человека в исследованиях. 1. Информированное согласие. Его еще называют добровольным информированным согласием (ДИС). Если брать за основу Хельсинкскую декларацию и Нюрнбергский кодекс, то протокольно акцент делается на информированном согласии. Все, кто принимает участие в исследовании, должны быть проинформированы о том, зачем и как проводится исследование, а также за счет чего оно финансируется, что как раз не всегда озвучивается. Также остаются за рамками информирования возможные неблагоприятные последствия, которые в наибольшей степени касаются всё-таки медицины и фармакологии. Поэтому эта часть добровольного информированного согласия должна быть сформулирована экспертами простым языком, понятным человеку без медицинского образования, во избежание манипуляции сознанием участника исследования. Тем не менее люди должны иметь право отказаться от участия. Последний аспект в психологических, педагогических, социологических исследованиях учитывается. А.Г. Чучалин обращает внимание на эффект ноцебо в контексте информированного согласия, когда информация, сообщаемая врачом или медицинским персоналом, ухудшает состояние пациента, в первую очередь психологическое (Чучалин, 2021, с. 643). Эффекты ноцебо, впрочем, как и плацебо, могут влиять таким образом и на участников исследований в педагогике. Хельсинкская декларация заложила основу того, как должны проводиться медицинские исследования, какова их структура. Если бы мы брали за основу медицинские критерии, медицинскую доказательную базу, то это в первую очередь этические принципы: зашита прав и здоровье участника, уважение личности, уважение прав на защиту собственной безопасности. Именно этический кодекс лежит в основании проведения исследований в области доказательной медицины. В педагогике информированные согласия могут носить суррогатный характер, спекулируя на согласии родителей субъекта, например, школьника, и данный нюанс следует учитывать. 2. Этика. Любое клиническое исследование оценивается и контролируется этическим комитетом, в России такой практики до последнего времени не было ни в педагогике, ни в психологии, ни в социологии. Данный аспект больше относится к практике экспериментальной фармакологии, исследованиям в поле. Можно предположить, что не в каждом педагогическом исследовании будет необходим такой контроль, однако данный аспект игнорировать нельзя. Следует отметить, что подобные комитеты стали появляться в некоторых вузах, например, в Санкт-Петербургском государственном университете, Томском государственном университете (Двойнин, 2019, с. 102), РУДН, однако эта практика в России все еще больше редкость, чем обычное явление, и такие комитеты, как правило, относятся не только к педагогическим исследованиям, но к экспериментальным исследованиям с уча-стием человека и животных в целом. 3. Методология. Существует «три научных критерия, необходимых для обоснования клинического исследования (в том числе рандомизированного): 1) исследователи должны разработать свое исследование на основе четкой гипотезы; 2) чтобы исследование было обоснованным, должна существовать некоторая неопределенность в отношении проверяемой гипотезы; 3) неопределенность должна быть установлена путем систематического обзора»[31]. Дизайн исследования в рамках доказательной медицины подразумевает, что есть первичные и вторичные конечные точки, которые будут оцениваться в ходе исследования. Дизайн исследования может быть двойной, тройной, одинарный. Медицинские исследования делятся на слепые исследования, которые подразделяются на простые слепые исследования (пациент не знает, какой препарат он получает, но эта информация известна врачу); двойные слепые исследования (ни врач, ни пациент не имеют такой информации); двойные слепые исследования с ослеплением третьих лиц (разные исследователи оценивают лечебные и побочные эффекты, с тем чтобы по характерным побочным эффектам исследователь не мог установить, какой именно препарат получает данный испытуемый); тройные слепые исследования (не только исследователи, контактирующие с пациентами, но и лица, занимающиеся статистической обработкой и анализом результатов исследования, не должны знать, какие именно препараты или методы воздействия стоят за кодами групп испытуемых). «Рандомизация - вариант контроля проведения медицинских исследований и может быть применена и в педагогике. При рандомизации проводится исследование, в котором реализуется сравнение с одной или более групп, когда одна группа является контрольной/экспериментальной. Группы не должны отличаться по полу, возрасту, тяжести заболевания, т.е. по важным для исследования признакам»[32]. Протокол исследования в медицине - документ, в котором определяются цели, формы организации, методология проведения исследования, методы обработки результатов, меры по обеспечению безопасности физических лиц, участвующих в исследовании лекарственного препарата. Аналогом в социологии является программа социологического исследования, где закреплены методологические, методические, организационные и процедурные аспекты. Доказательный подход в педагогике Педагогические исследования - это исследования в области педагогики, сознательно организованный процесс, направленный на выявление педагогических проблем и путей их решения. По отношению к педагогическому исследованию необходима разработка требований именно к экспериментальным, которые проводятся, например, в рамках подготовки диссертационных исследований. Диссертация может носить чисто теоретический характер и использовать концептуальные методологические аспекты, основываться на теоретико-методологическом, историческом анализе. Но если в рамках написания диссертации используются эмпирические исследования, то здесь можно говорить о необходимости применения принципов доказательной педагогики по аналогии с доказательной медициной. Педагогические исследования условно можно подразделить следующим образом: 1) фундаментальные - разработка концепций и моделей развития педагогических систем; 2) прикладные - изучение отдельных сторон педагогического процесса; 3) разработки - обоснование научно-методических рекомендаций. Нельзя утверждать, что в России совсем не уделяется внимания доказательности в педагогике, однако история вопроса гораздо короче, чем за рубежом. Из последних статей следует выделить труд М.В. Стёпкиной, в которых она пишет о применении доказательного подхода в педагогике относительно одаренности, говоря, что он представляет собой исследование образовательных технологий, практик, методик с помощью научных методов, позволяющее доказывать их эффективность в образовательном процессе. По ее же словам, в США функционирует Национальный центр оценки образования и региональной поддержки (NCEE), который классифицирует педагогические исследования по принципу доказательности: «1) получены убедительные доказательства при проведении качественного рандомизированного контролируемого эксперимента; 2) получены доказательства при проведении качественного квазиэксперимента; 3) получены доказательства при проведении качественного корреляционного исследования; 4) есть обоснование, полученное в результате самостоятельных исследований и экспериментов организации или регионального ведомства. На этом же ресурсе представлены рекомендации и материалы по проведению исследований в области образования, описан инструментарий» (Стёпкина, 2020, с. 77). Разговоры о доказательной педагогике в России начались с книги Д. Хэтти «Видимое обучение» (ориг. 2008, на рус. - 2017), который оперировал понятиями «метаанализ», «синтез метаанализов», «барометр влияния», «размер эффектов». В этом смысле примечательно понятие метаанализа, который основан на объединении результатов нескольких исследований, оперирующих аналогичными переменными. Однако, по замечанию российских исследователей, данные книги устарели и с трудом могут быть перенесены на российскую действительность, так как полем метаанализа выступили зарубежные страны (Борисенко, 2018, с. 258). В НИУ ВШЭ открыта магистерская программа «Доказательное развитие образования»[33], однако она несколько шире, чем то, что мы понимаем под доказательной педагогикой. Педагогические исследования в России и за рубежом Педагогические исследования далеко не обязательно являются диссертационными, поэтому в рамках данного раздела мы рассмотрим вопрос диссертационных исследований по педагогическим наукам и тематики исследований в целом (рисунок). На 2022 год[34] в России насчитывалось 39 диссертационных советов по педагогическим наукам в Центральном федеральном округе, 9 - в Южном, 16 - в Северо-Западном, 3 - в Дальневосточном, 4 - в Сибирском, 13 - в Приволжском, 8 - в Уральском, 5 - в Северо-Кавказском, итого - 97 советов. Количество защит на один диссертационный совет, всего Number of defenses per dissertation council, total Количество защит кандидатских диссертаций на один диссертационный совет Number of candidate dissertation defenses per dissertation council Количество защит докторских диссертаций на один диссертационный совет Number of doctoral dissertation defenses per dissertation council Рисунок. Количество защит, приходящихся на один диссертационный совет, принимающий к защите диссертации на соискание ученых степеней в области педагогических наук Figure. Number of defenses per dissertation council accepting dissertations for academic degrees in the field of pedagogical sciences Интересные данные представляют Л.В. Щеголева и коллеги, которые проанализировали диссертации по педагогике с 2011 по 2020 г. и выделили самые частотные ключевые слова: «формирование», «педагогические условия», «компетентность», «воспитание», «развитие» (Щеголева и др., 2022, с. 41). Они же отметили самые популярные тематики диссертационных исследований по педагогике: «развитие профессиональных компетенций», «коммуникативные компетенции» и «творческая деятельность» (Щеголева и др., 2022, с. 43). Авторами статьи поставлена задача проанализировать наиболее популярные тематики статей по педагогике, которые были опубликованы в международных базах статей. Для этого были выделены все журналы, входящие в WoS и относящиеся к области педагогики по ключевым словами и области знания. Всего 61 единица. Для каждого указаны страна, сайт, конкретная область знания. 44 из них также входят в базу Scopus. Выделение тематик происходило на основании информации, которая представлена на официальных страницах журналов: 1) Конкретные рубрики; 2) Самые цитируемые статьи (там, где указано); 3) Статьи, входящие в текущий выпуск журнала. Выделены 127 тематик, которые разделены на следующие рубрики: · Методология педагогических исследований (18 тематик); · Непрерывное профессиональное образование (1 тематика); · ИКТ в образовании и профессиональной подготовке (21 тематика); · COVID-19 и специфика образования (8 тематик); · Академическое письмо (7 тематик); · Инновационная сеть учебных программ (7 тематик); · Исследование образования в области окружающей среды и устойчивого развития (1 тематика); · Инклюзивное образование (2 тематики); · Ценностные ориентации детей, подростков, молодежи (4 тематики); · Взаимодействие семьи и школы (3 тематики); · Оценка испытаний и измерений (15 тематик); · Исследования в области истории образования (8 тематик); · Технологии виртуальной реальности (4 тематики); · Этнографические исследования (4 тематики); · Кластерный подход (3 тематики); · Сетевое взаимодействие (2 тематики); · Дидактика - обучение и преподавание (13 тематик); · Образовательные организации как субъекты педагогического процесса (5 тематик). Если сравнивать зарубежные тематики с российскими по паспортам специальностей, то все представленные тематики в основном относятся к паспортам научных специальностей 5.8.1. «Общая педагогика, история педагогики и образования» и 5.8.2. «Теория и методика обучения и воспитания (по областям и уровням образования)». Академик РАО Е.Н. Геворкян на закрытых заседаниях научной группы РАО выделяла следующие направления педагогических исследований в России за 2011-2020 гг.: - методология педагогических исследований; - непрерывное образование; - дистанционное обучение; - цифровизация образования; - электронное обучение; - мотивация субъектов образовательных отношений; - академическое письмо; - образовательные (педагогические) технологии; - формирование научной картины мира и научного мировоззрения обучающихся; - инклюзивное образование; - инклюзивные практики; - инклюзивная образовательная среда; - дифференциация (специализация) и индивидуализация образования; - новые профессиональные позиции педагога (тьюторство, коучинг); - ценностные ориентации детей, подростков, молодежи; - трудовое воспитание подрастающего поколения; - рынок труда и образование (дефициты и профициты подготовки профессиональных кадров); - взаимодействие семьи и школы в формировании личности школьника; - субъективная позиция семьи; - оценка качества образования; - формирующее оценивание; - история развития педагогической науки и образовательной прак-тики; - технологии виртуальной реальности; - событийное волонтерство; - этнокультурная социализация; - электоральная грамотность, педагогическая антропология; - кластерный подход; - персонализированное обучение; - технология тайм-менеджмента; - сетевое взаимодействие; - эпистемодидактические исследования. Взглянув на эти списки видно, что в зарубежных исследованиях гораздо больше внимания уделяется методологии и качеству педагогических исследований, в то время как в России акцент стоит на исследованиях формирования различных компетенций исследуемых. Экспериментальные исследования в гуманитарных науках: методический аспект Вопрос диссертационных исследований в педагогике тесно связан с методом «эксперимент», который, во-первых, является общенаучным, во-вторых, имеет длительную историю эффективного применения в социогуманитарных науках. Этот метод считается одним из самых сложных в том числе из-за этического аспекта, который остро стоит в таких исследованиях. Этические вопросы звучали еще во время проведения классических социально-психологических экспериментов, таких как Стенфордский тюремный эксперимент, который показал, что нет злых людей по природе, злые поступки может совершать любой человек в определенных условиях; эксперимент подчинения Милгрэма, который показал роль авторитета в подчинении и экспериментах конформности Соломона Аша, в которых показано, как человек готов менять свое мнение ради того, чтобы остаться частью группы. Мы не будем делать историографический обзор метода «эксперимент» в социогуманитарных науках, а остановимся на тех аспектах, которые могут быть полезны при проведении экспериментальных исследований в педагогике. Логические правила использования метода «эксперимент» сформулированы еще в 1843 г. Дж. Миллем в книге «Система логики» (Милль, 1967). Он выделяет методы различия и сходства, а также их обобщенный вариант, метод сопутствующих изменений, метод остатков. Именно на этих схемах основано экспериментальное доказательство, и они используются, например, в социологических исследованиях. Наиболее вероятным к использованию в педагогических экспериментальных исследованиях представляется метод сходства, который позволяет сравнить влияние независимых переменных на зависимые в двух эквивалентных по параметрам выборках (Готтсданкер, 1982; Кэмпбелл, 1996). Для повышения надежности полученных данных экспериментаторам рекомендуется соблюдать правила внутренней и внешней валидности, первая из которых направлена на обоснование влияния на исследуемый признак именно экспериментальной переменной, а вторая подразумевает условия и границы распространения полученных данных на схожие случаи (Готтсданкер, 1982; Кэмпбелл, 1996). Критерии качества педагогических исследований с учетом принципов доказательности Попытка выделения критериев для повышения качества педагогических исследований не является новаторской, ее уже предпринимал В.В. Сериков, выделив следующие: «1. Адекватность тезиса и аргумента, корректность определений и использования понятий и терминов. 2. Полнота обоснования, в структуре которого имеют место эмпирические и теоретические основания, а также корректный критериальный показ своей принадлежности к определенной области педагогического знания, концепции, научной школе. 3. Важнейший «доказательный» аргумент - метод исследования, корректность его применения, показ происхождения защищаемого тезиса. 4. Корректность описания фактов и условий их происхождения, дифференциация единичного, случайного и общего, необходимого в изучаемом педагогическом процессе. 5. Система и последовательность приведения аргументов, их необходимость и достаточность, выделение вариативного и инвариантного в рассматриваемом образовательном явлении (событии). 6. Показ «границ» и условий адекватной применимости полученных выводов. 7. Экспертиза (с применением метода независимых экспертных оценок) соответствия цели, средства и результата в исследуемом педагогическом процессе. 8. Обоснование условий для получения ожидаемого результата на основе показа действия психолого-педагогической закономерности (механизма), применение индикаторов того, что этот механизм действительно имел место. 9. Показ способов (критериев, процедур) и обоснование надежности проверки предсказаний представленной педагогической теории относительно средств достижения педагогической цели» (Сериков, 2020, с. 17). Мы, продолжая его логику, можем предложить добавить для педагогических экспериментальных исследований этическую часть и процедурную. Этическая: · создание комитета по этике для оценки исследований в рамках педагогических исследований; · соблюдение принципа защиты прав субъекта исследования; · получение информационного согласия субъекта педагогического исследования; · если предусмотрен спонсор исследований, то поддержание связи спонсор - монитор - исследователь; · использование и подробное описание стандартных исследовательских процедур; · информирование об использовании результатов исследований, если такие вопросы возникают в процессе исследования. Процедурная: Подробное обоснование статистических методов обработки данных педагогического эксперимента. Данный процесс уже хорошо описан исследователями (Shouxin, 2024), в том числе авторами статьи «Отбор статистических методов обработки данных педагогического эксперимента» (Голанова, 2021). Они указали этапы обработки данных педагогического эксперимента, а также представили общий алгоритм отбора статистических методов обработки информации в эксперименте и принципы, которые следует учитывать при реализации этого алгоритма. Заключение Критерии научности для педагогических экспериментальных исследований предполагают четкое формулирование гипотез, систематический обзор как доказательство гипотез, и конечном счете дизайн педагогического исследования. В методологию педагогических исследований следует добавить обоснование количества участников и критерии их включения, то есть то, что в социологии и психологии называется выборка, а также ее обоснование (тип, критерии и способы отбора, репрезентативность). Это требования к исследованиям, проводящимся на эмпирическом уровне. Так, если исследования осуществляются в конкретной школе, в определенном классе, то это должно быть научно обосновано, этически подтверждено. Помимо этого, еще одним критерием для качественных педагогических исследований может стать публикация в серьезных научных изданиях именно по части методологии реализации педагогического исследования. Использование больших данных для педагогических исследований может стать еще одним возможным (дополнительным) критерием педагогических исследований - например, можно использовать анализ данных социальных сетей для прогнозирования успеваемости школьников. Основными выводами в контексте доказательной педагогики о педагогических исследованиях являются следующие требования: 1. Необходимо четко развести требования к диссертациям как к научному продукту и педагогическим исследованиям, определяющим алгоритм получения доказанных, достоверных данных, используемых в науке (в том числе в диссертационных исследованиях). 2. Требования к экспериментальным исследованиям в области педагогики должны быть основаны на требованиях, предъявляемых ко всем эмпирическим исследованиям: · методологические основания; · обоснованность гипотез через системный анализ; · определение проблемы, объекта, предмета исследования. 3. Требования к педагогическим исследованиям заключаются в следующих пунктах: · обоснование применимости метода к исследуемой совокупности; · обоснование и определение выборки при проведении эмпирического исследования (виды и способы рандомизации и отбора); · обоснование репрезентативности эмпирических исследований.

Об авторах

Жанна Васильевна Пузанова

Российский университет дружбы народов

Email: puzanova-zhv@rudn.ru
ORCID iD: 0000-0002-7405-3303
ResearcherId: AAC-3315-2019

доктор социологических наук, профессор кафедры социологии, факультет гуманитарных и социальных наук

Российская Федерация, 117198, Москва, ул. Миклухо-Маклая, д. 6

Владимир Михайлович Филиппов

Российский университет дружбы народов

Email: president@rudn.ru
ORCID iD: 0000-0002-4389-6981
ResearcherId: AAG-1625-2021

доктор физико-математических наук, академик РАО, профессор, президент

Российская Федерация, 117198, Москва, ул. Миклухо-Маклая, д. 6

Мария Александровна Симонова

Российский университет дружбы народов

Автор, ответственный за переписку.
Email: simonova-ma@rudn.ru
ORCID iD: 0000-0001-6370-1873
ResearcherId: ACA-2800-2022

доктор исторических наук, доцент, директор института сравнительной образовательной политики

Российская Федерация, 117198, Москва, ул. Миклухо-Маклая, д. 6

Наталия Анатольевна Григорьева

Российский университет дружбы народов

Email: grigoryeva-na@rudn.ru
ORCID iD: 0000-0001-8057-7130
ResearcherId: ICR-0471-2023

доктор исторических наук, профессор кафедры истории России

Российская Федерация, 117198, Москва, ул. Миклухо-Маклая, д. 6

Список литературы