Что такое валидность в психологии

Валидность (психология)

Вали́дность (англ. validity ) — мера соответствия того, насколько методика и результаты исследования соответствуют поставленным задачам. В частности, валидность считается фундаментальным понятием экспериментальной психологии и психодиагностики.

Как в экспериментальной психологии, так и в статистике валидное измерение — такое измерение, которое измеряет то, что оно должно измерять. То есть, к примеру, при валидном измерении интеллекта измеряется именно интеллект, а не что-то другое. Безупречный эксперимент (возможный лишь в теории) будет обладать безупречной валидностью: он будет точно показывать, что экспериментальный эффект был вызван изменением независимой переменной, он будет полностью соответствовать реальности, его результаты можно обобщить без ограничений.

Когда говорят о степени валидности, рассматривается то, насколько результаты исследования соответствуют поставленным задачам (однако при этом валидность не измеряется в каких-либо условных единицах).

Содержание

Способы установления валидности теста

Существуют четыре основных способа установления валидности теста.

I. Оценка очевидной валидности.

Очевидная валидность – валидность, при которой оценивается общее соответствие теста его назначению.

II. Оценка содержательной валидности.

Содержательная валидность предполагает, что тест обнаруживает в себе полный набор заданий для измерения определенной черты.

III. Оценка конструктной валидности.

Этот способ проверки заключается в проведении продуманных экспериментов. Подход первый — «конвергентная валидизация» — это проверка ожидаемой связи тестовых оценок с другими показателями. Например, если для измерения какой-либо черты существует несколько методик, целесообразным было бы провести эксперименты по хотя бы двум, и тогда при обнаружении высокой положительной корреляции их результатов между собой можно говорить о валидности. Основной целью конвергентной валидизации является определение того, будут ли оценки теста варьироваться в соответствии с ожиданиями. Подход второй — «дивергентная валидизация» (англ.). Проверка валидности здесь заключается в том, что тест не должен измерять никакой черты, с которой он теоретически и не должен быть связан.

IV. Оценка прогностической валидности.

Прогностическая валидность заключается в том, что психологический тест часто используется для прогноза поведения. Соответственно, если прогноз оправдывается с течением времени, это говорит о том, что тест был валидным. Но для характеристики многих видов деятельности этого метода не достаточно.

Источник

валидность

Полезное

Смотреть что такое «валидность» в других словарях:

валидность — достоверность Словарь русских синонимов. валидность сущ., кол во синонимов: 8 • адекватность (18) • … Словарь синонимов

Валидность — Валидность ♦ Validité Употребляемый в логике синоним истины, точнее говоря, ее формальный эквивалент. Вывод считается валидным (верным), если представляет собой переход от истинного к истинному (от истинности посылок к истинности заключения) … Философский словарь Спонвиля

Валидность — от фр. valide в статистике законность и достоверность исходной информации, надежность методики сбора, получения данных, в том числе и для экономических исследований. Словарь бизнес терминов. Академик.ру. 2001 … Словарь бизнес-терминов

ВАЛИДНОСТЬ — [ Словарь иностранных слов русского языка

ВАЛИДНОСТЬ — (от лат. validus сильный, крепкий) англ. validity; нем. Validitat/Gulltigkeit. Обоснованность и адекватность исследовательских инструментов (операционализированных понятий, измерительных операций и экспериментов). Antinazi. Энциклопедия… … Энциклопедия социологии

Валидность — Надежность информации, отсутствие в ней ошибок из за неточности выбранной методики сбора данных. Терминологический словарь банковских и финансовых терминов. 2011 … Финансовый словарь

ВАЛИДНОСТЬ — (от франц. valide законный, действительный) применительно к исходной статистической информации, используемой в экономических исследованиях: надежность информации, отсутствие в ней ошибок из за неточности выбранной методики сбора данных. Райзберг… … Экономический словарь

валидность — и, ж. validité f. <лат. validus. Действительность, законность, весомость, обоснованность; обладание юридической силой. Комлев 1992. || Способность образовать связную знаковую систему. Барт Что такое критика? // Б. 272. Качество исходной… … Исторический словарь галлицизмов русского языка

Валидность — (англ. validity) мера соответствия того, насколько методика и результаты исследования соответствуют поставленным задачам. В частности, валидность считается фундаментальным понятием экспериментальной психологии и психодиагностики. Как в… … Википедия

Валидность — качество метода психологического исследования, выражающееся в его соответствии тому, для изучения и оценки чего он изначально был предназначен. * * * (лат. validus крепкий, здоровый) надёжность в плане соответствия истине, действительности,… … Энциклопедический словарь по психологии и педагогике

Источник

Валидность

Валидность – это один из базовых критериев в психодиагностике тестов, методик, определяющий их качество, близкое к понятию достоверности. Применяется, когда нужно узнать насколько хорошо методика измеряет именно то, на что она ориентирована, соответственно то, насколько лучше отображается исследуемое качество, тем большая валидность данной методики.

Вопрос о валидности возникает сперва в процессе разработки материала, потом после применения теста или методики, если необходимо узнать, соответствует ли степень выраженности определяемой характеристики личности и методом измерения этого свойства.

Понятие валидности выражается корреляцией результатов, которые получились в результате применения теста или методики с другими характеристиками, которые также исследуются, и ее можно также аргументировать комплексно, с помощью разных приемов и критериев. Используются разные виды валидности: концептуальная, конструктивная, критериальная, содержательная валидности, со свойственными методами установления их степени достоверности. Иногда критерий достоверности является обязательным требованием к проверке психодиагностических методов, если они вызывают сомнения.

Чтобы психологическое исследование имело реальную ценность, оно должно быть не только валидным, а еще и надежным одновременно. Надежность позволяет экспериментатору быть уверенным в том, что исследуемое значение очень близко к истинному показателю. А валидный критерий важен тем, что он указывает, что изучается именно то, что экспериментатор предполагает. Важно обратить внимание на тот факт, что данный критерий может предположить надежность, но надежность предположить валидность не может. Надежные значения могут быть не валидными, но валидные обязаны быть надежными, в этом вся суть успешного исследования, тестирования.

Валидность это в психологии

В психологии понятие валидности обозначает уверенность экспериментатора в том, что он измерял именно то, что хотел с помощью определенной методики, показывает меру соответствия результатов и самой методики относительно поставленных задач. Валидное измерение – это то значение, которое измеряет именно то, для чего было создано. Например, методика, направлена на определение темперамента, должна измерять именно темперамент, а не нечто другое.

Валидность в экспериментальной психологии очень важный аспект, является важным показателем, который обеспечивает достоверность результатов, и с ним иногда больше всего возникает проблем. Совершенный эксперимент должен обладать безупречной валидностью, то есть он должен демонстрировать, что экспериментальный эффект вызван модификациями независимой переменной и полностью соответствовать действительности. Полученные результаты без ограничений можно обобщать. Если речь идет о степени данного критерия, то предполагается, что результаты будут соответствовать поставленным задачам.

Проверка на валидность осуществляется тремя способами.

Оценивание содержательной валидности, проводится, чтобы узнать уровень соответствия использованной методики и реальной действительности, в которой выражается исследуемое свойство в методике. Существует здесь также такой компонент, как очевидная, еще ее называют лицевая валидность, она характеризует степень соответствия теста к ожиданиям оцениваемых. В большинстве методик считается очень важным, чтобы участник оценки видел очевидную связь содержания процедуры оценки и действительности того объекта оценки.

Оценивание конструктной валидности исполняется для получения степени обоснованности, что тест реально вычисляет те конструкты, которые заданные и научно обоснованные.

В конструктной валидности имеются два направления. Первый называется конвергентной валидизацией, с его помощью проверяется ожидаемая связь результатов методики с характеристиками из других методик, которые измеряют исходные свойства. Если для измерения какой-то характеристики необходимо несколько методик, то рациональным решением было бы проведение экспериментов минимум двух методик, чтобы при сопоставлении результатов обнаружив высокую положительную корреляцию, можно было утверждать о валидном критерии.

Конвергентная валидизация определяет вероятность вариации оценки теста с ожиданиями. Второй подход, называется дискриминантная валидизация, в ней заключается, что методика не должна измерять никаких характеристик, с которой теоретически не должно быть корреляции.

Валидность теста это

Тест – это стандартизованное задание в результате применения, которого получаются данные о психофизиологическом состоянии человека и его личностные свойства, его знания, способности и навыки.

Валидность и надежность тестов – это два показателя, которые определяют их качество.

Валидность теста определяет степень соответствия исследуемого качества, характеристики, психологического свойства к тесту, с помощью которого они определяются.

Валидность теста является показателем его эффективности и применяемости к измерению необходимой характеристики. Самые качественные тесты имеют 80% валидности. При валидизации следует учитывать, что от контингента испытуемых и их характеристик, будет зависеть качество результатов. Получается, что один тест может быть как высоко достоверным, так и совсем невалидным.

Существует несколько подходов к определению валидности теста.

При измерении сложного психологического явления, которое имеет иерархическую структуру и его невозможно исследовать, применяя всего один тест, применяют конструктивную валидность. Она определяет точность исследования сложных, структурированных психологических явлений, качеств личности, измеряемых с помощью тестирования.

Валидность за критерием – это такой критерий теста, за которым определяется исследуемое психологическое явление в настоящий момент и прогнозирование особенностей этого явления в будущем. Для этого результаты, полученные при тестировании соотносятся со степенью развития измеряемого качества на практике, оценка специфических способностей в определенной деятельности. Если валидность теста имеет значение минимум 0,2 то применение такого теста является оправданным.

Содержательная валидность – это критерий теста, который применяется для определения соответствия области его измеряемых психологических конструктов, демонстрирует все полноту множества измеряемых показателей.

Прогностическая валидность – критерий, за которым можно предсказать характер развития исследуемого качества в будущем. Такой критерий качества теста очень ценный, если смотреть с практической стороны, но могут быть сложности, поскольку исключается неравномерность развития данного качества в разных людей.

Надежность теста – это критерий теста, который измеряет уровень стабильности результатов, полученных после тестирования, при повторном исследовании. Определяется путем вторичного тестирования спустя определенное количество времени и расчета корреляционного коэффициента результатов, полученных после первого и после второго тестирования. Также важно, учитывать особенности самой процедуры проведения тестов и социально-психологической структуры выборки. Один и тот же тест может иметь разную надежность, зависимо от пола, возраста, социального статуса исследуемых. Поэтому надежность может иногда иметь неточности, ошибки, которые истекают из самого процесса исследования, поэтому ищутся пути, как уменьшить влияние определенных факторов на тестирование. Можно утверждать о надежности теста, если она составляет значение 0,8-0,9.

Валидность и надежность тестов очень важны, потому что определяют тест, как измерительный инструмент. Когда надежность и валидность неизвестны, тест считается неприменяемым для применения.

В измерении надежности и валидность имеет место также этический контекст. Это особенно важно, когда результаты тестирования имеют значимость в использовании их для принятия жизненно важных решений людей. Одних людей принимают на работу, других отсеивают, одни студенты проходят в учебные заведения, а другие должны еще доучиться сначала, кому-то определяется психиатрический диагноз и лечение, а кто-то здоров – это все говорит о том, что подобные решения принимаются на основании изучения оценки поведения или специальных способностей. Например, человек ищущий работу, должен пройти тестирование, и его оценки есть решающими показателями при приеме на работу, узнает, что тест был не в меру валидным и надежным, он очень разочаруется.

Валидность методики это

Валидность методики определяет соответствие того, что изучается данной методикой, тому для изучения чего именно она предназначена.

Например, если психологическая методика, которая основана на осведомленном самоотчете, назначена для исследования некого качества личности, такого качества, которое не может быть верно, оцененным самим человеком, то такая методика не будет валидной.

В большинстве случаев ответы, которые дает испытуемый на вопросы о наличии или отсутствии развитости в нем этого качества, может выражать то, как сам испытуемый воспринимает себя, или каким бы ему хотелось быть в глазах других людей.

Валидность также является основным требованием к психологической методике изучения психологических конструктов. Существует масса разных видов данного критерия, и нет пока единственного мнения о том, как правильно назвать эти виды и неизвестно каким именно видам методика обязана соответствовать. Если же методика оказывается невалидной внешне или внутренне, не рекомендуется ее использовать. Существуют два подхода к валидизации методики.

Теоретический подход выявляется в том, чтобы показать насколько действительно методика измеряет именно то качество, которое, как придумал исследователь, и обязана измерять. Это доказывается через составление с родственными показателями и теми, где связей не могло бы быть. Поэтому для подтверждения теоретического валидного критерия нужно определить степень связей с родственной методикой, имеется в виду конвергентный критерий и отсутствие такой связи с методиками, которые имеют иную теоретическую базу (дискриминантная валидность).

Оценивание валидности методики может быть количественной или качественной. За прагматическим подходом оценивается эффективность и практическая значимость методики, и для ее проведения используется независимый критерий извне, как показатель встречаемости данного качества в повседневной жизни. Таким критерием, например, может быть успеваемость (для методик на достижения, тестов на интеллект), субъективные оценки (для личностных методик), специфические способности, рисование, моделирование (для методик специальных особенностей).

Для доказательства валидности внешних критериев, выделяется четыре типа: критерии исполнения – это критерии такие, как количество выполненных заданий, время, потраченное на обучение; субъективные критерии получают вместе с опросниками, интервью или анкетами; физиологические – частота пульса, давление, физические симптомы; критерии случайности – используются, когда к цели имеет касательство или влияние определенного случая или обстоятельств.

При выборе методики исследования имеет теоретическое и практическое значение определение охвата изучаемых характеристик, как важной составляющей валидности. Информация, которая содержится в названии методики практически всегда не является достаточной для суждения об области ее применения. Это просто имя методики, но под ним всегда кроется еще много чего. Хорошим примером будет методика корректурной пробы. Здесь в сферу изучаемых свойств включаются концентрация внимания, устойчивость и психомоторная скорость процессов. Такая методика дает оценку выраженности этих качеств в личности, хорошо соотноситься со значениями, полученными из других методов и обладает хорошей валидностью. Вместе с тем полученные в результате проведения корректурной пробы значения подвержены большему влиянию других факторов, относительно которых методика будет неспецифичной. Если применить корректурную пробу, чтобы измерить их, то валидность будет невысокая. Выходит,что определяя область применения методики, валидный критерий отображает уровень обоснованности результатов исследования. При небольшом количестве сопровождающих факторов, которые имеют влияние на результаты, достоверность оценок, полученных в методике будет выше. Еще достоверность результатов определяется с помощью набора измеряемых свойств, их важностью при осуществлении диагностики сложной деятельности, существенностью отображения в материале методики предмета измерения. Например, для удовлетворения требований достоверности и надежности, методика, назначенная на профотбор, должна иметь анализ большого круга различных показателей, которые наиболее важные при достижении успеха в профессии.

Виды валидности

Валидный критерий бывает нескольких видов, в зависимости на что именно он направлен.

Внутренняя валидность определяет насколько определенное экспериментально воздействие стало причиной изменений в данном эксперименте.

Внутренняя валидность определяется отношениями между независимыми и зависимыми переменными, и проходит через особенные процедуры, в результате которых определяется достоверность выводов в данном исследовании. О внутреннем критерии говорится, когда достоверно известно о зависимости причинно-следственного типа между независимыми и зависимыми переменными.

Валидность исследования определяется влиянием неконтролируемых ситуативных факторов на изучаемое явление, если оно высокое, то данный критерий будет низким. Высокая внутренняя валидность исследования является признаком качественного исследования.

Внешняя валидность обобщает вывод популяции, ситуации и других независимых переменных. От того, насколько высокая и хорошая внешняя валидность зависит возможность переноса результатов, полученных в исследовании на реальную жизнь.

Очень часто внешняя и внутренняя валидизации противоречат друг другу, потому что если увеличивается одна валидность, то это значение может повлиять на показатели другой. Самым лучшим вариантом считается выбор экспериментальных планов, которые обеспечивали бы два вида данного критерия. Особенно это важно в случае исследований, в которых важным есть распространение результатов в определенных практических ситуациях.

Содержательная валидность применима к тем тестам, в которых полностью моделируется определенная деятельность, в первую очередь, аспекте связанным с предметом. Выходит, что в самом содержании методики отражаются основные стороны психологического конструкта. Если эта характеристика имеет сложную структуру, то в самой методике должны присутствовать все входящие в него элементы. Определяется такой валидный критерий с помощью систематического контроля за содержанием, должен показывать полноту охвата всей выборки за измеряемыми параметрами. Исходя из этого должна быть проведена эмпирическая проверка методики в соответствии с ее гипотезами. Каждое задание или вопрос в назначенной области, должен иметь равные шансы на включение его к заданиям теста.

Эмпирическая валидность определяется через статистическую корреляцию, то есть считается корреляция баллов по тесту и показателей внешнего параметра, избранного как критерий валидности.

Конструктная валидность относится к теоретическому конструкту, как отдельному и включается к поиску факторов, которые объясняют поведение человека при выполнении теста или методики.

Прогностический тип валидности определяется за счет наличия очень надежного внешнего критерия, хотя информация о нем собирается через определенное время после окончания испытания. Таким внешним критерием может быть способность личности к определенному виду деятельности, для которой он был отобран за результатами психодиагностических измерений. Точность прогнозирования в этом валидном критерии находится в противоположной зависимости от времени, которое давалось для прогнозирования. И чем больше времени проходит после исследования, тем еще больше факторов будут учитываться для оценивания прогностической значимости теста. Хотя учесть абсолютно все имеющиеся факторы практически невозможно.

Ретроспективная валидность определяется за критерием, который отражает события или сстояние свойства в прошлом времени. Она может использоваться для получений знаний о предсказательных аспектах методики. Очень часто в таких тестах сопоставляют оценки развития способности в их прошлом значении и на данный момент, вычесляется насколько эффективнее стали результаты.

Экологическая валидность показывает, что некий организм в силу наследственных, генетически обусловленных или приобретенных особенностей является подготовленным к демонстрированию разнообразных форм поведения во всевозможных контекстах или в разных средах обитания. Действия организма могут быть успешными в одном времени и месте, но не настолько успешными или совсем не иметь успеха в другое время, и другом месте.

Экологическая валидность подтверждается, если результаты исследования имеют место подтверждения или должного применения их в полевых исследованиях. Проблемой лабораторных исследований есть адекватная переносимость полученных результатов на условия реальной жизни, на повседневную деятельность индивида, которая длится естественным путем. Но это тоже не является конечным подтверждением результатов, как экологически валидных, потому что предполагает генерализацию также на другие условия и обстоятельства. Часто исследования обвиняются в невысоком, экологическом валидном критерии, но вся причина бывает заключается в невозможности повторить исследование в реальной жизни.

Автор: Практический психолог Ведмеш Н.А.

Спикер Медико-психологического центра «ПсихоМед»

Источник

Аннотация

Анализируются современные наиболее обсуждаемые критериальные системы валидности качественного исследования: реалистическая, конструкционистская, критическая, эстетическая, радикальная. Показывается, что в современной научной ситуации речь идет не просто о введении специфичных для качественных исследований представлений о валидности, но и о концептуальной замене этого традиционного для психологии критерия. В реалистической системе валидность обсуждается с точки зрения аргументированности выдвигаемых интерпретаций. Конструкционистская система взамен критерия валидности вводит критерии достоверности и аутентичности. Критическая критериальная система делает акцент на социальной полезности, критической составляющей анализа, а также его включенности в контекст социальных изменений.

Эстетическая сводит качество анализа к его выразительности, полифоничности, что оборачивается вопросом представленности в исследовании различных смысловых позиций. Радикальная система, следуя логикам как радикального конструкционизма, так и методологического анархизма, отказывается от однозначного стандарта качества исследований. В завершении статьи делается вывод, что так называемые «субъективные» представления исследователя являются не артефактом анализа, но его ключевым инструментом. Проблема валидности – это проблема разведения и критической рефлексии того, как соотносятся позиции автора исследования и его респондентов. Следуя указанной логике рассуждений, авторами статьи предлагается общая модель валидности качественных исследований в психологии, опирающаяся на проведенный анализ разных критериальных систем и личный практический опыт работы с качественными методами.

Общий принцип построения авторской системы валидности – соотношение критериев и различных уровней (или этапов) качественного исследования: планирования, сбора и анализа данных, интерпретации.

Принята к публикации: 16.03.2013

Ключевые слова: валидность качественного исследования; качественная методология; конструкционизм; реализм; фаллибилизм; критическая теория; эстетика

Наиболее полный анализ критериаль­ных систем валидности для качествен­ных исследований в свое время был про­делан М. Паттоном (Patton, 2002), однако, судя по современным дискуссиям, он ну­ждается в дополнении. Проведенный нами анализ позволяет говорить о пяти проектах критериальных систем валид­ности качественных исследований:

Кратко охарактеризуем каждый из них.

Проект реалистической критериальной системы

Данный проект опирается на прин­ципы критического реализма (рацио­нализма) и не отказывается от традици­онного критерия валидности, который объявляется общим как для количест­венных, так и для качественных иссле­дований, хотя для последних вводятся новые и довольно-таки оригинальные типы валидности. Главное, что критерий валидности здесь сохраняется и не подвергается какой-либо терминологический замене. Вопреки традиционной оппозиции конструкционизма и реализма в философии, сторонники этого проекта пытаются объединить идеи социального конструирования реальности и реалистический принцип фальсифи­кации гипотез и выбора между соперни­чающими интерпретациями изучаемо­го явления. Таким образом, разделение «реалистических» и «конструкционистских» критериальных систем условно в той степени, в какой те или иные ав­торы заостряют своеобразие качествен­ного подхода и подводят его под пост-структуралистские концепции с их активной критикой устоявшихся пред­ставлений о том, что есть научность и «объективное» научное знание.

Рассмотрим три характерных типа реализации реалистического подхода, представленные в работах Дж. Кирка и М. Миллера, Дж. Максвелла и С. Квале.

Максвелл выделяет следующие типы валидности (Maxwell, 2002):

Интерпретативная валидность пред­полагает, что интерпретации основа­ны на том языке, на котором говорят сами респонденты, и как можно бо­лее приближены к их понятиям. Вы­воды должны подтверждаться реаль­ными словами респондента. Хотя мы не можем непосредственно подсту­питься к значениям, которые респонденты придают своим суждениям и действиям, мы можем сконструиро­вать (реконструировать) их на осно­ве полученных данных. Что касается бессознательных структур, верований и ценностей, то их психологическая реконструкция основывается не на парафразировании, переформулировании и вычленении смысла суждений респондента, а на объяснительных те­оретических принципах и идеях.

Кроме того, выделяются еще два до­полнительных критерия.

Обобщаемость. Логика обобщения в качественных исследованиях пред­полагает создание теории (гипотезы), которая имеет смысл не только для конкретных личностей и ситуаций, но распространяется и на другие, более широкие контексты. В качественном исследовании специфика обобщения определяется «целевыми» и «теорети­ческими», а не рандомизированными выборками. Выделяются внутренняя обобщаемость (обобщение на сооб­щества, группы, институции, которые собственно изучались в данном слу­чае) и внешняя обобщаемость (обо­бщение на другие сообщества, группы и институции).

Оценочная валидность предполагает рассмотрение оценок изучаемых яв­лений или событий. Максвелл мало говорит об этом критерии, считая, что он не отличается от правил оцен­ки в других исследовательских подхо­дах и не является основополагающим в качественных исследованиях, как описательная, интерпретативная и те­оретическая валидность. Однако про­блема включения социальных и эти­ческих оценок в качественный анализ окажется весьма значимой в критиче­ских исследованиях, о которых будет сказано ниже.

В завершение следует упомянуть ин­тересный опыт синтеза критериаль­ных систем, предпринятый М. Майлсом и А.М. Хаберманом (Miles, Huberman, 1994). Эти авторы не всегда последова­тельно объединяют различные позиции, ибо многие приводимые ими критерии создавались на основе сложно совме­стимых теоретических традиций (о которых мы скажем позже) и едва ли они могут быть однозначно соотнесены друг с другом. Но, так или иначе, приводим все эти критерии пока без пояснений:

надежность/включенность в контекст/ доступность reliability/dependability/ auditability);

внутренняя валидность/правдоподоб­ность/аутентичность (internalvalidity/ credibility/authenticity);

внешняя валидность/переносимость/ слаженность (externalvalidity/ transferability/fittingness);

Проект конструкционистской критериальной системы

Если сторонники предыдущего подхо­да сохраняли критерий валидности, об­щий как для количественных, так и для качественных исследований, то авторы, о которых пойдет речь в этом разделе, занимают более радикальные позиции они предлагают отказаться от тради­ционного критерия объективности и ва­лидности и ввести совершенно новые, специфичные для качественного иссле­дования стандарты. Проблема валидно­сти формулируется как проблема качества исследования (Flick, 2007). Такой шаг объясняется, в частности, стремле­нием дистанцироваться от естественно­научной модели научного объяснения, с которой якобы ассоциируется поня­тие валидности. Как можно догадаться из подзаголовка, философскими предпосылками данного проекта оценки ва­лидности качественного исследования выступили основные положения и идеи социального конструкционизма. Хотя критический реализм признает меха­низм конструирования знания о реальном мире, обсуждаемые в настоящем подразделе авторы придерживаются антифундаменталистской позиции, т.е. от­казываются от признания единственного «истинного» основания для построения научного знания. Кроме того, в конструкционистских критериях акцентируется прагматический аспект исследования и включенность последнего в социальные и политические изменения.

Кроме того, Линкольн и Губа пред­лагают критерий аутентичности (authenticity) (Lincoln, Guba, 1985, Guba, Lincoln, 2005). Аутентичность показыва­ет насколько используемые стратегии анализа подходят для достоверного из­ложения идей, высказанных респонден­тами. К нему относятся:

Конструкционистские критерии, предложенные Губой и Линкольн, в зна­чительной степени изменяют представ­ления о критериях валидности исследо­вания. Точнее, речь идет не о критериях и не о валидности в строгом смысле этих понятий, а о мыслительных и мировоз­зренческих ориентирах познания, ко­торые позволяют нам оценивать вклю­ченность нашего анализа в контекст социальных изменений, степень, в кото­рой он помогает ответить участникам исследования на значимые для них философские и экзистенциальные вопросы.

Несмотря на то, что критерии Лин­кольн и Губы были предложены более двадцати лет назад, они до сих пор оста­ются своего рода «золотым стандартом» и приводятся едва ли не во всех руководствах по качественным методам ис­следований. В то же время, они стали стимулом для новых дискуссий и мно­гие авторы предложили свои критерии оценки качества исследований.

a. валидность как соответствие или со­гласование новых наблюдений и интерпретаций с моим личным исследо­вательским пониманием проблемы;

Эти типы валидности оцениваются представителями трех возможных ау­диторий: читателями, респондентами и самими исследователями. Критерий валидности как соответствия-согласо­вания распадается на три условных со­ставляющих:

Критерий валидности как изменения или роста понимания данных рассма­тривается с точки зрения трех аудито­рий следующим образом:

С опорой на принцип интерсубъек­тивности и конвенционализма критерии качества формулируются и сегодня, на­пример, в работе Л. Ярдли (Yardley, 2008), которая снискала успех у многих совре­менных исследователей. Критерии ва­лидности, рассуждает автор, не являются набором ригидных правил, они не могут гарантировать хорошего исследования. Предлагаемые критерии представляют собой скорее творческие ориентиры для исследовательской работы и направлены не на то, как оценить ее качество, а на то, что именно следует оценивать. Выделя­ются четыре критерия качества:

Всего предлагаются два блока крите­риев. Первый блок включает в себя кри­терии, общие как для качественного, так и для количественного исследования. К ним относятся:

научного контекста и целей исследования (explicitscientificcontextandpurpose);

выбор соответствующих целям мето­дов (appropriatemethods);

уважение к участникам (respect for participants);

специфичность метода, адекватность вопросам исследования (specificationofmethods);

открытость исследования для дискус­сий (appropriatefordiscussion);

ясность презентации данных (clarity of presentation);

оценка итоговых достижений с точ­ки зрения прироста и увеличения научного знания (contributiontoknowledge).

Во второй блок входят критерии ва­лидности, специфичные именно для проведения и публикации качественно­го исследования:

Таким образом, данные критерии ак­центируют внимание на циклическом характере качественного исследования, предполагающем постоянное возраще­ние от теоретических интерпретаций обратно к данным для достижения про­зрачности анализа.

И. Штaйнке, с присущей немецким научным текстам тщательностью, выде­ляет следующие критерии качества каче­ственного исследования (Steinke, 2004):

Интерсубъективная понятность (inter­subjectcomprehensibility) означа­ет возможность для любого читате­ля проследить ход исследования шаг за шагом и оценить его выводы. Она достигается за счет документации аналитического процесса и является условием работы со всеми последу­ющими критериями. В качественном исследовании следует документиро­вать: пред-понимания исследовате­ля (его первичные гипотезы, ожида­ния, выбор того или иного метода и т.п. ), методы сбора данных, кон­текст сбора данных (т е как были ре­ально собраны материалы), правила транскрипции, методы анализа дан­ных, источники информации (вер­бальные утверждения респондентов, запись значений их утверждений, об­щий контекст, наблюдения, гипотезы и интерпретации наблюдателя), про­блемы, возникающие в ходе работы, их решения, критерии, по которым исследование будет оцениваться как удовлетворяющее поставленным зада­чам и целям.

Отчет об исследовательском процес­се (indicationoftheresearchprocess) раскладывается на следующие эта­пы: оценка качественной процедуры с точки зрения исследовательских во­просов (стоит ли их изучать имен­но качественными методами или для них более адекватны другие способы), обоснование выбора метода, обосно­вание правил транскрипции (системы транскрипции данных должны быть просты и удобны в письме, обучении и интерпретации), обоснование вы­борки (ее целевого характера и степе­ни «информативной насыщенности»).

Связность (coherence) предполага­ет ответы на вопросы о том, является ли формулируемая теория (гипотеза) логически связанной, и нет ли каких-либо противоречий между данными и выдвигаемыми интерпретациями.

Релевантность (relevance) связана с оценкой полезности исследования: является ли исследовательский во­прос значимым, предлагает ли ис­следование новые интерпретации и решения проблем, имеется ли воз­можность обобщения данных.

Рефлексируемая субъективность (reflectedsubjectivity) предполагает анализ роли исследователя как субъ­екта познания (с его интересами, личными предположениями, стиля­ми общения и предыдущим автоби­ографическим опытом) и как части социального мира, за которым он на­блюдает и с которым взаимодейству­ет. Рассматриваются такие темы, как: включение данных самонаблюдения в исследование, выявление личных пред-пониманий, влияние довери­тельных отношений с респондента­ми на дальнейший анализ, рефлексия того, как происходило «вхождение в поле».

К. Чармаз, признанный лидер и идео­лог современной версии метода обосно­вывающей теории, который она подве­ла под конструкционистские основания, выделяет следующие критерии оцен­ки качества исследования (Charmaz, 2006): правдоподобность (credibility), оригинальность (originality), резонанс (resonance) и полезность (usefulness).

Г. Шанк и О. Виллелла (Shank, Villella, 2004) проанализировали 24 статьи по качественным исследованиям за период с 1992 до 2001 гг. Для анализа статей ими были сформулированы следующие четы­ре критерия: исследовательская глубина (investigativedepth), адекватность интерпретаций (interpretiveadequacy), богат­ство разъяснений (illuminativefertility) и отчетность об участии (participatoryaccountability). К ним добавляются еще слаженность (consistency), строгость (rigor), полнота кодирования (codingcompleteness) и тематическое сокраще­ние (thematicreduction).

Таким образом, конструкционистские критериальные системы заменя­ют критерии валидности и надежности на качество, достоверность и аутентич­ность, акцентируя внимание на таких аспектах, как прозрачность, связность, логичность презентации данных и ин­терпретаций, экспликация пред-пониманий автора, оригинальность и социальная полезность анализа. Помимо введения совершенно новой терминоло­гии, отличие конструкционистских кри­териальных систем от реалистических заключается в том, что последние, ис­ходя из иной эпистемологии, опирают­ся на принцип фальсификации гипотез и конкурирующих объяснений. Конструкционистские же критерии направ­лены на глубокое и максимально полное раскрытие различных субъективных позиций, «личностных перспектив» без их оценки как истинных или ложных. Го­ворить о качестве анализа можно в той степени, в какой читателю на протяже­нии исследования исследовательского процесса представлены элементы «хорошей практики».

Кроме того, эти критерии не есть стандарты оценки анализа postfactum, а представляют собой мыслительные ориентиры, которые включаются в ана­лиз perse, т.е. по сути Критерии стано­вятся идеальными средствами, призван­ными задать направление аналитической работе и ее рефлексии, причем они сами выступают предметом творческого ос­мысления и открыты для методологи­ческих инноваций. Но, как бы мы их не называли, проблема включения субъ­ективного измерения в качественное исследование и опосредование им ана­лиза остается актуальной и для антифундаменталистской позиции, которая ле­жит в основе почти всех современных критериальных систем. В конструкционизме средством такого опосредования выступила экспликация и полная доку­ментация исследователем логики своих рассуждений и умозаключений, вкупе с обширным цитированием прямых слов респондентов для отделения их позиций от смысловых интонаций автора отчета.

Проект критической критериальной системы

Итак, конструкционизм ввел измере­ние истины как политической полезно­сти. Способность человека критически рефлексировать социальные условия своего существования и изменять общество для достижения своей свободы (принимать на себя роли агента изме­нений) становится основным объектом внимания в рамках критической со­циальной психологии. «Цели критиче­ской психологии предполагают вклю­чение открытой политической повестки дня, которая резко контрастирует с политической нейтральностью, характер­ной для дисциплины до недавних времен» (Tuffin, 2005, С 3). В этих теориях критерии валидности были перефор­мулированы с позиций изучения куль­туры, гендера и социального класса, а сама проблема влияния смысловых по­зиций исследователя на результаты ана­лиза стала раскрываться с точки зрения опосредования его отношениями власти и идеологии, осуществляемыми в данном обществе.

Критически ориентированная теория исторически прошла три этапа своего развития (Budd, 2008):

оформление основных идей во Фран­кфуртской школе;

их развитие в работах Ю. Хабермаса в контексте понятий коммуникативной рациональности и коммуникативных действий, направленных на формиро­вание социального консенсуса путем обсуждения актуальных проблем;

В рамках критически ориентирован­ных качественных исследований мы можем выделить, по крайней мере, три подхода к пониманию валидности.

Во-первых, в радикальном подходе к психологии, ярким представителем которого является Я. Паркер, пробле­ма валидности кардинальным образом переосмысляется и фактически смы­кается с проблемой критической реф­лексии собственных умозаключений (Parker, 2005). Радикальный подход, по его словам, претендует на низложе­ние и изменение того, как мы получа­ем психологические знания. Он позво­ляет «подняться» над психологией и с расстояния поразмышлять о положении ее дел через осмысление политического контекста исследований, формируемых в них особых социальных отношений, а также альтернативных и даже «маргинальных» для мейнстримной психоло­гии теорий и парадигм (наподобие пси­хоанализа Ж. Лакана).

Что же происходит с критериями объективности и валидности при таком подходе?

Критерий объективности заменяется таким вопросом: описаны ли теорети­ческие источники, благодаря которым субъективность превращается в по­лезный инструмент, и как эти источ­ники влияют на исследование?

Но, даже, невзирая на возможности триангуляции «строгая «объективность», как отмечают авторы, не может быть до­стигнута средствами дискурс-анализа. Для каждого такого анализа техноло­гия исследования должна быть сама из­учена на предмет возможного включе­ния верований и идеологий аналитика и, следовательно, необходимо «вывести анализ за пределы предвзятых мнений» (Wodak, Meyer, 2009, Р. 31-32).

Таким образом, рассмотренные в этом разделе теории, отражающие со­циально-критические тенденции в сов­ременных исследованиях, отказываются от классического критерия валидности и этот отказ обосновывается эпистемо­логическим своеобразием критической теории в психологии. Несмотря на то, что основной линией переформулиров­ки стандарта качества является активное включение в него субъективно-рефлек­сивных позиций и измерений социаль­ной власти, его сторонники испытывают общие для всех качественных исследо­ваний трудности, связанные с разведе­нием интерпретаций самого аналитика и реконструируемого им идеологического дискурса.

Несомненное достоинство критиче­ского проекта заключается в его стрем­лении зафиксировать социально-исто­рическое обрамление субъективного опыта и включить его в принципы каче­ства проводимого исследования. Вместе с тем, существует опасность потери пси­хологического понимания валидности и подмены его формальным критерием со­циальной и идеологической критично­сти. Дальнейшие попытки найти некие «внешние» критерии валидности приво­дят к их отождествлению с мерой того, насколько получаемые данные вырази­тельны, «говорят сами за себя», т.е. с их эстетикой. Об этом поговорим ниже.

Проект эстетизации критериальной системы

Осознавая неоднозначность и из­вестного рода экстравагантность такого подхода к организации качественного исследования, мы хотели обратить вни­мание читателя на тот факт, что обраще­ние к эстетике не является для психоло­гии чем-то новым. Достаточно указать на классические исследования и этюды У. Джеймса, З. Фрейда, Л.С. Выготского, ма­териалом для которых становилось ху­дожественное творчество. Правомернее было бы говорить о переосмыслении места эстетического опыта в структуре психологического знания вкупе с разра­боткой четких, если это возможно при изучении художественного символизма, его аналитических схем и концепций.

При всей привлекательности эсте­тической перспективы обсуждения ва­лидности нам приходится, увы, кон­статировать здесь ряд сложностей методологического толка. Дело заклю­чается не столько в трудно формализуе­мом характере оценки «художественной выразительности» качественных иссле­дований, сколько в логической противоречивости такого подхода с точки зрения их же философских оснований. Коль скоро качественные методы реа­лизуют конструкционистский тип мыш­ления, то возникает вопрос об универ­сальности эстетического опыта и его культурно-исторических форм.

Кроме того, что эстетическая симво­лизация опыта приобретает в истории искусства различные, отличные друг от друга типологические формы и характе­ристики, она может к тому же серьезно исказить наше восприятие чужих культур. Такие эстетические средства, как фотог­рафия или видео не являются просто пас­сивными «записывающими» медиа-сред­ствами, они оформляют наше восприятие социальных событий и различных куль­тур. Поэтому «нам действительно следует быть очень осторожными в наложении, как эстетического критерия, так и эстети­ческой способности на наши представле­ния об окружении, культуре и действую­щих лицах (actors), пренебрегая при этом локальными, местными формами пред­ставлений, посредством которых культу­ра, ее структура и действия поддержива­ются в повседневной жизни» (Atkinson, Delamont, 2005, Р. 835). Эстетический кри­терий валидности парадоксальным обра­зом сам превращается в предмет научного изучения как культурный феномен.

Проект отказа от критериальной системы

Во-первых, постмодернистская точка зрения заведомо предполагает, что кри­терии невозможно привести к фикси­рованной системе (Richardson, St. Pierre,2005, Smith, 1984).

Выводы по критериальным системам

Проведенный нами теоретико-ме­тодологический анализ показыва­ет, что для всех критериальных си­стем остается первоочередным вопрос о включенности субъективных «пред-мнений» в процесс качественного ис­следования. Общее решение этой проблемы, характерное для всех рассмотренных предложений, заключа­ется в том, что мы совсем не устраня­ем субъективность из исследования, а включаем и пытается проконтролиро­вать ее. Тогда проблема валидности качественного исследования должна быть определенным образом переформули­рована, чтобы на первый план вышла личность его автора, который парадок­сально выступает в роли основного инструмента качественного анализа.

Критерии валидности планирования исследования и сбора данных:

предварительная экспликация тео­ретических позиций, опыта рабо­ты в заявленной исследовательской сфере и личностных представлений об изучаемой теме;

обоснованность выбора качествен­ного подхода к изучению данной проблемы;

обоснованность формирования вы­борки, методов сбора и обработки данных;

систематическое описание контекста и условий исследования («поля»);

Критерии валидности анализа дан­ных:

аргументированность, логичность и связность анализа;

обоснование четких взаимосвязей между аналитическими умозаклю­чениями и конкретными данными;

разделение фактических описаний, смысловых обобщений и теорети­ческих интерпретаций данных;

реконструкция всех смысловых по­зиций, представленных в «сырых» данных, и адекватное их представ­ление для читателя;

стилистическая, риторическая, ди­скурсивная грамотность анализа.

Критерии валидности интерпрета­ции данных:

опосредованность теоретических интерпретаций аналитическими ка­тегориями, сконструированными, исходя из «сырых» данных;

представленность в отчете автор­ской рефлексивной позиции;

социальная полезность и критиче­ский потенциал анализа;

оригинальность и инновативность предлагаемых интерпретаций;

Критерии валидности презентации данных:

прозрачность и выразительность представления данных;

открытость данных для обсуждения профессиональным сообществом;

открытость данных для обсуждения читателями;

раскрытие изменений понимания и рефлексивной работы исследова­теля;

оценка возможности обобщений и решения социальных проблем.

Литература:

Для цитирования статьи:

Melnikova O.T.,Khoroshilov D.А. (2014). Modern criteria system of identifying the validity of qualitative research in psychology. National Psychological Journal, 2(14), 36-48

Все права защищены. Использование графической и текстовой информации разрешается только с письменного согласия руководства МГУ имени М.В. Ломоносова.

Источник