Что такое валидность методики

Валидность (психология)

Вали́дность (англ. validity ) — мера соответствия того, насколько методика и результаты исследования соответствуют поставленным задачам. В частности, валидность считается фундаментальным понятием экспериментальной психологии и психодиагностики.

Как в экспериментальной психологии, так и в статистике валидное измерение — такое измерение, которое измеряет то, что оно должно измерять. То есть, к примеру, при валидном измерении интеллекта измеряется именно интеллект, а не что-то другое. Безупречный эксперимент (возможный лишь в теории) будет обладать безупречной валидностью: он будет точно показывать, что экспериментальный эффект был вызван изменением независимой переменной, он будет полностью соответствовать реальности, его результаты можно обобщить без ограничений.

Когда говорят о степени валидности, рассматривается то, насколько результаты исследования соответствуют поставленным задачам (однако при этом валидность не измеряется в каких-либо условных единицах).

Содержание

Способы установления валидности теста

Существуют четыре основных способа установления валидности теста.

I. Оценка очевидной валидности.

Очевидная валидность – валидность, при которой оценивается общее соответствие теста его назначению.

II. Оценка содержательной валидности.

Содержательная валидность предполагает, что тест обнаруживает в себе полный набор заданий для измерения определенной черты.

III. Оценка конструктной валидности.

Этот способ проверки заключается в проведении продуманных экспериментов. Подход первый — «конвергентная валидизация» — это проверка ожидаемой связи тестовых оценок с другими показателями. Например, если для измерения какой-либо черты существует несколько методик, целесообразным было бы провести эксперименты по хотя бы двум, и тогда при обнаружении высокой положительной корреляции их результатов между собой можно говорить о валидности. Основной целью конвергентной валидизации является определение того, будут ли оценки теста варьироваться в соответствии с ожиданиями. Подход второй — «дивергентная валидизация» (англ.). Проверка валидности здесь заключается в том, что тест не должен измерять никакой черты, с которой он теоретически и не должен быть связан.

IV. Оценка прогностической валидности.

Прогностическая валидность заключается в том, что психологический тест часто используется для прогноза поведения. Соответственно, если прогноз оправдывается с течением времени, это говорит о том, что тест был валидным. Но для характеристики многих видов деятельности этого метода не достаточно.

Источник

Что такое валидность методики?

Для того чтобы психолого-педагогический эксперимент был достаточно надежным средством исследования и позволял по­лучать вполне достоверные результаты, которым можно доверять и на основе которых можно делать правильные практические вы­воды, необходимо, чтобы используемые в нем психодиагности­ческие методы были научно обоснованными. Такими считают ме­тоды, отвечающие следующим требованиям: валидность, надеж­ность, однозначность и точность.

Есть несколько разновидностей валидности, каждую из ко­торых следует рассматривать и оценивать отдельно, когда стоит вопрос о выяснении валидности психодиагностической методи­ки. Валидность может быть теоретической и практической (эм­пирической), внутренней и внешней.

Валидностъ эмпирическаяпроверяется по соответствию диа­гностических показателей реальному поведению, наблюдаемым действиям и реакциям испытуемого. Если, например, с помощью некоторой методики мы оцениваем черты характера у данного испытуемого, то применяемая методика будет считаться прак­тически или эмпирически валидной тогда, когда мы установим, что данный человек ведет себя в жизни именно так, как предска­зывает методика, т.е. в соответствии с имеющейся у него чертой характера. По критерию эмпирической валидности методику проверя­ют путем сравнения ее показателей с реальным жизненным по­ведением или результатами практической деятельности людей.

Валидностъ внутренняяозначает соответствие содержащих­ся в методике заданий, субтестов, суждений и т.п. общей цели и замыслу методики в целом. Она считается внутренне невалидной или недостаточно внутренне валидной тогда, когда все или часть включенных в нее вопросов, заданий или субтестов изме­ряют не то, что требуется от данной методики.

Валидностъ внешняя — это примерно то же самое, что и эм­пирическая валидность, с той лишь разницей, что в данном слу­чае речь идет о связи между показателями методики и наиболее важными, ключевыми внешними признаками, относящимися к поведению испытуемого.

При создании методики сразу оценить ее валидность трудно. Обычно валидность методики проверяется и уточняется в про­цессе ее достаточно длительного использования, тем более что речь идет о проверке по меньшей мере с четырех описанных выше сторон.

Не существует какого-то единого универсального подхода к определению валидности. В зависимости от того, какую сторону валидности хочет рассмотреть исследователь, используются и разные способы доказательства. Другими словами, понятие валидности включает в себя разные ее виды, имеющие свой особый смысл.

Существует четыре типа внешних критериев, используемых для доказательства валидности:

1) критерии исполнения (в их число могут входить такие, как количество выполненной работы, успеваемость, время, затраченное на обучение, темп роста квалификации;

2) субъективные критерии (они включают различные виды ответов, которые
отражают отношение человека к чему-либо или к кому-либо, его мнение, взгляды,
предпочтения; обычно субъективные критерии получают с помощью интервью, опросников, анкет);

3) физиологические критерии (они используются при изучении влияния окружающей среды и других ситуационных переменных на организм и психику человека; замеряется частота пульса, давление крови, электросопротивление кожи, симптомы утомления и т.д.);

4) критерии случайностей (применяются, когда цель исследования касается, например, проблемы отбора для работы таких лиц, которые менее подвержены несчастным случаям).

Поиски адекватного и легко выявляемого критерия относятся к очень важным и сложным задачам валидизации.

Существует нескольковидов валидности,обусловленных особенностями диагностических методик, а также временным статусом внешнего критерия:

1) Валидность «по содержанию». Этот прием используется в основном в тестах достижений. Обычно в тесты достижений включается не весь материал, который прошли учащиеся, а какая-то его небольшая часть (3-4 вопроса). Можно ли быть уверенным в том, что правильные ответы на эти немногие вопросы свидетельствуют об усвоении всего материала. На это и должна ответить проверка валидности по содержанию. Для этого проводится сопоставление успешности по тесту с экспертными оценками учителей (по данному материалу). Валидность «по содержанию» также подходит к критериально-ориентированным тестам. Иногда этот прием называют логической валидностью.

2) Валидность «по одновременности»,или текущая валидность, определяется с помощью внешнего критерия, по которому информация собирается одновременно с
экспериментами по проверяемой методике. Другими словами, собираются данные, относящиеся к настоящему времени (успеваемость в период испытания, производительность в этот же период и т д.). С ними коррелируют результаты успешности по тесту.

4) «Ретроспективная» валидность.Она определяется на основе критерия,
отражающего события или состояние качества в прошлом. Может быть использована для быстрого получения сведений о предсказательных возможностях методики. Так, для проверки того, в какой мере хорошие результаты теста способностей соответствуют быстрому обучению, можно сопоставить прошлые оценки успеваемости, прошлые экспертные заключения и т.д. у лиц с высокими и низкими на данный момент диагностическими показателями.

Кроме видов валидности, важно знать критерии валидности. Это основные признаки, по которым можно практически судить о том, является или не является данная методика валидной. Та­кими критериями могут стать следующие:

2. Достижения испытуемого в различных видах деятельно­сти: учебной, трудовой, творческой и других.

3. Данные, свидетельствующие о выполнении различных конт­рольных проб и заданий.

4. Данные, получаемые при помощи других методик, валидность или связь которых с проверяемой методикой считается до­стоверно установленной.

Источник

Что мы понимаем под валидностью метода исследования?

Валидность в дословном переводе с английского языка означает «устойчивый, пригодный, соответствующий». В научных кругах данный термин используется, как показатель, который оценивает пригодность той или иной методики исследования в конкретной ситуации, условиях.

Валидность в дословном переводе с английского языка означает «устойчивый, пригодный, соответствующий». В научных кругах данный термин используется, как показатель, который оценивает пригодность той или иной методики исследования в конкретной ситуации, условиях.

Нередко валидность ставят на одну ступень вместе с таким понятием как «надежность». Данный критерий определяет уместность и эффективность, надежность выбранных методов исследования: что и как они измеряют и характеризуют, какую картину отражают, для чего производится оценка.

Чем ближе исследователь подбирается к главному признаку проблемы, который позволяет оценить ее характер и влияние с помощью определенной методики, тем выше ее валидность. Сам процесс проверки действенности (качества) и эффективности, применимости методов исследования называется валидизацией.

Виды валидности методов исследования

Выбор методов научного исследования зависит от ряда фактов: области наук (гуманитарные или прикладные), необходимость проведения анализа с расчетной частью или простое сопоставление фактов, наличие конкретных данных для анализа и пр.

Следует отметить, что в одном исследовании выбранный метод может быть валидным, а в ином – вовсе неэффективен. Поэтому валидность выбранной методики следует оценивать в рамках конкретной научной работы, а не в сравнении с иными исследованиями.

В науке выделяют несколько разновидностей валидности методов исследования:

Данный вид определяется сопоставлением показателей, рассчитанных с помощью выбранной методики, с аналогичными показателями, рассчитанными по другому методу. Важно, чтобы рассчитанные параметры были теоретически зависимы, то есть оценивали один и тот же предмет, учитывали одни и те же факторы или схожие факторы влияния, демонстрировали теоретическую зависимость (то есть имели принадлежность к конкретному объекту или суждению).

Этот показатель определяют с помощью корреляции одно и того же показателя или свойства, рассчитываемого с помощью разных методов исследования. При этом важно соблюдение: обе методики должны быть связаны с одной и той же гипотезой или теорией.

Данный критерий рассчитывается или проявляется благодаря действию опытно-логического метода исследования. В частности, он находит отражение на реакции, мышлении, эмоциях, поведении испытуемых объектов. Данный способ применим больше в психологической отрасли, когда требуется оценить реакцию или психологическое состояние человека в конкретной ситуации.

Эмпирическая валидность методов исследования будет выше тогда, когда выбранная методика продемонстрирует тот факт, что полученные данные соответствуют реальным данным испытуемого, то есть во время проведения «чистого» или «естественного» эксперимента: когда поведение объекта в рамках исследования будет полностью совпадать с поведением в реальной жизни.

Нужна помощь преподавателя?

Мы всегда рады Вам помочь!

Данный критерий имеет сходства с эмпирической валидность. Его особенностью является то, что здесь важно установить связь между конкретными параметрами выбранного метода исследования с внешними проявлениями испытуемого (поведением) в реальной жизни.

Этот показатель проявляется в том, что выбранная методика позволяет достичь поставленной цели исследования, доказывает или опровергает эффективность выдвинутой гипотезы. Фактически, внутренняя валидность демонстрирует соответствие методики исследования его содержанию. Валидность выбранного метода выше тогда, когда он показывает, что все коэффициенты и действия измеряют именно то, что требуется, связывая эти проявления с внешними признаками проблемы (ее симптомами).

Как оценить валидность методов исследования?

Ученые выделяют следующие критерии эффективности и применимости (то есть валидности) выбранной методики исследования:

Этот параметр зависит от конкретных результативных показателей. Например, объем выполненных заданий, успеваемость, время (на протяжении которого выполнялось упражнение или задание), полученные навыки и пр.

Эти элементы связаны с отношением испытуемого к конкретным обстоятельствам, положениям и заданиям. Это можно оценить в ходе интервью, опросов, тестирований и др.

Они оценивают факторы воздействия на объект исследования, то есть, то что могло оказать влияние при решении вопроса: обстановка и комфорт (свет или шум и пр.), сложность задания, наличие знаний и умений для выполнения задания и пр.

Эти параметры применимы в психологических исследованиях. Например, когда требуется подобрать объект исследования или испытуемое лицо, которое чаще или реже подвергалось различным ЧП.

Для оценки методик используют различные параметры. Они зависят от типа исследования в зависимости от области наук (экономическое, техническое, психологическое, юридическое и пр.).

Среди наиболее распространенных критериев валидности также выделяют:

— поведенческие: эмоции, поведение, реакция в определенных условиях или ситуации;

— успехи в различных видах деятельности: на работе, учебе, творческом поприще, в социуме (авторитет) и пр.;

— самостоятельность и самоорганизация: умение организовывать и проводить различные действия (взятие проб, проведение эксперимента, разработка заданий и пр.);

— подбор методики в зависимости от ситуации или адаптация исследователя: анализ полученных данных и координация действий в зависимости от ситуации.

Следует отметить, что рассмотреть валидность только что разработанной методики очень сложно, а на практике практически невозможно. Доказательство ее валидности фактически приводится в рекомендательной части научной работы, когда исследователь доказывает эффективность предложенных мер, проводит апробацию результатов исследования.

Трудности с учебой?

Помощь в написании студенческих и
аспирантских работ!

Источник

Мир психологии

психология для всех и каждого

Надёжность и валидность психодиагностических методик

Надёжность и валидность психодиагностических методик

Прежде чем психодиагностические методики могут быть использованы для практических целей, они должны пройти проверку по ряду формальных критериев, доказывающих их высокое качество и эффективность. К числу основных критериев оценки психодиагностических методик относятся надежность и валидность.

Большой вклад в разработку этих понятий внесли зарубежные психологи (А. Анастази, Е. Гизелли, Дж. Гилфорд, Л. Кронбах, Р. Торндайк, Е. Хаген и др.). Ими были разработаны формально-логический и математико-статистический аппарат (прежде всего корреляционный метод и фактический анализ) обоснования степени соответствия методик отмеченным критериям.

В традиционной тестологии термин «надёжность» означает относительное постоянство, устойчивость, согласованность результатов теста при первичном и повторном его применении на одних и тех же испытуемых.

Надёжность методики – это критерий, который говорит о точности психологических измерений, то есть позволяет судить о том, насколько внушают доверие полученные результаты.

Это согласованность результатов тестирования испытуемых в разные моменты времени, при первичном и вторичном тестировании и с использованием разных по эквивалентности, по содержанию заданий. Надежность характеризует тесты свойств, но не состояний. Свойства:

Степень надёжности методик зависит от многих причин. Среди негативных факторов наиболее часто называются следующие:

Одним из важнейших средств повышения надежности методики является единообразие процедуры обследования, его строгая регламентация: одинаковая обстановка, однотипный характер инструкций, одинаковые для всех временные ограничения, способы и особенности контакта с испытуемыми и так далее.

На характеристику надёжности методик большое влияние оказывает исследуемая выборка. Она может, как снижать, так и завышать этот показатель, например, надежность, может быть искусственно завышена, если в выборке небольшой разброс результатов, т.е. если результаты по своим значениям близки друг к другу. Поэтому в руководстве обычно делается описание выборки, на котором определялась надёжность методики.

В настоящее время надежность все чаще определяется на наиболее однородных выборках, т.е. на выборках, схожих по полу, возрасту, уровню образования, профессиональной подготовке и т.п.

К.М. Гуревич предложил толковать надёжность как:

Определение надежности измерительного инструмента. От того как составлена методика, насколько правильно подобраны задания, насколько она однородна зависит точность, объективность измерения.

Для проверки надежности измерительного инструмента, говорящего о его однородности (гомогенности) используют метод расщепления. Задания делят на четные и нечетные (необходимо выполнение всех заданий), а затем результаты коррелируются между собой. Если методика однородна, то большой разницы в успешности по этим половинам не будет, коэффициент будет высоким. Можно сравнивать по частям, но лучше по четным и нечетным, т.к. этот способ не зависит от тренировки, утомления и т.д.

Методика надежна, если коэффициент не ниже 0,75 – 0,85, лучше 0,90 и выше.

Определение стабильности изучаемого признака. Также необходимо установить насколько устойчив, стабилен признак, который исследователь намерен измерять. Признак со временем может меняться, но колебания его не должны иметь непредсказуемый характер.

Для проверки используется прием, который называется тест-ретест. Он заключается в повторном обследовании испытуемых с помощью этой же методики. О стабильности судят по коэффициенту корреляции между результатами первого и второго обследования. Он будет свидетельствовать о сохранении или не сохранении каждым испытуемым своего порядкового номера в выборке.

На степень устойчивости влияет разнообразие фактора. Необходимо соблюдать единообразие процедуры обследования.

При определении стабильности признака большое значение имеет промежуток времени между 1 и 2 обследованиями. Чем короче этот промежуток, тем больше шансов, что этот признак сохраняет уровень первого испытания. Целесообразно проводить повторное тестирование через короткий срок после тестирования. Экспериментатор сам устанавливает этот срок, но чаще в психологической литературе указывают на интервал от нескольких месяцев (но не более полугода). Вопрос о стабильности измеряемого свойства решается не всегда единообразно. Решение зависит от сущности диагностируемого признака.

Если измеряемое свойство уже сформировано, то коэффициент должен быть не ниже 0,80.

Определение константности, т.е. относительная независимость результатов от Личности экспериментатора. Так как методика разрабатывается для дальнейшего использования ее другими психодиагностами, необходимо определить в какой мере ее результаты поддаются влиянию личности экспериментатора. Коэффициент константности определяется путем корреляции результатов двух опытов, проводимых на одной и той же выборке, но разными экспериментаторами. Коэффициент корреляции не должен быть ниже 0,80.

Вопрос о валидности решается после того, как установлена надежность, так как ненадежная методика не может быть валидной.

Валидность теста – понятие, указывающее нам, что тест измеряет и насколько хорошо он это делает (А. Анастази). Валидность по своей сути – это комплексная характеристика, включающая, с одной стороны, сведения о том, пригодна ли методика для измерения того, для чего она была создана, а с другой стороны, какова её действенность, эффективность, практическая полезность.

По этой причине не существует какого-то единого универсального подхода к определению валидности. В зависимости от того, какую сторону валидности хочет рассмотреть исследователь, используются и разные способы доказательства. Другими словами, понятие валидности включает в себя разные ее виды, имеющие свой особый смысл. Проверка валидности методики называется валидизацией.

Валидность – соответствие конкретного исследования принятым стандартам (безупречному эксперименту).

Валидность в первом ее понимании имеет отношение к самой методике, т.е. это валидность измерительного инструмента. Такая про-верка называется теоретической валидизацией. Валидность во втором ее понимании уже относится не столько к методике, сколько к цели ее использования. Это прагматическая валидизация.

При теоретической валидизации исследователя интересует само свойство, измеряемое методикой.

Так как для определения теоретической валидизации тяжело найти какой-нибудь независимый критерий, лежащий вне методики, и поэтому раньше принимались на веру голословные утверждения о валидности этой методики. Так как теоретическая валидизация направлена на доказательство того, что методика измеряет именно свойство, которое она должна измерить. Для теоретической валидизации кардинальной проблемой является отношение между психологическими явлениями и их показателями, по средствам которой эти психологические явления пытаются познать. Она показывает, что замысел автора и результаты методики совпадают.

Не столь сложно осуществить теоретическую валидизацию новой методики, если для измерения данного свойства уже имеется методика с известной, доказанной валидностью. Наличие корреляции между новой и аналогичной старой методиками указывает на то, что разработанная методика измеряет то же психологическое качество, что и эталонная.

Для проверки теоретической валидности важно, с одной стороны, установить степень связи с родственной методикой (конвергентная валидность), а с другой – отсутствие этой связи с методиками, имеющими другое теоретической основание (дискриминантная валидность).

Важную роль для понимания того, что методика измеряет, играет сопоставление ее показателей с практическими формами Деятельности. Важно чтобы методика была проработана в теоретическом плане.

Проверяется практическая эффективность, значимость, полезность методики, так как методикой можно пользоваться только тогда, когда доказано, что измеряемое свойство проявляется в определенных видах Деятельности.

Для проверки прагматической валидности используется независимый внешний критерий – показатель проявления изучаемого свойства в повседневной жизни. В качестве такого критерия могут выступать успеваемость (для тестов способностей к обучению, тестов достижений, тестов интеллекта), производственные достижения (для методик профессиональной направленности), эффективность реальной Деятельности – рисования, моделирования и так далее (для тестов специальных способностей), субъективные оценки (для тестов Личности).

Американские исследователи Тиффин и Маккормик выделили 4-е типа внешнего критерия:

Внешний критерий должен обладать 3 основными требованиями:

Оценка валидности методики может носить количественный и качественный характер.

Для вычисления количественного показателя (коэффициента валидности) сопоставляются результаты, полученные при применении диагностических методик, с данными тех же лиц, полученные по внешнему критерию. Используются разные виды линейной корреляции (по Спирмену, по Пирсену).

Качественное описание сущности измеряемого свойства. Здесь не используют статистическую обработку.

Существуют несколько видов валидности, обусловленных особенностями диагностической методики, а также временным статусом внешнего критерия:

Источник