Определение процентного веса содержательных областей, манифестаций, а также количества заданий опросника

Манифестации Содержательные области Кол-во заданий
А В С D 40% 40% 10% 10%
Л (25%) 5(25%) С (25%) D (25%) 8 8 2 2 8 8 2 2 8 8 2 2 8 8 2 2
Кол-во заданий 32 32 8 8

Чтобы подсчитать количество заданий для каждой ячейки, умножают

неспециализированное число заданий, предназначенных для измерения некоего свойства лич- ности, на процентный вес его поведенческих проявлений. К примеру, количество заданий для левой крайней ячейки решетки равняется отношению 25 % к 32 задани- ям, что образовывает 8 заданий — 25/100×32 = 8. Если не получается целое число заданий для каждой ячейки, направляться его округлить.

Разработка заданий

В первую очередь необходимо указать на то, что в каждом задании возможно задан толь- ко один вопрос либо сформулировано одно утверждение. Запрещено допускать появ- ления заданий, в которых присутствуют формулировки типа: «для этого и других человека », «как и другие» и т. п. Каждое задание (вопрос) должны быть сформулированы предельно светло и просто. Нужно избегать неясных формулировок и придерживаться, как это быть может, самые простых вариантов ответов. Одновременно с этим нужно стремиться к тому, дабы обследуе- мые не могли додуматься о том, для измерения какой черты предназначено то либо иное задание. В другом случае ответы будут отражать их точку зрения на вы- раженность у себя данной черты, а не настоящее положение дел.

Задания должны отражать конкретные, а не неспециализированные нюансы изучаемой обла- сти поведения. К примеру, вместо задания «Нравится ли вам спорт?» лучше ис-

154 Глава 3. Психометрические базы психодиагностики: главные этапы…

пользовать более конкретный вопрос: «Вы систематично играетесь в какую-нибудь спортивную игру?».

Везде, где только возможно, направляться избегать потребления таких слов, как

«довольно часто», «редко» и т. п. В противном случае говоря, в формулировке заданий необходимо весьма осто- рожно прибегать к словам, говорящим о частоте действий. То, что одним ис- пытуемым интерпретируется как «довольно часто», для другого совсем не так. Примером может служить вопрос «Довольно часто ли вы употребляете спиртное?», ответ на данный вопрос не отражает настоящего положения дел, а характеризует субъективное вывод обследуемого (очевидно, во многих случаях именно это вывод и интересу- етисследователя!).Такжеследуетизбегатьтерминов,выражающихчувства.Луч- ше представить задание в контексте поведения. К примеру, задание «Нравится ли вам чтение художественной литературы» лучше заменить на «Просматриваете ли вы ху- дожественную литературу неизменно?».

Крайне важно, дабы любой из предлагаемых вариантов ответа воспринимался испытуемым как вероятный, возможный. Ответ, принимаемый обследуемым как неверный, будет иметь малую возможность выбора.

По окончании разработки всех заданий к ним направляться возвратиться через некое вре- мя и постараться еще раз оценить их формулировки, еще раз убедиться в том, что все они легко понимаются и не содержат неясностей. Для этого рекомен- дуется привлечь хотя бы двух-трех специалистов. В личностных опросниках, как пра- вило, применяют три типа заданий: дихотомические, трихотомические и задания с рейтинговыми шкалами1. Очень популярны задания с другим выбо- ром (дихотомические),каковые несложны для понимания, легки и удобны для об- работы. Эти задания требуют мельчайшего времени для ответа. К их недостат- ком относится то, что обследуемые довольно часто не удовлетворены предлагаемой альтер- нативой, желали бы видеть больше вариантов ответа. Задания трихотомические(три варианта ответа, к примеру «да», «не знаю», «нет») кроме этого распространены в опросниках, и их преимуществом есть то, что обследуемые смогут более точ- но выразить себя, нежели при альтернативы. Недочёт применения более двух вариантов ответов содержится в том, что смогут актуализироваться установ- ки на выбор крайних вариантов ответа и выбор среднего варианта, значительно чаще это такие ответы, как «не знаю», «время от времени» и т. п.

Какие-либо правила, определяющие количество вариантов выбора ответа, от- сутствуют. В большинстве случаев не рекомендуется применение более семи в опросниках, применяющих рейтинговые шкалы.Принципиально важно обеспечить достаточное количество градаций ответа, с тем дабы обследуемые были в состоянии адекватно выразить самих себя. направляться не забывать и о том, что в разрабатываемом опроснике желатель- но применять лишь один тип заданий.

Главные неприятности, появляющиеся при разработке заданий личностных опрос- ников, касаются актуализации факторов, имеющих установочную природу. Крат- ко остановимся на методах действия самые известных установок. Установка на согласиеможет быть преодолена посредством введения так называемых обрат- ных заданий, причем их количество должно быть равняется либо практически равно

Подробнее о типах заданий, применяемых в опросниках, см. гл. 5.

3.2. Разработка заданий 155

«прямых» заданий. К примеру, утверждение «Я удовлетворен отношениями с моей матерью» возможно дополнено обратным — «Я не удовлетворен отноше- ниями с моей матерью»1. При введении обратных заданий нужно шепетильно выверить их суть и убедиться в том, что они имеют то же самое значение, что и те, из которых были образованы. Кроме этого направляться избегать двойных отрицаний.

Установка на социально одобряемый ответможет быть минимизирована посредством исключения из опросника тех заданий, ответы на каковые оцениваются обследуемым с позиций их социальной желательности—нежелательности. В случае если это по тем либо иным обстоятельствам сделать нереально, направляться попытаться сформулировать косвенный вопрос, с тем дабы побудить к ответу, не являюще- муся несложным отражением жажды обследуемого представить себя в лучшем све- те. К примеру, утверждение «Люди всегда интригуют против меня» (выявле- ние параноидных тенденций) возможно сформулировано в виде: «Имеются не- каковые люди, которым я всецело доверяю». Достаточно действенной мерой в борьбе с данной установкой будет направленное испытуемому требование отвечать на любой вопрос, не через чур продолжительно вспоминая, не пробуя разбирать каж- дое задание.

Эдвардсом был создан радикальный метод устранения влияния данной уста- новки — конструирование заданий, складывающихся из двух утверждений, подобранных по социальной желательности, одно из которых и обязан выбрать обследуемый. Но данный прием не стал распространен по трем обстоятельствам: 1) сложность создания согласованных утверждений; 2) тенденция к повышению любых незна- чительных различий в социальной желательности между частями заданий, в то время, когда они предъявляются совместно; 3) применяемая при разработке таких опросников экспертная оценка социальной желательности существенно упрощает это явление.

Кое-какие исследователи при разработке опросников применяют специаль- ную группу заданий, предназначенных для обнаружения лиц, склонных к социаль- но одобряемым ответам. Эти задания складываются из вопросов, касающихся незначи- тельных проступков, совершаемых практически всеми людьми. К примеру, «Я ни- в то время, когда не лгу» либо «Я постоянно прихожу вовремя на свидания и встречи». Лица, собравшие большое количество баллов по таковой шкале, рассматрива- ются как дающие социально одобряемые ответы, и их результаты не рассматрива- ются как точные. Не обращая внимания на то что Г, Айзенк обосновывает, что эти так на- зываемые «шкалы лжи» измеряют определенную личностную переменную, дан- ный прием возможно очень нужен для обнаружения установки на социально одобряемые ответы.

Установка на неизвестные ответы (так именуемые ответы средней ка- тегории),в то время, когда нельзя отказаться от присутствия таковых в опроснике, в извест- ной мере преодолевается инструкцией, требующей от испытуемого как возможно ре- же прибегать к таким ответам, и числом вопросов, число которых не должно приводить к рассеиванию внимания, а тем самым выбору «самый лег- кого ответа». В полной мере оправданно считается, что эта категория ответов самый привлекательна тогда, в то время, когда оба крайних значения равнодушны для испытуемых. Следовательно, задания должны быть сформулированы так, дабы выбор ответа средней категории не был притягателен. Задания, для которых необ-

156 Глава 3. Психометрические базы психодиагностики: главные этапы…

ходима средняя категория ответов, не смогут пройти процедуру анализа (см. потом) и будут машинально устранены. В случае если опросник предусматривает применение только дихотомических заданий, то на протяжении пилотажного изучения возможно попросить испытуемых отмечать те из них, которые вызвали затруднение и потребовали, согласно их точке зрения, неизвестного ответа; после этого от них лучше отказаться.

Установка на крайние ответыобычно проявляется в заданиях с рейтинговы- ми шкалами. Согласно точки зрения П. Клайна, преимущества рейтинговых шкал, дающих испытуемому много возможностей для выбора, сводятся на нет действием уста- новки на крайние ответы. Исходя из этого лучше избегать задания типа рейтинговых.

Подводя итоги достаточно краткого рассмотрения способов борьбы с установ- ками на ответы (в соответствующей литературе нетрудно отыскать более детальный анализ этих неприятностей, появляющихся при конструировании опросников), отыщем в памяти идея Гилфорда о том, что самая благоприятную землю для проявления этих установок создают неконкретные, неизвестные и неоднозначные задания. В ходе работы над опросником задания будут много раз переформулиро- ваться, будет изменяться порядок их предъявления, исходя из этого полезно иметь собственный- го рода картотеку заданий, разрешающую трудиться раздельно над каждым из них. Смогут быть очень нужны компьютерные банки заданий, каковые сейчас доступ- ны экспертам.

Оформление теста

Разработчикам тестов хорошо как мы знаем, что от оформления, формы представле- ния методики, что определяется как ее очевидная (лицевая) валидность, зависит, как без шуток воспринимается она испытуемыми в качестве инструмента обследования. В любом опроснике должен быть представлен блок главной ин- формации,что включает его наименование, и вопросы, касающиеся имени, пола, возраста, образования и некоторых вторых нужных для исследователя данных. В обязательном порядке указывается дата заполнения опросника.

Инструкциядолжна быть ясной, понятной. В ней должно быть указано, как выбирать ответ и как именно отмечать его в опроснике. Тут же содержится дополнительная информация, которую разработчик вычисляет необхо- димым сказать обследуемому. К примеру, «отвечайте так скоро, как это вероятно» либо «отвечайте на любой вопрос честно, это крайне важно чтобы мы имели возможность оказать вам нужную помощь». направляться выде- лить те данные, которая может содействовать действенной работе испы- туемого, к примеру о соблюдении конфиденциальности.

Для компоновкитекста опросника направляться руководствоваться такими реко- мендациями.

1. Нумеруется каждое задание.

2. Любая строка на странице должна быть маленькой и содержать не более 10-

12 слов.

3. Все задания находятся по прямой вертикальной полосе сверху вниз в левом углу страницы.

3.4. Пилотажное изучение 157

4. Варианты ответов должны быть представлены так, дабы оказалась пря- мая вертикальная полоса сверху вниз в правом углу страницы. Необходи- мо обеспечить ясную визуальную связь между каждым заданием и вариан- тами ответа на него. Это возможно сделано посредством введения пунктир- ной линии от колонки заданий к их вариантам ответов. К примеру,

1.да

2.да

3.да

5. Каждое задание необходимо отделить друг от друга, лучше это сделать, исполь- зуя свободное пространство, а не горизонтальную линию.

6. В случае если употребляется более чем один тип заданий, однообразные задания груп- пируются совместно. Любой тип заданий требует различных своих вариантов и инструкций ответов.

7. Опросник печатается так, дабы он имел эстетически привлекательный вид.

Современные компьютеры разрешают относительно легко добиться опти- мального варианта текста. Дизайн опросника может содействовать воспри- ятию его как формального документа либо приближать к игре (изюминки шрифта, расположение заданий и цвет бумаги).

Результаты обследования (различные формы их представления) в большинстве случаев не при- нято включать в опросник, не смотря на то, что в некоторых случаях и допускается наличие в бланке (брошюре), с которым трудится испытуемый, итогового блока, заполняе- мого психологом.

Пилотажное изучение

Проведение пилотажного изучения предполагает исполнение заданий теста лицами, каковые имеют сходные изюминки с теми, для обследования которых он предназначается. Анализ взятых разрешённых поможет отобрать наилучшие задания для окончательной версии опросника.

В случае если, к примеру, опросник рекомендован для обследования лиц, имеющих про- блемы с алкоголем, пилотажное изучение возможно провести в соответствующих консультативных центрах, клиниках. В том случае, в то время, когда опросник будет исполь- зоваться применительно к любым, скажем, взрослым и психически обычным представителям популяции, нужно организовать репрезентативную груп- пу испытуемых. Сделать это намного тяжелее, чем подобрать какую-либо специ- фическую группу. В большинстве случаев составление выборки отнимает большое количество времени, поэто- му не следует этим заниматься при проведении пилотажного изучения. В случае если нереально создать репрезентативную выборку, в большинстве случаев достаточно составить выборку примерно похожую на репрезентативную. Лица, каковые прини- мают участие в пилотажном изучении, должны различаться по демографиче- ским показателям, таким как возраст, пол, социальный статус. Пилотажную вер- сию опросника направляться предъявить как возможно большему количеству испытуемых. Предельное число опрощеных, которое требуется для пилотажного

158 Глава 3. Психометрические базы психодиагностики: главные этапы…

изучения, должно быть вдвое больше, чем количество заданий. Если не- вероятно взять такое количество испытуемых, лучше все-таки привлечь к ис- следованию меньшее количество людей, чем по большому счету отказаться от проведения пи- лотажной стадии изучения.

Анализ заданий

Анализ заданий по итогам, взятым в пилотажном изучении, имеет собственной целью отбор наилучших заданий для окончательной версии опросника и включает в себя определение доли ответивших верно(в соответствии с клю- чом) и дискриминантностикаждого задания. Первый ход пребывает в том, дабы составить таблицу анализа заданий (табл. 3.3), в которой любая колонка (а, b, с, d и т. д.) воображает задание, а любая строка (1, 2,3,4, 5 и т. д.) — обследуемо- го. В то время, когда речь заходит о разработке личностных опросников, в таблицу вписывается соответствующий балл по каждому заданию, а наряду с этим имеется в виду, что задания- и обрат (с противоположным содержанием) оцениваются равно как и пря- мые задания, но в противоположном направлении континуума оценок. После этого сум- мируются баллы по каждой клетке для получения общего балла по каждому последовательности (испытуемые) и неспециализированного балла по каждой колонке (задания).

Таблица 3.3

Обследуем Задания Сумма
a b с d е
1. 2. 3. 4. 5.
Сумма

Пример матрицы для анализа заданий

Следующим шагом будет вычисление показателя, определяющего долю испы-

туемых, ответивших в соответствии с «ключом» опросника либо индекса эффек- тивности задания1.Данный показатель подсчитывается делением количества обсле- дуемых, давших верный (так называемый «главный») ответ, на их общее число. В идеалt данный индекс для каждого задания обязан размешаться в промежутке от 0,25 до 0,75, приближаясь в среднем к 0,5 для всего опросника. Ин- декс, меньший чем 0,25, говорит о том, что задание неэффективно вследствие того что весьма

Во многих случаях определяется как индекс сложности задания;к примеру, во многих шкалах интеллек-

та присутствуют субтести, предназначенные для определения неспециализированной осведомленности и складывающиеся из вопросов типа: «Назовите столицу Уругвая» либо «Кто создатель Критики чистого разума?». В таких тестах посредством индекса сложности устраняются те задания, на каковые отвечают практически все испы- туемые (легкие) и те, на каковые отвечают верно весьма немногие (сложные).

3.5 Анализ заданий 15 9

немногие обследуемые отвечают на него верно, а выше 0,75 показывает на то, что на данное задание получено через чур много верных ответов. В табл. 3.3 анализа заданий индекс эффективности для каждого задания получается следу- ющим образом: (а) 3/5 — 0,6; (b) 2/5 — 0,4; (с) 0/5 — 0; (d) 3/5 — 0,6 и (е) 5/5 = 1. Из этого направляться, что необходимо устранить задания (с) и (е) из окончательной версии опросника.

Кроме этого необходимо удостовериться, просмотрев результаты в таблице анализа зада- ний, в том что хороший индекс эффективности, т. е. лежащий где-то посередине между крайними оценками, не просто означает выбор средних оценок в оценоч- ном континууме каждым испытуемым, а является вариацией разных оценок.

Задания (вопросы, утверждения) лишь тогда направляться включать в окончатель- ную версию опросника, в то время, когда они измеряют те же самые личностные особенно- сти, что и другие, предназначенные для этого задания. Для определения дискри- минативности заданийиспользуется коэффициент корреляции каждого задания с неспециализированным баллом всего теста. Чем выше коэффициент корреляции, тем выше дис- криминантность задания, тем лучше задание. Это главный критерий. Как прави- ло, требуется минимальная корреляция в 0,2. Задания с отрицательной либо нуле- вой корреляцией практически в любое время исключаются.

Для расчета этого показателя значительно чаще используется коэффициент произве- дения моментов Пирсона (увидим, что он самый приемлем для оценивания заданий, имеющих пять и более вариантов ответа, а при дихотомических за- даний употребляется точечно-бисериальная корреляция). Вычисления в большинстве случаев производятся посредством особых компьютерных программ, но любой разработчик тестов обязан хотя бы один раз совершить расчеты вручную. Это позволяет проникновения в суть того, что происходит с заданиями теста. Тем читателям, каковые постараются осуществить эту процедуру, напоминаем, что ко- эффициенты корреляции неизменно меньше +1 и больше -1 . В случае если получено значение коэффициента, выходящее за границы этого промежутка, значит, допущена неточность в расчетах. Формула коэффициента произведения моментов Пирсона имеет форму:

где r— коэффициент корреляции; X — итог по каждому заданию; Y— балл

(итог) по всему тесту; п — количество попарных произведений; 2 — сумма.

Чтобы подсчитать коэффициент корреляции произведения моментов

Пирсона, необходимы: сумма баллов испытуемых по каждому заданию сумма бал- лов, испытуемых по всему тесту сумма квадратов баллов испытуемых по каждому заданию сумма квадратов баллов испытуемых по всему опросни- ку сумма произведения баллов по каждому заданию и по всем заданиям Методом подстановки в формулу значений перечисленных показателей вы-

числяется коэффициент корреляции. Нижеследующий пример демонстрирует несложной метод получения этого коэффициента. Для избежания неточностей рекомен- дуется повторный подсчет по каждому заданию.

160 Глава 3. Психометрические базы психодиагностики: главные этапы…

При ответе вопроса о включении задания в окончательную версию теста необходимо принимать к сведенью многие факторы. В дополнение к изучению эффек- тивности и дискриминантности необходимо выяснить то количество заданий, кото- рое потребуется для окончательной версии (не меньше 20-30 заданий!) и насколь- ко прекрасно они «вписываются» в ранее созданную для теста решетку. К примеру, возможно включить задания с низкой дискриминативностыо, в случае если имеется мало заданий по некоей области измерения. Кроме этого время от времени имеет суть включение в окончательный вариант опросника задания с не хватает высоким показате- лем эффективности при условии, что оно владеет достаточной дискриминантно- стью. Кроме этого принципиально важно обеспечить примерно равное количество прямых и об- ратных заданий. Для испытуемых различных полов нужно выполнить отдель- ные процедуры анализа заданий.

Испытуемые Балл по зада- Балл по зада- Балл по всему Бал по всему Произведение нию нию в квад- тесту тесту в квадрате баллов по зада-

рате нию и по всему тесту

п X X2 Y Y2 XY

Методы улучшения заданий выясняются именно на данной стадии конструирова- ния теста. К примеру, изменение формулировки ответа в задании с «время от времени» на «все- гда» может поднять показатель эффективности. Но эти трансформации во всех вопросах (утверждениях) смогут оказать влияние на валидность и надёжность теста. Про- цедура анализа заданий дает нужную информацию относительно параметров каждого задания. Однако лишь исследователь может вынести ответ о том, какой из параметров самый ответствен для реализации цели создаваемого теста.

В начале 1980-х гг., кроме классических процедур анализа заданий, появ- ляются более сложные, применение которых нереально без достаточно мощ- ного компьютерного обеспечения. К таковым в первую очередь относится теория «за- дание—ответ»(item response theory, IRT). Технические приемы данной теории, не- смотря на длящиеся дискуссии, сейчас включаются во снова создаваемые

3.6. Определение надежности теста 161

тесты. Но речь заходит в первую очередь о тестировании свойств. Самый слож- ные неприятности появляются в связи с попытками приложения ITR к тестам лично- сти. Непременно, нельзя утверждать, что процедуры из ITR неприменимы в оценке личности, но требуется ответ многих задач, перед тем как эта теория заменит классические процедуры анализа заданий подробнее об данной теории см. в рабо- тах П. Клайна, 1994; А. Анастази и С. Урбина, 2001; и др.).

Определение (8 класс, видеоурок-презентация)


Также читать:

Понравилась статья? Поделиться с друзьями: