Стандартизированный многофакторный метод исследования личности смил: Стандартизированный многофакторный метод исследования личности

Методика построена по типу опросника, однако оценка полученных в результате исследования данных базируется не на прямом анализе ответов испытуемого, а на данных статистически подтвержденной дискретной значимости каждого ответа в сравнении со средненормативными данными. В процессе обследования испытуемый оценивает как «верные» или «неверные» по отношению к нему утверждения, которые отражают картину самочувствия обследуемого, его привычки, особенности поведения, отношение к различным жизненным явлениям и ценностям, нравственную сторону этого отношения, специфику межличностных контактов, направленность интересов, уровень активности и настроения и прочее. Большая часть утверждений носит проективный характер и исподволь выявляет реакции испытуемого в разных ситуациях, моделируемых айтемами (утверждениями) методики.

Валидность метода после проведенной модификации проверялась путем сопоставления данных обследования методикой СМИЛ 3000 испытуемых с результатами других психодиагностических методик и сведениями, полученными от самих обследуемых и их непосредствен него окружения (друзья, родственники, учителя, тренеры, руководство, сотрудники или соученики, лечащие врачи, данные из истории болезни или служебной характеристики). Репрезентативная группа, послужившая эталоном для получения среднестатической нормы состояла из 860 человек, 580 мужчин и 280 женщин; поровну были представлены разные возрастные группы от 16 до 70 лет. Среди них были лица с высшим, средним и неполным средним образованием, которые, помимо прочего, группировались по специфике их профессиональной или учебной занятости.

Опыт применения методики позволил разработать интерпретационную схему, значительно более углубленную по сравнению с американским подходом и использующую тезаурус современной дифференциальной психологии, ориентированной на целостныйподход в понимании личности как единства биологических и социальных факторов (Ананьев Б. Г., Симонов П. В., Голубева Э.А., Pуcaлов В. М. и др.). В основе подхода — положение С.Л.Рубинштейна, согласно которому формирование психики под влиянием социального опыта происходит опосредованно, преломляясь через индивидуально очерченные внутренние условия человека.

Лаборатория исследования личности

Как связаны личностные качества и согласованность профиля?

Abstract

Утверждается, что если мы вычисляем взаимное согласие по некоторым личностным чертам, то у нас нет или очень мало информации о лицах, которые являются объектами этого суждения.Эта идея в значительной степени основана на двух разных способах вычисления согласия между собой: согласие на черты ( r _T ) и согласие профиля ( r _P ), которые обычно связаны с двумя разными ориентированными на черты качествами и личностями. -центрированные подходы в исследовании личности. Личностные черты 4115 целей из чешской, бельгийской, эстонской и немецкой выборок были оценены ими самими и знающими информантами. Мы демонстрируем, что согласие по признакам можно разделить на отдельные вклады, чтобы можно было показать, насколько каждая отдельная пара судей способствует достижению согласия по определенному признаку.Точно так же можно разделить согласие между двумя личностными профилями на индивидуальные вклады черт, из которых эти профили собраны. Если нормативность отделена от различимости оценок личности и индивидуальные профили ипсатизированы, то среднее согласие профиля r _P становится идентичным среднему согласованию характеристик r _T . Мнения о том, что анализ по каждому признаку не дает информации об уровне точности конкретной пары судей, а анализ профиля не позволяет оценить относительный вклад признаков в общую точность, не поддерживаются.

Ключевые слова: согласие друг с другом, подход, ориентированный на черты, подход, ориентированный на переменные, индекс Асендорпфа, индекс согласованности рангов

Введение

Суждения личности могут отражать не только черты, по которым конкретного целевого человека можно отличить от другие цели, но также стереотипы, предубеждения и вариативность метода (Cronbach and Gleser, 1953; Cronbach, 1955). Поскольку соглашение между экспертами о рейтингах личностных качеств позволяет нам разделять некоторые из различных компонентов рейтингов, использование нескольких информаторов стало одним из наиболее ценных инструментов в исследовании личности (McCrae, 1994; Funder, 1999; Kenny et al., 2006; Вазир, 2006; Боркенау, Залтаускас, 2009; Кандлер и др., 2010; Де Лос Рейес и др., 2013). Утверждается даже, что другие рейтинги являются более достоверным источником информации, чем самооценки, когда речь идет о взаимосвязи между личностными чертами и некоторыми внешними критериями достоверности (Kolar et al., 1996; Connelly and Ones, 2010). В любом случае соглашение между судьями — предварительное условие для того, чтобы собственность действительно существовала. Например, если двое судей расходятся во мнениях по поводу оцениваемого признака, они не могут быть правы обоими.По крайней мере, один из них неверен, и вполне вероятно, что они оба ошибаются (Funder, 1999). Таким образом, согласие необходимо для точности суждений о личностных качествах.

Два основных способа вычисления согласия

Одна проблема в исследовании личности состоит в том, что существует два основных способа вычисления согласия между суждениями нескольких информантов. Как правило, данные собираются в отношении целей N , которые, помимо самих себя, оцениваются одним или несколькими судьями по точно такому же набору из K личностных качеств.Согласие рассчитывается как корреляция между парами информантов, «я» и «знающий другой», в их ранговом положении по каждому индивидуальному признаку (Biesanz and West, 2000). Таким образом, совпадение черт ( r _T ) вычисляется отдельно для каждой из K личностных черт по всем N парам судей. Хотя исследователей может интересовать одна характеристика ( K = 1), единицей анализа по-прежнему являются черты, а не отдельные лица.Вот почему он называется подходом, ориентированным на переменную (признак за признаком) (Magnusson and Torestäd, 1993; Bergman, Trost, 2006; Furr, 2009).

Другой подход сосредотачивается на конкретном человеке, который, помимо его или себя, также оценивается одним или несколькими судьями. Этот метод коррелирует оценки двух судей данной цели по K личностным чертам. Поскольку в центре внимания этого подхода находится сходство между двумя (а иногда и более) профилями признаков, такая форма согласия называется согласованием профиля ( r _P ).Поскольку согласие рассчитывается по K личностным чертам для каждой отдельной пары целевой объект-судья, его часто называют личностно-ориентированным (индивидуально) подходом (Bernieri et al., 1994; Funder, 1997, 1999; Bergman and Трост, 2006).

Как правило, по большинству личностных качеств информаторы обычно достигают как минимум умеренного согласия между наблюдателями (Watson et al., 2000; Connolly et al., 2007; Connelly and Ones, 2010; Kenny and West, 2010). Например, медианное согласование черт между наблюдателями в ряде исследований с использованием показателей пятифакторной модели было равно 0.40 или выше по всем параметрам личности Большой пятерки (McCrae et al., 2004). Почти одинаковые уровни согласия между собой и другими были обнаружены в североамериканских и межкультурных выборках (McCrae et al., 2004). Было показано, что среднее совпадение профиля для всех пар мишень-информант находится в том же диапазоне или даже выше, чем для совпадения характеристик (Pelham, 1993; Kenny and Winquist, 2001; McCrae, 2008; Borkenau, Zaltauskas, 2009; Allik et al. ., 2010b; Dobewall et al., 2013). Однако нет хорошего объяснения, почему совпадение характеристик и профиля часто составляет около 0.40, при этом соответствие профиля имеет несколько более высокие значения. В этом исследовании мы предлагаем ответ на этот вопрос.

Два метода вычисления согласия — совпадение характеристик и профиля — оба имеют свои преимущества и недостатки (например, Bernieri et al., 1994). Согласие черт может быть более популярным среди исследователей, главным образом потому, что корреляция черт является основой факторных моделей личности, независимо от того, говорим ли мы о пятифакторной модели (FFM, McCrae and Costa, 1987; Goldberg, 1993; Allik et al., 2013) или любой другой из ряда факторных моделей (Ashton et al., 2004; Lee and Ashton, 2008; Ashton and Lee, 2010). Анализ ковариации между чертами личности является основным методом выявления генетической, окружающей среды и связанной с ошибками структуры показателей личности (McCrae et al., 2001). Однако, по мнению некоторых исследователей, модели ковариации личностных черт, такие как FFM, предоставляют информацию, которая верна только на уровне групп или популяций, и не может предоставить никакой полезной информации об отдельных лицах (Borsboom, 2005).Например, утверждалось, что если модель латентных факторов подходит для данной популяции, она не обязательно подходит каждому или даже любому человеку в этой популяции (Borsboom et al., 2003; Molenaar and Campbell, 2009). Берньери и его коллеги выразили аналогичное беспокойство: «Анализ отдельных черт позволяет исследователям определить, какие черты более точно воспринимаются судьями, но не позволяет легко ответить на вопросы относительно уровня точности конкретного судьи» (Bernieri et al., 1994, с. 370).Таким образом, преобладает убеждение, что корреляция признаков не дает много информации об индивидуумах.

Изучение конгруэнтности профилей самоинформаторов когда-то было плодотворной областью исследований (Bruner and Tagiuri, 1954; Taft, 1955), пока Кронбах (Cronbach, 1955; Gage and Cronbach, 1955) не опубликовал серию статей, в которых это было предложили дифференцировать и учитывать различные компоненты ответа, такие как «стереотипная точность», «высота» и «разница в высоте».Неожиданным результатом критики Кронбаха стала отмена почти всех исследований конгруэнтности себя-другого на несколько десятилетий (Funder and Colvin, 1997). Это был необычный поворот событий, как остро заметили Фундер и Колвин, когда научное сообщество просто запаниковало вместо того, чтобы принять базовые методы, чтобы отделить, например, различимость личностных профилей (дифференциальную точность) от нормативности или стереотипов (Гейдж и Кронбах, 1955; Bernieri et al., 1994; Furr, 2008; Borkenau, Zaltauskas, 2009).Хотя согласованность профиля значительно больше подвержена искажениям, чем согласованность характеристик, существуют относительно простые способы улучшить ситуацию. Многие из этих методов были предложены в статьях с драматическими последствиями (Cronbach and Gleser, 1953; Cronbach, 1955; Gage and Cronbach, 1955). В отличие от анализа по каждому признаку, анализ профиля генерирует оценку точности для каждой пары цель-информатор. В то же время анализ профиля, как обычно считается, «не позволяет нам оценить относительный вклад характеристик (или элементов) в общую точность» (Bernieri et al., 1994, с. 370).

Тем не менее, анализ профиля имеет явное преимущество перед расчетом согласия внутри признаков, то есть его статистическую мощность (Боркенау и Залтаускас, 2009). Например, статистическая мощность, необходимая для установления корреляции между двумя признаками в выборке из 300 участников, равна мощности, необходимой для установления этой корреляции между 30 признаками только среди 11 участников (Боркенау и Залтаускас, 2009). Очевидно, такой прирост мощности весьма желателен.

Хотя согласие по признакам и профилю являются законными способами оценки соответствия друг другу, существует очень мало эмпирической или теоретической информации о том, как эти две формы согласия связаны друг с другом.Здравый смысл, но не так много эмпирических исследований, предполагает, что совпадение характеристик и профиля имеет что-то общее. Обычно средние значения обоих, как уже упоминалось, находятся в одном диапазоне (0,40 или выше). С другой стороны, существует множество свидетельств того, что эти две формы согласия имеют существенно разные интерпретации, подразумевая, что они не взаимозаменяемы (Bernieri et al., 1994; Kenny and Winquist, 2001; Connelly and Ones, 2010). Мнение о том, что совпадение характеристик и профиля может не иметь существенного совпадения, также подкрепляется легко конструируемыми примерами, по крайней мере, очевидной диссоциации между этими двумя формами согласия.Легко представить искусственный пример, в котором корреляция между двумя личностными профилями равна нулю. Например, хотя маловероятно, что можно будет получить одинаковые баллы по всем личностным чертам, это все же возможно и полностью совместимо со многими моделями личности (Allik et al., 2012). Если бы это произошло, не было бы никаких различий в этих личностных профилях, и, как следствие, согласие между собой и другим равно нулю. В то же время цели и их информаторы могут сообщать об очень схожих или даже идентичных уровнях этих личностных черт, что приводит к высокой корреляции черт.И наоборот, можно представить себе корреляции признаков, которые лишь незначительно отличаются от нуля, основываясь на значительном числе диад, сообщающих о похожих профилях. В заключение, эти два подхода — ориентированный на человека и ориентированный на переменную — иногда дают схожие, а иногда и разнородные результаты (Furr, 2009, p. 203).

Настоящее исследование

Целью настоящего исследования является изучение взаимосвязи между характеристикой и соответствием профиля и, таким образом, существенное расширение существующей литературы по данной теме.Отправной точкой является наблюдение, что совпадение черт и профилей рассчитывается на основе одних и тех же данных (Furr, 2009, стр. 203). Анализируя кросс-ситуационные поведенческие непредвиденные обстоятельства (один и тот же набор черт измерялся неоднократно), Ферр заметил, что профильный подход можно комбинировать с более традиционным подходом, ориентированным на черты характера (Furr, 2009). В частности, он продемонстрировал, что с точки зрения ковариации одна форма соглашения напрямую связана с другой, разделяя некоторые общие компоненты ковариации (Furr, 2009, Приложение A в дополнительных материалах).В этом исследовании мы следовали этому подходу и заметили, что формулы для признака r _T и корреляции профиля r _P (см. Приложение A в дополнительных материалах) содержат один и тот же член — продукт собственного и другого -рейтинговые оценки — что делает эти две корреляции неизбежно зависимыми друг от друга. Эта зависимость между корреляциями черт и профилей становится очевидной, когда корреляции Пирсона вычисляются как средние значения произведений стандартных оценок.Мы также демонстрируем в Приложении A в дополнительных материалах, что стандартизация личностных показателей делает разницу между средним соответствием характеристик r _T (усредненным по всем признакам) и соответствием среднего профиля r _P (усредненным во всех диадах друг друга) предсказуемо меньше. Например, если оценки личности стандартизированы дважды, установив все средние черты и все средства человека равными нулю, а все стандартные отклонения черт и людей равны единице, то среднее значение признака r _T и профиль среднего значения r _P договор становится идентичным.Таким образом, если мы устраним все различия между чертами и профилями, вызванные возвышением или разбросом, то не имеет значения, вычисляем ли мы среднее значение черты или совпадение профиля. Следовательно, для дважды стандартизованных баллов z существует только одна мера среднего согласия между собой и другими, независимо от того, начинаем ли мы с черт или с индивидуальных профилей (см. Пример в Приложении B в дополнительных материалах).

Еще один способ проанализировать взаимосвязи между корреляциями черт и профилей — это разложить согласие друг с другом по признакам на вклад отдельных пар в эту корреляцию (Asendorpf, 1992; Allik et al., 2010b). Asendorpf (1990, 1992) предложил простой математический метод для разделения корреляции момента произведения Пирсона между двумя переменными на вклад отдельных диад в эту общую корреляцию. Предлагаемый коэффициент индивидуальной согласованности I _XY , который характеризует каждую отдельную пару XY , был определен таким образом, чтобы их среднее значение по всем парам было идентично корреляции на агрегированном уровне (Asendorpf, 1990). Используя некоторые хорошо известные свойства преобразованных z переменных, индекс индивидуальной согласованности может быть выражен как линейная функция квадратов разностей оценок z двух переменных: I _XY = 1 — ( z _X — z _Y ) ² /2, где z _X и z _Y — это z -баллы двух парных переменных X и Y (Asendorpf, 1990).

Этот индекс формулирует прозрачную идею о том, что диады, члены которых занимают примерно одинаковые позиции в своих соответствующих рейтингах, вносят значительный вклад в общую корреляцию, тогда как члены диад, которые занимают очень разные позиции в рейтинге, вносят меньший или даже отрицательный вклад в общую корреляцию. . Очевидно, что несоответствие между индивидуальными рейтингами членов диады обратно пропорционально общей корреляции. Однако что-то, что ограничивает применимость этой идеи, заключается в том, что переменные X и Y не полностью удовлетворяют требованиям корреляции как меры стохастической связи: например, они отклоняются от нормального распределения, будучи сильно искаженными или так или иначе искажены.Обычно для восстановления нормальности распределений рекомендуются определенные преобразования (например, преобразование Фишера z ).

Другая возможность — разработать новый индекс индивидуальной согласованности, основанный только на ранжирующей информации. Например, ранговая корреляция Спирмена ρ (rho) измеряет статистическую зависимость между двумя парными переменными X и Y на основе их рангов. В качестве прямой аналогии с индивидуальным индексом согласованности Asendorpf I _XY мы можем предложить непараметрический индекс согласованности ранга ( RnkCI ) ρ _{XY = 1-6 · ( r} — r _Y ) ² / ( N ² — 1), где r _X и r _Y — ранги соответствующих значений переменных X и Y и N — количество пар.Важно отметить, что среднее значение ? _XY для всех пар N идентично ранговой корреляции Спирмена ? на агрегированном уровне. Таким образом, ρ _XY демонстрирует, насколько сильно каждая отдельная пара вносит вклад в общую корреляцию некоторого признака. Если мы усредним ρ _XY по всем личностным чертам K , то мы можем найти среднее значение RnkCI ρ _XY , который характеризует согласованность рангов самооценок и оценок других людей по всем личностным чертам K .Одно очевидное преимущество RnkCI состоит в том, что он основан на гораздо менее ограничительных предположениях, чем корреляция произведение-момент Пирсона. Единственное лежащее в основе предположение RnkCI — сохранение монотонного отношения.

Зная среднее значение RnkCI (ρ _XY ), характеризующее каждую отдельную диаду, мы можем сравнить его с профильной корреляцией r _P , вычисленной по признакам K для отдельных пар. Согласование профиля (r _P ) начинается с индивидуальных пар цель-судья, измеряя совпадение между их двумя профилями.Очевидно, что r _P можно усреднить по нескольким парам цель-судья, в результате чего получится r _P . Насколько нам известно, до сих пор никто не сравнивал ρ _XY и r _P . Если эти два индекса (r _P и ρ _XY ) связаны друг с другом, это опровергнет мнение о том, что личностно-ориентированный анализ и анализ, ориентированный на особенности, приводят к радикально разным выводам о согласии друг с другом.

Некоторые исследователи критикуют тот факт, что результаты большинства психологических исследований имеют мало отношения к большинству людей в мире (Berry et al., 2002), поскольку они изучают преимущественно СТРАННЫХ (западных, образованных, индустриальных, богатых и демократических) людей (Henrich et al., 2010a, b; Jones, 2010). Действительно, недавний опрос ведущих психологических журналов показал, что 96% всех участников исследования были из западных промышленно развитых стран, большинство из которых говорили на английском как на родном (Henrich et al., 2010b). Однако в этом исследовании мы подчеркиваем возможность обобщения результатов с одного языка и культуры на другой. Мы сравниваем четыре достаточно разных в историческом и культурном отношении европейских образца, чтобы воспроизвести результаты по всем из них.

Методы

Меры

Все участники этого исследования заполнили либо Пересмотренный опросник личности NEO (NEO-PI-R; McCrae and Costa, 2010), либо опросник личности NEO-3 (NEO-PI-3; McCrae et al. ., 2005), который представляет собой слегка модифицированную версию NEO-PI-R. Вопросы и формулировки в NEO-PI-3 были изменены, чтобы они были более понятными для участников, чтобы повысить точность ответов. Обе версии используют пятибалльную шкалу Лайкерта от «Совершенно не согласен» до «Совершенно согласен».«Как и исходный NEO-PI-R, NEO-PI-3 имеет 240 пунктов, которые измеряют 30 аспектов личности, которые сгруппированы в пять областей FFM, так что оценка каждой области является составной из шести оценок аспектов. NEO-PI-R / NEO-PI-3 обладает превосходными психометрическими характеристиками для широкого диапазона языков и стран, включая те, которые были включены в настоящее исследование (De Fruyt et al., 2009).

Участники

Всего в этом исследовании было 8230 участников — 4115 целей и 4115 осведомленных информаторов из четырех различных выборок — чешской, бельгийской (фламандской), эстонской и немецкой.

Чешская выборка

Чешская выборка включала 808 целей (329 мужчин, 479 женщин), которые были задействованы в серии исследований (McCrae et al., 2004). Их возраст составлял от 14 до 83 лет, средний возраст — 35,7 года ( SD, = 14,2 года). Рейтеры пришли из разных схем исследования, которые были объяснены в нашей предыдущей статье (Allik et al., 2010a). Все участники использовали чешскую версию опросника NEO PI-R (Hřebíčková, 2002).

Эстонский образец

Участники настоящего исследования были из эстонской когорты Biobank , данные по которой были собраны Эстонским центром генома (EGC) при Тартуском университете (Leitsalu et al., 2014). В эстонской выборке 2658 участников (1455 женщин и 1203 мужчин) со средним возрастом 46,0 лет ( SD = 17,3, в диапазоне от 18 до 91 года) заполнили версию самоотчета Эстонского опросника личности NEO-3. Все 2658 участников номинировали кого-нибудь, кто их хорошо знал. Кандидатам было предложено оценить личностные черты конкретной цели, используя версию эстонского NEO-PI-3 для других отчетов. Среди информантов 1845 женщин (72,2%) и 723 мужчины.Средний возраст информантов составил 42,6 ( SD, = 24,1) года.

Фламандская выборка

Фламандские данные были собраны у 345 целевых участников (270 женщин и 75 мужчин), которые изучали психологию в Katholieke Universiteit Leuven и которые, в соответствии с требованиями курса, оценили свою личность с помощью голландской версии NEO PI. -R (Hoekstra et al., 1996). Они также наняли хорошо знакомого человека ( n = 345; 190 женщин, 112 мужчин и 43 не указали пол), родственника или друга, который оценил их личность, используя форму отчета наблюдателя того же инструмента. .Средний возраст целей составлял 18,4 ( стандартное отклонение, = 3,0) года. Средний возраст внешних оценщиков составил 29,5 ( SD, = 13,7) лет.

Немецкая выборка

Участниками были 304 студента (169 женщин, 134 мужчины и 1 не сообщающий пол) немецкого университета, из которых только 3 изучали психологию (Боркенау и Залтаускас, 2009). Их средний возраст составлял 23,38 ( SD, = 2,68) года, от 18 до 35 лет. Они получили 45 евро за участие и были набраны в 76 групп, каждая из которых состояла из четырех человек, которые все хорошо знали друг друга.Каждая группа из четырех человек была разделена на две диады, и все участники описали себя и другого члена диады в нескольких личностных описаниях, включая немецкую версию NEO PI-R (Ostendorf and Angleitner, 2004).

Чешская, фламандская и немецкая выборки также использовались в наших предыдущих исследованиях (Allik et al., 2010a, 2012; Borkenau et al., 2013a).

Нормативность и самобытность профилей личности

Профили личности отражают, по крайней мере, два различных компонента — нормативность и самобытность (Cronbach, 1955; Furr, 2008; Borkenau, Zaltauskas, 2009).Нормативность профиля — это степень, в которой профиль отражает средний профиль — сходство между индивидуальным профилем оценок и нормативным профилем оценок группы. Отличительная особенность профиля — это то, насколько индивидуум выше или ниже среднего балла по каждому признаку (Furr, 2008; Borkenau and Zaltauskas, 2009). Исследователи личности в первую очередь заинтересованы в индивидуальности профиля, потому что их главная забота — это уникальность, а не стереотипы. Кроме того, было продемонстрировано, что реакция самосовершенствования и социальной желательности очень мало влияет на отчетливое согласие между собой и другим (Боркенау и Залтаускас, 2009).Таким образом, чтобы получить отличительные профили, все личностные данные были стандартизированы по признакам, преобразовав их в баллы z . В данных по Чехии и Эстонии стандартизация проводилась отдельно для четырех групп участников (мужчин и женщин, каждая из которых была разделена на две группы: одна моложе и одна старше 30 лет). Здесь исходные баллы по всем тридцати личностным аспектам были преобразованы так, что новый балл, равный нулю, представлял среднее значение для каждой из четырех отдельных групп, а разница на единицу от среднего значения указывала на разницу в одно стандартное отклонение.Нормализация проводилась отдельно для самооценок и оценок наблюдателей на основе целевого возраста и пола. Помимо исключения практически всей нормативности из профилей, эта нормализация также устраняет значительную часть отклонений, вызванных возрастными или половыми различиями. Поскольку участники из бельгийской и немецкой выборок были в среднем относительно молодыми, их данные были стандартизированы отдельно только для пола.

Меры соответствия профиля

Исследователи предложили различные индексы, измеряющие уровень согласия между двумя профилями личности, включая индекс Кеттелла, индекс МакКрея, внутриклассовую корреляцию и некоторые другие (McCrae, 1993, 2008; Furr, 2010).Однако все эти различные меры аналогичны корреляции момента произведения Пирсона, поскольку они оценивают сходство форм как один из своих компонентов. Неудивительно, что обычно Pearson r работает почти так же точно, как и другие меры согласования профиля (McCrae, 2008). Помимо существенной простоты, важно отметить, что Pearson r не зависит от конкретных используемых единиц измерения. Если на один из профилей влияет высота или перепад высот, то, как только эти два профиля становятся линейно инвариантными друг к другу, Pearson r считает их идентичными.Основываясь на этих соображениях, мы использовали Pearson r как достаточно справедливое представление всех других индексов согласия.

Результаты

Соглашение о профиле

Мы начали с вычисления соглашений о профиле r _P между самооценкой и оценкой других для всех 4115 участвующих диад. Как и следовало ожидать, когда мы использовали необработанные оценки, корреляции средних профилей были относительно высокими (таблица, первая строка). Среднее значение по всем четырем образцам было 0.57 (см. Последний столбец). Когда отличительность была отделена от нормативности (путем стандартизации баллов), согласие профиля снизилось в среднем на 0,16 балла. Это говорит о том, что отличительное согласие составило примерно 77, 73, 70 и 70% общего профиля согласия в чешской, эстонской, фламандской и немецкой выборках, соответственно. Однако корреляции индивидуальных профилей, основанные на стандартизированных оценках, не всегда были ниже, чем корреляции, основанные на необработанных оценках. На 15,1% (эстонская выборка) до 21.В 7% (фламандская выборка) всех диад корреляции профилей, основанные на стандартизованных оценках, были выше, а не ниже, чем такая же корреляция, основанная на необработанных оценках.

Таблица 1

Корреляции средних профилей и индексы согласованности рангов для четырех образцов .

Аналогично стандартизации оценок по признакам или столбцам, также можно стандартизировать оценки по отдельности или по строкам. Иногда этот тип стандартизации называется ипсатизацией, которая полезна для устранения особенностей стиля ответа оценщика (например, предпочтения одной части шкалы ответов). В результате ипсатизации среднее значение равно нулю, а стандартное отклонение равно единице для каждого человека.Чтобы стандартизировать оценки по признакам и по каждому человеку одновременно, может потребоваться несколько раз повторить процедуру стандартизации по столбцам и строкам, чтобы получить средние по столбцам и строкам и стандартные отклонения, достаточно близкие к нулю и единице, соответственно. В третьей строке таблицы приведены средние корреляции профилей, основанные на двойных нормированных оценках для наших четырех выборок. Очевидно, что эти корреляции профилей очень похожи на корреляции в предыдущем ряду.

Соглашение о признаках

Затем мы вычислили согласие между собой для всех шкал граней NEO-PI.Следует отметить, что линейные преобразования переменных признаков (добавление и умножение на константу) не влияют на их корреляцию. На рисунке показаны значения соответствия признаков (Pearson r _T ) в наших четырех образцах для всех 30 признаков NEO-PI. Форма этих четырех профилей похожа: их корреляции по аспектам варьируются от 0,51 (чешский против фламандского) до 0,73 (фламандский против эстонского), что свидетельствует о том, что образец согласия можно обобщить от одного языка и / или культуры к другому.Это указывает на то, что люди и их информанты соглашаются по одним чертам больше, чем по другим. Например, E3: Напористость — это черта, с которой легко согласиться (в среднем r _T = 0,56), тогда как восприятие себя и информатора на O6: значения согласуются меньше всего (в среднем r _T = 0,32). Среднее согласие по всем признакам варьировалось от 0,32 (Германия) до 0,47 (Эстония), что вполне согласуется с ранее сообщенными значениями (McCrae et al., 2004).

Профили корреляций между собой и другими чертами для чешских, эстонских, фламандских и немецких образцов .

Возможно, интересно упомянуть, что не имело большого значения, использовалась ли корреляция рангов Спирмена или Пирсона r . Корреляции между собой и другими чертами, вычисленные по рангам, в среднем были лишь немного меньше, чем корреляции Пирсона.

Индекс согласованности рангов

Затем мы разложили корреляции между собой и другими признаками на вклады отдельных диад, используя RnkCI и вычислив значения ρ _XY для всех 4115 диад.Как и ожидалось, средние значения ρ _XY (по всем признакам) были аналогичны профильным корреляциям тех же диад «я — другой». Корреляция между ρ _XY и r _P составила 0,75, 0,79, 0,51 и 0,67 для чешской, эстонской, фламандской и немецкой выборок соответственно. Хотя эти корреляции относительно высоки, до полного совпадения все еще есть изрядная свобода. Поэтому мы проверили, стали ли эти корреляции выше, суммируя их по достаточному количеству появлений (Epstein, 1979, 1980).Мы разделили все образцы на 10 примерно равных по размеру групп на основании значений согласованности их профилей r _P . На рисунке показаны средние значения профильной корреляции (r _P ) и среднее значение RnkCI ( ρ _XY ) для этих 10 групп.

За исключением очень небольшого количества точек отклонения, взаимосвязь почти идеально линейна, что позволяет предположить, что при подавлении случайного шума профильные корреляции могут быть довольно точно предсказаны на основе средних различий в ранжировании личностных черт.Корреляция между точками данных составляет 0,96 ( p <0,0001). Если индивид ( X ) и информант ( Y ) сообщают о достаточно схожих рейтингах по всем или, по крайней мере, по многим чертам личности, эти два профиля также схожи. Эффекты агрегации показывают, что большая часть необъяснимой дисперсии действительно случайна, потому что она компенсируется агрегацией.

Вклад черт в согласованность профиля

Мы также можем спросить, какой вклад каждая черта вносит в корреляцию профиля самоинформатора.Предположим, что в каждом индивидуальном профиле оценки заменены их рангами: фасетная шкала NEO-PI, набравшая наивысший балл, получает ранг один. Следующий наивысший балл получает рейтинг 2 и так далее, пока самый низкий балл не получит рейтинг 30. Баллы «Я» и «информатор» ранжируются отдельно. Теперь разница между рейтингами для себя и других определяет, насколько эта конкретная черта влияет на общую корреляцию профиля. Черты, которые имеют одинаковые или похожие ранги в личном профиле и профиле информанта, вносят больший вклад в корреляцию профилей, чем те черты, которые имеют большое расхождение между рангами.Таким образом, мы можем применить тот же индекс согласованности рангов или RnkCI ρ _XY , чтобы оценить, насколько каждый признак влияет на корреляции профилей.

Для каждой отдельной диады мы нашли 30 значений ρ _XY , каждое из которых показывает, насколько конкретный признак способствовал корреляции профиля. После этого мы вычислили среднее значение согласованности ρ _XY f для каждого признака путем усреднения оценок по всем парам самоинформаторов N в каждой из четырех выборок.Это усредненное значение RnkCI показывает, насколько эта конкретная черта личности влияет на корреляцию профиля, усредненную для всех участников в этой выборке. Это позволяет нам проверить, связаны ли вклады этого признака в согласие профиля с соглашением между собой r _T для этого признака (как показано на рисунке). Корреляция между ρ _XY и r _T составила 0,79, 0,80, 0,54 и 0,87 для чешской, эстонской, фламандской и немецкой выборок соответственно.Для большей ясности мы проиллюстрируем взаимосвязь между ρ _XY и r _T для объединенной выборки из 4115 целей на рисунке.

Связь между средней корреляцией профиля ( r _P ) и средней RnkCI (ρ _XY ), когда образцы были разделены на 10 групп равного размера на основе корреляций их профилей .

Взаимосвязь между личностным соглашением информаторов и вкладом признака в корреляцию среднего профиля .

На этом рисунке показано, что черты, показывающие более высокое согласие друг с другом, являются теми же чертами, что и те, которые вносят значительный вклад в корреляции между собой и другими профилями. Средняя корреляция между вкладами в согласование профиля (ρ _XY ) и r _T была достаточно высокой, r = 0,78, p <0,0001. Например, E3: напористость, C2: порядок и O2: эстетика высоки по обеим осям. В то же время N4: самонадеянность, O6: идеи и A2: прямолинейность внесли относительно скромный вклад в обе меры согласия.Тем не менее, полезно отметить, что оба значения находятся в относительно узком коридоре, где-то около значения 0,40. Это означает, что относительно хорошее согласие достижимо по всем признакам без четких различий между измерениями, которые более или менее поддаются оценке.

Обсуждение

В результате этого исследования, возможно, пришло время распрощаться с двумя до сих пор широко распространенными заблуждениями. Одно из них — это убеждение, что корреляции признаков (или анализ отдельных признаков в целом) не дают информации о согласии между отдельными парами судей.Точно так же считалось самоочевидным, что анализ профиля не позволяет оценить относительный вклад характеристик в общую точность (Bernieri et al., 1994, стр. 370). Asendorpf (1990) предложил уже 25 лет назад простую идею разложения общей корреляции Пирсона на отдельные вклады каждой из пар оценок, по которым вычисляется корреляция. Предлагаемый индекс согласованности I _XY реализует интуитивно прозрачную идею о том, что те пары, которые занимают примерно одинаковые ранги в континууме признаков, сильно влияют на общую корреляцию, тогда как те члены диад, которые занимают очень разные ранговые позиции, вносят меньший вклад, или, отрицательно, к общей корреляции признаков.Чтобы реализовать эту базовую интуицию более буквально и преодолеть ограничения индекса Asendorpf, мы предложили индекс согласованности рангов ρ _XY или RnkCI, который пропорционален квадрату разницы между рангами самооценок и оценок информаторов. по заданному признаку. Точнее, среднее значение отдельных индексов ρ _XY равно общему значению ρ Спирмена, вычисляемому для тех же рангов. Таким образом, RnkCI показывает, насколько определенная пара судей внесла вклад в эту корреляцию признаков.Точно так же мы можем разложить корреляции профилей друг друга на относительные вклады каждой черты. Удивительно, что эти математически элементарные идеи, насколько нам известно, никогда не применялись к соглашению между собой и другими людьми.

Мы впервые продемонстрировали, что есть два альтернативных способа определить, какие черты характера наиболее согласованно воспринимаются судьями. Один из обычных способов — вычислить корреляцию между собой, черта за признаком. В результате такого анализа мы узнали, что те черты, которые воспринимались более согласованно в одной культуре, также более согласованно воспринимались в других исследуемых выборках.По какой-то причине E3: Напористость, C2: Порядок и O2: Эстетика показали высокую степень согласия между собой во всех четырех выборках. Хотя было достигнуто достаточное согласие по всем 30 изучаемым личностным качествам, согласие между собой было ниже в отношении самосознания, открытости новым идеям и прямолинейности. Однако при изучении признаков, которые больше способствовали корреляциям отдельных профилей, выявилась та же закономерность. При агрегировании индексов согласованности по всем диадам оказалось, что ранговые различия были меньше для тех черт, по которым было получено более высокое согласие между собой.В свою очередь, согласованность рангов была относительно небольшой (ранги были разными) для напористости, порядка и открытости эстетике, по которым было труднее достичь согласия по признакам.

Точно так же есть два альтернативных подхода к решению, какая из всех участвующих диад больше согласна в суждении о личности. Вычисление корреляций между профилями самооценок и оценок других позволяет выявить диады, которые достигают высокого, среднего или низкого уровня согласия. Альтернативный способ найти диады, превосходящие себя в согласии с другими, — это принять во внимание различия в рангах, которые члены одной диады занимают по всем личностным качествам.Как мы показали, эти два альтернативных способа характеристики диадного согласия сильно сходятся. Корреляция между согласованностью профиля r _P и согласованностью рангов ρ _XY находилась в диапазоне от 0,51 (фламандская выборка) до 0,79 (эстонская выборка). Можно, конечно, пожаловаться, что такие корреляции, как 0,51, не очень впечатляют, оставляя много места для психологически значимых различий между этими двумя способами характеристики согласия. Этот аргумент кажется более весомым, если учесть, что использование исходного индекса Asendorpf I _XY вместо ρ _XY привело к аналогичной, но меньшей сходимости.Однако примененный нами агрегатный тест продемонстрировал, что основная проблема заключалась в том, что диада была слишком мала как единица анализа для получения надежных результатов. Если единица анализа включала достаточное количество вхождений, эти два альтернативных способа вычисления внутридиадного согласия очень хорошо сходились, оставляя необъяснимым примерно 8% дисперсии. Не отрицая того, что даже 8% дисперсии могут иметь психологически значимую интерпретацию, это все же убедительное свидетельство того, что эти два альтернативных метода существенно сходятся.

Нам необходимо прояснить один потенциальный источник противоречий. В одном из наших предыдущих исследований мы утверждали, что согласие лишь умеренно обобщает одну черту личности на другую (Allik et al., 2010b): надежный судья о своей открытости или открытости друга не обязательно хорошо разбирается, например, в том, добросовестность. Одним из следствий этого отсутствия обобщения является то, что не может быть хороших судей о личности, потому что на основе того, насколько хорошо вы судите об открытости, невозможно сказать, насколько хорошо вы судите о других чертах личности (противоположное мнение см. В Funder , 1997, 1999).В дополнение к этой загадке, наши предыдущие результаты, похоже, противоречат нынешним выводам о том, что согласие по признакам, когда оно разложено на вклады отдельных пар оценщиков, существенно коррелирует с коэффициентами согласия профиля. Решающее различие между нашими текущими и предыдущими исследованиями заключается в уровне анализа. Вместо всех 30 аспектов в предыдущем исследовании нас интересовали только оценки предметной области, а также вычисление для них индекса Asendorpf. Это также означает, что нагрузка фасетов одного и того же измерения сильнее коррелирует друг с другом, чем с фасетами, которые вносят вклад в другие измерения.Поскольку в нашем предыдущем исследовании (Allik et al., 2010b) мы наблюдали обобщаемость по измерениям, мы упустили возможность обобщения между аспектами, измеряющими одни и те же общие черты. Таким образом, согласие определенно можно обобщить по аспектам одного и того же измерения черты. Если кто-то, например, точно судит о своей тревоге, враждебности или депрессии своего друга или друга, он или она также, скорее всего, хорошо оценивает импульсивность, уязвимость или самосознание, являясь всеми различными аспектами невротизма. .

Даже после установления существенной конвергенции между двумя альтернативными способами оценки согласия, остается объяснить, почему некоторые факторы (например, продолжительность совместного проживания) могут влиять, например, на согласие по признакам, но не на соответствие профиля (Bernieri et al., 1994) . Несомненно, Майкл Ферр был одним из первых, кто указал на тот факт, что, несмотря на значимость обоих подходов, они основаны на одних и тех же данных (Furr, 2009, p. 203). Однако он, вероятно, ошибся, когда утверждал, что связь между подходами, ориентированными на черты характера и человека, не может быть четко проведена с помощью корреляционной метрики (Furr, 2009, стр.203). Как мы демонстрируем в Приложении A в дополнительных материалах, связь между корреляциями черт и профилей становится очевидной, когда корреляции Пирсона выражаются как средние значения произведений стандартных оценок. Выражение корреляции профиля ( r _P ) и черты ( r _T ) через произведение стандартных оценок делает очевидным, что эти две формулы имеют общий термин — произведение себя и других. рейтинговые оценки. Это означает, что между этими двумя формами соглашения существует прямая связь, что делает их зависимыми друг от друга.Даже если нет строгих однозначных отношений, между этими двумя формами корреляций должна быть положительная связь.

Психологов личности редко интересует компонент нормативности в профилях личности — насколько данный человек похож на среднего или прототипного человека группы, к которой он или она принадлежит. Исследователей личности обычно интересует различительный компонент суждений, который показывает, насколько индивидуум выше или ниже среднего по каждой характеристике.Один из наиболее распространенных способов измерения этого — стандартизация данных путем вычитания выборочного среднего из каждой оценки и деления результата на стандартное отклонение этой выборки. Это дает стандартизованную переменную с нулевым средним и единичной дисперсией. Если мы вычислим Pearson r между двумя стандартизованными переменными, то результат будет просто равен среднему произведению этих стандартизованных оценок. Это приводит к выводу, что если данные о личности стандартизированы дважды (все средние значения столбцов и строк равны нулю со стандартным отклонением единицы), то корреляция среднего профиля r _P (усредненная по всем парам судей) равна к средней корреляции признаков r _T (усреднено по всем признакам).Это также дает объяснение того, почему некоторые факторы могут влиять на согласие по признакам, но не по профилю, или наоборот. Это может произойти только в том случае, если черты характера различаются по уровню возвышения и / или отклонениям. Другая возможность состоит в том, что отдельные профили имеют разные уровни возвышения и / или разные модели разброса оценок внутри профилей. Обычно эти факторы считаются артефактами и контролируются стандартизацией. Например, дифференциальный разброс профилей обычно воспринимается как результат стиля ответа оценщика, а не самих оцениваемых черт.Чтобы избавиться от различий в стилях ответов, рекомендуется использовать ипсатизированные профили. В результате различия между подходами, ориентированными на переменные и ориентированные на человека, практически исчезают.

Этот вывод имеет последствия для продолжительной дискуссии о достоинствах индивидуального подхода и индивидуального подхода к личности (Magnusson and Torestäd, 1993; Pelham, 1993; Bernieri et al., 1994; Asendorpf, 2000; Бергман, Трост, 2006; Ферр, 2009). Наша позиция больше соответствует тем авторам, которые не думают, что важно, начинаем ли мы анализ с черт или с личности (Asendorpf, 2000; Furr, 2009).Также, как мы уже упоминали, не тот случай, когда анализ по каждому признаку не дает информации о точности конкретного судьи, и что анализ профиля не позволяет оценить относительный вклад признаков в общую точность. Поскольку согласованность черт и профилей взаимосвязаны, изучение черт имеет существенное значение для изучаемых людей. В то же время сосредоточение внимания на людях существенно влияет на их черты характера, например, на то, воспринимаются ли они по обоюдному согласию.

Когда МакКрэй и Коста (1997) выдвинули смелую гипотезу о том, что модель ковариации между личностными чертами может быть универсальной для человека, им пришлось полагаться только на шесть переводов Личностного инвентаря NEO (NEO-PI-R), то есть на немецкий, португальский, иврит, китайский, корейский и японский языки. Тем не менее, данные из этих очень разнообразных культур с языками из пяти разных языковых семей были достаточно убедительными, чтобы предположить, что наблюдаемая модель ковариации между личностными чертами будет очень похожей, когда новые культуры и языки будут подвергаться критическому анализу (McCrae and Allik, 2002). .Однако оказалось, что модель ковариации легко обобщается не только для разных культур и языков, но и для многих других свойств (Allik et al., 2013). Например, в большинстве изученных культур мужчины различаются по личностным характеристикам больше, чем женщины (Borkenau et al., 2013a, b). С другой стороны, существует кросс-культурный воспроизводимый паттерн различий между внутренним (я) и внешним (информант) взглядами на личностные черты Большой пятерки (Allik et al., 2010a). Это исследование расширяет этот список, демонстрируя, что существует воспроизводимая модель согласия между собой, которая обобщается в четырех исследованиях, культурах и языках.

Среднее согласие между собой было немного выше в эстонской и чешской выборках (0,46) и более скромным во фламандской и немецкой выборках (0,36–0,37). Конечно, возможно, что это разделение отражает некоторые культурные или даже исторические различия. Однако более вероятно, что эти различия в согласии между собой и другими отражают различия в демографическом составе этих выборок. Например, чешский и эстонский образцы были не только двумя крупнейшими, но и двумя самыми старыми образцами.Фламандские и немецкие участники были в основном молодыми студентами. Студенты более однородны не только по возрастному составу, но и по уровню образования. Личностные различия в такой выборке студентов могут быть меньше, чем в популяциях с более широким диапазоном демографических характеристик. Тем не менее, также возможно, что студенты были менее мотивированы к выполнению этого задания и, как следствие, давали больше случайных ответов. В качестве альтернативы сокурсники могли не знать своих целей, а также родственников или партнеров из взрослых выборок.Это, конечно, чистые домыслы. Необходимы дополнительные исследования, чтобы понять, как демографические переменные, включая культуру, влияют на согласие друг с другом на личностные черты.

В целом эти относительно небольшие различия между выборками не заслоняют основных выводов. Если мы вычислим согласие между собой по некоторым личностным чертам, тогда мы будем обладать всей необходимой нам информацией о людях, которые являются объектами этого суждения. Точно так же мы всегда можем разложить согласование между двумя личностными профилями на отдельные вклады черт, из которых эти профили собраны.Период неуверенности в том, что два основных способа вычисления согласия между собой и другим — совпадение черт и профилей — иногда обнаруживают похожие, а иногда и разнородные результаты, закончился. Мы точно знаем, когда большие средства согласования характеристик и профиля, r _T и r _P , сходятся в идентичное значение. Высота и разброс некоторых признаков и профилей относительно других признаков и профилей — единственная причина, по которой средняя корреляция признаков r _T и средний профиль r _P не всегда равны.

(PDF) Поистине многомерный подход к MANOVA

МНОГОМЕРНЫЙ АНАЛИЗ ВАРИАНТОВ

225

ПРИМЕР СТИЛЯ APA

Был проведен однофакторный многомерный дисперсионный анализ между субъектами (MANOVA). Оценки черт личности Большой пятерки из NEO PI-r служили

зависимыми переменными в анализе, а этнические группы (европейские американцы,

американцев азиатского происхождения, азиатские интернационалисты) составляли независимую переменную.Оценка однородности матриц вариации-ковариации и допущений о нормальности

, лежащих в основе MANOVA, не выявила каких-либо существенных аномалий, а априорный уровень значимости

был установлен на уровне 0,05. Двумерные корреляции для зависимых переменных

для всех 203 участников представлены в таблице 1.

Результаты MANOVA были статистически значимыми в соответствии с Λ Уилкса

(0,62), F (10, 392) = 10,45, p <.001. Кроме того, наибольший характеристический корень Роя

(gcr) был статистически значимым (s = 2, m = 1, n = 97, p <0,001) и показал, что

независимая переменная и первая многомерная комбинация зависимых переменных

разделяют 25 процентов их дисперсии. Одномерные средние и стандартные отклонения, а также коэффициенты нестандартизированной дискриминантной функции

для первой многомерной комбинации

представлены в таблице 2. Как видно, коэффициенты (ws) указывают на различия в группах EA, AA,

и AI. как функция относительно высокой открытости для опыта (ws

=.04) по сравнению с более низкими зарегистрированными уровнями Экстраверсии (ws = -.06) и Приятного —

(ws = -.03). Коэффициенты невротизма (ws = -.01) и добросовестности

(ws = 0,01) были относительно небольшими по абсолютной величине. Следуя стратегии анализа MANOVA

, рекомендованной Харрисом (2001), упрощенный многомерный композит был

, созданным из центрированных зависимых переменных с экстремальными коэффициентами дискриминантной функции

. Для текущих данных упрощенная совокупность была равна: (-1) (Extra-

версия) + (-1) (Согласие) + (1) (Открытость к опыту), или Открытость — (Extra-

версия + Дружелюбие).Концептуально эта комбинация черт представляет собой что-то вроде типа личности, который мы назвали «Зарезервированная открытость». Мы обозначили

, противоположную этому типу, «общительным традиционализмом».

Как видно на рисунке 1, эти три группы различались по паттернам версии Extra-

, чертам открытости к опыту и доброжелательности. В частности, американцы американского происхождения евро-

сообщили о более высоком уровне экстраверсии и уступчивости по сравнению с

для открытости к опыту; другими словами, они демонстрировали общительный традиционализм.

Противоположная картина средних значений наблюдалась для американских студентов азиатского происхождения и азиатских студентов Inter-

, которые продемонстрировали зарезервированную открытость. Действительно, три группы различались

на упрощенной многомерной композиции (основанной на центрированных переменных), представляющей

зарезервированной открытости, F (2, 200) = 27,69, p <0,001, η2 = 0,22, согласно полностью

апостериорный критерий статистической значимости (Harris, 2001). Кроме того, используя скорректированное критическое значение

по Шеффе для контроля над инфляцией ошибок типа I, мы провели несколько последующих сопоставлений

.Американцы европейского происхождения (n = 75, M = -15,44, SD =

21,86) в среднем имели более низкие баллы по Reserved-Openness, чем азиатские

International (n = 72, M = 10,98, SD = 26,03). ) и американцев азиатского происхождения (n = 56, M = 6,55,

SD = 21,21) вместе взятых (средняя разница для контраста, Mконтраст, = 24,20, p

<0,05, η2 = 0,21, CI.95: 11,19, 37.21). Более того, было обнаружено, что EA имеют меньшую оценку

, чем AI (Mcontrast = 26,42, p <0,05, η2 = 0,20, CI.95: 11.71, 41,12) и AA (Mcontrast

= 21,99, p <0,05, η2 = 0,13, CI.95: 6,25, 37,73), рассматриваемые отдельно. Средняя разница

между AI и AA не была статистически значимой (M контраст = -4,43, p

> 0,05, η2 = 0,01, CI.95: -20,31, 11,45). Хотя предполагаемые размеры эффекта были небольшими, 95% доверительные интервалы

были точными по сравнению с возможным диапазоном значений

на упрощенной многомерной композиции.

Границы | Вычисление многомерных размеров эффектов и их выборочных ковариационных матриц с помощью моделирования структурными уравнениями: теория, примеры и компьютерное моделирование

В социальных и поведенческих науках рекомендуется сообщать размеры эффекта и их дисперсию выборки (например,г., Коэн, 1994; Уилкинсон и Целевая группа по статистическим выводам, 1999; Камминг, 2014). Когда имеется достаточное количество исследований, метаанализ является стандартным методом, используемым для обобщения результатов исследований. Результаты метаанализа могут проинформировать нас, каков средний эффект и как его размеры варьируются в разных исследованиях.

Есть два ключевых ингредиента для метаанализа. Первый — это размер эффекта, который количественно определяет силу эффекта в исследованиях. Величина эффекта может быть нестандартной или стандартизированной (например,г., Келли и Проповедник, 2012). Нестандартизированные размеры эффекта используются, когда размеры эффекта сопоставимы в разных исследованиях, например, по артериальному давлению или физическим показателям (Bond et al., 2003). Когда масштабы измерений неясны или несопоставимы в разных исследованиях, предпочтительны стандартизированные величины эффекта (например, Hunter and Hamilton, 2002).

Помимо размеров эффекта, нам также нужна стандартная ошибка ( SE ) размеров эффекта, чтобы количественно оценить точность оцененных размеров эффекта.Формулы для общих величин эффекта, таких как стандартизованные и необработанные разности средних, коэффициенты корреляции и отношения шансов, хорошо известны и хорошо изучены (Borenstein et al., 2009; Card, 2012; Cheung, 2015a; Schmidt and Hunter, 2015). .

Однако в прикладных исследованиях может быть задействовано несколько размеров эффекта. Например, может быть более одной группы лечения по сравнению с контрольной группой. Использование нескольких терапевтических групп позволяет исследователям решать проблему с разными уровнями манипуляции.Используя одну и ту же контрольную группу для сравнений, исследователи минимизируют затраты на сбор нескольких контрольных групп (Kim and Becker, 2010). Другой пример — это когда в контрольной группе и группе лечения имеется более одной переменной результата. Использование нескольких результатов позволяет исследователям изучать различные связанные результаты при одних и тех же манипуляциях (Thompson and Becker, 2014). Исследования, которые измеряют эти два типа величины эффекта, известны как исследования с множественным лечением и с множественными конечными точками.

Поскольку размеры эффекта не являются независимыми, исследователи должны рассчитать ковариации выборки между величинами эффекта. Глезер и Олкин (1994, 2009) предоставили наиболее полное на сегодняшний день лечение этого предмета. Они вывели формулы для вычисления размеров эффекта, а также их дисперсий и ковариаций выборки. Как только размеры эффекта и их ковариационные матрицы выборки доступны, многомерный метаанализ (Nam et al., 2003; Jackson et al., 2011; Cheung, 2013) может быть выполнен для всех размеров эффекта.

Хотя Глезер и Олкин (1994, 2009) предоставили стандартные формулы для вычисления размеров эффекта и их матриц ковариации выборки для исследований с множественным лечением и множественными конечными точками, их подход имеет несколько ограничений. Во-первых, пользователям, особенно тем, у кого нет сильного статистического опыта, непросто понять логику вычисления дисперсий и ковариаций. Во-вторых, эти формулы основаны на предположении об однородности дисперсий или ковариационных матриц.Хотя можно отказаться от этих предположений, их выводы не очевидны для большинства пользователей. Большинство пользователей просто примут эти предположения, не рассматривая альтернативы. В-третьих, их формулы трудно распространить на более сложные случаи. Одним из таких примеров является сочетание множественного лечения с исследованиями с множественными конечными точками в одной публикации. Многие исследователи упрощают размеры эффекта либо до исследования с множественным лечением, либо до исследования с множеством конечных точек, что не идеально из-за потери информации.

Моделирование структурным уравнением (SEM) — излюбленный инструмент для анализа многомерных данных. Он был использован для расчета SE s и доверительных интервалов для различных размеров и индексов эффекта (Райков, 2001; Cheung and Chan, 2004; Preacher, 2006). Недавно Cheung (2015a, глава 3) показал, как общие размеры эффектов, в том числе в исследованиях с множественным лечением и множественными конечными точками, а также их дисперсии и ковариации выборки могут быть рассчитаны с использованием структуры SEM.

Подход SEM предоставляет графическую модель средних значений, стандартных отклонений и корреляций.Величина эффекта определяется как функция этих параметров. Читатели могут лучше понять, что означают эти величины эффекта. Во-вторых, предположения об однородности дисперсий, ковариаций или корреляций могут быть наложены или ослаблены путем использования ограничений равенства для параметров. Используя дельта-метод, встроенный в пакеты SEM, можно автоматически получить соответствующие матрицы ковариации выборки. В-третьих, возможно распространить подход SEM на более сложные ситуации.Например, подход SEM может использоваться для расчета размеров эффекта и их ковариационной матрицы выборки для комбинации исследований с множественным лечением и несколькими конечными точками. Ключевым преимуществом этого является то, что исследователям нужно сосредоточиться только на концептуальном «определении» размеры эффекта; Ковариационная матрица выборки величин эффекта численно рассчитывается пакетами SEM.

Остальная часть статьи построена следующим образом. В следующем разделе содержится краткое введение о том, как вычислить размеры эффекта и их ковариационные матрицы выборки для схем с множественным лечением и множеством конечных точек в SEM.Два эмпирических примера используются для иллюстрации того, как проводить анализ с использованием пакета metaSEM (Cheung, 2015b), реализованного в статистической платформе R (R Development Core Team, 2018). Затем представлены два компьютерных моделирования для оценки эмпирических характеристик подхода SEM при нескольких условиях. Основываясь на результатах моделирования, в этой статье делается вывод о том, что предпочтительнее не навязывать предположение об однородности дисперсий (или ковариаций) при вычислении величины эффекта для исследований с множественным лечением и с несколькими конечными точками, когда это предположение вызывает сомнения.Наконец, обсуждаются дальнейшие направления дальнейших исследований.

Подход SEM к оценке величины эффекта

Cheung (2015a, глава 3) представляет SEM-подход к оценке различных величин эффекта, в том числе в исследованиях с множественным лечением и множественными конечными точками. Анализ состоит из трех этапов. На первом этапе предлагается модель структурного уравнения со средними значениями, стандартными отклонениями и корреляциями для соответствия данным. Когда данные взяты из независимых групп (например,, контрольная группа по сравнению с группами вмешательства при вычислении стандартизованных или необработанных средних различий) используется модель структурного уравнения с несколькими группами. Во-вторых, накладываются соответствующие ограничения равенства на однородность ковариационных (или корреляционных) матриц. Если есть основания полагать, что предположение об однородности ковариационных (или корреляционных) матриц неуместно, исследователи могут проверить гипотезу статистически. Затем они могут отказаться от этих предположений при расчете размеров эффекта.

Наконец, величина эффекта определяется как функция средних значений и стандартных отклонений ( SD с). Величина эффекта с их матрицами ковариации выборки оценивается пакетами SEM с использованием оценки максимального правдоподобия (ML). Такой подход освобождает пользователей от необходимости вручную выводить ковариационную матрицу выборки, а это процесс, подверженный человеческим ошибкам. Давайте рассмотрим примеры исследований с множественным лечением и множественными конечными точками.

Исследования комплексного лечения

Предположим, что мы измеряем оценку по математике в контрольной группе и двух группах лечения ( y _{( C )} , y _{( T 1)} и y _{( T 2). )} ).На рисунке 1 показана модель структурного уравнения с одной контрольной и двумя лечебными группами. Для простоты обсуждения мы используем параметры населения на рисунках. Понятно, что в анализе используются выборочные оценки. Прямоугольники и треугольники представляют наблюдаемые переменные и столбцы единиц соответственно. Стрелки от треугольников к наблюдаемым переменным представляют собой средние значения переменных в контроле μ _{( C )} , обработке 1 μ _{( T 1)} и обработке 2 μ _{( T 2)} соответственно.Дисперсии переменных в контроле и вариантах лечения 1 и 2 представлены как σ (C) 2, σ (T1) 2 и σ (T2) 2 соответственно.

Рисунок 1 . Модель структурного уравнения для исследований с множественным лечением.

Если никаких ограничений не наложено, указанные выше средние и дисперсии такие же, как и в статистике выборки. В предположении однородности дисперсий можно наложить ограничение H0: σCommon2 = σ (C) 2 = σ (T1) 2 = σ (T2) 2. Эта нулевая гипотеза проверяется путем сравнения статистики отношения правдоподобия ( LR ) моделей с ограничением и без него.Если нулевая гипотеза верна, разница между статистикой LR следует распределению хи-квадрат с 2 степенями свободы ( df с). Теперь мы можем определить стандартизированные средние различия (SMD) между группами лечения и контролем, используя в качестве знаменателя общий SD σ _Общий :

Одна единица SMD указывает, что среднее значение для экспериментальной группы на одну общую SD выше, чем для контрольной группы.Поскольку SMD _MTS1 и SMD _MTS2 имеют одинаковые параметры μ _{( C )} и σ _Common , они коррелированы. Вместо использования аналитических решений, предоставленных Глезером и Олкиным (1994, 2009), мы можем оценить дисперсию выборки и ковариацию с помощью численного подхода в SEM.

Когда допущение об однородности дисперсий вызывает сомнения, может оказаться нецелесообразным использовать σ _{Обычный} в знаменателе.Это связано с тем, что σ _{Обычный} не оценивает ни одну из совокупности SD s. Лучшей альтернативой является использование контрольной группы σ _{( C )} в качестве стандартизатора при расчете величины эффекта (Glass et al., 1981). Стандартизированные средние различия экспериментальных групп по сравнению с контрольной группой теперь описаны как:

, который не основан на предположении об однородности дисперсий.Теперь одна единица SMD указывает, что среднее значение для экспериментальной группы на SD для контрольной группы выше, чем для контрольной группы.

Исследования с несколькими конечными точками

Теперь предположим, что есть две величины влияния на результаты по математике и языку: y ₁ и y ₂ . На рисунке 2 показана модель с двумя независимыми группами (контрольная и лечебная группы). Мы используем η ₁ и η ₂ с фиксированной на единицу дисперсией, чтобы представить стандартизированные оценки y ₁ и y ₂ .σ ₁ и σ ₂ теперь представляют SD s из y ₁ и y ₂ . То же представление модели часто используется для стандартизации переменных в SEM (например, Cheung and Chan, 2004, 2005; Cheung, 2015a).

Рисунок 2 . Модель структурного уравнения для исследований с несколькими конечными точками.

Можно предположить, что корреляции однородны, наложив ограничение H ₀ : ρ _{Обычное} = ρ _{( C )} = ρ _{( T )} .Тест LR может использоваться для проверки этой нулевой гипотезы путем сравнения моделей с этим ограничением и без него. При нулевой гипотезе тестовая статистика имеет распределение хи-квадрат с 1 df . Если мы далее предположим, что ковариационные матрицы однородны, мы можем наложить ограничения H ₀ : ρ _Common = ρ _{( C )} = ρ _{( T )} , H ₀ : σ _{1 Обычный} = σ _{1 ( C )} = σ _{1 ( T )} и H ₀ : σ _{2 Общий} = σ _{2 ( C )} = σ _{2 ( T )} .При нулевой гипотезе тестовая статистика при сравнении моделей с ограничениями и без них следует распределению хи-квадрат с 3 df с. Мы можем отказаться от всех ограничений, если эти предположения вызывают сомнения.

Независимо от того, наложили ли мы вышеуказанные ограничения, размеры эффекта для исследования с несколькими конечными точками определяются как:

, где σ ₁ и σ ₂ — стандартные отклонения для y ₁ и y ₂ .Мы не ставим нижний индекс в формулы, потому что то, что на самом деле представляют собой σ ₁ и σ ₂ , зависит от того, были ли на них наложены ограничения. Если мы наложим ограничения равенства на SD s, σ _1Common и σ _2Common используются в качестве стандартизаторов в уравнении (3). Если мы не предполагаем, что ковариационные матрицы однородны, в качестве стандартизаторов используются SD s в контрольных группах (σ _{1 ( C )} и σ _{2 ( C )} ).После того, как мы определили соответствующие размеры эффекта, ковариационная матрица выборки между SMD _MES1 и SMD _MES2 может быть получена из пакетов SEM с помощью численных методов.

Иллюстрации с R

Глезер и Олкин (1994) представили некоторые образцы данных по исследованиям с множественным лечением и множественными конечными точками. Эти наборы данных хранятся в пакете metaSEM (Cheung, 2015b). Пакет metaSEM также предоставляет smdMTS () и smdMES () для расчета величины эффекта для исследования с множественным лечением и исследования с множественными конечными точками с допущениями об однородности или без них.Дополнительные материалы 5 показывает пример кода R. Читатели могут обратиться к руководству по пакету для получения подробной информации.

Таблица 22.2 в Gleser and Olkin (1994) отображает смоделированные данные шести исследований пяти режимов упражнений с контрольной группой, не выполнявшей регулярных упражнений. Зависимая переменная — систолическое артериальное давление. Таким образом, величина отрицательного эффекта между экспериментальной и контрольной группами предполагает, что те, кто в экспериментальной группе, находятся в лучшем состоянии здоровья, чем те, что в контрольной группе. В качестве иллюстрации мы показываем расчеты из первого исследования, которое включает три группы лечения и одну контрольную группу.Когда мы предполагаем, что дисперсии однородны, SMD _MTS трех групп лечения по сравнению с контрольной группой составляют -1,17, -1,90 и -2,00 соответственно. Ковариационная матрица выборки (0,09 0,050,10 0,050,060,10). Если мы не предполагаем, что дисперсии однородны, и используем SD контрольной группы в качестве стандартизатора, SMD _MTS равны -0,79, -1,29 и -1,36 соответственно. Матрица ковариации выборки (0.06 0,060.09 0,060.070.08). В этом примере размеры эффекта, которые были рассчитаны с предположением, что дисперсии однородны и примерно на 50% больше, чем те, которые были рассчитаны без этого предположения. При проверке предположения, что дисперсии однородны, статистика равна χ (3) 2 = 21,30, p <0,001, что предполагает, что это предположение несостоятельно. Сомнительно, уместно ли в этом примере использование размеров эффекта с допущением об однородности дисперсий.

Таблица 22.4 в Gleser and Olkin (1994) показывает семь опубликованных исследований оценок SAT-Math и SAT-Verbal групп, прошедших инструктаж по тестам, по сравнению с оценками контрольных групп без обучения. Положительный размер эффекта означает, что группы с коучем работали лучше, чем группы без коучинга. В качестве иллюстрации мы выбираем первое исследование для демонстрации. SMD _MES по математике и словесности составляют 1,19 и 0,61 с VMES = (0,09 0,050,08). Если мы не предполагаем, что ковариационные матрицы однородны, то SMD _MES по математике и вербалу равны 1.30 и 0,56 с VMES = (0,12 0,050,06). Статистика теста на однородность ковариационных матриц равна χ (3) 2 = 4,92, p = 0,18, что не является статистически значимым. Следует отметить, что размеры выборки в этих исследованиях довольно небольшие (34 и 21).

Приведенные выше иллюстрации показывают, что размеры эффекта с допущением однородности и без него могут сильно различаться в зависимости от того, выполняется ли допущение об однородности. Остается неясным, как эти оценки размера эффекта будут эмпирически работать с смоделированными данными.Следующее компьютерное моделирование проясняет эмпирические характеристики этих оценщиков.

Два исследования моделирования

Два исследования с компьютерным моделированием были проведены для оценки эмпирических характеристик метода SEM. Все симуляции были выполнены с помощью пакета metaSEM (Cheung, 2015b) на статистической платформе R (R Development Core Team, 2018).

Прежде чем переходить к деталям исследований моделирования, важно уточнить значение выражения «с однородностью и без однородности дисперсий (или ковариационных матриц)» в исследованиях моделирования.Данные генерируются либо из равных, либо из неравных дисперсий совокупности (см. Условия вариаций совокупности). Независимо от того, равны ли дисперсии генеральной совокупности, два набора величин эффекта рассчитываются на основе одного и того же набора данных — один предполагает однородность дисперсий, а другой — нет.

Когда данные генерируются из популяций с равной дисперсией, размеры эффекта как с допущением однородности, так и без него должны быть правильными. Предполагая, что дисперсии однородны, что верно для сгенерированных данных, выборочные дисперсии величин эффекта с допущением однородности обычно меньше, чем эти величины эффекта без допущения однородности.Когда данные генерируются из неравных дисперсий совокупности, размеры эффекта без допущения об однородности все равно должны быть правильными. Однако размеры эффекта при допущении однородности, вероятно, будут смещены из-за неправильного определения модели. Настоящее моделирование оценивает эмпирические характеристики рассчитанных размеров эффекта с допущением однородности и без него.

Исследование 1: Исследования множественного лечения

Для исследований с множественным лечением, многомерные нормальные данные были получены из известных структур данных с допущением об однородности дисперсий или без такового.

Методы

В этом имитационном исследовании была контрольная группа с двумя группами лечения. При моделировании исследования учитывались несколько факторов:

Население означает

Среднее значение для контрольной группы было зафиксировано на 0 для справки. Для моделирования использовалось шесть уровней. Средние для двух групп лечения были (0,2, 0,2), (0,2, 0,5), (0,2, 0,8), (0,5, 0,5), (0,5, 0,8) и (0,8, 0,8).

Дисперсия совокупности

Дисперсия населения контрольной группы была зафиксирована на уровне 1 для справки.Для моделирования были выбраны три уровня. Различия населения для двух групп лечения составляли (1, 1), (0,75, 1,25) и (0,5, 1,5). Когда дисперсия популяции составляла (1, 1) в двух группах лечения, предполагалась однородность дисперсий. На других уровнях дисперсия населения была неоднородной. Поскольку дисперсия популяции контрольной группы была зафиксирована на уровне 1, величина эффекта популяции рассчитывалась как разница средних значений между группами лечения и контрольной группой, деленная на 1.Таким образом, величина эффекта составила 0,2, 0,5 и 0,8, что представляет собой типичные значения, наблюдаемые в социальных и поведенческих науках.

Размеры образца

Предполагалось, что конструкция сбалансирована. Были выбраны три уровня размеров выборки, а именно 30, 50 и 100. Эти уровни должны быть репрезентативными для типичных исследовательских условий.

Таким образом, всего было 6 × 3 × 3 = 54 условия. Для каждого условия была повторена тысяча повторов.

Оценка эмпирических характеристик

Поскольку среднее значение популяции и дисперсия контроля были установлены на 0 и 1, соответственно, величины эффекта популяции были определены как средние различия между обработкой 1 (или 2) и контрольной группой.2. Из-за нехватки места мы поместили эти результаты исследований множественных обработок в Дополнительные материалы 1. Более того, тот же рецензент также предложил проверить производительность при несбалансированных размерах выборки. Мы повторно проводим симуляционные исследования, вводя несбалансированные размеры выборки. Уровни размеров выборки для контрольной группы, группы обработки 1 и группы обработки 2 составляли (100, 30, 50), (100, 50, 30), (30, 100, 50), (30, 50, 100), ( 50, 100, 30) и (50, 30, 100). Остальные факторы были идентичны предыдущим моделям.Результаты исследований множественного лечения и множественных конечных точек показаны в дополнительных материалах 2.

Результаты

Результаты были обобщены на тепловых картах, которые обеспечивают простой способ визуализации производительности статистики. Оси x и y представляют средние и дисперсии генеральной совокупности, разделенные размерами выборки. Более светлый цвет указывает на меньшее смещение, чем значения с более темным цветом. Когда смещение больше порогового значения (5% для среднего и 20% для дисперсий или ковариаций выборки), цвет становится серым.

На рисунках 3,4 показано относительное смещение размеров эффекта с допущением об однородности дисперсий при расчете размеров эффекта и без него, соответственно. Один интересный вывод заключался в том, что оценка величины эффекта в целом была несмещенной, независимо от того, предполагалась ли в расчетах однородность дисперсий. Одно из предположений состоит в том, что средние дисперсии контрольной группы, которая всегда равна 1, и дисперсии экспериментальных групп, равны (0,75, 1,25) и (0,5, 1.5), очень близки к 1. Когда эти обычные SD используются в качестве стандартизаторов, вычисленные величины эффекта все еще несмещены. Смещение уменьшается при увеличении размера выборки.

Рисунок 3 . Относительное смещение среднего значения оценок параметров для исследований множественного лечения с допущением об однородности дисперсий.

Рисунок 4 . Относительное смещение среднего значения оценок параметров для исследований множественного лечения без предположения об однородности дисперсий.

На рисунке 5 показано относительное смещение дисперсий и ковариаций выборки, когда дисперсии предполагаются однородными при оценке величины эффекта. Результаты показывают, что дисперсии и ковариации выборки несмещены только тогда, когда дисперсии фактически однородны. Когда дисперсии генеральной совокупности неоднородны, дисперсии и ковариации выборки смещены. Наиболее существенное смещение возникает, когда дисперсии совокупности имеют наибольшие различия (сигма 2: 0.5, 1.5). На рисунке 6 показано относительное смещение дисперсий и ковариаций выборки, когда дисперсии не считаются однородными при оценке размеров эффекта. В целом систематическая ошибка минимальна, а наибольшая составляет всего 12,6.

Рисунок 5 . Относительное смещение среднего значения дисперсий выборки и ковариации для исследований с множественным лечением с допущением об однородности дисперсий.

Рисунок 6 . Относительное смещение среднего значения дисперсий выборки и ковариации для исследований с множественным лечением без предположения об однородности дисперсий.

В целом, результаты показывают, что величина эффекта для исследований с множественным лечением оценивается как несмещенная, независимо от того, предполагается ли однородность дисперсий в расчетах, учитывая, что среднее значение дисперсии группы лечения аналогично этому. дисперсии контрольной группы. Однако дисперсии и ковариации выборки, вероятно, смещены, когда дисперсии генеральной совокупности неоднородны.

Шаблоны для отдельных параметров в дополнительном материале 1 аналогичны шаблонам для средних параметров.Поэтому мы не будем их здесь воспроизводить. Что касается результатов моделирования несбалансированных размеров выборки в дополнительном материале 2, оцененные величины эффекта с допущением однородности являются несмещенными, когда размеры выборки в контрольной группе большие (100, 30, 50) и (100, 50, 30). Однако смещение оценок величины эффекта с допущением однородности становится больше, когда размер выборки контрольной группы невелик, а размеры выборки в группах лечения несбалансированы.Систематическая ошибка оценки величины эффекта без допущения однородности, как правило, невелика. Что касается дисперсий и ковариации выборки, они, как правило, смещены в предположении однородности, тогда как они, как правило, несмещены без предположения об однородности.

Исследование 2: Исследования с несколькими конечными точками

Дизайн был аналогичен таковым в исследованиях с множественным лечением. В имитационном исследовании использовались две величины эффекта: одна контрольная группа и одна интервенционная группа.

Методы

Средние и дисперсии совокупности контрольной группы были зафиксированы на 0 и 1, соответственно, для справки. Популяционная корреляция между этими двумя исходами была установлена ​​на уровне 0,3, что считается умеренным в психологических исследованиях.

Население означает

Шесть уровней были использованы в исследовании моделирования. Средние значения для двух переменных результата в группе вмешательства были (0,2, 0,2), (0,2, 0,5), (0,2, 0,8), (0,5, 0,5), (0,5, 0,8) и (0,8, 0.8).

Дисперсия совокупности

Для моделирования были выбраны пять уровней интервенционной группы. Это были (1, 1), (0,5, 0,5), (0,75, 0,75), (1,25, 1,25) и (1,5, 1,5). Когда популяционная дисперсия интервенционной группы равна (1, 1), предполагается однородность ковариационных матриц между исследованиями; предположение об однородности дисперсий в совокупности не выполняется.

Размеры образца

Предполагалось, что конструкция сбалансирована. Были выбраны три уровня размеров выборки: 30, 50 и 100.

Таким образом, всего было 6 × 5 × 3 = 90 условий. Для каждого условия была повторена тысяча повторов.

Оценка эмпирических характеристик

Оценка была такой же, как и в исследованиях с множественным лечением. Среднее значение относительной процентной погрешности величины эффекта использовалось для оценки систематической погрешности величины эффекта. Среднее относительное процентное отклонение дисперсий и ковариаций выборки использовалось для оценки систематической ошибки матриц ковариаций выборки.На тепловых картах в качестве точек отсечения использовались 5 и 20%.

Как и в исследованиях с моделированием в исследованиях с множественным лечением, мы последовали совету одного рецензента, отобразив результаты размеров индивидуальных эффектов. Результаты показаны в дополнительных материалах 3. Мы также повторно провели моделирование, введя несбалансированные размеры выборки. Уровни размеров выборки в контрольной и экспериментальной группах составляли (100, 30), (100, 50), (30, 100), (30, 50), (50, 100) и (50, 100).Результаты отображаются в дополнительных материалах 4.

Результаты

На рисунке 7 показано среднее смещение величин эффекта, когда мы предполагаем однородность ковариационных матриц при вычислении величин эффекта. Когда ковариационные матрицы однородны (сигма 2 = 1,00, 1,00), размеры эффекта обычно несмещены, за исключением случаев, когда mu = 0,2, 0,2 и размер выборки = 30. Однако размеры эффекта всегда смещены, когда ковариационные матрицы не являются однородный. Наиболее существенная относительная погрешность может достигать 19%.Это ожидаемо, потому что различия в группах лечения сильно отличаются от таковых в контрольных группах. На рисунке 8 показано среднее смещение размеров эффекта, когда мы не предполагаем однородность ковариационных матриц при вычислении размеров эффекта. Величина эффекта обычно несмещена, за исключением случаев, когда mu = 0,2, 0,2 и размер выборки = 30.

Рисунок 7 . Относительное смещение среднего значения оценок параметров для исследований с несколькими конечными точками при допущении однородности ковариационных матриц.

Рисунок 8 . Относительное смещение среднего значения оценок параметров для исследований с несколькими конечными точками без предположения об однородности ковариационных матриц.

На рисунке 9 показано относительное смещение дисперсий и ковариаций выборки, когда величина эффекта оценивается с допущением об однородности ковариационных матриц. Смещение всего ниже 20%. Однако следует отметить, что размеры эффекта смещены. Таким образом, результаты все еще обманчивы.На рисунке 10 показано относительное смещение дисперсий и ковариаций выборки при оценке величины эффекта без предположения об однородности ковариационных матриц. Как видно, в целом они беспристрастны.

Рисунок 9 . Относительное смещение среднего значения дисперсии выборки и ковариации для исследований с несколькими конечными точками при допущении однородности ковариационных матриц.

Рисунок 10 . Относительное смещение среднего значения дисперсии выборки и ковариации для исследований с несколькими конечными точками без предположения об однородности ковариационных матриц.

Образцы отдельных параметров, отображаемых в дополнительных материалах 3, аналогичны образцам средних параметров; поэтому мы не воспроизводим их здесь. Что касается несбалансированных данных, то картина аналогична таковой в исследованиях с множественным лечением. Смещение оцененных величин эффекта при допущении однородности намного больше, чем для сбалансированных данных. С другой стороны, влияние несбалансированных размеров выборки на предполагаемые размеры эффекта без предположения об однородности минимально.

Подводя итог, оценочные величины эффекта весьма чувствительны к предположению об однородности ковариационных матриц. Если данные в ковариационных матрицах неоднородны и мы ошибочно предполагаем, что они однородны, предполагаемые размеры эффекта, вероятно, будут смещены. С другой стороны, выборочные ковариационные матрицы обычно аналогичны независимо от того, наложили ли мы предположение об однородности ковариационных матриц или нет.

Заключение

Это исследование показывает, что многомерная величина эффекта для исследований с множественным лечением и множественными конечными точками может быть легко получена с использованием подхода SEM.Исследователи могут наложить ограничения на равенство дисперсий и ковариаций, а пакеты SEM будут сообщать о размерах эффекта и их матрицах ковариаций выборки.

Для исследований с множественным лечением оценочные величины эффекта являются несмещенными, независимо от того, предполагаем ли мы, что дисперсии однородны при вычислении размеров эффекта, когда обычные SD близки к SD контрольной группы. Мы можем ожидать, что будет существенное смещение, когда обычные SD будут отличаться от SD контрольной группы.Более того, оценочные матрицы ковариации выборки смещены, когда дисперсии неоднородны, но мы ошибочно предполагаем, что дисперсии однородны.

Для исследований с несколькими конечными точками оценки величины эффекта смещены, если ковариационные матрицы различны, но мы ошибочно предполагаем, что ковариационные матрицы однородны. С другой стороны, выборочные ковариационные матрицы подобны независимо от того, наложили ли мы предположение об однородности ковариационных матриц при оценке размеров эффекта.

Результаты показывают, что исследователи всегда должны проверять предположения перед расчетом величины эффекта. Исследователи также могут проверить надежность результатов, отказавшись от этих предположений. Сравнивая результаты с допущением об однородности дисперсий или ковариационных матриц и без них, исследователи могут лучше понять, зависят ли их основные выводы от этих предположений. На основе исследований моделирования можно увидеть, что результаты аналогичны для подходов с и без предположения об однородности дисперсий (или ковариационных матриц), когда данные фактически имеют одинаковые дисперсии (или ковариационные матрицы).Следовательно, потеря эффективности из-за отказа от предположения об однородности дисперсий (или ковариационных матриц) мала.

Следует отметить, что при моделировании изучалось лишь несколько факторов. Дальнейшие исследования с использованием моделирования могут решить вопрос о том, согласуются ли результаты в других условиях, таких как несбалансированные данные и данные с ненормальным распределением. Другое возможное направление исследований — изучение того, как допущение об однородности дисперсий или ковариационных матриц влияет на фактические оценки параметров в метаанализе.Такое исследование может предоставить более убедительные доказательства, которые помогут исследователям решить, следует ли сообщать о размерах эффекта с допущением об однородности.

В заключение, кажется разумным не предполагать однородность дисперсий (или ковариационных матриц) при вычислении величины эффекта для исследований с множественным лечением и множественными конечными точками. Подход SEM обеспечивает удобное устройство для расчета этих величин эффекта.

Авторские взносы

Автор подтверждает, что является единственным соавтором данной работы, и одобрил ее к публикации.

Финансирование

Это исследование было поддержано Фондом академических исследований Tier 1 (FY2013-FRC5-002) Министерства образования Сингапура.

Заявление о конфликте интересов

Автор заявляет, что исследование проводилось при отсутствии каких-либо коммерческих или финансовых отношений, которые могут быть истолкованы как потенциальный конфликт интересов.

Рецензент, JP, заявил редактору о прошлом соавторстве с автором, MC.

Дополнительные материалы

Дополнительные материалы к этой статье можно найти в Интернете по адресу: https://www.frontiersin.org/articles/10.3389/fpsyg.2018.01387/full#supplementary-material

Сноски

Список литературы

Боренштейн, М., Хеджес, Л. В., Хиггинс, Дж. П. Т., и Ротштейн, Х. Р. (2009). Введение в метаанализ . Чичестер; Хобокен, Нью-Джерси: Джон Уайли и сыновья.

PubMed Аннотация

Карточка, Н.А. (2012). Прикладной мета-анализ для исследований в области социальных наук . Нью-Йорк, Нью-Йорк: Гилфорд Пресс.

Cheung, M. W. L. (2013). Многомерный метаанализ как модели структурных уравнений. Struc. Equ. Моделирование 20, 429–454. DOI: 10.1080 / 10705511.2013.797827

CrossRef Полный текст | Google Scholar

Cheung, M. W. L. (2015a). Метаанализ: подход к моделированию структурных уравнений . Чичестер: John Wiley and Sons, Inc.,

Чунг, М.W. L., и Чан, W. (2004). Проверка зависимых коэффициентов корреляции с помощью моделирования структурным уравнением. Org. Res. Методы 7, 206–223. DOI: 10.1177 / 1094428104264024

CrossRef Полный текст | Google Scholar

Коэн, Дж. (1994). Земля круглая (p <0,05). г. Психол . 49, 997–1003. DOI: 10.1037 / 0003-066X.49.12.997

CrossRef Полный текст

Гласс, Г. В., Макгоу, Б., и Смит, М. Л. (1981). Метаанализ в социальных исследованиях .Беверли-Хиллз, Калифорния: Sage Publications.

Глезер, Л. Дж., И Олкин, И. (1994). «Стохастически зависимые размеры эффекта», в The Handbook of Research Synthesis , ред. Х. Купер и Л. В. Хеджес (Нью-Йорк, Нью-Йорк: Фонд Рассела Сейджа), 339–355

Google Scholar

Глезер, Л. Дж., И Олкин, И. (2009). «Стохастически зависимые размеры эффекта», в The Handbook of Research Synthesis and Meta-analysis, 2nd Edn , eds H. Cooper, L. V. Hedges, and J.К. Валентайн (Нью-Йорк, Нью-Йорк: Фонд Рассела Сейджа), 357–376).

Google Scholar