Что такое валидность контента? (определение & #038; пример)

Термин «валидность содержания» означает, насколько хорошо опрос или тест измеряют конструкцию, которую он призван измерить.

Например, предположим, что профессор хочет проверить общие знания своих студентов по основам статистики. Его тест будет иметь содержательную валидность, если:

• Тест охватывает все темы элементарной статистики, которые он преподавал в классе.
• Тест не охватывает несвязанные темы, такие как история, экономика, биология и т. д.

Тест не является валидным по содержанию, если он не охватывает все аспекты концепции, которую он предназначен для измерения, или если он охватывает темы, не связанные с концепцией.

Когда используется валидность контента?

На практике валидность контента часто используется для оценки достоверности тестов, оценивающих знание контента. Примеры включают в себя:

Пример 1: Итоговый экзамен по статистике

Итоговый экзамен в конце семестра по курсу статистики будет считаться действительным по содержанию, если он охватывает все темы, рассматриваемые в курсе, и исключает все другие нерелевантные темы.

Пример 2: лицензия пилота

Экзамен, который проверяет, обладают ли люди достаточными знаниями для получения лицензии пилота, будет иметь содержательную силу, если он включает вопросы, охватывающие все возможные темы, рассматриваемые в пилотном курсе, и исключает все другие вопросы, которые не имеют отношения к лицензии.

Пример 3: Лицензия на недвижимость

Экзамен, который проверяет, достаточно ли у человека знаний для получения лицензии на недвижимость, будет иметь содержательную силу, если он охватывает все темы, которые должен понимать агент по недвижимости, и исключает все другие вопросы, которые не имеют отношения к делу.

В каждой ситуации валидность содержания может помочь определить, охватывает ли тест все аспекты конструкции, которую он призван измерить.

Как измерить валидность контента

В статье 1975 года Ч. Лавше разработал следующую методику оценки достоверности контента:

Шаг 1: Соберите данные от экспертов в данной области.

Лоуше предложил, чтобы каждый профильный эксперт (МСП) в группе ответил на вопрос:

«Являются ли навыки или знания, измеряемые этим пунктом, «существенными», «полезными, но не существенными» или «не необходимыми» для выполнения работы?

Каждое МСП должно предоставить этот ответ на каждый вопрос теста.

Шаг 2. Рассчитайте уровень достоверности контента.

Далее Лоуше предложил следующую формулу для количественной оценки степени достоверности содержания каждого тестового вопроса:

Коэффициент достоверности контента = (n _e – N/2) / (N/2)

Золото:

• n _e : Число экспертов в предметной области, отметивших «существенные»
• N: Общее количество участников дискуссии из числа МСП.

Если уровень достоверности содержания данного вопроса падает ниже определенного критического значения, вполне вероятно, что вопрос не измеряет интересующую конструкцию так, как должен.

В следующей таблице представлены критические значения в зависимости от количества участников дискуссии МСП:

Индекс достоверности содержания, обозначаемый CVI, представляет собой средний показатель достоверности содержания всех вопросов теста. Чем ближе CVI к 1, тем выше общая достоверность содержания теста.

В следующем примере показано, как рассчитать достоверность контента для определенного теста.

Пример: измерение достоверности контента

Предположим, мы просим группу из 10 судей оценить 6 пунктов теста. Зеленые прямоугольники в следующей таблице указывают, какие судьи оценили каждый элемент как «важный»:

Уровень достоверности контента для первого элемента будет рассчитываться следующим образом:

Коэффициент достоверности контента = (n _e – N/2) / (N/2) = (9 – 10/2) / (10/2) = 0,8

Мы могли бы рассчитать уровень достоверности контента для каждого элемента таким же образом:

Из таблицы критических значений мы видим, что элемент считается действительным по содержанию для группы из 10 судей только в том случае, если его значение CVR превышает 0,62.

В этом конкретном тесте только три пункта превышают этот порог.

Наконец, мы также можем рассчитать индекс достоверности контента (CVI) всего теста как среднее всех значений CVR:

ИВК = (0,8 -0,2 + 1 + 0,8 + 0,6 + 0)/6 = 0,5

Это значение CVI довольно низкое, что указывает на то, что тест, вероятно, не измеряет интересующую концепцию так хорошо, как мог бы.

Рекомендуется удалить или изменить элементы с низкими значениями CVR, чтобы повысить общую достоверность содержания теста.

Валидность контента по сравнению с Лицевая действительность

Валидность контента отличается от валидности лица , когда опрос или тест кажутся действительными по номинальной стоимости как людям, которые на них отвечают, так и тем, кто их проводит.

Лицевая валидность — это менее технический способ оценки валидности теста, который часто используется просто как быстрый способ определить, нужно ли каким-либо образом модифицировать тест перед его использованием.