Що таке валідність вмісту? (визначення & #038; приклад)

Термін валідність змісту стосується того, наскільки добре опитування чи тест вимірює побудову, яку він має на меті виміряти.

Наприклад, припустімо, що професор хоче перевірити загальні знання своїх студентів з основ статистики. Його тест буде валідним, якщо:

• Тест охоплює всі основні теми статистики, які він викладав у класі.
• Тест не охоплює незв’язані теми, такі як історія, економіка, біологія тощо.

Тесту не вистачає змістовної валідності, якщо він не охоплює всі аспекти концепції, для вимірювання якої він призначений, або якщо він охоплює теми, які не пов’язані з концепцією.

Коли використовується валідність вмісту?

На практиці валідність змісту часто використовується для оцінки валідності тестів, які оцінюють знання змісту. Приклади:

Приклад 1: випускний іспит зі статистики

Випускний іспит наприкінці семестру з курсу статистики матиме змістовну валідність, якщо він охоплює всі теми курсу та виключає всі інші нерелевантні теми.

Приклад 2: ліцензія пілота

Іспит, який перевіряє, чи мають особи достатні знання для отримання ліцензії пілота, матиме змістовну дійсність, якщо він включає запитання, що охоплюють усі можливі теми пілотного курсу, і виключає всі інші запитання, які не стосуються ліцензії.

Приклад 3: Ліцензія на нерухомість

Іспит, який перевіряє, чи мають люди достатньо знань для отримання ліцензії на нерухомість, матиме дійсність, якщо він охоплює всі теми, які повинен розуміти агент з нерухомості, і виключає всі інші нерелевантні питання.

У кожній ситуації валідність вмісту може допомогти визначити, чи охоплює тест усі аспекти конструкції, яку він має намір виміряти.

Як виміряти валідність контенту

У статті 1975 року К. Х. Лоші розробив таку методику оцінки валідності контенту:

Крок 1: Зберіть дані від експертів із предметної теми.

Лоуш запропонував, щоб кожен експерт із предметної теми (SME) у групі відповів на запитання:

«Чи є навички або знання, які вимірюються цим елементом, «важливими», «корисними, але не обов’язковими» або «не необхідними» для виконання роботи?

Кожне МСП має надати цю відповідь на кожне запитання тесту.

Крок 2: обчисліть рівень валідності вмісту.

Далі Лоші запропонував наступну формулу для кількісного визначення рівня валідності вмісту кожного питання тесту:

Коефіцієнт валідності вмісту = (n _e – N/2) / (N/2)

золото:

• n _e : кількість експертів у відповідній галузі, які вказали «необхідні»
• N: Загальна кількість учасників панелі МСП

Якщо показник валідності вмісту даного питання падає нижче певного критичного значення, ймовірно, що запитання не вимірює цікаву конструкцію так добре, як мало б.

У наступній таблиці наведено критичні значення відповідно до кількості учасників дискусії МСП:

Індекс валідності змісту, позначається CVI, є середнім показником валідності змісту всіх запитань тесту. Чим ближче CVI до 1, тим вище загальна валідність тесту.

У наступному прикладі показано, як обчислити валідність вмісту для певного тесту.

Приклад: вимірювання валідності контенту

Припустімо, ми просимо комісію з 10 суддів оцінити 6 пунктів тесту. Зелені прямокутники в наступній таблиці вказують, які судді оцінили кожен елемент як «необхідний»:

Коефіцієнт дійсності вмісту для першого елемента буде розраховано таким чином:

Коефіцієнт валідності вмісту = (n _e – N/2) / (N/2) = (9 – 10/2) / (10/2) = 0,8

Ми могли б розрахувати рівень валідності вмісту для кожного елемента таким же чином:

З таблиці критичних значень ми бачимо, що предмет вважається валідним для журі з 10 суддів, лише якщо він має значення CVR більше 0,62.

Для цього конкретного тесту лише три елементи перевищують цей поріг.

Нарешті, ми також можемо розрахувати індекс валідності вмісту (CVI) усього тесту як середнє значення всіх значень CVR:

IVC = (0,8 -0,2 + 1 + 0,8 + 0,6 + 0) / 6 = 0,5

Це значення CVI досить низьке, що вказує на те, що тест, ймовірно, не вимірює цікаву концепцію так добре, як міг би.

Було б рекомендовано видалити або змінити елементи, які мають низькі значення CVR, щоб підвищити загальну валідність вмісту тесту.

Валідність вмісту проти Обличчя дійсності

Валідність вмісту відрізняється від дійсності , коли опитування чи тест здаються дійсними як для людей, які відповідають на нього, так і для тих, хто його проводить.

Обличчя валідності — це менш технічний спосіб оцінки валідності тесту, який часто використовується просто як швидкий спосіб визначити, чи потрібно певним чином модифікувати тест перед використанням.