Co to jest ważność treści? (definicja – przykład)

Termin trafność treści odnosi się do tego, jak dobrze ankieta lub test mierzy konstrukt, który ma mierzyć.

Załóżmy na przykład, że profesor chce sprawdzić ogólną wiedzę swoich uczniów na temat podstawowych statystyk. Jego test miałby ważność merytoryczną, gdyby:

• Test obejmuje wszystkie podstawowe tematy statystyki, których nauczał na zajęciach.
• Test nie obejmuje tematów niezwiązanych ze sobą, takich jak historia, ekonomia, biologia itp.

Testowi brakuje wiarygodności merytorycznej, jeśli nie obejmuje wszystkich aspektów koncepcji, którą ma mierzyć, lub jeśli obejmuje tematy niezwiązane z koncepcją.

Kiedy stosuje się ważność treści?

W praktyce trafność merytoryczna jest często wykorzystywana do oceny ważności testów oceniających wiedzę merytoryczną. Przykłady obejmują:

Przykład 1: Egzamin końcowy ze statystyki

Egzamin końcowy na koniec semestru zajęć ze statystyki miałby ważność merytoryczną, gdyby obejmował wszystkie tematy omawiane na kursie i wykluczał wszystkie inne nieistotne tematy.

Przykład 2: licencja pilota

Egzamin sprawdzający, czy dana osoba posiada wiedzę wystarczającą do zdobycia licencji pilota, miałby ważność merytoryczną, gdyby zawierał pytania obejmujące wszystkie możliwe tematy objęte kursem pilotażowym i wykluczał wszystkie inne pytania nieistotne dla licencji.

Przykład 3: Licencja na nieruchomości

Egzamin sprawdzający, czy dana osoba posiada wystarczającą wiedzę, aby uzyskać licencję na obrót nieruchomościami, miałby ważność merytoryczną, gdyby obejmował wszystkie tematy, które powinien być zrozumiały dla pośrednika w obrocie nieruchomościami i wykluczał wszystkie inne pytania, które są nieistotne.

W każdej sytuacji trafność treści może pomóc w określeniu, czy test obejmuje wszystkie aspekty konstruktu, który ma mierzyć.

Jak mierzyć trafność treści

W artykule z 1975 roku CH Lawshe opracował następującą technikę oceny ważności treści:

Krok 1: Zbierz dane od ekspertów merytorycznych.

Lawshe zaproponowała, aby każdy ekspert merytoryczny (MŚP) w panelu odpowiedział na pytanie:

„Czy umiejętności lub wiedza mierzone tą pozycją są „niezbędne”, „przydatne, ale nie niezbędne” lub „niekonieczne” do wykonywania pracy?

Każde MŚP musi udzielić tej odpowiedzi na każde pytanie w teście.

Krok 2: Oblicz współczynnik ważności treści.

Następnie Lawshe zaproponował następujący wzór do ilościowego określenia współczynnika trafności merytorycznej każdego pytania testowego:

Współczynnik ważności treści = (n _e – N/2) / (N/2)

Złoto:

• n _e : Liczba ekspertów merytorycznych wskazujących „niezbędne”
• N: Łączna liczba panelistów z MŚP

Jeśli współczynnik trafności merytorycznej danego pytania spadnie poniżej pewnej wartości krytycznej, jest prawdopodobne, że pytanie nie mierzy konstrukcji będącej przedmiotem zainteresowania tak dobrze, jak powinno.

Poniższa tabela przedstawia wartości krytyczne w zależności od liczby panelistów MŚP:

Wskaźnik ważności treści, oznaczony jako CVI, to średni wskaźnik ważności treści wszystkich pytań w teście. Im CVI jest bliższe 1, tym wyższa jest ogólna ważność treści testu.

Poniższy przykład pokazuje, jak obliczyć ważność treści dla określonego testu.

Przykład: mierzenie ważności treści

Załóżmy, że poprosimy panel 10 sędziów o ocenę 6 elementów testu. Zielone pola w poniższej tabeli wskazują, którzy sędziowie ocenili każdy element jako „istotny”:

Współczynnik ważności treści dla pierwszego elementu zostanie obliczony w następujący sposób:

Współczynnik trafności treści = (n _e – N/2) / (N/2) = (9 – 10/2) / (10/2) = 0,8

W ten sam sposób możemy obliczyć współczynnik ważności treści dla każdego elementu:

Z tabeli wartości krytycznych widzimy, że element jest uznawany za ważny merytorycznie dla panelu 10 sędziów tylko wtedy, gdy ma wartość CVR większą niż 0,62.

W przypadku tego konkretnego testu tylko trzy pozycje przekraczają ten próg.

Na koniec możemy również obliczyć wskaźnik ważności treści (CVI) całego testu jako średnią wszystkich wartości CVR:

IVC = (0,8 -0,2 + 1 + 0,8 + 0,6 + 0) / 6 = 0,5

Ta wartość CVI jest dość niska, co wskazuje, że test prawdopodobnie nie mierzy pojęcia zainteresowania tak dobrze, jak mógłby.

Zaleca się usunięcie lub modyfikację elementów o niskich wartościach CVR, aby poprawić ogólną ważność treści testu.

Ważność treści vs. Ważność twarzy

Ważność treści różni się od wiarygodności twarzy , która ma miejsce wtedy, gdy ankieta lub test wydaje się wiarygodna zarówno osobom, które na nią odpowiadają, jak i tym, którzy ją administrują.

Trafność twarzowa to mniej techniczny sposób oceny ważności testu i często jest używana po prostu jako szybki sposób na wykrycie, czy test wymaga jakiejś modyfikacji przed użyciem.