내용 타당성이란 무엇입니까? (정의 & #038; 예)

내용 타당성이라는 용어는 설문 조사나 테스트가 측정하려는 구성 요소를 얼마나 잘 측정하는지를 나타냅니다.

예를 들어, 교수가 기본 통계에 대한 학생들의 전반적인 지식을 테스트하고 싶어한다고 가정해 보겠습니다. 다음과 같은 경우 테스트에 내용 타당성이 있습니다.

• 이 시험은 그가 수업에서 가르친 모든 초등 통계 주제를 다루고 있습니다.
• 이 시험은 역사, 경제, 생물학 등과 같이 관련 없는 주제를 다루지 않습니다.

측정하려는 개념의 모든 측면을 다루지 않거나 개념과 관련 없는 주제를 다루는 경우 테스트는 내용 타당성이 부족합니다.

콘텐츠 타당성은 언제 사용되나요?

실제로 내용 타당성은 내용 지식을 평가하는 테스트의 타당성을 평가하는 데 자주 사용됩니다. 예는 다음과 같습니다:

예시 1: 통계 최종 시험

통계 강좌의 학기말 최종 시험은 해당 강좌에서 다루는 모든 주제를 다루고 다른 관련 없는 주제를 모두 제외하는 경우 내용 타당성을 갖습니다.

예시 2: 조종사 면허

개인이 파일럿 라이센스를 취득하기에 충분한 지식을 가지고 있는지 여부를 테스트하는 시험에 파일럿 코스에서 다루는 가능한 모든 주제를 다루는 질문이 포함되고 라이센스와 관련되지 않은 다른 모든 질문이 제외되면 내용 타당성이 있습니다.

예시 3: 부동산 라이센스

개인이 부동산 면허를 취득할 수 있는 충분한 지식을 가지고 있는지 여부를 테스트하는 시험은 부동산 중개인이 이해해야 하는 모든 주제를 다루고 관련 없는 다른 모든 질문을 제외하는 경우 내용 타당성을 갖습니다.

각 상황에서 내용 타당성은 테스트가 측정하려는 구성의 모든 측면을 포괄하는지 여부를 결정하는 데 도움이 될 수 있습니다.

콘텐츠 타당성을 측정하는 방법

1975년 기사 에서 CH Lawshe는 내용 타당성을 평가하기 위해 다음과 같은 기술을 개발했습니다.

1단계: 해당 분야 전문가로부터 데이터를 수집합니다.

Lawshe는 패널의 각 주제 전문가(SME)에게 다음 질문에 답할 것을 제안했습니다.

“이 항목으로 측정된 기술이나 지식은 업무를 수행하는 데 “필수적”, “유용하지만 필수적이지는 않음”, “필요하지 않음”입니까?

각 SME는 테스트의 각 질문에 이 답변을 제공해야 합니다.

2단계: 콘텐츠 유효성 비율을 계산합니다.

다음으로 Lawshe는 각 시험 문제의 내용 유효성을 정량화하기 위해 다음 공식을 제안했습니다.

콘텐츠 유효성 비율 = (n _e – N/2) / (N/2)

금:

• n _e : ‘필수’로 표시된 해당 분야 전문가 수
• N: 전체 중소기업 패널리스트 수

주어진 질문의 내용 타당도가 특정 임계값 아래로 떨어지면 해당 질문이 관심 구성을 제대로 측정하지 못하고 있을 가능성이 높습니다.

다음 표는 SME 패널리스트 수에 따른 중요 값을 나타냅니다.

CVI로 표시되는 내용 유효성 지수는 시험에 나오는 모든 문제의 평균 내용 유효성 비율입니다. CVI가 1에 가까울수록 테스트의 전반적인 내용 유효성이 높아집니다.

다음 예에서는 특정 테스트에 대한 콘텐츠 유효성을 계산하는 방법을 보여줍니다.

예: 콘텐츠 유효성 측정

10명의 심사위원으로 구성된 패널에게 테스트의 6개 항목을 평가하도록 요청한다고 가정해 보겠습니다. 다음 표의 녹색 상자는 각 요소를 “필수”로 평가한 심사위원을 나타냅니다.

첫 번째 요소의 콘텐츠 유효성 비율은 다음과 같이 계산됩니다.

내용 타당성 비율 = (n _e – N/2) / (N/2) = (9 – 10/2) / (10/2) = 0.8

같은 방식으로 각 요소의 콘텐츠 유효성 비율을 계산할 수 있습니다.

임계값 표를 보면 항목의 CVR 값이 0.62보다 큰 경우에만 10명의 심사위원단에 대해 내용 타당성이 있는 것으로 간주된다는 것을 알 수 있습니다.

이 특정 테스트에서는 항목 중 3개만 이 임계값을 초과했습니다.

마지막으로 전체 테스트의 콘텐츠 유효성 지수(CVI)를 모든 CVR 값의 평균으로 계산할 수도 있습니다.

IVC = (0.8 -0.2 + 1 + 0.8 + 0.6 + 0) / 6 = 0.5

이 CVI 값은 매우 낮습니다. 이는 테스트가 관심 있는 개념을 제대로 측정하지 못하고 있음을 나타냅니다.

테스트의 전반적인 내용 타당성을 높이기 위해 CVR 값이 낮은 항목을 제거하거나 수정하는 것이 좋습니다.

콘텐츠 유효성과 얼굴 타당성

내용 타당성은 설문조사나 테스트가 응답하는 사람과 이를 관리하는 사람 모두에게 액면 그대로 타당해 보이는 경우인 안면 타당성 과는 다릅니다.

안면 유효성은 테스트의 유효성을 평가하는 덜 기술적인 방법이며 테스트를 사용하기 전에 어떤 방식으로든 수정해야 하는지 여부를 감지하는 빠른 방법으로 종종 사용됩니다.