측정의 타당도와 신뢰도

인터넷에서 가져옴. (http://cafe.daum.net/haksa369/5aFo/698?q=social%20desirability%20%C0%C7%B9%CC&re=1) 측정의 타당도와 신뢰도 측정의 타당도와 신뢰도는 측정의 오류 문제를 극복하기 위한 노력   1. 측정의 오류 측정의 오류는 크게 체계적 오류와 무작위 오류로 나눠서 살펴볼 수 있음 1)체계적 오류 측정의 체계적 오류(systematic error)는 자료수집 방법이나 자료가 제공되는 역학에 의해 발생하는 것 • 우연한 실수 등으로 측정이 잘못되는 것이 아님 • 잘못된 측정 방법을 채택함으로써 지속적이고 체계적으로 오류가 발생하는 것 • 체계적 오류가 발생하면 측정하려는 개념이 아닌 다른 개념이 지속적으로 측정되는 결과 유발   -체계적 오류의 대표적인 경우 (1) 태도와 행동 <예> 사회복지 시설의 필요성에 긍정적인 '태도'를 나타낸 지역사회 주민들이, 자기지역에 그런 시설이 들어서는 데 대해서는 반대의 '행동' 을 보일 수 있다. <예문 1> 길거리에 껌을 뱉는 것은 잘못된 것이다.   예( ) 아니요( ) <예문 2> 길거리에 가끔 껌을 뱉은 경험이 있다.     예( ) 아니요( )   • 태도와 행동은 반드시 일치하는 개념이 아니다. • 조사연구자는 자신이 측정하려는 개념이 태도와 행동 중 어느 것에 해당하는지 스스로 명확히 구분하여 그것이 측정 도구로서의 척도 문항에 분명히 구분되어서 나와야 됨   (2) 편향에 따른 오류 사회과학의 주된 연구 대상은 사람이다. 그래서 측정 대상이 스스로 측정값을 제공하는 경우가 많음 • 사람이 갖는 편향(bias)의 영향으로 측정에서 오류가 발생 - 편향에 따른 측정 오류 ① 고정반응 (response set)에 의한 편향:    고정반응이란 설문지에서 일정한 유형의 질문 문항들이 연속해서 부과될 때 응답자들이 고정된 반응을 나타내는 것 • 고정반응을 보이는 상태를 연속반응의 함정 • 측정의 결과는 측정하려는 개념이 아니라, 고정반응을 측정한 결과가 될 수도 있음   ② 사회적 적절성의 편향 (social desirability bias): 사회적 적절성 편향은 응답자들이 질문자의 의도를 고려함으로써 발생하는 측정의 오류 <예문 3> 더불어 살아가는 사회를 만들기 위해서는 모두가 조금씩 양보할 필요가 있습니다. 사회복지에 필요한 재원을 확보하기 위해 주민세를 0.5%정도 높이는 데 대해서 어떻게 생각하십니까?              (   ) 찬성   (   ) 모르겠음   (   ) 반대 <예문4> 지방정부의 영역 확장을 위해 주민세를 0.5%인상하는 것이 타당하다고 보십니까?                       (   ) 찬성   (   ) 모르겠음   (   )  반대   ③ 문화적 차이에 의한 편향 (cultural gap bias): 문화적 차이 편향은 측정 과정에 문화적 차이가 스며들어 측정의 체계적 오류를 일으키는 것 예) 전라도와 경상도 남자들에게 '고메를 발효시키면 무엇의 원료가 될까요?' 라고 묻는다. 만약 경상도 남자들은 대부분 맞히고, 전라도 사람들은 많은 수가 맞히지 못했다면, 이것은 무엇을 측정했을까? • 체계적 오류는 개념의 이론적인 정의나 조작적 과정뿐만 아니라, 자료 수집의 과정이나 절차들을 통해서도 개입될 수 있음   2) 무작위 오류 (random error)  무작위 오류는 오류가 일정한 유형으로 발생하지 않는 것   (즉, 측정에서 비일관적인 오류가 나타나는 것) • 무작위 오류는 주로 측정 시의 기압이나 날씨 등과 같은 환경이나, 측정 당시에 사용되었던 용어나 뉘앙스나 응답자들의 개인적인 컨디션 등과 같은 도저히 통제되기 어려운 요인들로 인해 발생 • 무작위 오류의 범위가 줄어들면, 측정의 정확성은 높아짐 3) 측정 오류의 확인  측정에 오류가 얼마나 개입되어 있는지, 그래서 측정의 결과가 어느 정도 정확하게 측정 대상을 반영하고 있는지를 나타내는 것 • 타당도는 체계적 오류 • 신뢰도는 무작위 오류   2. 측정의 타당도 측정도(validity)는 '측정하려고 했던 것을 측정했는지'를 나타내는 것 • 타당도는 '측정 도구가 개념의 실재 의미를 측정 하는가' 라고 질문하는 것 • 측정의 타당도가 높다는 것은 체계적 오류가 적다는 것을 뜻 - 타당도 확인의 세가지 방법 1) 내용 타당도 (content validity): 해당 개념을 측정하는 데 올바른 질문이나 관찰 항목들이 측정 도구에 포함되어 있는지를, 연구자의 직관이나 해당 분야 전문가들의 견해를 빌려 판단하는 것(일명 안면 타당도(face validity)) ① 개념적 정의의 단계: 측정하려는 개념이 포함하는 의미의 범위를 결정   예) 자아존중감이라는 구성개념이 포함하는 의미론적 그물에는 [그림 10-1]에서처럼 자긍심이나 자신감, 자기노출, 개방성 등과 같은 특질들이 하위 개념으로 연결되어 있음    자아존중감 자긍심                 자아노출    자신감                개방성 열등감 [그림10-1] 자아존중감 개념의 구성 ② 조작적 정의의 단계: 구성개념의 조작화 단계(구성개념의 특질들이 경험적으로 어떻게 포착될 수 있는지를 명확한 근거로 제시) 예) 지능을 측정하는 10문항 도구가 모두 산수 문제로만 구성되었다면, 그것이 '연산 능력' 이라는 일부 특질 개념만을 측정한 것에 불과하다는 의문을 불식시키기 어려울 것이다. • 내용 타당도는 두 단계가 적절히 되었는지를 판단해 보는 것(판단을 위해서는 문헌을 참고해 보거나, 관련 인구집단을 대표하는 사람들에게 물어본다거나, 전문가 집단에게 부탁하는 경우도 있음) • 수집된 자료를 갖고 내용 타당도를 경험적으로 검증해 보는 방법은 구성 타당도에 가서야 가능 • 내용 타당도는 측정의 타당도를 확인하는 가장 기초적인 방법이지만, 주관적인판단에 의존하므로 편향이나 오류의 가능성을 배제하기 어렵다는 한계   2)구성 타당도(construct validity): 구성 타당도는 측정대상 개념이 관련을 맺고 있는 개념들이나 과정을 토대로, 이론적인 틀 속에서 측정 도구의 타당성을 경험적으로 검증하는 방법 (구성 타당도는 내용 타당도의 확인에다 그것을 경험적으로 확인하는 방법을 추가해서 갖춘 것) • 구성 타당도는 내용 타당도 에서 기대했던 것과 같은 측정 항목들 간의 관계가 자료 수집을 통한 검사(test) 점수들 간의 관계에서도 적절히 드러나 는지를 보는 것 • 구성 타당도는 이론적으로 기대되었던 그러한 내적 구조가 경험적으로 확인될 수 있는지를 검사를 통해 검증해 보는 것 • 구성 타당도는 측정도구의 개발을 목적으로 하는 연구들에서만 주로 사용되는 경향 • 통계학적으로는 요인분석(factor analysis)의 방법 등을 활용할 수 있음   3)기준 타당도(criterion validity) 기준 타당도는 구성 타당도와 마찬가지로 경험적으로 타당도를 검증하는 방법으로, 보통 가장 널리 쓰임(일반적 경험적 타당도를 의미) • 구성타당도와의 차이점: 측정 도구의 타당도에 대한 평가의 근거를 내부 구조가 아니라, 외부 기준(external criterion)에서 찾는다는 것 • 외부 기준을 사용하여 경험적으로 타당도를 확인한다는 것이 기준 타당도의 중요한 장점   3. 측정의 신뢰도(reliability) 신뢰도란 장소와 시간에 구애받지 않고 일정한 값을 계속해서 산출해내고 있는지를 보는 것(즉, 측정값들의 일관성을 의미) 1) 신뢰도의 성격  신뢰도는 측정에서의 일관성을 의미하는 것 • 어떤 측정에 대해 신뢰도가 높다고 하면, 그것은 동일한 대상에 대한 측정 결과들이 일관성 있게 지속적으로 나타난다는 뜻 예) 사람들의 몸무게를 측정하는 저울이 있다. 이 저울을 측정 도구로 해서 똑같은 사람이연속해서 도합 5번의 몸무게 측정을 했는데, 각각 70kg,72kg, 69kg, 73kg, 71kg으로 나왔다 하자. 이런 경우에 우리는 저울의 신뢰도가 없다고 한다. 이를 두고 저울의 타당도가 없다고 하지는 않는다.   4. 타당도와 신뢰도의 차이 및 특징  • 신뢰성이 높다고 해서 반드시 타당성이 높다는 것을 의미하지는 않음  • 신뢰성은 타당성을 위한 기본적인 전제조건임  • 사회과학에서 사용되는 측정도구를 이용하여 의미 있는 실험결과를 얻으려면 타당성은 물론이지만 측정도구의 신뢰성이 높아야 한다. 신뢰성이 낮은 측정의 타당성을 따지는 것은 의미가 없으며 신뢰성이 높다고 해서 타당성이 반드시 높은 것은 아님 (A): 일관되게 과녁을 맞추기는 했으나 엉뚱한 곳을 맞춘 것이므로, 신뢰도는 있으나 타당도가 없는 측정 결과를 나타낸 것 (B): 일관성이 없어 신뢰도가 없고, 핵심에서 벗어나 있으므로 타당도도 없는 경우를 나타낸 것 (C): 신뢰도와 타당도가 모두 갖추어진 경우