한국판 목소리 자기조절 척도의 신뢰도 및 타당도 예비연구
Abstract
Background and Objectives
The Voice Perceived Present Control scale (VPPC) has been developed to provide better insight into patients’ perceived control over their thoughts or behaviors related to voice disorders. The objective of the present study was to validate the Korean VPPC (K-VPPC) by evaluating its internal consistency and reliability.
Materials and Method
All items of the English VPPC were translated into Korean. Content validity was analyzed through three Delphi survey rounds by an expert panel (n=44) with active clinical and research experience in treating dysphonic patients. Twenty-three patients with a heterogeneous diagnosis of dysphonia and twenty-three gender-matched vocally normal controls (total n=46) were asked to complete the K-VPPC and the Korean Voice Handicap Index-10 (KVHI-10). Psychometric properties including internal consistency and reliability were evaluated to examine the appropriateness of cross-cultural use of K-VPPC.
Results
Cronbach’s alpha coefficient of K-VPPC was 0.89 for dysphonic patients, indicating good internal consistency in clinical samples. Furthermore, patients with dysphonia scored significantly lower on the total score of K-VPPC and higher on voice handicap than the vocally normal controls. Spearman’s correlation coefficients indicated an inverse and moderate association between the K-VPPC and all domains of KVHI-10 (Spearman’s r=-0.44– -0.68).
Conclusion
The findings of the current study indicated that the K-VPPC is a valid and reliable tool for the assessment of perceived control in Korean patients with dysphonia. Therefore, the K-VPPC could be a useful and complementary tool for the comprehensive evaluation of dysphonia, thereby improving care in Korean patients with voice disorders.
Key words: Voice disorders; Patient reported outcome measures; Validation study; Self-control
중심 단어: 음성장애; 자기보고식평가; 타당도연구; 자기조절
서 론
음성장애는 목소리의 이상을 초래하는 다양한 질환군으로 음성과 관련된 일상생활에서의 신체적, 기능적, 심리적인 불편감을 유발하고 삶의 질을 떨어뜨릴 수 있다. 특히, 음성사용이 생계의 주된 수단이거나 직장에서 중요하게 여겨지는 환자들은 자신의 음성장애를 심각하게 여기고 더 큰 불편을 호소할 수 있다[ 1- 3]. 최근 연구들에 의하면 약 30%의 음성장애 환자들은 질환으로 인한 불편 뿐만 아니라 질환에 스스로 대처할 수 있는 자기조절(perceived control)에서도 어려움을 경험하고 있다[ 3- 6]. Misono 등[ 3, 4]은 환자가 현재 인식하는 자기조절 능력은 음성장애로 인한 불편과 연결되어 있으며, 환자의 자기조절 능력이 저하될수록 장애 관련 신체적, 심리적 불편이 높아지는 것으로 보고하였다. 아울러 환자가 인식하는 자기조절 정도를 평가하여 치료에 활용하는 것은 효과적인 치료 계획수립 및 치료 후 만족도에 긍정적인 영향을 미칠 수 있음을 시사하였다[ 4]. 이러한 연구결과를 토대로 2010년 이후 ‘목소리 자기조절 척도(Voice Perceived Present Control scale, VPPC)’가 미국 환자들을 대상으로 개발되어 임상과 연구에서 활발히 사용되고 있다[ 4, 5]. 현재 우리나라의 음성장애 환자들을 위한 주관적인 평가척도로는 음성장애지수(Korean Voice Handicap Index, KVHI), 음성관련 삶의 질(Korean Voice Related Quality of Life, K-VQOL), 음성증상척도(Korean Voice Symptom Scale, K-VoiSS), 음성 활동 및 참여 프로파일(Korean Voice Activity and Participation Profile, K-VAPP), 음성 파국화 지수(Korean Voice Catastrophization Index, K-VCI) 등이 사용되고 있다[ 1, 7- 10]. 그러나 현재 주로 사용되고 있는 평가척도들은 음성장애로 초래되는 ‘불편’과 ‘장애’에 초점을 두고 있어, 음성장애 환자가 목소리와 관련된 자신의 감정, 행동, 생각을 잘 통제하고 있는지를 평가하기에는 한계가 있다. 이에 본 연구는 우리나라에서 사용하고 있는 기존의 평가척도와는 달리 음성장애 환자들의 적극적인 자기조절을 평가하기에 적합한 한국판 목소리 자기조절척도(Korean Voice Perceived Present Control, K-VPPC)를 개발하고, 개발된 척도의 타당도 및 신뢰도를 검증할 뿐만 아니라, 이 척도가 우리나라 음성 장애 임상현장과 연구에 사용하는 것이 적합한지를 논의하는 예비연구를 실시하였다.
대상 및 방법
연구 대상
본 연구는 총 46명(음성장애 환자군 23명, 대조군 23명)을 대상으로 예비시행되었으며, 기관 연구윤리 심의위원회의 허가를 받았다(IRB No. 2022-01-017). 음성장애군은 2022년 1월 1일부터 3월 1일까지 이화여자대학교 목동병원 이비인후과를 내원하여 음성정밀검사를 실시한 결과, 이비인후과 전문의에 의해 기능적, 기질적, 신경학적 원인의 음성장애(연축성 발성장애, 성대 양성 점막 병변, 근긴장성 발성장애, 음성 진전 등)로 진단받은 만 19세부터 65세 미만의 성인 환자를 대상으로 하였다. 음성장애 환자군의 연구대상자 제외 조건은 청력, 시력문제가 있거나 중학생 이하의 문해 능력을 보유하여 스스로 설문지 작성이 어려운 경우, 조음기관의 구조적, 기능적 이상이 음성산출에 영향을 줄 수 있는 경우, 음성장애를 제외한 다른 호흡기 질환과 신경학적 과거력이 있거나 후두암으로 진단받은 경우였으며, 이에 부합하는 23명을 음성장애군으로 선정하였다( Tables 1 and 2). 대조군은 음성장애군과 마찬가지로 만 19세부터 65세 미만이며 정상음성임을 자가보고한 성인으로, 음성장애군과 성별을 일치시켜 수집하였다. 대조군의 연구대상자 선정기준은 설문지 작성 시점 기준 1년간 음성문제를 주호소로 이비인후과에 내원한 기록이 없으며, 1명의 언어재활사가 GRBAS 척도로 음질을 평정하여 전반적인 중증도가 0으로 평가되었으며, 음성장애지수-10문항(KVHI-10) 총점이 절단점 7.5 보다 낮은 경우로, 이에 해당하는 23명이 대조군으로 참여하였다.
연구 방법
한국판 목소리 자기조절 척도 번안
미국에서 개발된 VPPC는 Frazier 등[ 11, 12]에 의해 정상인을 대상으로 처음 개발된 이후 Misono 등[ 3, 4]에 의해 음성장애 환자용으로 수정되어 신뢰도와 타당도가 입증된 척도이다. VPPC는 자기보고식 설문검사로 지난 2주간 목소리 문제와 관련된 생각과 감정반응에 대처하는 자기조절 정도를 묻는 8문항으로 구성되어 있다. 각 문항들은 4점 리커트 척도를 사용하여(1=전혀 그렇지 않다, 2=별로 그렇지 않다, 3=어느정도 그렇다, 4=매우 그렇다) 평가되며, 문항 2, 4, 5, 7은 긍정문항으로 채점되고, 문항 1, 3, 6, 8은 부정 문항으로서 역채점(reverse scored)된다[ 11, 12]. 총점수의 범위는 0점부터 32점까지로 원점수가 높을수록 목소리와 관련된 자신의 감정반응과 생각을 스스로 조절하는 능력이 높은 것으로 해석된다. 본 연구는 한국판 VPPC (K-VPPC)의 개발을 위해 원저자(Stephanie Misono)로부터 번안에 대한 사전 승인을 받은 후 번역-역번역 과정을 진행하였다. 일차적으로 원문을 이중 언어자인 언어재활사 박사 1인이 국문으로 순번역 하였으며, 2명의 이비인후과 전문의와 함께 최종 합의에 이를 때까지 논의하여 내용을 수정하였다. 이후 이중언어자이며 본 척도에 대한 사전 지식이 없는 전문 번역가 2명이 역번역하였고, 번안된 결과를 검토하여 서로 문장이 유사해질 때까지 토의를 거쳐 문항들을 수정하였다. 마지막으로 다수의 심리학 척도 번안, 표준화 및 타당도 검증 연구 경력이 있는 심리학과 교수 1인의 최종 검증을 거쳐 번안 초본이 완성되었다( Fig. 1, The K-VPPC scale is provided as Supplementary Materials 1 which is an online-only Data Supplement.).
델파이 전문가 패널조사
내용타당도(content validity)를 확인하기 위해 번안 초본을 설문지 형태로 편집하여 전문가 패널에게 보내 의견을 수렴하는 델파이 조사를 시행하였다. 해당 전문가들은 음성장애 환자에 대한 고도의 교육을 받고, 임상에서 해당 환자들을 주기적으로 평가, 치료하는 이비인후과 전문의 및 언어재활사들로 구성되었다. 내용타당도 확보를 위해 각 문항에 대한 전문가의 의견을 등간 척도(1=매우 부적합, 2=부적합, 3=보통, 4=적합, 5=매우 적합)로 점수화하여 내용타당도 비율값을 산출하였고, Lawshe[ 13]가 제시한 기준을 토대로 문항들의 적합도를 평가하였다.
신뢰도 및 타당도 검증
내적일치도(internal consistency)를 통해 신뢰도를 검증하고자 음성장애군과 대조군의 크론바흐 알파계수 값을 산출하고, 음성장애군이 보고한 K-VPPC 문항별 문항-총점 상관행렬을 분석하였다. 각 군에 K-VPPC와 주관적 음성평가 도구로 주로 사용되는 KVHI-10 척도를 적용한 결과를 토대로 구성타당도(construct validity)와 공인타당도(concurrent validity)를 검증하였다. 구성타당도 검증을 위해 맨휘트니 통계분석으로 각 군간 점수를 비교하였다. 공인타당도 검증을 위해 K-VPPC와 KVHI-10 점수 간의 스피어만 상관관계 분석을 시행하였고, 분석 결과를 Cohen[ 14]이 제시한 해석 기준에 따라 0.10-0.29 이하는 낮은(small) 상관관계, 0.30-0.49는 중간정도(moderate) 상관관계, 0.50 이상은 높은(strong) 상관관계로 해석하였다.
결 과
델파이 조사 결과
내용타당도 검증을 위해 3번의 델파이 조사가 실시되었다. 총 44명의 전문가가 연구 참여에 동의하였으며 최종 응답자 현황은 Table 3과 같다. 전문가 조사를 통해 번안본이 의미론(‘조절, 대처, 통제,’ ‘매일 매일, 그날 그날’ 등의 특정 어휘들)과 통사론(수동/능동태, 주어의 생략, 부사구) 측면에서 적절하게 번안이 되었는지 제안이 이루어졌으며, 전문가들의 의견을 토대로 번안본의 내용을 수정하였다. 내용타당도 검증을 위해 산출된 각 문항들의 내용타당도 비율 값은 Lawshe[ 13]가 제시한 최소값 0.29 보다 높았으며, Lawshe의 기준을 바탕으로 K-VPPC가 적당한 내용타당도를 확보한 것으로 평가되었다( Table 4).
신뢰도
신뢰도를 검증하기 위해 산출된 크론바흐 알파계수 값은 환자군에서 0.89로 높은 수준, 대조군은 0.61로 보통 수준의 내적일치도를 보이는 것으로 평가되었다. 음성장애군에 대해 K-VPPC의 총점과 각 문항간의 상관관계를 분석한 결과, 문항 변별도의 범위는 0.53-0.77이었으며 이는 Ebel과 Frisbie[ 15]의 기준값 0.40 이상으로 적합한 문항변별도를 보여주었다. 또한 개별 문항을 삭제한 경우 크론바흐 알파계수의 현저한 변화를 보이는 경우는 없어 적합한 내적일치도를 갖는 것으로 분석되었다( Table 4).
타당도
구성타당도를 검증하기 위해 맨휘트니 검정을 사용하여 음성장애군과 대조군을 비교한 결과, 음성장애군의 K-VPPC의 평균 점수는 20.61±5.7이었으며 대조군의 평균 점수 24.43±3.79에 비해 통계적으로 유의하게 낮았다(p＜0.05). 또한 음성장애군의 KVHI-10 총점은 22±10.65로 대조군의 총점 1.57±2에 비해 높았으며, 각 하위영역별 점수 또한 대조군보다 유의하게 높아(p＜0.001) K-VPPC가 적합한 구성타당도를 확보한 것으로 평가되었다( Table 5). 공인타당도 검증을 위해 환자군이 보고한 K-VPPC와 KVHI10 점수 간의 스피어만 상관분석을 시행하였다. 분석 결과, 음성장애군의 K-VPPC 총점이 낮을 수록 KVHI-10 총점 및 모든 하위 항목 점수들이 통계적으로 유의하게 증가하는 양상을 보였다(KVHI-10 총점 스피어만 상관계수 r=-0.44, Functional r=-0.46, Physical r=-0.48, Emotional r=-0.44, p＜0.05). 이를 통해 음성장애군이 인식하는 목소리 관련 자기조절 능력은 음성장애로 발생된 신체, 기능 및 감정적 불편감과 연관이 있는 것으로 분석되어 공인타당도 또한 확보된 것으로 평가되었다( Table 6).
고 찰
음성장애에 대한 음향학적 및 청지각적 평가와 더불어 음성장애 환자가 인지하는 자기조절 정도를 평가하는 것은 치료 계획 수립과 치료의 만족도를 측정하는 데 중요하다[ 4- 6]. 이에 본 연구는 환자 자신이 보다 적극적으로 음성장애와 관련된 생각 및 감정적 반응을 합리적으로 조절할 수 있는 능력을 측정하기 위해 K-VPPC 척도를 개발하고 타당도와 신뢰도를 검증하였다. 내용타당도 검증을 위해 실무와 임상경험이 풍부한 음성관련 44명의 전문가 패널과 함께 총 3회에 걸쳐 델파이 조사를 실시하였고, 모든 항목의 내용들이 적합한 것으로 평가되었다. 전문가 패널 조사 결과, 원문의 충실한 직역보다는 우리나라 임상환경을 반영한 개념적 번역과 의역의 필요성을 보여주었다. 또한 번역된 표현들이 자칫 산만해질 수 있는 번안 연구의 특성 상, 임상 현장에서 환자들이 답하기 쉽도록 매끄러운 표현으로 문항을 수정하기 위해 다수의 전문가들의 의견을 수렴하는 것이 중요함을 알 수 있었다.
신뢰도 검증 결과, K-VPPC 문항 간의 크론바흐 알파계수는 음성장애군에서 0.89로 신뢰할 수 있는 수준이었고, 이는 0.79-0.84 범위의 크론바흐 알파계수를 보였던 Frazier 등[ 5]의 연구결과와 비슷하여 K-VPPC와 VPPC가 비교적 동일한 내용들로 이루어져 있음을 알 수 있었다. 구성타당도 검증 결과, K-VPPC의 총점은 음성장애군이 대조군보다 통계학적으로 유의하게 낮았으며, 음성장애로 인한 불편의 정도를 평가할 수 있는 VHI-10 점수는 음성장애군이 대조군보다 유의하게 높은 것으로 분석되어 Misono 등[ 4]의 연구결과와 일치하였다. 공인타당도 검증 결과, K-VPPC는 VHI-10 총점과 모든 세부영역 점수에서 역의 상관관계를 보였으며(스피어만 상관계수 r=-0.44- -0.68) 또한 기존 연구 결과와 일치하였다[ 4- 6]. 종합해보면, 기존에 타당성을 검증받은 KVHI-10 척도와 비교하여 K-VPPC가 적합한 공인타당도를 가진 것을 보여주며, 본 척도가 음성질환으로 인한 불편감을 측정하고 있는 KVHI-10과 달리 음성장애 환자들이 경험하고 있는 ‘자기조절’에 관련된 내용을 측정하고 있음을 알 수 있다. 본 연구결과는 음성장애 환자들이 음성장애를 겪지 않는 사람들보다 자신의 음성 문제로 인한 전체적 불편감이 높고, 음성장애와 관련된 생각 및 감정적 반응들을 스스로 조절하는데 어려움을 경험할 수 있음을 보여주었다[ 2, 3, 6]. 따라서 현재까지 국내 음성장애 환자들이 인식하는 목소리 문제에 대한 실질적인 자기조절의 측정을 위한 척도가 부족한 상황에서 K-VPPC는 이러한 평가를 가능케하여 효과적인 치료 계획을 세우는데 도움이 될 수 있을 것이다. 구체적으로 본 척도는 임상가가 현재 환자가 목소리 문제와 관련되어 조절하기 어려운 생각들과 감정적 반응을 파악하고, 이를 중점적으로 관리하여 호전도를 높이는데 도움을 줄 수 있을 것으로 예상된다[ 13]. 그러나 본 연구에서 수집된 음성장애 환자들의 대부분이 목소리를 과하게 사용하는 내전형 연축성 발성장애(n=10), 근긴장성 발성장애(n=3), 그리고 갑자기 심하게 목소리를 사용하여 발생할 수 있는 성대 폴립(n=4) 환자들임을 고려할 때, 후속 연구에서는 보다 넓고 고른 음성장애군을 대상으로 K-VPPC를 적용해야 할 것이다. 또한 본 연구에 포함된 내전형 연축성 발성장애 환자군의 대다수가 음성질환으로 인한 감정적인 불균형을 더 자주 보고하는 ‘젊은 여성’ 환자였음을 감안할 때, 이들이 인식하는 음성장애로 인한 불편감과 자기조절 정도는 다른 음성장애 환자군과 다를 수 있다. 따라서 추후연구에서는 성별과 연령의 영향을 최소화할 수 있도록 충분한 수의 연구 대상자를 확보하고, 성별과 연령을 통제한 통계학적 분석 방법을 실시하여 K-VPPC 척도가 각기 다른 성별과 다양한 연령대의 음성장애 환자에게 고르게 적용될 수 있는지 알아보아야 할 것이다[ 3- 5].
결 론
본 연구를 통해 개발된 K-VPPC는 한국 음성장애 환자들이 주관적으로 느끼는 자기조절 정도를 평가하는데 신뢰성과 타당성을 확보한 척도이다. K-VPPC는 앞으로 임상현장에서 음성장애 환자의 자기조절 정도를 평가하고 효과적인 치료 계획을 세우고 호전도를 높이는데 유용하게 활용될 수 있을 것이다.
ACKNOWLEDGEMENTS
This research was supported by Post-Doctoral Fellowship Program through the National Research Foundation of Korea (NRF) funded by the Ministry of Education (2021R1A6A01087023).
Fig. 1.
Study flowchart. K-VPPC, Korean Voice Present Perceived Control scale; KVHI-10, Korean Voice Handicap Index-10. 
Table 1.
Demographic and clinical characteristics of subjects (n=46)
|
Age (years)
|
|
Mean±SD |
Range |
|
Patients with dysphonia (n=23) |
|
|
|
Female (n=15) |
34.06±10.22 |
20.04–51.04 |
|
Male (n=8) |
46.42±9.25 |
38.04–63.07 |
|
Vocally normal controls (n=23) |
|
|
|
Female (n=15) |
38.13±9.54 |
26.09–64.10 |
|
Male (n=8) |
37.47±15.40 |
20.11–65.06 |
Table 2.
Composition, proportion of diagnosis, and number of patients with dysphonia (n=23)
|
Diagnostic categories |
n (%) |
|
Adductor spasmodic dysphonia |
10 (44) |
|
Vocal polyp |
4 (18) |
|
Muscle tension dysphonia |
3 (13) |
|
Vocal cyst |
2 (9) |
|
Vocal tremor |
1 (4) |
|
Vocal nodules |
1 (4) |
|
Laryngeal papilloma |
1 (4) |
|
Presbylaryngis |
1 (4) |
Table 3.
Demographic characteristics of expert panel members who participated in the Delphi study (n=44)
|
Demographics |
n (%) |
|
Sex |
|
|
Male |
32 (72.7) |
|
Female |
12 (26.2) |
|
Specialty |
|
|
Speech language pathologist |
7 (15.9) |
|
Otolaryngologist |
37 (84.1) |
|
Years of clinical experience |
|
|
>5 years |
7 (15.9) |
|
>10 years |
12 (27.3) |
|
>15 years |
25 (56.8) |
|
Place of work |
|
|
Private clinic |
1 (2.3) |
|
Secondary or tertiary level hospital |
43 (97.7) |
Table 4.
Results of the Delphi study and internal consistency analysis of K-VPPC
|
Item |
Delphi study
|
Internal consistency analysis
|
|
Mean±SD |
Content validity ratio |
Corrected item-total correlation |
Cronbach’s alpha if item deleted |
|
1 |
4.00±0.98 |
0.53 |
0.708 |
0.876 |
|
2 |
4.16±0.86 |
0.50 |
0.659 |
0.881 |
|
3 |
4.33±0.84 |
0.67 |
0.742 |
0.873 |
|
4 |
4.05±0.86 |
0.59 |
0.770 |
0.870 |
|
5 |
3.88±0.99 |
0.57 |
0.626 |
0.884 |
|
6 |
4.07±0.92 |
0.47 |
0.668 |
0.881 |
|
7 |
4.15±0.92 |
0.86 |
0.529 |
0.892 |
|
8 |
4.41±0.78 |
0.73 |
0.680 |
0.880 |
Table 5.
Results of Mann-Whitney U test (n=46)
|
Instruments |
Patients with dysphonia (n=23) |
Vocally normal controls (n=23) |
Scale scoring range |
Group differences
|
|
U |
Z |
p |
|
K-VPPC |
20.61±5.69 |
24.43±3.79 |
8 (worst)–32 (best) |
148.50 |
-2.56 |
0.011*
|
|
KVHI-10 |
|
|
|
|
|
|
|
Total score |
22.13±10.58 |
1.57±1.99 |
0 (best)–40 (worst) |
36.00 |
-5.07 |
<0.001*
|
|
Functional |
9.52±5.16 |
1.00±1.38 |
0 (best)–20 (worst) |
40.50 |
-5.00 |
<0.001*
|
|
Physical |
7.35±3.49 |
0.43±0.79 |
0 (best)–12 (worst) |
29.00 |
-5.37 |
<0.001*
|
|
Emotional |
5.26±2.62 |
0.17±0.49 |
0 (best)–8 (worst) |
27.50 |
-5.53 |
<0.001*
|
Table 6.
Result of Spearman’s rank correlation analysis in patients with dysphonia (n=23)
|
Instruments |
K-VPPC |
KVHI-10
|
|
Total score |
Functional |
Physical |
Emotional |
|
KVHI-10 |
|
|
|
|
|
|
Total score |
-0.44*
|
|
|
|
|
|
Functional |
-0.46*
|
0.97*
|
|
|
|
|
Physical |
-0.48*
|
0.94*
|
0.87*
|
|
|
|
Emotional |
-0.44*
|
0.94*
|
0.92*
|
0.89*
|
|
REFERENCES
1. Yun YS, Kim H, Son YI, Choi HS. Validation of the Korean Voice Handicap Index (K-VHI) and the clinical usefulness of Korean VHI10. Commun Sci Disord 2008;13(2):216-41.
2. Misono S, Peterson CB, Meredith L, Banks K, Bandyopadhyay D, Yueh B, et al. Psychosocial distress in patients presenting with voice concerns. J Voice 2014; 28( 6): 753- 61.    3. Misono S, Haut C, Meredith L, Frazier PA, Stockness A, Michael DD, et al. Dysphonia, perceived control, and psychosocial distress: A qualitative study. J Voice 2019; 33( 5): 682- 90. 4. Misono S, Meredith L, Peterson CB, Frazier PA. New perspective on psychosocial distress in patients with dysphonia: The moderating role of perceived control. J Voice 2016; 30( 2): 172- 6. 5. Frazier P, Merians A, Misono S. Perceived control and voice handicap in patients with voice disorders. Health Psychol 2017; 36( 11): 1105- 8. 6. Nguyen-Feng VN, Frazier PA, Roy N, Cohen S, Misono S. Perceived control, voice handicap, and barriers to voice therapy. J Voice 2019; 35( 2): 326.e13- 9. 7. Kim JO, Lim SE, Park SY, Choi SH, Choi JN, Choi HS. Validity and reliability of Korean-version of voice handicap index and voice-related quality of life. Speech Sciences 2007;14(3):111-25.
8. Son HY, Lee CY, Kim KA, Kim S, Jeong HS, Kim JP. The Korean version of the voice symptom scale for patients with thyroid operation, and its use in a validation and reliability study. J Voice 2018; 32( 3): 367- 73. 9. Lee SJ, Choi HS, Kim HH, Byeon HK, Lim SE, Yang MK. Korean version of the voice activity and participation profile (K-VAPP): A validation study. Commun Sci Disord 2016; 21( 4): 695- 708. 10. Lee YW, Kim GH, Bae IH, Park HJ, Kwon SB. Korean voice catastrophization index (K-VCI): Validation of the voice catastrophization index for Koreans. J Voice 2019; 35( 1): 160.e7- 13. 11. Frazier P, Keenan N, Anders S, Perera S, Shallcross S, Hintz S. Perceived past, present, and future control and adjustment to stressful life events. J Pers Soc Psychol 2011; 100( 4): 749- 65. 12. Frazier P, Anders S, Shallcross S, Keenan N, Perera S, Howard K, et al. Further development of the temporal model of control. J Couns Psychol 2012; 59( 4): 623- 30. 13. Lawshe CH. A quantitative approach to content validity. Pers Psychol 1975; 28( 4): 563- 75. 14. Cohen J. Statistical power analysis for the behavioral sciences. 2nd ed. New Jersey: Lawrence Erlbaum Associates;1988.
15. Ebel RL, Frisbie DA. Essentials of educational measurement. 5th ed. New Jersey: Prentice Hall;1991.
|
|
PDF Links
PubReader
ePub Link
XML Download
Full text via DOI
Download Citation 
Supplement
Print 
