信度和效度评价
- 格式:docx
- 大小:23.22 KB
- 文档页数:5
报告中的信度与效度评估方法引言:在研究和学术领域中,报告是重要的信息传递工具。
无论是科学研究报告、市场调研报告,还是学术论文,都需要保证其内容的信度和效度。
信度指的是报告中所陈述的结果的稳定性和一致性,而效度则涉及报告所测量的变量是否确实反映了研究的目标。
本文将介绍报告中的信度与效度评估方法,并探讨其应用。
一、信度评估方法1. 重测信度重测信度是一种常用的评估报告信度的方法。
其基本思想是通过测试或测量同一变量两次或多次,以比较其结果的一致性。
常见的统计指标有相关系数(如皮尔逊相关系数)和一致性系数(如克朗巴赫α系数)。
2. 内部一致性信度内部一致性信度是评估报告中不同项目(或问题)之间的相关性的方法。
它可以通过Cronbach's α系数来计算。
较高的α系数表明各个项目之间的内部一致性较高,说明报告测量的是同一概念或变量。
二、效度评估方法1. 内容效度内容效度是评估报告所涉及的内容是否完整、合理和准确的方法。
通过专家评估和内容分析,可以确定报告所涵盖的内容是否具有代表性和适用性。
2. 建构效度建构效度是评估报告中测量工具的结构以及所测量的变量与其他相关变量之间关系的方法。
常用的评估方法有因子分析、结构方程模型等。
3. 预测效度预测效度是评估报告中所测量的变量与实际结果之间的关系的方法。
通过与实际结果进行对比,可以确定报告的预测能力。
三、应用案例1. 学术研究报告在学术研究报告中,可以利用重测信度和内部一致性信度评估报告的信度。
同时,需要进行内容效度和建构效度的评估,以确保报告所涵盖的内容全面准确,测量工具可靠有效。
2. 市场调研报告市场调研报告需要经过严格的效度评估,以确保报告中的数据准确可靠。
除了重测信度和内部一致性信度评估报告的信度外,还需要进行内容效度和预测效度的评估,以确保报告具有良好的代表性和预测能力。
3. 环境评估报告环境评估报告对于评估环境影响具有重要意义。
在评估报告的信度时,可以使用重测信度和内部一致性信度。
心理学研究中的实验效度与信度的评估心理学研究中的实验效度和信度评估是确保研究结果的可靠性和有效性的重要步骤。
本文将讨论实验效度和信度的概念、评估方法以及其在心理学研究中的应用。
一、实验效度的评估实验效度是指实验研究中所得结果对被测人群总体的普遍适用性程度,也即研究结果的准确性和有效性。
常用的实验效度评估方法包括内容效度、构效度和标准效度。
1. 内容效度内容效度是指研究设计所测量的变量和所研究领域的实际关系程度。
评估内容效度的方法可以包括专家评审、文献综述和逻辑分析等。
通过针对所研究内容的专家意见,可以确保测量工具或实验材料的内容合理性和表征能力。
2. 构效度构效度是指测量工具或实验设计中所使用的因素或指标与理论假设的相关性程度。
常见的构效度评估方法包括因子分析、共同度分析和核查相关等。
通过这些方法,可以检查实验设计或测量工具中的各个因素是否合理、明确和可靠,以及它们与理论概念的关系。
3. 标准效度标准效度是指研究结果与已有可靠和有效参照标准的一致性程度。
常见的标准效度评估方法包括相关系数分析、回归分析和收敛效度验证等。
通过与已有可靠且被广泛承认的标准进行比较,可以确认研究结果的准确性和可信度。
二、信度的评估信度是指测量工具在不同时间或相似情境下的一致性和稳定性程度。
实验信度评估方法包括重测信度、平行形式信度和内部一致性信度。
1. 重测信度重测信度是指测量工具在相同被测人群中进行两次或多次测量时的一致性程度。
常用的重测信度评估方法包括相关系数、ICC(Intra-class Correlation Coefficient)和Cronbach's Alpha等。
通过比较不同时期或不同情境下的测量结果,可以判断测量工具的稳定性和一致性。
2. 平行形式信度平行形式信度是指采用不同但相似的测量工具对同一被测人群进行测量时的一致性程度。
常见的评估方法包括皮尔逊相关系数和容纳量测的项残差相关等。
通过比较不同测量工具得出的结果,可以评估它们的一致性和可靠性。
信度和效度分析范文信度分析:信度是指测量工具在不同时间、不同测量者或不同测量内容下的稳定性和一致性。
如果测量工具具有高信度,那么它将能够产生相似或一致的结果。
以下是几种常见的信度分析方法:1.重测信度方法:重测信度方法是通过对同一组被试者进行两次以上的测量来评估测量工具的信度。
可以使用相关系数(如皮尔森相关系数、斯皮尔曼相关系数)来计算两次测试结果之间的相关性。
如果相关系数接近于1,则表明测量工具具有较高的重测信度。
2.分裂半信度方法:分裂半信度方法通过将测量工具分为两部分或多部分,然后计算这些部分得分之间的相关性来评估信度。
常见的方法包括将问卷的奇数题目和偶数题目分开计分,然后计算这两个得分之间的相关系数。
如果相关系数接近于1,则说明测量工具具有较高的分裂半信度。
3.内部一致性信度方法:内部一致性信度方法通过统计测量工具各个项目之间的相似性来评估信度。
最常见的方法是计算Cronbach's Alpha系数。
Cronbach's Alpha 系数越接近1,说明测量工具的内部一致性越高。
效度分析:效度是指测量工具能否准确地度量所要研究的概念或变量。
以下是几种常见的效度分析方法:1.内容效度:内容效度评估测量工具中各个项目是否能够充分覆盖研究的内容领域。
一般通过专家评审的方式来进行评估,专家将判断每个项目是否与所要研究的概念相关。
通常采用一致性指数来衡量内容效度,如简单一致性指数。
2.结构效度:结构效度评估测量工具所测量的概念结构的一致性。
可以使用因子分析或验证性因子分析来进行评估。
如果因子载荷值较高且具有合理的因子结构,那么测量工具就具有较高的结构效度。
3.判据效度:判据效度评估测量工具与其他已经被接受为有效的判据测量工具之间的相关性。
例如,对于一个测试学生的数学能力的测量工具,可以与学生成绩进行相关性分析。
如果相关系数较高,则说明测量工具具有较高的判据效度。
综上所述,信度和效度分析是量化研究中评估测量工具的关键步骤。
对本研究信度和效度的大致判断
1. 信度:
- 内部一致性信度:如果研究使用了多个测量工具或指标来评估同一概念或变量,这些工具或指标之间的一致性可以反映信度。
例如,相关分析或Cronbach's alpha 等统计方法可以用于评估内部一致性。
- 重测信度:如果研究涉及对同一对象进行多次测量,检查测量结果在不同时间点的稳定性可以提供信度的线索。
例如,计算两次测量之间的相关系数可以评估重测信度。
- 评估者间信度:如果研究中有多个评估者对同一对象进行观测或评估,比较他们的评估结果之间的一致性可以考察信度。
例如,计算评估者之间的一致性系数(如 Kappa 系数)。
2. 效度:
- 内容效度:检查研究工具或测量是否涵盖了所研究的概念或变量的相关内容。
可以通过专家评审、文献回顾或与现有理论和标准的比较来评估内容效度。
- 建构效度:确定研究中使用的测量工具或指标是否能够有效地测量所关注的概念或变量。
这可以通过因素分析、相关性分析或与已知的效标进行比较来评估。
- 外部效度:考虑研究结果是否可以推广到其他人群、情境或时间点。
可以通过检查研究样本的代表性、研究设计的合理性以及与其他相关研究的比较来评估外部效度。
需要注意的是,对信度和效度的评估通常需要结合具体的研究设计、方法和数据进行更详细的分析。
这些初步的判断只是提供了一个大致的框架,进一步的评估需要根据研究的具体情况进行深入探讨。
如果可能的话,最好参考相关领域的研究方法和标准,或者咨询专业的研究人员以获取更准确的评估。
信度与效度关系的公式信度与效度是两个重要的概念,在研究和评估领域中起着至关重要的作用。
信度指的是测量工具或评估方法的稳定性和一致性,而效度则是测量工具或评估方法所测量的概念或现象的准确性和有效性。
信度与效度是评估研究结果的重要指标,下面将介绍信度与效度的关系以及相关公式。
一、信度的定义和测量方法信度是指测量工具或评估方法在重复使用时得到相似结果的程度。
在研究中,如果测量工具或评估方法具有较高的信度,那么在不同的时间、不同的测量者或不同的环境下使用,所得到的结果应该是相似的。
常用的信度测量方法包括重测信度、内部一致性信度和平行表单信度。
1. 重测信度:重测信度是指在一段时间后重新进行相同或相似的测量,通过比较两次测量结果的一致性来评估信度。
计算重测信度的常用公式为:重测信度=重测得分与初始得分的相关系数。
2. 内部一致性信度:内部一致性信度是指测量工具或评估方法的各个项目或题目之间的一致性程度。
常用的内部一致性信度测量方法有Cronbach's alpha系数和Kuder-Richardson系数。
3. 平行表单信度:平行表单信度是指两个或多个相似的测量工具或评估方法在相同条件下进行测量,通过比较它们的结果的一致性来评估信度。
二、效度的定义和测量方法效度是指测量工具或评估方法所测量的概念或现象的准确性和有效性。
一个有效的测量工具或评估方法应该能够准确地反映所研究的概念或现象。
常用的效度测量方法包括内容效度、构效度和标准效度。
1. 内容效度:内容效度是指测量工具或评估方法是否覆盖了所研究的概念或现象的各个方面。
内容效度通常通过专家评审或内容分析来进行评估。
2. 构效度:构效度是指测量工具或评估方法是否能够反映出所研究的概念或现象的内在结构或关系。
常用的构效度测量方法包括因子分析和结构方程模型。
3. 标准效度:标准效度是指测量工具或评估方法与已有的标准测量工具或评估方法之间的相关性。
常用的标准效度测量方法包括与其他测量工具的相关性分析和与已知标准的比较。
教育评价中的信度与效度分析教育评价对于学生的学习和发展起着至关重要的作用。
在评价学生的综合素养和学科能力时,需要对教育评价中的信度和效度进行分析。
一、信度分析教育评价的信度是指其结果在可重复性的测试过程中的一致性程度。
简单来说,就是如何判断结果的可靠性和准确性。
在教育测评上,信度是很重要的指标,它直接影响到评价结果的可信度。
因此,教育评价中的信度分析是必不可少的一步。
1.维持测试条件的一致性对于同一测试,评估者、测验的难度、时间分配、测试的环境等因素都会影响测试的结果,所以需要尽可能保持稳定的测试条件。
例如,对于一项语言测试,在时限、环境、评分标准等方面,需要保持一致性,这可以增加测试的信度。
2.减少误差误差可能产生于测验对象的变化以及评估者或者测验本身的差错。
在评价中,我们希望避免这样的误差,因此需要考虑多元素测试的策略。
在这样的框架下,误差可能会分两次抵消,从而可以获得更准确的结果。
3.进行信度检测为了保证测试结果的可靠性,评价者需要对测试的信度进行检测。
常用的方法有测试重测法、内部互表法和平行测试法等。
如果测试结果可重复性好,则说明测试具有较高的信度。
二、效度分析教育评价的效度是指评估结果与被测评对象真实水平的相关程度。
效度分析的目的在于确认评估内容是否涵盖了今后的学习以及职业生涯中所需要的知识和技能。
1.内容效度内容效度是指测验内容与测量目标的相关程度。
学生的学习和待测能力需要符合被评价内容的范畴,这样才可以评价出考生的真实水平。
2.结构效度结构效度是指测验结构与测量目标的相关程度。
例如,在某种语言测验中,语法和词汇选择是非常重要的考察内容,因此需要对考生的词汇和语法能力进行精确的测评,确保最终结果的准确性。
3.预测效度预测效度是指通过测验结果预测学生未来能力表现的能力。
学生未来的表现不仅受到以前学习的影响,还受到个人意愿和环境等多种因素的影响。
因此,预测效度的测量和分析需要全面考虑各种因素的影响。
心理学研究中的实验效度与信度的评估实验效度和信度是心理学研究中两个重要的概念。
实验效度指的是实验结果对于所要研究的问题的程度。
信度则是实验工具在不同场景下产生一致的结果的程度。
在心理学研究中,评估实验效度和信度是确保研究结果的可靠性和有效性的关键步骤。
实验效度是指研究是否对所要研究的问题进行了合理有效的测量。
一个具有高实验效度的研究将能够准确地反映所要研究的现象或变量。
为了评估实验效度,研究者通常使用多种方法,包括内部效度和外部效度。
内部效度是指研究设计是否能够有效地控制外来因素对结果的影响,从而确保所观察到的变化是由独立变量引起的。
为了提高内部效度,研究者通常采用随机分组、对照组设计和双盲实验等方法来确保实验条件的一致性。
此外,合理使用控制变量,确保实验条件的稳定性也是提高内部效度的关键。
外部效度是指研究结果是否能够推广到其他场景或人群中。
为了评估外部效度,研究者需要确保研究样本的代表性,并重复实验以验证结果的可靠性。
此外,与现实生活中的情境接近的实验设计也能提高外部效度。
与实验效度相对应的是实验信度。
实验信度是指实验工具在不同场景下产生一致结果的程度。
在心理学研究中,研究者通常使用重测法和平行测量法来评估实验工具的信度。
重测法是指在不同时间点对同一样本进行重复测试,通过比较两次测量结果的一致性来评估实验工具的信度。
较高的一致性表明实验工具具有较高的信度。
平行测量法是指使用不同但相关的测量工具对同一样本进行测量,并比较两组测量结果的一致性。
与重测法类似,较高的一致性表明实验工具具有较高的信度。
评估实验效度和信度的方法不仅能保证研究结果的可靠性和有效性,还能提供更可靠的数据和结论供后续研究和应用。
无论是在实验设计阶段还是在数据分析阶段,都需要仔细评估实验效度和信度,并根据评估结果进行相应的调整和解释。
总结而言,心理学研究中的实验效度和信度评估是保证研究结果可靠性和有效性的重要步骤。
研究者应该关注内部效度和外部效度的提升,并使用重测法和平行测量法评估实验工具的信度。
心理测量学中的信度和效度分析心理测量学是研究心理测量方法与技术的学科,旨在通过反映被测者的心理特征和过程,揭示其心理素质、智力水平等信息。
而在心理测量过程中,信度和效度分析是两个重要的概念。
一、信度分析信度是指测量工具在测量同一心理特征或过程时的稳定性和一致性。
换句话说,信度反映了测量工具在同一被测者群体中的结果是否稳定,并且是否能复现。
具体来说,信度分析主要从可靠性和稳定性两个方面来考量。
1.可靠性可靠性是指测量工具的结果是否稳定且一致。
在心理测量学中,一种常用的方式是通过内部一致性来评估可靠性,最常见的统计方法是Cronbach's α系数。
Cronbach's α系数介于0和1之间,数值越大代表内部一致性越高,通常要求α系数达到0.7以上为可靠。
2.稳定性稳定性是指测量工具在不同时间或在不同条件下所得到的结果是否一致。
为了评估测量工具的稳定性,常用的方法是再测法和半分法。
再测法是指在不同时间或条件下对同一样本重复测量,然后通过计算相关系数来评估稳定性。
而半分法则是将测量工具的题目分成两部分,分别进行测量并计算两部分得分的相关系数。
二、效度分析效度是指测量工具是否能够准确地测量所要测量的心理特征或过程。
也就是说,效度是评估测量工具是否真的测量到了我们想要测量的东西。
效度分析主要从描述效度、判别效度和预测效度三个方面来考量。
1.描述效度描述效度是指测量工具是否能够全面、准确地描述被测者的心理特征或过程。
具体来说,可以通过专家评定法和内容效度等方法来评估描述效度。
专家评定法是通过请相关领域的专家对测量工具进行评定,包括评估题目的合理性、适用性等方面。
而内容效度是指测量工具的题目是否充分、恰当地涵盖了被测者的心理特征或过程。
2.判别效度判别效度是指测量工具能否区分不同的心理特征或过程。
为了评估判别效度,常用的方法是构太效度。
构太效度是通过与已知测量工具或理论进行比较,来确定测量工具是否能够与其他相关测量工具或理论得到一致或相似的结果。
1、简述量表信度和效度的含义及检验方法。
1.引言1.1 概述在心理学和社会科学研究中,量表是研究者收集数据和评估心理现象的常用工具。
量表信度和效度是评估量表质量的重要指标,影响着研究结果的可靠性和有效性。
量表信度是指量表测量结果的稳定性和一致性,表示在相同条件下,量表能够得出相似或一致的结果。
具有高信度的量表能够在重复测试中获得相似的分数。
如果一个量表的信度较低,那么对于同一个人在不同时间或不同测评者之间得到的结果可能会有较大的差异。
常见的量表信度检验方法包括重测信度和内部一致性信度。
重测信度是通过对同一受试者在不同时间点进行重复测量来评估量表的信度。
该方法通过比较两次测量结果之间的相关性或一致性来确定量表在时间上的稳定性。
一种常用的重测信度检验方法是计算测量结果的相关系数,如皮尔逊相关系数或斯皮尔曼相关系数。
内部一致性信度是通过量表中各个项目之间的相关性来评估量表的信度。
这种方法可以反映一个量表内部各项是否协调一致,即一致的测量同一个构念或特质。
常见的内部一致性信度指标包括Cronbach's alpha系数和切分半信度。
量表效度是指量表能否准确地测量到所要评估的心理现象或特质,即量表能否有效地反映研究对象的真实状态。
具有高效度的量表能够准确地评估所研究的心理现象。
常见的量表效度检验方法包括内容效度、构效度和准确度效度。
内容效度是指量表是否全面、完整地涵盖所要评估的内容范围。
评估内容效度常常需要通过专家评审和已有文献综述等方法来进行。
专家评审可以评估量表的项目是否合理、明确地反映所要评估的特质,从而确保量表的内容效度。
构效度是指量表能否测量到所要评估的构念或特质。
构效度可以通过因素分析、相关分析和已有理论与研究结果的比较等方法来检验。
通常,构效度检验需要通过对量表结果与其他相关测量结果之间的关系进行比较,以确定量表所测量到的特质与其他测量结果的一致性。
准确度效度是指量表在预测行为或事件上的准确性。
统计学中的信度与效度在统计学中,信度和效度是两个重要的概念,用于评估测量工具的质量和可靠性。
信度指的是测量工具的稳定性和一致性,而效度则是测量工具是否能够准确地衡量所要测量的概念或变量。
本文将详细介绍信度和效度的概念、评估方法以及其在实际研究中的应用。
一、信度的概念和评估方法1. 信度的概念信度是指测量工具在不同时间、不同场合或不同评分者之间的一致性和稳定性。
一个信度高的测量工具应该在不同情况下得到相似的结果,即测量结果应该是可靠的。
信度是评估测量工具的内部一致性和稳定性的重要指标。
2. 信度的评估方法常用的信度评估方法包括重测信度、等价形式信度和内部一致性信度。
(1)重测信度:重测信度是通过对同一样本在不同时间或不同场合进行两次测量,然后计算两次测量结果之间的相关系数来评估测量工具的信度。
相关系数越高,信度越高。
(2)等价形式信度:等价形式信度是通过使用不同但等效的测量工具对同一样本进行测量,然后计算两个测量工具之间的相关系数来评估信度。
相关系数越高,信度越高。
(3)内部一致性信度:内部一致性信度是通过计算测量工具内部各项指标之间的相关系数来评估信度。
常用的内部一致性信度评估方法包括Cronbach's alpha系数和Kuder-Richardson系数。
这些系数的取值范围为0到1,值越接近1,信度越高。
二、效度的概念和评估方法1. 效度的概念效度是指测量工具是否能够准确地衡量所要测量的概念或变量。
一个具有高效度的测量工具应该能够有效地区分不同的个体或群体,并且能够与其他相关变量产生预期的关系。
2. 效度的评估方法常用的效度评估方法包括内容效度、构效度和准则效度。
(1)内容效度:内容效度是通过专家评估测量工具的内容是否涵盖了所要测量的概念或变量的全部内容来评估效度。
专家评估可以通过专家讨论、专家打分等方式进行。
(2)构效度:构效度是通过统计分析来评估测量工具是否能够反映所要测量的概念或变量的结构。
调查问卷信度和效度评价
一、信度分析
信度(Reliability)即可靠性,它是指采用同样的方法对同一对象重复测量时所得结果的一致性程度。
信度指标多以相关系数来表示:大致可分为三类:稳定系数(跨时间的一致性)、等值系数(跨形式的一致性)和内在一致性系数(跨项目的一致性)。
若以信度系数来表示信度的大小。
信度系数越大,表示测量的可信程度越大。
究竟信度系数要多少才算有高的信度。
学者DeVellis(1991)认为,0.60~0.65(最好不要);0.65~0.70(最小可接受值);0.70~0.80(相当好);0.80~0.90(非常好)。
由此,一份信度系数好的量表或问卷,最好在0.80以上,0.70至0.80之间还算是可以接受的范围;分量表最好在0.70以上,0.60至0.70之间可以接受。
若分量表的内部一致性系数在0.60以下或者总量表的信度系数在
0.80以下,应考虑重新修订量表或增删题项。
二、信度分析的方法主要有以下四种
1、重测信度法
这一方法是用同样的问卷对同一组被调查者间隔一定时间重复施测,计算两次施测结果的相关系数。
显然,重测信度属于稳定系数。
重测信度法特别适用于事实式问卷,如性别、出生年月等在两次施测中不应有任何差异,大多数被调查者的兴趣、爱好、习惯等在短时间内也不会有十分明显的变化。
如果没有突发事件导致被调查者的态度、意见突变,这种方法也适用于态度、意见式问卷。
由于重测信度法需要对同一样本试测两次,被调查者容易受到各种事件、活动和他人的影响,而且间隔时间长短也有一定限制,因此在实施中有一定困难。
2、复本信度法
复本信度法是让同一组被调查者一次填答两份问卷复本,计算两个复本的相关系数。
复本信度属于等值系数。
复本信度法要求两个复本除表述模式不同外,在内容、格式、难度和对应题项的提问方向等方面要完全一致,而在实际调查中,很难使调查问卷达到这种要求,因此采用这种方法者较少。
3、折半信度法
折半信度法是将调查项目分为两半,计算两半得分的相关系数,进而估计整个量表的信度。
折半信度属于内在一致性系数,测量的是两半题项得分间的一致性。
这种方法一般不适用于事实式问卷(如年龄与性别无法相比),常用于态度、意见式问卷的信度分析。
在问卷调查中,态度测量最常见的形式是5级李克特(Likert)量表。
进行折半信度分析时,如果量表中含有反意题项,应先将反意题项的得分作逆向处理,以确保各题项得分方向的一致性,然后将全部题项按奇偶或前后分为尽可能相等的两半,计算二者的相关系数(rhh,即半个量表的信度系数),最后用斯皮尔曼-布朗(Spearman-Brown)公式︰ru=2rhh/(1+rhh)求出整个量表的信度系数(ru)。
4、α信度系数法
Cronbachα信度系数是目前最常用的信度系数,其公式为︰
α=(n/n-1)*(1-(∑S
i 2)/S
T
2)其中,n为量表中题项的总数,S
i
2为第i题得分的
题内方差,S
T
2为全部题项总得分的方差。
从公式中可以看出,α系数评价的是量表中各题项得分间的一致性,属于内在一致性系数。
这种方法适用于态度、意见式问卷(量表)的信度分析。
5、信度检验步骤
检验信度步骤:Analyze→scale→reliability→data reduction→factor 然后看Cronbach's α系数。
一般来说Cronbach’ alpha系数在0.65以上是可接受的最小信度值。
三、效度分析
效度(Validity)即有效性,它是指测量工具或手段能够准确测出所需测量的事物的程度。
效度分为三种类型︰内容效度(Face Validity)、准则效度(Criterion Validity)和架构效度Construct Validity)。
效度分析有多种方法,其测量结果反映效度的不同方面。
常用于调查问卷效度分析的方法主要有以下几种。
1、单项与总和相关效度分析
这种方法用于测量量表的内容效度。
内容效度又称表面效度或逻辑效度,它
是指所设计的题项能否代表所要测量的内容或主题。
对内容效度常采用逻辑分析与统计分析相结合的方法进行评价。
逻辑分析一般由研究者或专家评判所选题项是否“看上去”符合测量的目的和要求。
统计分析主要采用单项与总和相关分析法获得评价结果,即计算每个题项得分与题项总分的相关系数,根据相关是否显著判断是否有效。
若量表中有反意题项,应将其逆向处理后再计算总分。
2、准则效度分析
准则效度又称为效标效度或预测效度。
准则效度分析是根据已经得到确定的某种理论,选择一种指标或测量工具作为准则(效标),分析问卷题项与准则的联系,若二者相关显著,或者问卷题项对准则的不同取值、特性表现出显著差异,则为有效的题项。
评价准则效度的方法是相关分析或差异显著性检验。
在调查问卷的效度分析中,选择一个合适的准则往往十分困难,使这种方法的应用受到一定限制。
3、结构效度分析
结构效度是指测量结果体现出来的某种结构与测值之间的对应程度。
架构效度分析所采用的方法是因子分析。
有的学者认为,效度分析最理想的方法是利用因子分析测量量表或整个问卷的架构效度。
因子分析的主要功能是从量表全部变量(题项)中提取一些公因子,各公因子分别与某一群特定变量高度关联,这些公因子即代表了量表的基本架构。
透过因子分析可以考察问卷是否能够测量出研究者设计问卷时假设的某种架构。
在因子分析的结果中,用于评价架构效度的主要指标有累积贡献率、共同度和因子负荷。
累积贡献率反映公因子对量表或问卷的累积有效程度,共同度反映由公因子解释原变量的有效程度,因子负荷反映原变量与某个公因子的相关程度。
为了提升调查问卷的质量,进而提升整个研究的价值,问卷的信度和效度分析绝非赘疣蛇足,而是研究过程中必不可少的重要环节。
4、因子分析的SPSS过程
第一步:准备数据文件,打开对话框,加载观测变量。
数据文件主要是由较多的(一般在10个以上)可观测变量组成,个案数应比较大。
然后点击“Analyze” ,
选择“Data Reduction” 中的“Factor”打开因子分析对话框,将参与分析的所有观测变量加载到“Variables”下边的方框中。
第二步:点击“Descriptives…”设置描述性统计要求。
这里关键的是要求输出因子分析适合度的检验,一般要求输出:计算相关系数矩阵(选中Coefficients)、相关系数显著性水平矩阵(选中Significance levels)、反像相关矩阵检验 ( 选中Anti-image ) 、KMO 和巴特利特球形检验(选中KMO and Bartlett’s test of sphericity)。
第三步: 点击“Extraction”打开对话框设置因子提取方式。
在界定因子提取方法中需要设置以下几个方面的参数:
(1) 因子构造方法:大多数情况下认为因子是变量的线性组合,所以使用最多的是主成分分析法(Principal components);
(2) 提取因子数(选中 Number of factors 后输入一个因子数),如果还无法确定可以不设定因子数,先以默认状态进行尝试性分析;
(3) 在“Display”下选中“Unrotated factor solution”和“Scree plot”以输出未经旋转的因子载荷矩阵、碎石图。
执行之后根据输出信息确定提取因子数,比如根据碎石图来确定;
第四步:点击“Rotation”按钮打开选择因子载荷矩阵的旋转方法。
一般使用最多的是正交旋转(选中Varimax)或斜交旋转方法(选中Promax),其中斜交旋转速度快,所以大样本时多选此方法。
同时可选中“Rotated solution”和“Loading plot(s)”,以输出旋转后因子旋转矩阵、载荷散点图。
第五步:点击“Scores”设置因子得分计算方法。
一般最多的是选择回归方法,由此可以计算每个因子分数并记录到数据文件中。
为此 , 可在对话框中选中“Save as variables”,然后在计算方法中选择“Regression” 或其他方法。
还要选中“ Display factor score coefficient matrix”。
第六步:点击“Options”设置因子载荷系数的显示格式:
(1) 选中“Sorted by size”,则因子载荷系数按照大小顺序排列,并构成矩阵,使得在同一因子上具有较高载荷的变量排在一起,便于得到结论;
(2) 选中“Suppress absolute values less than:”并在其后的方格中输入一个0~1间的一个数,则因子载荷矩阵中就不再显示那些小于这个数值的载荷系
数了,而只显示那些比此数值大的载荷值,从而使因子所解释的主要变量一目了然。
KMO统计量是取值在0和1之间。
当所有变量间的简单相关系数平方和远远大于偏相关系数平方和时,KMO值接近1.KMO值越接近于1,意味着变量间的相关性越强,原有变量越适合作因子分析;当所有变量间的简单相关系数平方和接近0时,KMO值接近0.KMO值越接近于0,意味着变量间的相关性越弱,原有变量越不适合作因子分析。
Kaiser给出了常用的kmo度量标准: 0.9以上表示非常适合;0.8表示适合;0.7表示一般;0.6表示不太适合;0.5以下表示极不适合。