当前位置:文档之家› 提高结构化面试的信度和效度

提高结构化面试的信度和效度

提高结构化面试的信度和效度
提高结构化面试的信度和效度

结构化面试的信度与效度

结构化面试由于其相对较高的信度与效度,被各类企事业单位广泛应用于人员招聘与选拔过程中。面试官在评价应聘者时存在个体差异,直接表现为宽大效应或严格效应,这对雇佣决策提出了严峻挑战。本文分析了正式反馈对提高结构化面试有效性的积极作用,提出了优化结构化面试的对策与建议。

近些年来,人员测评在新员工甄选中发挥越来越大的作用,测评的科学性与实用性得到更多的关注。结构化面试是根据对职位的分析,确定面试的测评要素,在每一个测评的维度上预先编制好面试题目并制定相应的评分标准;面试过程遵照一种客观的评价程序,对被试者的表现进行数量化的分析;给出一种客观的评价标准,不同的评价者使用相同的评价尺度,以保证判断的公平合理性。

已有研究表明,结构化面试的效度仅次于评价中心,高于工作抽样、能力测验、个性测验等方法。在人才选聘面试结束后,面试官(评分者)之间对候选人的打分千差万别,往往导致合并的分数无法使用。如何使结构化面试中面试官的评分更加有效,成为员工甄选过程中面临的现实问题。

一、结构化面试的信度与效度

结构化面试强调面试内容与工作相关、面试流程标准化、评分结构化。结构化面试中,面试官的评分直接决定了最终的录用结果。结构化面试依靠面试官专业、准确的评分来实现,关键在于克服面试官评分的随意性与主观性。

结构化面试信度是指不同的面试官(评分者)面试同一个被试得出结论的一致性程度。面试信度低,意味着面试官评分一致性低,面试结果就不可靠。结构化面试的信度包括两个方面:一是面试要素内部信度,是指面试测评要素之

间的一致性;二是评分者间的信度,即评分者之间评分的一致性。

结构化面试的效度是指面试测量的准确性,即面试所测评到的结果与所考察内容的相符程度。结构化面试的效度一般采用预测效度,即面试结果能否预测应聘者未来实际工作绩效水平。总体来看,结构化面试平均效度系数是非结构化面试的两倍,提高面试效度最好的方法是提高结构化程度。

二、结构化面试信度与效度的影响因素

结构化面试是一种表现性评价方式,其评价结果的信度是进行有效推论和决策的前提。在结构化面试中通常由多个面试官进行打分,而面试官之间评价的不一致是影响评价结果应用的重要因素。尽管可以通过明晰评分细则、优化结构化面试题目等方式予以控制,但是评分者之间的不一致性难以避免。

面试信度与效度存在情景特异性与考官特异性。结构化面试误差主要来源包括:面试题目有效性、面试评委培训、评分维度设定、面试实施环节等。其中由于面试官带来的评分误差主要包括:与我相似效应、对比效应、第一印象偏差、晕轮效应、刻板印象、顺序效应等,其结果是个别考官的评分偏高或者偏低于其他面试官的评分。当评价的结果高于应聘者的实际得分时称为宽大效应,低于应聘者实际得分时称为严格效应。

结构化面试的效度与信度提高措施包括以下四项:

一、关注面试内容,标准化信息获取内容、提高面试结构化程度与提问的一致性、提问限制与工作内容相关等;

二、重视考官的培训,通过培训使考官了解可能的评分误差,降低实际操作中的各种误差;

三、极小化各组中同一专业面试官的数量,以及极小化各组中面试官数量与

每组平均面试官数量之间的差异;

四、采用先进的统计方法来剥离结构化面试中的各种误差,获得真实分数。随着统计分析方法的发展,尽管可以利用较为先进的Rasch模型分析误差的具体来源,但是这种专业技术显然目前并不适用于大多数的人力资源管理从业人员。

三、正式反馈对结构化面试信效度的积极作用

面试官评价的不一致性一直以来是影响结构化面试信度、效度的重要因素,直接表现为评价结果中的宽大效应与严格效应。尽管大家都强调面试官培训的积极作用,但是对于培训的具体做法却缺乏深入的思考。反馈是进行面试官培训的有效方式之一,对绩效考核评价不一致性的研究,为解决结构化面试评分者不一致性问题提供了一个重要思路,即合理运用正式反馈来提高面试官评分的一致性程度,进而提高结构化面试的信度与效度。

正式反馈,也被称为对比反馈,即提供给个体有关过去行为的信息,具体包括基于参照对象的相似信息,能够用来进行对比的信息。正式反馈可以发生在个体层面,也可以发生在团队层面。正式反馈对个体的意图与动机产生重要影响,能够降低缺勤行为、防止绩效的降低。结构化面试中对面试官评分的正式反馈包括参照信号与传感器信号两种,前者主要是将其他面试官评分、所有面试官评分均值反馈给目标面试官;后者是在多次面试评价中,将目标面试官自己多次评价得分均值反馈给他自己。

分配偏差,即宽大效应和严格效应。分配效应主要是评价者对评价内容的具体一点特别重视,忽略了评价内容的整体性。宽大效应是指面试官普遍给应聘者高于其实际表现的评价得分,在统计上体现为均值高于中位数。严格效应是指面试官普遍给应聘者更低的分数,统计检验方式为该面试官对应聘者的评价平

均分显著小于其他面试官的评分。

严格效应产生的原因在于:一是面试官担心雇用一个较差的员工;二是相比于绩效评价中的严格效应,结构化面试中的严格效应更加常见,因为面试官不用给应聘者反馈,给了应聘者低分以后也不用担心人际关系恶化。被具有宽大效应的面试官评价的应聘者相比于其他人更具有优势,因为应聘者获得了比自己实际得分高的评价。

根据控制理论,有关行为的反馈信息能够作为一个传感器信号,个体会将该信号与参照对象进行比较。当自我与参照对象的信息对比后,个体会通过改变自己的行为或者改变参照物降低不一致感。当面试官将自己的评分与其他面试官评分均值、全体面试官评分均值相比较时,社会比较中的自我提升动机会促使个体修正自己的评价,以获得与群体、他人、自己相一致的评价。这种改变包括改变个体的评价均值、评分的方差以及面试官之间评分一致性。

首先,正式反馈会提高自己评分的波动性,宽大效应与严格效应都是非主动系统评价误差,评价者的评分误差是非意识性行为,正式反馈将非意识性行为放大。在获得正式反馈后,之前存在宽大效应或者严格效应的评分者会将评价内容的聚焦点从点转移到面。例如,宽大效应的评分者只关注结构化面试中10个评分要素的一个方面,在获得正式反馈后,会在更多要素方面进行有意改变。换言之,评价者会主动改变之前无意识的评价倾向,如宽大效应者会在之后的评价中降低最低得分,而严格效应评价者会提高最高得分。即便是中间评价者在对高分与低分评价者均值对比后也会扩大打分的波动区间。

其次,正式反馈会提高面试官之间评价的一致性。这比较容易理解,宽

大效应评分者会在与他人评分均值、团队成员评分均值对比后,在日后的评价中压低自己的评分,而严格效应评分者会有意提高评分,最终是评分者之间的评分差异减小,评分的尺度变得更加统一。

再次,正式反馈不是对所有面试官评价误差改进都有效,而是面试官的责任意识起到重要作用。社会比较后面试官的行为是否真的改变,受到面试官责任意识的影响,当面试官觉得自己要对评价的结果负责或者本次招聘甄选的结果会对组织产生重要影响时,上述行为改变更容易实现。责任感对容易犯宽大效应的评价者行为改变更有效,因为宽大效应增大了雇用错误员工的可能性。

最后,连续多次正式反馈对评分者行为改变的影响大于近期单次正式反馈。控制理论强调长时间的PDCA循环有助于个体将环境信息与反馈信息融入到个体的行为习惯中,进而有效对未来的环境与信息进行有效解读。例如,如果员工连续得到上级给出的消极反馈,在日后的工作中,他们更倾向于给自己设定较低的工作目标。类似的,正式反馈的连续反馈更有助于改善面试官日后的评价行为。

四、管理启示与实践建议

第一、正式反馈能够提高评价者自己评分的变化,降低评分者之间的评分变化。在每次结构化面试完成后,人力资源专业人员应该将面试官的评分(自我均值、他人评分与团队均值)反馈给每个面试官,让每个面试官了解自己的评价倾向,帮助他们改善行为。

第二、要持续地进行正式反馈,而不仅是上次评价得分的反馈。各种评价误差很多都是非意识行为,单次的反馈效果对个体行为改变的影响有限。这启示人力资源管理人员应该做好平时结构化面试数据的积累,分析每个面试官评价准确

性的趋势并及时反馈给每个面试官。

第三、加强面试官的责任性感知,促进正式反馈对面试官行为改变的积极影响。已有的研究也发现,面试官被告知最后会核查他们评分结果与专家评分的一致性,不如考核他们在面试过程中记录的全面性、准确性以及是否遵循评分参照标准,即程序问责比结果问责更有效。

结构化面试信度和效度的实证分析-最新范文

结构化面试信度和效度的实证分析 结构化面试信度和效度的实证分析——对新录用公务员试用期表现的跟踪调查结构化面试是一种以行为描述方法为主的,并按测量要求事先拟定提问内容和顺序的面试。它具有测试要素结构化、面试程序结构化和评分标准结构化三大特点。自实施国家公务员制度十年来,它已经被广泛地应用到各级公务员录用考试中。考试的科学性是考试录用制度的生命线,而面试的公正与客观更是社会关注的热点。结构化面试的信度是测试过程本身的可靠程度,即可信度;结构化面试的效度是测试结果达到预期目标的程度。结构化面试的信度和效度究竟如何?我们曾尝试通过对新录用公务员试用期表现的跟踪调查,应用量表测评和数理统计的方法对结构化面试的信度和效度进行实证分析。现将有关调查情况综述如下:一、调查的组织今年8月,我们对2002年新录用的国家公务员和机关工作人员的试用期表现,分别采用量表测评和民主评议的方式进行跟踪调查。(一)确定测评要素与评分标准。根据县级市机关国家公务员和机关工作人员职位的共性特点和任职条件,采用与2002年录用面试同结构的测评要素和评分标准,编制了《新录用人员试用期能力评估表》(表一)。(二)组织评估。我们专门下发了《关于对2002年新录用国家公务员和机关工作人员试用期情况进行调研的通知》,要求各有关部门按照领导评鉴和群众测评相结合的原则,组织主管领导和群众对每个新录用公务员在试用期间的政策水平与综合分析能力、计划与组织能力、社会感知与协调能力、记忆和理解能力和文化素养与心理素质等六个方面的能力评估

后,填报《新录用人员试用期能力评估表》。(三)复核和评价。为了做好新录用公务员试用期能力评估结果的复核,我们还要求各部门采用领导、本人和群众“三结合”的调查方式,通过对被测评人在试用期表现和工作环境的全面评价,复核能力评估的结果。复核结论反映评估结果基本符合新录用人员的实际情况。二、调查结果的分析通过新录用结构化面试成绩和试用期跟踪测评成绩的相关分析,研究结构化面试的信度和效度。(一)编制相关表,判断相关关系。将2002年37位考试录用国家公务员和机关工作人员的面试成绩和试用期跟踪测评成绩,按面试成绩的高低排列,编出相关表,如表二所示。从上述相关表中可以看出,随着录取成绩的降低,测评成绩也有下降趋势,但不明显。(二)画出相关图,分析相关趋势。以x轴代表新录用公务员结构化面试成绩(自变量),y轴代表新录用公务员试用期跟踪调查的测评成绩(因变量),将新录用公务员上述两项成绩的对应数值在座标图上用点画出来,以表明相关点的分布状况,如图一所示。图一中的两条直线分别代表自变量数列的平均线(即新录用公务员结构化面试的平均成绩:x(—)=70.34分)和因变量数列的平均线(即新录用公务员试用期跟踪测评的平均成绩:y(—)=78.30分)。以这两条平均线为标准就可以清楚地看出:有25位新录用公务员的两项成绩呈正相关(x>x(—)时对应的y>y(—)或xx(—)时对应的yy(—))。加总的结果∑(x>x(—))(y实施方案。三要切实抓好考官的选拔和培训,建立起一支素质好、业务精、作风正的考官队伍。四要吸收国内外面试新技术,不断创新和完善与考试录用公务员相匹配的结构化面

信度与效度的关系

研究信度与效度的关系 一、信度与效度的定义 信度即可靠性,它指的是采取同样的方法对同一对象重复进行测量时,其所得结果相一致的程度,或者说,信度是指测量结果的一致性或稳定性。 效度即准确度,它是指测量工具或测量手段能够准确测出所要测量的变量的程度,或者说能够准确、真实地度量事物属性的程度.二、信度与效度的关系 (一)教育科学研究中信度与效度的关系 信度是研究结果所显示的一致性、稳定性程度,也是对研究结果一致性和稳定性的评价标准。一个具有信度的研究程序,不论其过程是由谁操作,或进行多少次同样的操作,其结果总是非常一致的.效度是一个研究程序的性质和功能,也是对研究结果正确性的评价标准,一个有效度的研究程序,不仅能够明确地回答研究的问题和解释研究结果,而且能够保证研究结果在一定规模的领域中推广。把两者的作用结合起来看,信度和效度是一项教育科学研究活动和结果具有科学价值和意义的保证。研究的信度是研究的效度的一个必要的前提,没有信度,效度不可能单独存在,也就是说,一项研究不可能没有信度却具有效度。 (二)人力资源招聘信度与效度的关系 影响测评信度的因素有很多,主要是系统误差和随机误差.包括测评者的专业性和素质、被测评者本人的心理、侧评工具的稳定性、

环境的稳定性等都会影响测评的可信度。影响测评的效度因素也有很多,如测评工具、测评过程及测评者因素、被测评者状态、效标因素和信度因素等。在实际招聘与录用评估过程中要把握各相关方面,不仅要有专业的测评人员,同时也要在稳定的环境中为被测评者提供一个放松真实的氛围。信度和效度是人才侧评与选拔质量的重要指标.图形形式表现分析得出的信度和效度的三种关系,则会是以下这些样式,如图8—l .图8-2和图8—3所示。所以,:高信度是高效度的必要条件,但非充分条件.即信度高不一定其效度就高,但要想获得较高的测评效度,其信度必定要高, (三)用结构式问卷来测量家长“溺爱孩子”的行为中信度与效

信度与效度分析步骤(可编辑)

信度与效度分析步骤(可编辑) 如何用spss做问卷的结构效度分析, 因子分析里面Descriotives里面KMO和巴特利检验就可以了吗,除此之外,还要做什么啊,请高手赐教点简单易懂又能说明效度问题的,谢谢啦~问题补充: 提取因子的个数怎么确定,是选特征值大于1的吗,还有,因子载荷怎么算,是 在输出结果中直接可以看到吗,本人刚接触spss,请多多指教~ 首先必须要做KMO和Bartlett球形检验,这个你应该会了吧,如果这两个检验 合格的话说明数据是适合做因子分析的。 然后提取因子后,看主因子解释总变异的百分比和个因子的因子载荷,主因子解释总变异一般若大于60[%]的和因子载荷大于0.6的话说明结构效度很好。 pS: ,如果题目没有规定就是选特征值大于1的,如果题目事先要提取几个因子,那么在操作的时候,用SPSS那个因子分析的选项里面有一个地方可以著名,因子载荷在输出的结果直接可以看到(rotated compoment matrpx),一定要是旋转后的因子载荷 用spss进行效度分析? 我要对我的问卷调查数据做一个信度和效度分析。信度分析我会了,就是看Cronbach’s Alpha 系数。效度分表面效度、准则效度和构建效度,前面两项只要说明一下,但是构建效度要用SPSS分析,我想是在因子分析里面吧,就是不知道哪个值代表效度。 因子分析的效度分析主要的指标可以看,因子提取的方差累积贡献率,如果因子提取的越少且方差累积率又不低的话(一般如果2个因子达到40[%]以上的贡献率就算可以的了),就可以认为因子分析的效度还可以。

除此之外,你可以用因子分析里面Descriotives里面KMO和巴特利检验(battele,不知道是不是这样写的),KMO的值如果 0.5,则说明因子分析的效度还行,可以进行因子分析;另外,如果巴特利检验的P 0.001,说明因子的相关系数矩阵非单位矩阵,能够提取最少的因子同时又能解释大部分的方差,即效度可以。 问:问卷效度测验如何应用于SPSS 问卷效度测验如何应用于SPSS,然后因为做效度检验貌似要用皮尔逊相关还是因子分析,所以不懂如何把这些应用于SPSS,不想要变量,想要整体,一个整体。 用因子分析,就已经是在检验变量的整体了 因子分析就是用少数几个因子来描述许多指标或因素之间的联系,以较少几个因子反映原资料的大部分信息的统计方法。 三、因子分析的SPSS过程 第一步:准备数据文件,打开对话框,加载观测变量。数据文件主要是由较多的(一般在10个以上)可观测变量组成,个案数应比较大。然后点击“Analyze” ,选择“Data Reduction” 中的“Factor”打开因子分析对话框,将参与分析的所有观测变量加载到“Variables”下边的方框中。 第二步:点击“Descriptives…”设置描述性统计要求。这里关键的是要求输出因子分析适合度的检验,一般要求输出:计算相关系数矩阵(选中Coefficients)、相关系数显著性水平矩阵(选中Significance levels)、反像相关矩阵检验 ( 选中Anti-image ) 、KMO 和巴特利特球形检验( 选中 KMO and Bartlett’s test of sphericity)。 第三步: 点击“Extraction”打开对话框设置因子提取方式。在界定因子提取方法中需要设置以下几个方面的参数:

如何保证人才测评的信度和效度

如何保证人才测评的信度和效度 人才测评的主要工作是通过各种方法对被试者加以了解,从而为企业组织的人力资源管理决策提供参考和依据。经过长期的发展和适应不同情况的需要,形成了多种人才测评方法。而人才素质测评作为一项重要的人事技术,已经为越来越多的企业人力资源部门所接受,而如何保证能力素质测评中的信度和效度,也越来越受到关注。下面,就具体案例讲讲如何保证能力素质测评的信度和效度。 一、案例背景 N公司是一家外资工程管理公司,成立于1998年,总部设在上海。随着WTO的开放和工程项目的增多,工程公司在国内如雨后春笋般成长起来,就此拉开了人才竞争的序幕。尤其是上海,工程项目管理人才的争夺十分激烈,N公司老总越来越感觉到市场的压力和人才的短缺。为了应对市场压力,保留现有中高层骨干人才,并让他们“适人适位”,N公司请来了北大纵横管理咨询公司,希望通过专业评估解决这个问题。 二、建立人才能力素质模型并实施测评 (一)中高层能力素质模型及测评方法的确定 鉴于本次测评的对象是N公司的中高层管理人才和精英人物,测评的目的是为了保留人才、适人适岗,因此经过双方共同探讨,项目组在北大纵横经理人能力素质指标体系的基础上,结合N公司的实际情况,选择个人驱动力、判断能力、分析能力、决策能力和水准、创新能力、客户服务能力、影响力、项目管理能力、任务分配能力等作为测评因素。同时,采用广泛用于企业人员素质测评、方案比较、科学技术成果评比等方面的层次分析法,来确定各测评因素在管理素质和业务素质上的权重。 通过向N公司老总介绍人才测评的方法及工具,大家一致选定评价中心技术进行本次人才测评,并主要运用三类测评工具:心理测验、深度面谈和情景模拟测验。 (二)测评实施程序 1、设计测评题目。咨询顾问和N公司相关人员一起,围绕测评因素,结合N公司实际情况进行测试题目的设计,并给出评分标准和评分参考。本次心理测试采取16PF人格要素测试,人机对话;深度面谈设计了20个题目,涵盖了测评的各个维度;情景模拟采用案例分析和主题演讲两种测评工具,其中案例分析题库包含12题,主题演讲题库包含15题,被测人员可以从各题库中抽取一题进行测试。 2、成立测评小组。其中,测评小组成员由N公司内部专家、外部专家,以及北大纵横项目组组成。在测评实施前,对测评小组进行培训,使大家能全面了解测评的程序、评分标准及方法。 3、实施测评。深度面谈和情景模拟测试是由测评小组根据测试题目对被测评人进行提问,被测评人根据提问回答问题,与测评小组进行双向沟通后,由测评小组根据评分标准对被测评人的表现现场打分,填入评分表;16PF人格要素测试要求被测试人进行40分钟的人机对话,由测评小组保存有效答卷。 由于不同的测评者其衡量的尺度会存在差异,为保证各个被试者成绩排序的正确性,在测评时,向测评者提供“成绩比较表”,供其记载各个被试者的各项测试的评分,便于他们进行比较。 4、分析测评结果并统计成绩。采用肯德尔和谐系数法对每个被测评者在各个测评要素上的得分进行评分者信度分析,并结合各测评要素在管理素质和业务素质方面的权重,计算出被测评人在业务素质和管理素质上的得分。测评结束后,测评小组对被测人员进行了问卷调查,了解他们对测评效果的看法。 三、测评为保证信度和效度所采取的措施 (一)保证测评信度采取措施分析 1、16PF测试采取的是计算机标准化题目的方式,计算机答题、计算机处理结果。被测试人员全部独立进行测试,并在规定时间内完成了测试。 2、深度面谈使用了20个题目,围绕测评因素的各个维度对被测评者进行考察。面谈进行顺利,被测人员都能较积极配合回答问题,和主试人进行较好的双向交流。 3、情景模拟采用案例分析和主题演讲两种测评工具,被测人员从两个题库中各抽取1题,测评小组根据其表现进行现场评估。测评得到了被测人员的积极配合,都能就问题提出自己的见解。 4、为增加评分者信度,本次测评工作专门成立了测评小组,并在测评前熟悉了整个测评程序和操作;各类能力素质附有评分标准,各类试题附有评分参考,力图对被测试者的表现进行量化分析;测评中,向测评者提供“成绩比较表”,

SPSS与测验信度、效度、及项目分析

SPSS在测验信度、效度、及项目分析中的应用 李鹏 云南师范大学教育科学与管理学院 在SPSS中,专门用来进行测验信度分析的模块为Scale下的Reliability Analysis;使用Data Reduction之下的Factor模块,可以利用因素分析的方法来进行测验的建构效度检验;至于项目分析则没有专门的模块可以之间进行计算分析,但是却可以利用Summarize下的Frequencies、Correlate下的Bivariate 和Compare Mean下的Independent-Samples T Test来计算几个常用的项目分析指标。 一、信度分析 Reliability Analysis模块主要功能是检验测验的信度,主要用来检验分半信度、库李及a系数以及Hoyt信度系数值。至于重测信度和复本信度,只需将样本在二次(份)测验的分数的数据合并到同一数据文件之后,利用Correlate 之下的Bivariate求其相关系数,即为重测或复本信度;而评分者信度则就是使用的Spearman等级相关及Kendall和谐系数。 表1 Reliability Analysis模块的Model选项的参数及对应中文术语 关键字功能 Alpha Cronbach a系数 Split-half 分半信度,n是第二分量表的题数 Guttman Guttman最低下限真实信度法 Parallel 各题目变异数同质时的最大概率(maximum-likelihood)信度Strict parallel 各题目平均数与变异数均同质时的最大概率信度 表2 Reliability Analysis模块的Statistics部分选项的参数及对应中文术语 关键字功能 F test Hoyt信度系数 Friedman Chi Friedman等级变异数分析及Kendall和谐系数 Cochran Chi Cochran’s Q检验,适用于答案为二分(如是非题)的量表

问卷的信度与效度

调查问卷的信度效度分析方法 问卷调查法是教育研究中广泛采用的一种调查方法,根据调查目的设计的调查问卷是问卷调查法获取信息的工具,其质量高低对调查结果的真实性、适用性等具有决定性的作用。为了保证问卷具有较高的可靠性和有效性,在形成正式问卷之前,应当对问卷进行试测,并对试测结果进行信度和效度分析,根据分析结果筛选问卷题项,调整问卷结构,从而提高问卷的信度和效度。信度和效度分析的方法包括逻辑分析和统计分析,本文主要讨论后者。 一、信度分析 信度(Reliability)即可靠性,它是指采用同样的方法对同一对象重复测量时所得结果的一致性程度。信度指标多以相关系数表示,大致可分为三类:稳定系数(跨时间的一致性),等值系数(跨形式的一致性)和内在一致性系数(跨项目的一致性)。信度分析的方法主要有以下四种: 1、重测信度法 这一方法是用同样的问卷对同一组被调查者间隔一定时间重复施测,计算两次施测结果的相关系数。显然,重测信度属于稳定系数。重测信度法特别适用于事实式问卷,如性别、出生年月等在两次施测中不应有任何差异,大多数被调查者的兴趣、爱好、习惯等在短时间内也不会有十分明显的变化。如果没有突发事件导致被调查者的态度、意见突变,这种方法也适用于态度、意见式问卷。由于重测信度法需要对同一样本试测两次,被调查者容易受到各种事件、活动和他人的影响,而且间隔时间长短也有一定限制,因此在实施中有一定困难。 2、复本信度法 复本信度法是让同一组被调查者一次填答两份问卷复本,计算两个复本的相关系数。复本信度属于等值系数。复本信度法要求两个复本除表述方式不同外,在内容、格式、难度和对应题项的提问方向等方面要完全一致,而在实际调查中,很难使调查问卷达到这种要求,因此采用这种方法者较少。 3、折半信度法 折半信度法是将调查项目分为两半,计算两半得分的相关系数,进而估计整个量表的信度。折半信度属于内在一致性系数,测量的是两半题项得分间的

正式反馈提高结构化面试的信效度

正式反馈提高结构化面试的信效度 结构化面试由于其相对较高的信度与效度,被各类企事业单位广泛应用于人员招聘与选拔过程中。面试官在评价应聘者时存在个体差异,直接表现为宽大效应或严格效应,这对雇佣决策提出了严峻挑战。本文分析了正式反馈对提高结构化面试有效性的积极作用,提出了优化结构化面试的对策与建议。 近些年来,人员测评在新员工甄选中发挥越来越大的作用,测评的科学性与实用性得到更多的关注。结构化面试是根据对职位的分析,确定面试的测评要素,在每一个测评的维度上预先编制好面试题目并制定相应的评分标准;面试过程遵照一种客观的评价程序,对被试者的表现进行数量化的分析;给出一种客观的评价标准,不同的评价者使用相同的评价尺度,以保证判断的公平合理性。 已有研究表明,结构化面试的效度仅次于评价中心,高于工作抽样、能力测验、个性测验等方法。在人才选聘面试结束后,面试官(评分者)之间对候选人的打分千差万别,往往导致合并的分数无法使用。如何使结构化面试中面试官的评分更加有效,成为员工甄选过程中面临的现实问题。 一、结构化面试的信度与效度 结构化面试强调面试内容与工作相关、面试流程标准化、评分结构化。结构化面试中,面试官的评分直接决定了最终的录用结果。结构化面试依靠面试官专业、准确的评分来实现,关键在于克服面试官评分的随意性与主观性。

结构化面试信度是指不同的面试官(评分者)面试同一个被试得出结论的一致性程度。面试信度低,意味着面试官评分一致性低,面试结果就不可靠。结构化面试的信度包括两个方面:一是面试要素内部信度,是指面试测评要素之间的一致性;二是评分者间的信度,即评分者之间评分的一致性。 结构化面试的效度是指面试测量的准确性,即面试所测评到的结果与所考察内容的相符程度。结构化面试的效度一般采用预测效度,即面试结果能否预测应聘者未来实际工作绩效水平。总体来看,结构化面试平均效度系数是非结构化面试的两倍,提高面试效度最好的方法是提高结构化程度。 二、结构化面试信度与效度的影响因素 结构化面试是一种表现性评价方式,其评价结果的信度是进行有效推论和决策的前提。在结构化面试中通常由多个面试官进行打分,而面试官之间评价的不一致是影响评价结果应用的重要因素。尽管可以通过明晰评分细则、优化结构化面试题目等方式予以控制,但是评分者之间的不一致性难以避免。 面试信度与效度存在情景特异性与考官特异性。结构化面试误差主要来源包括:面试题目有效性、面试评委培训、评分维度设定、面试实施环节等。其中由于面试官带来的评分误差主要包括:与我相似效应、对比效应、第一印象偏差、晕轮效应、刻板印象、顺序效应等,其结果是个别考官的评分偏高或者偏低于其他面试官的评分。当评价的结果高于应聘者的实际得分时称为宽大效应,低于应聘者实际得分时称为严格效应。 结构化面试的效度与信度提高措施包括以下四项: 一是关注面试内容,标准化信息获取内容、提高面试结构化程度与提问的一致性、提问限制与工作内容相关等; 二是重视考官的培训,通过培训使考官了解可能的评分误差,降低实际操作中的各种误差;

信度与效度完成补充版

1、理论综述(已完成) 2、描述量表的设计(分成7部分,每一部分都有哪些题目) 3、报告量表的信度和效度,说明量表的合理性。 4、报告结果(总结出5点左右的结论,用数据和图表支撑结论,希望尽量丰满) 5、找到影响有效实践教学效果的基本因素(找到3点左右,用数据和图表支撑结论) 三、报告量表的信度和效度,说明量表的合理性。 1、信度 Cronbach’s α系数是Cronbach 于1951年创立的,是指测验内部的项目在多大程度上考察了同一内容,评价的是量表中各题项得分间的一致性。同构型信度低时,即使各个测试题看起来似乎是测量同一特质,但测验实际上是异质的,即测验测量了不止一种特质。α信度系数法是目前最常用的内部信度系数。 实际上,α系数是所有可能的分半信度的平均值,α系数是估计信度的最低限度,α系数高时,信度就高,α系数低时,信度不一定低。低信度:α<0.35, 中信度: 0.35<α<0.70,高信度: 0.70<α。一般来说,问卷的α系数在0.8以上该问卷的信度较好,达0.85以上,表明问卷信度良好。 克朗巴哈α信度,是对折半信度的改进,检验公式是:)1(1k k 2 2 i σσα∑--= ,其中 K 表示问卷中的题目数, 为第i 题的调查结果方差, 为全部调查结果的方差。 信 度系数是目前最常用的信度分析法。 本次量表的信度通过计算由下表报告: 信度 格朗巴哈α(Cronbach's Alpha ) 问题个数 0.96 56 本问卷的信度达0.85以上,表明问卷信度良好。 2、效度 所谓问卷设计质量的效度检验,指的是问卷测量结果有效性的分析,即对设计问卷的测量结果反映它所应该反映的客观现实的程度的检验。具体来说,效度检验必须针对其特定的目的功能及适用范围,从不同的角度收集各方面的资料分别进行。常用的效度检验有内容效度、结构效度、难易效度、准则效度等。

如何保证能力素质测评的信度和效度

如何保证能力素质测评的信度和效度 人才测评的主要工作是通过各种方法对被试者加以了解,从而为企业组织的人力资源管理决策提供参考和依据。经过长期的发展和适应不同情况的需要,形成了多种人才测评方法。而人才素质测评作为一项重要的人事技术,已经为越来越多的企业人力资源部门所接受,而如何保证能力素质测评中的信度和效度,也越来越受到关注。下面,就具体案例讲讲如何保证能力素质测评的信度和效度。 一、案例背景 N公司是一家外资工程管理公司,成立于1998年,总部设在上海。随着WTO的开放和工程项目的增多,工程公司在国内如雨后春笋般成长起来,就此拉开了人才竞争的序幕。尤其是上海,工程项目管理人才的争夺十分激烈,N公司老总越来越感觉到市场的压力和人才的短缺。为了应对市场压力,保留现有中高层骨干人才,并让他们“适人适位”,N公司请来了北大纵横管理咨询公司,希望通过专业评估解决这个问题。 二、建立人才能力素质模型并实施测评 (一)中高层能力素质模型及测评方法的确定 鉴于本次测评的对象是N公司的中高层管理人才和精英人物,测评的目的是为了保留人才、适人适岗,因此经过双方共同探讨,项目组在北大纵横经理人能力素质指标体系的基础上,结合N公司的实际情况,选择个人驱动力、判断能力、分析能力、决策能力和水准、创新能力、客户服务能力、影响力、项目管理能力、任务分配能力等作为测评因素。同时,采用广泛用于企业人员素质测评、

方案比较、科学技术成果评比等方面的层次分析法,来确定各测评因素在管理素质和业务素质上的权重。 通过向N公司老总介绍人才测评的方法及工具,大家一致选定评价中心技术进行本次人才测评,并主要运用三类测评工具:心理测验、深度面谈和情景模拟测验。 (二)测评实施程序 1、设计测评题目。咨询顾问和N公司相关人员一起,围绕测评因素,结合N公司实际情况进行测试题目的设计,并给出评分标准和评分参考。本次心理测试采取16PF人格要素测试,人机对话;深度面谈设计了20个题目,涵盖了测评的各个维度;情景模拟采用案例分析和主题演讲两种测评工具,其中案例分析题库包含12题,主题演讲题库包含15题,被测人员可以从各题库中抽取一题进行测试。 2、成立测评小组。其中,测评小组成员由N公司内部专家、外部专家,以及北大纵横项目组组成。在测评实施前,对测评小组进行培训,使大家能全面了解测评的程序、评分标准及方法。 3、实施测评。深度面谈和情景模拟测试是由测评小组根据测试题目对被测评人进行提问,被测评人根据提问回答问题,与测评小组进行双向沟通后,由测评小组根据评分标准对被测评人的表现现场打分,填入评分表;16PF人格要素测试要求被测试人进行40分钟的人机对话,由测评小组保存有效答卷。 由于不同的测评者其衡量的尺度会存在差异,为保证各个被试者成绩排序的正确性,在测评时,向测评者提供“成绩比较表”,供其记载各个被试者的各项测试的评分,便于他们进行比较。

试题的难度、区分度、信度和效度

试卷的难度、区分度、信度和效度 一.试卷的难度 (一)什么是难度 难度是指试卷的难易程度,是评价考试的一个非常重要的一个指标。一个题目,如果大部分考生都能答对,那么这个题目的难度就小;如果大部分考生都不能答对,那么这个题目的难度就大。 客观题难度计算公式:P(难度指数)=试卷答对人数/考生人数;主观题难度计算公式:P=试卷平均得分/试卷满分。试卷难度计算公式:P=为平均分,K 为试卷满分值。易、中、难的标准为:易:P≥0.7,中:0.4≤P≤0.69,难:P≤0.39;P值越大,难度越低,P值越小,难度越高。一般来说,难度值平均在0.5最佳,难度值过高或过低,都会降低测验的信度。 (二)难度的计算 (1)客观性试卷难度P(这时也称通过率)计算公式: P=k/N(k为答对该题的人数,N为参加测验的总人数) (2)主观性试卷难度P计算公式: P=X/M(X为试卷平均得分;M为试卷满分) (3)适用于主、客观试卷的计算公式: P=(P H +P L )/2(P H 、P L 分别为试卷针对高分组和低分组考生的难度值) 步骤为:①将考生的总分由高至低排列;②从最高分开始向下取全部试卷的27%作为高分组;③从最低分开始向上取全部试卷的27%作为低分组;④计算。 (三)试卷难度的一般要求 就高考来说,难度以适中为宜,单个试卷的难度以0.3--0.7之间为好,整卷以0.5--0.6之间为最佳。一般将难度值大于和等于0.7的试卷定为容易题;大于0.4和小于0.7的定为中档题;小于和等于0.4的试卷定为难题。命题时难度一般要按一定比例分配,如3:6:1或3:5:2。 二.试卷的区分度 (一)什么是区分度 区分度是指考试卷目对考生心理特征的区分能力。区分度高的试卷能将不同水平的考生区分开来,水平高的考生得高分,水平低的考生得低分。区分度高的

心理学中的各种信度和效度

心理学中的各种信度和效度 一、信度 所谓信度,指的是测量结果的稳定性程度,其操作定义是,信度乃是一个测验X与它的任意一个“平行测验X'的相关系数。无关因素、测验的长度、测验试题的区分度、被试团体的代表性都会影响信度。 (一)重测信度 1、定义:利用同一量表,让同一被试群体在不同时间两次施测之后的相关值。这一信度值表示的是测验结果的稳定性,故也称之为稳定性系数。 2、形式:施测——经过适当时间——再施测 3、举例:假设有一份主观幸福感调查表,先后两次施测于10名学生,时间间隔为半年,结果如下表所示,求该测验的重测信度。 4、使用的前提条件 (1)所测量的心理特质必须是稳定的。 (2)遗忘和练习的效果基本上互相抵消。 (3)在两次施测的间隔期内,被试在所要测查的心理特质方面没有更多的学习和训练。5、注意事项 (1)有些测验不宜采用重测法估计信度,如测量推理和创造力的测验。那些不易受重复使用影响的测验才能用再测法估计信度。如感觉运动测验、人格测验。 (2)两次测验间隔的时间要适当,并注意提高被试的积极性 (3)测验手册中报告重测信度时应说明两次施测的间隔,以及在此期间内被试的有关经历(4)时间间隔的把握:适宜时间间隔依照测验目的、性质及被试特点而定,可以是几分钟甚至几年。例如对于年幼儿童的间隔要小;年长群体的间隔可大。但智力测验的间隔不能太短,成就测验的间隔不能太长。一般间隔时间不超过六个月,既不能让被试记住上一次测验的内容,又不能让其特质发生变化,或对所学知识产生遗忘。 6、重测信度的评价: (1)优点:能够提供有关测验结果是否随时间而变异的资料,可作为预测受测者将来行为表现的依据。 (2)缺点:易受练习和记忆的影响,前后两次施测间隔的长短必须要适度。 (二)复本信度

面试测评的效度研究综述

面试测评的效度研究综述 安徽大学 摘要:面试是一种重要人事测评工具,被广泛应用于各类人员招聘及选拔中,因此测评的有效性有着重要的理论与实践意义。本文从面试测评的效度及提高面试测评效度的方法与途径的角度,阐述了已往研究的发现。 关键词:面试测评测评效度效度的提高方法 引言:面试作为一种重要的人员选拔技术,已被越来越多的企业所运用,它主要是通过主试与被试双方面对面地观察、交谈等双向沟通方式,了解应聘人员的素质状况、能力特征及求职应聘动机等特点。这种测试手段可以直观地、机动灵活地考察应聘者多种能力,在预测应聘者将来的工作绩效等方面非常有效。 面试是应用最为广泛的一种人才甄选方法,少有组织不经过面试就进行录用决定。Casio等人(2005/2006)认为,作为一项人事甄选技术,面试主要有两大功能:第一,可以弥补其他甄选技术所存在的信息缺陷;第二,可以用于评价只有通过面对面互动才能测量到的个人特征(例如个性、动机、仪表、谈吐风度及行为特点等)。面试作为一项重要的人才甄选方法,很自然地,研究者对其效度十分关心,并且在这一方面做出了很多研究。 1 关于面试测评的信度、效度研究 1.1 面试测评的信度研究 面试信度指不同评委面试同一个应聘者得出结论的一致性程度。面试信度低,意味着评委评价的一致性低,这样的面试就没有可靠性,所以,面试信度是有效面试的必要条件(刘远我,2007)。面试信度主要包括两个方面:一是面试要素内部信度,指面试测评要素之间的一致性程度;二是评委间信度,即评委之间评价的一致性程度。早期有关面试测评的综述一致认为面试的信度较低(May-field,1964)。然而,近年来研究表明,面试是具有一定信度的,只是不同面试研究的测量信度差异很大:信度从0.15~0.80不等(刘远我,2007)。尤其是Conway等(1995)对111个评委间信度系数和49个面试要素内部信度系数进行元分析,发现评委间信度为0.70,结构化面试要素内部信度为0.59,无结构面试要素内部信度为0.37。他们的研究还表明,研究设计(单独面试和集体面试)、评委培训和面试结构化程度(问题的标准化、评分的标准化等)是影响评委间信

提高结构化面试的信度和效度

结构化面试的信度与效度 结构化面试由于其相对较高的信度与效度,被各类企事业单位广泛应用于人员招聘与选拔过程中。面试官在评价应聘者时存在个体差异,直接表现为宽大效应或严格效应,这对雇佣决策提出了严峻挑战。本文分析了正式反馈对提高结构化面试有效性的积极作用,提出了优化结构化面试的对策与建议。 近些年来,人员测评在新员工甄选中发挥越来越大的作用,测评的科学性与实用性得到更多的关注。结构化面试是根据对职位的分析,确定面试的测评要素,在每一个测评的维度上预先编制好面试题目并制定相应的评分标准;面试过程遵照一种客观的评价程序,对被试者的表现进行数量化的分析;给出一种客观的评价标准,不同的评价者使用相同的评价尺度,以保证判断的公平合理性。 已有研究表明,结构化面试的效度仅次于评价中心,高于工作抽样、能力测验、个性测验等方法。在人才选聘面试结束后,面试官(评分者)之间对候选人的打分千差万别,往往导致合并的分数无法使用。如何使结构化面试中面试官的评分更加有效,成为员工甄选过程中面临的现实问题。 一、结构化面试的信度与效度 结构化面试强调面试内容与工作相关、面试流程标准化、评分结构化。结构化面试中,面试官的评分直接决定了最终的录用结果。结构化面试依靠面试官专业、准确的评分来实现,关键在于克服面试官评分的随意性与主观性。 结构化面试信度是指不同的面试官(评分者)面试同一个被试得出结论的一致性程度。面试信度低,意味着面试官评分一致性低,面试结果就不可靠。结构化面试的信度包括两个方面:一是面试要素内部信度,是指面试测评要素之

间的一致性;二是评分者间的信度,即评分者之间评分的一致性。 结构化面试的效度是指面试测量的准确性,即面试所测评到的结果与所考察内容的相符程度。结构化面试的效度一般采用预测效度,即面试结果能否预测应聘者未来实际工作绩效水平。总体来看,结构化面试平均效度系数是非结构化面试的两倍,提高面试效度最好的方法是提高结构化程度。 二、结构化面试信度与效度的影响因素 结构化面试是一种表现性评价方式,其评价结果的信度是进行有效推论和决策的前提。在结构化面试中通常由多个面试官进行打分,而面试官之间评价的不一致是影响评价结果应用的重要因素。尽管可以通过明晰评分细则、优化结构化面试题目等方式予以控制,但是评分者之间的不一致性难以避免。 面试信度与效度存在情景特异性与考官特异性。结构化面试误差主要来源包括:面试题目有效性、面试评委培训、评分维度设定、面试实施环节等。其中由于面试官带来的评分误差主要包括:与我相似效应、对比效应、第一印象偏差、晕轮效应、刻板印象、顺序效应等,其结果是个别考官的评分偏高或者偏低于其他面试官的评分。当评价的结果高于应聘者的实际得分时称为宽大效应,低于应聘者实际得分时称为严格效应。 结构化面试的效度与信度提高措施包括以下四项: 一、关注面试内容,标准化信息获取内容、提高面试结构化程度与提问的一致性、提问限制与工作内容相关等; 二、重视考官的培训,通过培训使考官了解可能的评分误差,降低实际操作中的各种误差; 三、极小化各组中同一专业面试官的数量,以及极小化各组中面试官数量与

数学教学质量评估量表信度和效度分析

数学教学质量评估量表信度和效度分析 摘要:数学教学质量评估是教学管理的重要手段。根据高职院校特征,设计了数学教学评估量表,通过测试发现该量表具有较好的信度和效度,适合于对高职院校数学教学课堂质量评估。 关键词:教学评估;数学;信度;效度 数学教学质量评估是指依照一定的标准对数学教师教学质量进 行观察,并做出价值判断的过程。教学质量评估的结果将是被评价者提高自己各项技能和相关部门决策的重要依据。目前各个大专院校都将教学质量评估作为教学管理的一项重要内容。 一、研究方法 根据国内外研究者对教学质量评估的研究资料,提炼出符合高职院校的数学教学质量评估量表,并在本校各个专业367人进行测试,其中男生191人,女生176人。数学质量评估量表为选择题,当场测试并收卷,回收的数据用spss软件进行统计和处理。 二、因素分析 因素分析是处理多变量数据的一种统计方法,它可以揭示多变量之间的关系,因素分析的目的是通过寻找或者确定几个较少的假设“因子”来反映多个观察变量中蕴含的大部分信息,从而浓缩或化简观察数据。浓缩后的因子代表了数据间的基本结构,通过得到的因子估计值使研究者更方便地掌握数据的本质特质以及因子和观 察变量之间的关系。统计可以看出特征值大于1的因子共有5个,

累计贡献率为62.783%。因此可以抽取5个因素。5个因素中,变量的最高负荷值为0.835,最低的最高负荷值为0.307。第一个因素包括4个变量:上课熟练、准备充分、按时上下课、有责任心,称为教学态度;第二个因素包括4个变量:讲述准确、重难点突出、进度适宜、针对性强,称为教学内容;第三个因素包括3个变量:善于启发、方法恰当、深入浅出,称为教学方法;第四个因素包括3个变量:板书整洁、逻辑思路清晰、语言精炼,称为教学能力;第五个因素包括2个变量:效果明显、学生兴趣浓厚,称为教学效果。 三、信度检验 使用量表来度量人们的意见和看法时,为了判断得到的结果是否准确、可靠、是否有适用性,这需要对评价量表进行信度和效度检验。信度(reliability)即可靠性,是指采用同一种方法对同一对象进行调查时,问卷调查结果的稳定性和一致性,也就是该量表能否稳定地测量所测事物或者变量。信度指标多以相关系数表示,用信度系数来表示信度的大小。信度系数越大,表明测量的可信程度越大。究竟信度系数要多少才算有高的信度。一般认为其值为0.60~0.65为最好;0.65~0.70是最小可接受值;0.70~0.80表示相当好;0.80~0.90表示非常好。由此,一份信度系数好的量表或问卷,最好在0.80以上。若分量表的内部一致性系数在0.60以下或者总量表的信度系数在0.80以下,应考虑重新修订量表或增

什么是测试的信度和效度,如何保证测试的信度和效度

什么是测试的信度和效度,如何保证测试的信度和效度 棋盘中小张倩倩 在教育研究中,信度与效度是很常见的两个概念。但每次看到或听到这两个名词,我的脑袋老反应不过来,看来基础就是不扎实。我在这里就谈谈我浅显的认识。 一、信度 所谓的信度,是指使用相同指标或测量工具重复测量相同事物时,得到相同结果的可能性。如果说某个指标或测量工具的信度高,那它提供的测量结果就不会因为指标、测量工具或测量设计本身的特性而发生变化;反之亦然。根据测量过程中不同的误差来源,可分为再测信度、复本信度和折半信度。 再测信度,是用同一测量工具在不同的时间对同一群受试者前后测量两次,然后计算两次测量分数的相关系数,相关系数越大说明两次测量的一致性越高。相隔的时间不应该太长。 复本信度,是用两个完全等值的(平行的)复本对同一群受试者进行测试,计算两种复本测量分数的相关系数,相关系数越大说明两个复本构成带来的变异越小。如考试中使用的A、B卷 折半信度,只用一个测量工具对同一群受试者实施一次测量,但将奇数题和偶数题分开计分,再计算奇数试题和偶数试题分数之间的相关系数。 二、效度 所谓的效度,是指测量工具能够测出其所要测量的特征的正确性程

度。效度越高,即表示测量结果越能显示其所要测量的特征。如果说根据某项特征能够区分人、物或事件,那么说某个测量该特征的测量工具是有效的,就是指它的测量结果能把具有不同特征的人、物或事件进行有效的区分。常用的有变面效度、内容效度和效标效度。 表面效度是指测量效果和人们头脑中的印象或学术界形成的共识之间的吻和程度,吻合程度高,表面效度就高。 内容效度是指测量在多大程度上涵盖了被测量概念的全部内涵,测量工具代表概念定义的内容越多,内容效度就越高。 效标效度是指测量结果与一些标准之间的一致性程度,这些标准能够精确表示被测概念。 三、信度与效度的关系 信度是效度的必要条件,但不是充分条件。一个测量工具要有效度必须有信度,没有信度就没有效度;但是有了信度不一定有效度。 信度低,效度不可能高。因为如果测量的数据不准确,也并不能有效地说明所研究的对象。 信度高,效度未必高。例如,如果我们准确地测量出某人的经济收入,也未必能够说明他的消费水平。 效度低,信度很可能高。例如,即是一项研究未能说明社会流动的原因,但它很有可能很精确很可靠地调查各个时期各种类型的人的流动数量。 效度高,信度也必然高。

评估测评的信度与效度

评估测评的信度与效度 案例 一、案例背景 N公司是一家外资工程管理公司,成立于1998年,总部设在上海。随着WTO 的开放和工程项目的增多,工程公司在国内如雨后春笋般成长起来,就此拉开了人才竞争的序幕。尤其是上海,工程项目管理人才的争夺十分激烈,N公司老总越来越感觉到市场的压力和人才的短缺。为了应对市场压力,保留现有中高层骨干人才,并让他们“适人适位”, N公司请来了北大纵横管理咨询公司,希望通过专业评估解决这个问题。 二、建立人才能力素质模型并实施测评 (一)中高层能力素质模型及测评方法的确定 鉴于本次测评的对象是N公司的中高层管理人才和精英人物,测评的目的是为了保留人才、适人适岗,因此经过双方共同探讨,项目组在北大纵横经理人能力素质指标体系的基础上,结合N公司的实际情况,选择个人驱动力、判断能力、分析能力、决策能力和水准、创新能力、客户服务能力、影响力、项目管理能力、任务分配能力等作为测评因素。同时,采用广泛用于企业人员素质测评、方案比较、科学技术成果评比等方面的层次分析法,来确定各测评因素在管理素质和业务素质上的权重。 通过向N公司老总介绍人才测评的方法及工具,大家一致选定评价中心技术进行本次人才测评,并主要运用三类测评工具:心理测验、深度面谈和情景模拟测验。 (二)测评实施程序 1、设计测评题目。咨询顾问和N公司相关人员一起,围绕测评因素,结合N公司实际情况进行测试题目的设计,并给出评分标准和评分参考。本次心理测试采取16PF人格要素测试,人机对话;深度面谈设计了20个题目,涵盖了测评的各个维度;情景模拟采用案例分析和主题演讲两种测评工具,其中案例分析题库包含12题,主题演讲题库包含15题,被测人员可以从各题库中抽取一题进行测试。 2、成立测评小组。其中,测评小组成员由N公司内部专家、外部专家,以及北大纵横项目组组成。在测评实施前,对测评小组进行培训,使大家能全面了解测评的程序、评分标准及方法。 3、实施测评。深度面谈和情景模拟测试是由测评小组根据测试题目对被测评人进行提问,被测评人根据提问回答问题,与测评小组进行双向沟通后,由测

前测数据分析--信度和效度分析

第二节信度和效度分析 一、信度分析 与预测试数据分析方法一样,为了确保问卷的可靠性,先进行信度分析,信度检验指标在前面已详细述,在此不再述。问卷信度分析如表4-2所示: 表4-2:量表信度检验结果 - . -优质文档

经过SPSS24.0数据统计软件分析得知个变量Cronbach's α均大于0.6,且 组合信度在0.792以上,说明所有问卷都具备可靠性,能够较好的反应变量的真实情况。 二、效度检验 (一)容效度 为了确保调研问卷容的有效性,问卷量表通过文献研究先初步圈定问卷容,所用量表大多采用国外已经开发出的成熟量表,对于这部分量表,本文给予直接采用的方式,其余量表则是在前人研究的基础上,根据本文的研究目的和方向进行谨慎的拟定。因此,本问卷具有容效度。 (二)结构效度 在测量结构效度时,通常采用探索性因子分析。在进行因子分析时,通常采用主成分分析法,主成分分析的目的在于利用变量间的线性组合来解释每个层面的方差,变量的第一个线性组合可以解释最大的变异量,以此类推,所以主成分分析法的步骤是,选取特征值大于1的因子,然后利用方差最大旋转法进行旋转,使得旋转后题目在各个因子的负荷量大小出现明显差异,大部分题目在每个公共 因子中有一个差异较大的因子负荷量出现。但在因子分析之前需要进行KMO值- . -优质文档

和Bartlett球形检验,只有当KMO>0.5且Bartlett球形检验的Sig.值小于0.05时,问卷才具有结构效度,才能够进行因子分析。本研究中对三个量表进行的结构效度分析具体情况如下。 (1)虚拟品牌社群价值的效度检测 1.1虚拟品牌社群价值的KMO值和Bartlett球形检验 在对虚拟品牌社群价值做因子分析之前,先做KMO值和Bartlett球形检验,检测结果如表4-3所示: 表4-3:虚拟品牌社群价值的KMO值和Bartlett检验 取样足够度的Kaiser-Meyer-Olkin度量.901 Bartlett的球形度检验近似卡方4892.820 df 186 Sig. .000 通过对虚拟品牌社群价值量表的14个题项进行KMO检验和Bartlett球形检验,发现虚拟品牌社群价值量表的KMO值为0.901,表明各个变量之间的相关系数非常高,适合做因子分析,同时Sig.值为0.000<0.05,达到显著性水平,综上可以得出虚拟品牌社群价值量表适合做因子分析。 1.2虚拟品牌社群价值因子分析 通过KMO值和Bartlett球形检验可知,虚拟品牌社群价值适合做因子分析,运用主成分提取法进行因子旋转后得到以下数据,如:表4-4所示: 表4-4:虚拟品牌社群价值旋转因子负荷值 - . -优质文档

相关主题
文本预览
相关文档 最新文档