电子商务监管系统绩效评价体系研究

电子商务监管系统　绩效评价体系研究　■　▲　

◆　

蹇洁刘松张谧（重庆邮电大学经济管理学院重庆４０００６５）　基金项目：重庆市社会科学规划博士项目，网络交易欺诈行为的运　行机理研究（２０１４ＢＳ１００）；重庆邮电大学博士启动基金项目，网络　交易欺诈行为的特征性规律研究（Ｋ２０１２—１０４）　中图分类号：Ｆ７１３　文献标识码：Ａ　

内容摘要：为定量分析电子商务监管　系统的绩效性能，文章在Ｄ＆Ｍ模型的　基础上阐述了系统质量、信息质量、用　户满意度、个人影响和组织影响等构　成概念，从用户的视角开发了商务监　管信息系统绩效评价量表。并根据政　府管理部门的调查问卷数据，运用探　索性因子分析和验证性因子分析对评　价量表作了检验与修正，得到了电子　商务监管系统绩效评价体系。　关键词：电子商务监管信息系统绩　效评价　

将有助于政府管理部门评估该系统的实施　和应用效果，发现影响整个系统绩效水平　的因素，进而改善系统后期建设。与此同　时，学术界关于信息系统绩效评价的研究　方法相对成熟，研究内容比较完善，但鲜　有学者专门针对电子商务监管系统进行绩　效评价研究。基于此，本文针对该系统进　行了绩效评价量表开发，形成评价体系，帮　助管理部门对该系统进行正确的综合评判，　同时也为“以网管网”监管策略在全国的　推广普及提供一定的借鉴和参考。　构成要素定义　目　本文所提及到　２０　７４年，电子商务市场全年交易额为　的电子商务监管系　２ｌ７９万亿，增幅高达４９　７％，约占社会消　统属于“服务提供　费品零售总额的１０ｌ７％，毫无疑问，电子　者”（即为组织工作　商务已成为我国发展最快、影响最广的产　提供服务），政府管　业之一。电子商务持续繁荣的同时，各类　理部门管理人员是　欺诈现象也层出不穷，电子商务欺诈不仅　该系统的使用人员，　损害了消费者的合法权益，更阻碍了电子　对于该系统性能的　商务的健康发展。近年来，以工商行政总　优劣有切身体会，因　局为代表的政府管理部门从政策层面制定　此，通过用户视角来　了相应的管理制度，并建立了一套“以网　调查分析问题是一　管网”的监管系统，该系统依托信息技术　个可行的方式。并　来进行网络搜查以及网络监管任务，实现　且，在基于用户视角　对电子商务交易的监管以及对违法行为的　的信息系统绩效评　处理。从试点到现在，电子商务监管系统　价领域内，Ｄ＆Ｍ模　在交易监管方面取得了一定的成效，但随　型是一个具有里程　着工作的深入，系统暴露出信息系统标准　碑意义的成果，它包　化与监管工作个性化不兼容、信息孤岛等　含系统质量、信息质　问题，实际效果与理想目标之间存在的差　量、系统使用、用户　距引起了各方的高度关注。　满意度、个人影响和　当前，对电子商务监管系统进行合理　组织影响６个维度，　的、科学的、量化的评价显得十分迫切，这　是信息系统绩效评　６８商业经济研究（曾更名《商业时代》）２０１　５年２３期　价的通用模型。在此基础上，结合本次研　究主体的特殊性，本文针对性地借鉴１３＆Ｍ　模型的评价方法对我国电子商务监管系统　的各项指标进行评价。在政府管理部门调　研的过程中，本文发现该部门已经将信息　系统运用到电子商务监管工作中，系统的　使用率非常高，而Ｄ＆Ｍ模型的“系统使用”　指标是用来评价系统用户对系统的使用频　率、使用时间。所以，“系统使用”这个指　标在本次研究中意义不大，我们将其剔除。　剔除“系统使用”指标之后，通过“系统质　量”、“信息质量”、“用户满意度”、“个人　影响”和“组织影响”５个维度来对电子商　务监管系统的绩效进行测量评价。系统质　量、信息质量、用户满意度、个人影响和　组织影响，这五个核心概念是本文研究的　重点，属于构成概念。构成概念具有一定　的抽象性，不能够对其直接进行测量。为　了度量这些抽象概念，本文只能选择一些　显性变量来对其进行间接测量。下面依次　给出了这五个核心概念的定义，并根据定　义将每个核心概念分解为对应的几个可观　测的评价维度：　系统质量。指系统运行过程中所表现　的各项特性指标，不同学者对系统质量提　出了不同的评价维度。本文在众学者研究　成果的基础上，结合对电子商务监管系统　的调研，选定系统稳定性、系统智能性和　系统安全性为系统质量维度下的子维度。　表１电子商务监管系统绩效测量维度　测量维度　予维度　子维度古义　系统稳定性　系统在运行过程中的纠错和自我修复能力　系统质量　系统智能性　系统在智能数据分析、工作智能提醒、工作智能设定方面的能力　

系统安全性　系统在逻辑安全方面的能力　信息搜索能力　系统在数据采取和获取方面的能力　信息处理能力　系统对采集的数据进行初步过滤和筛选的能力　信息质量　数据交换与整合能力　系统对其它业务系统进行数据交换与骧台的能力　

信息查询与统计能力　系统的数据提供与展示的能力　数据流转能力　系统中主体监管模块内部的数据流转流程设计方面的合理性　技术满意度　系统技术让系统用户满意的程度　用户满意度　环境满意度　外部环境让用户感到满意的程度　

管理者工作影响　系境应用对政府管理部门管理者日常工作的影响　个人影响　员工工作影响　系统应用对政府管理部门普通工作人员的Ｒ常工作影响　组织绩效　系统应用对政府管理部门的工作绩效水　Ｆ的影响　

组织变革与创新　系统应用对政府管理部门人员、机构和制定变革方面的影响　组织影响　成本节支　系统应用对政府管理部门监管成本方面的影响　

系统应用后，本省市政府管理部门与其他省市政府管理部门相比，　战略地位　在其电子商务监管方面的优势地位方面的影响　

表２测量子维度与问题项　测量维度　问题编号　测量维度　问题编号　测量维度　问题编号　系统稳定性　Ｑ１，ｏ２　信息查询与统计　Ｑ１５，Ｑ１６　组织绩效　Ｉ；１２７，（１２８，　能力　Ｑ２９　系统智能性　Ｑ３，０４，Ｑ５　数据流转能力　０１７，Ｑ１８　组织变革与创　Ｑａ０，１ｔ３１，　新　Ｑ３２　系统安全性　Ｑ６，Ｑ７　技术满意度　Ｑ１９，１１２０　成本节支　０３３，１１３４　信息搜索能力　鹋，Ｑ９　环境满意度　Ｑ２１，Ｑ２２　战略地位　Ｑ３５，Ｑ３６　信息处理能力　Ｑ１０，Ｑ１１，　管理者工作影响　Ｑ２３，Ｑ２４　Ｑ１２　数据交换与整合　Ｑ１３，１１１４　员工工作影响　Ｏ２５，Ｑ２６　能力　表３电子商务监管系统绩效评价构成因子命名表　乎　命名　构成问题　Ｆ１　信息搜索能力　０８、０９、Ｑ１０、Ｑｌ１、０１２　Ｆ２　后台保障能力　Ｑ２０、０２１、０２２　Ｆ３　数据流转能力　ｑ１７、ｑ１８、Ｑｌ３、Ｑｌ４　Ｆ４　系统智能性　０３、０４、０５　Ｆ５　Ｊ：作支撑能力　０２３、０２４、０２５、Ｑ２６　Ｆ６　战略地位　０３５、０３６　

Ｆ７　系统稳定性　０ｌ、口２　Ｆ８　组织变革与创新　０３０、Ｑ３１、０３２　Ｆ９　组织绩效　０２７、０２８、０２９　ｆ　ｌＯ　系统安全性　０６、０７　

信息质量。指系统在信息的采集、处　理、交换、流转以及利用方面的能力。本　文选定信息搜索、信息处理、数据交换与　整合、信息查询与统计、信息流转为信息　质量维度下的子维度。　用户满意度。指系统使用者对信息系　统的满意程度。本文选定技术满意度，环　境满意度为用户满意度维度下的子维度。　个人影响。指系统应用对于政府管理　部门管理者和普通工作人员在工作层面的　影响。本文选定管理者工作影响和普通员　工工作影响为个人影响维度下的子维度。　组织影响。指系统应用对于政府管理　部门在工作绩效、组织变革、成本节支和　战略地位层面的影响。本文选定组织绩效、　组织变革与创新、成本节支、战略地位为　组织影响维度下的子维度。　基于以上的文献梳理，形成电子商务　监管系统的绩效评价测量维度（见表１）。　数据收集与数据分析　（一）数据收集　为了研究系统质量、信息质量、用户　满意度、个人影响和组织影响对电子商务　监管系统绩效的影响，本文通过问卷设计　的方式将测量子维度表现为一组问卷问题，　再通过数据分析来判断系统绩效。问卷问　题将抽象化的测量子维度变得可观测，称　之为观测变量或者显变量。本次研究所设　计的调查问卷共包含了３６个测量问题，在　绩效评价测量维度的基础上，根据“量表　基本上以５—９级为宜”的原则，采用李克　特（Ｌｉｋｅｒ　Ｓｃａｌｅ）５分制量表设计了调查问　卷，问卷问题统一采用正向提问的方式。其　中，问卷问题与测量维度之间的关系如表　２所示。　由于本次研究的电子商务监管系统的　使用群体仅限于政府管理部门的工作人员，　并且该系统正在全国进行试点工作，使用　该系统的群体人数较少。因此，本次调查　共发放问卷２７４份，回收问卷２７４份。其　中，有效问卷２５９份，有效回收率达到了　９４．５３％。在回收的２５９份有效问卷中，答　卷者男性居多，占６７％；年龄集中于中年，　３１—４０岁的占比４８％，４１—５０岁占比　３７％；学历多为大学本科，占比５１％；所　属单位分别为４省市工商局；工作年限集　中于６—１０年，占比４０％；系统使用时长　以６—２４月为主，６—１２月的占１：１＝３４％，１２—　２４月的占比３９％。　问卷问题的鉴别度检验。通过鉴别度　检验发现，Ｑ１一Ｑ５，Ｑ９，Ｑ１３一Ｑ２０，Ｑ２２一　Ｑ２６，Ｑ２８一Ｑ２９，Ｑ３１一Ｑ３６的Ｆ值均不　显著，其Ｓｉｇ．＞０．０５，通过查看ＥＶＡ的ｔ值，　发现ｔ值均显著，其Ｓｉｇ．＜０．０５；另外，Ｑ６一　Ｑ８。Ｑ１０一Ｑ１２，Ｑ２１，Ｑ２７和Ｑ３０的Ｆ值　显著，其Ｓｉｇ．＜０．０５，查看ＥＶＮ的ｔ值，ｔ　值均显著，其Ｓｉｇ．＜０．０５。数据表明这些　问题都具有鉴别度。　问卷问题的结构效度检验。第一次对　３４个量表问题进行结构效度检验后发现　Ｑ１５、Ｑ１６、Ｑ１９的最大因子载荷没有显　示，因此将这三个因子删除。按照结构效　度判定准则，采用主成分分析法，对剩余　的３１个问题提取出１０个因子，发现其对　总方差的累积解释比重为７０．５２３％，整体　结构效度判定中ＫＭＯ值为０．７８４，Ｂａｒｔｌｅｔｔ　球形检验显著水平达到１％，由此看出，该　３１个量表问题适合整体上进行因子分析。　再将提取的１０个　因子进行方差最大　旋转，得到３１个问　题的正交因子载荷　矩阵，其中，３１个　量表问题的因子共　同度均＞０．５０，最　大因子载荷也均为　正值且＞０　５０，且　构成同一因子的量　表问题均有相同的　物理意义。　（二）数据分　析　问卷问题的　信度检验。在３１个　量表问题经过了结　构效度检验的基础　上，对其进行信度　检验。本次信度检　验的标准为：对上　述３１个量表问题　构成的１０个抽象　因子进行信度检　验，因子整体Ｃｒｏｎｂａｃｈ　ｏ（系数值≥０　６０，　且任意删除一个量表中的问题后，其　Ｃｒｏｎｂａｃｈ　ｏ（系数值没有明显的提高，这　样我们就判定其通过信度检验。结果显示，　整体Ｃｒｏｎｂａｃｈ　ｏ（值的最小值为０　６８５，大　于０　６０，且删除后Ｃｒｏｎｂａｃｈ　ｏｃ系数值没　有明显提高的。因此，３１个量表问题都通　过了信度检验。　验证性因子分析。本文利用结构方程　模型软件ＬＩＳＥＲＬ　８　７０中的验证性因子分　析进行量表问题的结构稳定性的验证，并　采用Ｘ２／ｄｆ、ＲＭＳＥＡ、ＮＮＦＩ、ＧＦＩ等指标来　简要说明模型的拟合情况。其中３１个项目　作为观察变量（ｘ），１０个因子作为潜在变　量（∈），通过模拟，发现模型的×ｚ／ｄｒ＜５，　ＣＦＩ和ＮＮＦＩ均可达到１．０００，ＲＭＳＥＡ也可　达到０　０００的理想状态，且９０　Ｐｅ　ｒｃｅｎｔ　Ｃｏｎｆｉｄｅｎｃｅ　ｌｎｔｅｒｖａｌ　ｆｏｒ　ＲＭＳＥＡ＝（０．０：　０．０３４），也在０．１范围内，但ＧＦＩ和ＡＧＦＩ　小于０．９。由于本文变量较多，因此，从整　体模型适配度的角度来说，认为模型和数　据达到了可以接受的拟合程度，所以说，结　构模型通过了整体模型拟合度检验。　因子的重新命名。通过前文的分析基　础上，对量表测量项进行了因子命名（见　表３）。　二次验证。生成量表和性能验证是两　表４电子商务监管系统绩效评价指标体系　级指标　二级指标（－ｉ）　三级指标（　）　系统具备全面的“敏感词　库，以对全网进行无盲点搜索　系统具备及时准确的实时搜索能力　对于海量搜索数据、系统可进行初步分析和过滤　信息搜索能力　系统可根据搜索结果，关联数据库中与之对应的主体，对其建档和信　息补充　系统可将搜索数据按地域，类型分派至各辖区分局　系统具有完备的帮助文档和使用手册　后台保障能力　ＩＴ部门的系统维护效率很高　软件外包商的系统使用培训非常全面　系统可与内网业务管理系统的数据进行无障碍交换与整合　系统可与内网１２３１５综合指挥调度系统的数据进行无障碍交换与整　数据流转能力　合交换与整合