基于聚类分析的串并案研究

警务大数据在公安实践中的应用张文元;马丽雅【摘要】近年来，随着信息系统的广泛应用，数据量迅猛增加，数据生成速度也大幅度提升，挖掘海量数据中隐藏的有价值的情报对公安工作中案件侦破和预警起到重要作用。

构建警务大数据平台，必须优化技术架构，加强警务数据共享，才能充分发挥大数据技术在公安实践中的指导作用。

【期刊名称】《中国人民公安大学学报（自然科学版）》【年(卷),期】2016(000)002【总页数】4页(P51-54)【关键词】警务大数据;数据挖掘;技术架构【作者】张文元;马丽雅【作者单位】乌鲁木齐铁路公安局哈密公安处刑事技术支队，新疆哈密 839000;中国人民公安大学警务信息工程学院，北京 100038【正文语种】中文【中图分类】D631随着信息时代发展步伐的加快，人们的生活和工作模式发生了前所未有的变化。

云计算、物联网等科学技术的应用与普及，各种移动设备、无线传感器等无时无刻不在进行着数据的产生和交叉[1]，极大的催生了数据量的迅猛增加，数据类型也已经不单纯局限于单一的结构化数据，现代社会已经步入大数据时代。

与传统数据相比，大数据具有更大的数量、更丰富的多样性、更快的生成速度以及更高的实用价值。

警务数据作为数据的一种，它在公安部门应对复杂的治安形势过程中起到至关重要的作用。

如美国曾经把某城市近十几年的犯罪活动数据和交通事故相关数据在地图上分析比对后，得出二者的发案时段和地点都具有极高的相似性，这引起了美国相关部门的高度重视，通过部门间联手合作，最终使该地的治安形势得到极大改善[2]。

在我国，为应对复杂的社会治安形势和高技术的犯罪手段，就必须顺应大数据时代的发展潮流，改变传统办案方式，充分发挥数据中隐藏的有价值信息，进一步提升公安队伍的核心战斗力。

随着我国社会经济、文化的不断发展，各种新技术的应用使犯罪分子的作案手段变得先进而隐蔽，大大增加了案件侦破的难度，公安机关肩负着保卫国家与人民生命财产安全的重任，承受着巨大的工作压力。

基于GC-MS技术的化学计量学方法鉴别酱香型白酒初探张健;尹宝华;廉哲;王蔚昕;李志豪;邹积鑫;石高军
【期刊名称】《刑事技术》
【年(卷),期】2024(49)1
【摘要】近年来假冒酱香型白酒(主要为茅台酒)的案件频发,严重扰乱市场经济秩序,因此实现假冒酱香型白酒的鉴别具有重要意义。

本研究建立了基于GC-MS技术与化学计量学相结合的方法,用于酱香型白酒的真假鉴别和案件串并。

主成分分析(PCA)对不同来源的酱香型白酒样品实现了鉴别分类,偏最小二乘判别分析(PLS-DA)和聚类分析热图(Heatmap)将区分样品的化学标志物筛选出来。

研究表明,GC-MS技术结合化学计量学在源头追踪和案件关联方面具有巨大潜力,可以为打击假冒白酒案件犯罪提供技术支持。

【总页数】8页(P85-92)
【作者】张健;尹宝华;廉哲;王蔚昕;李志豪;邹积鑫;石高军
【作者单位】公安部鉴定中心
【正文语种】中文
【中图分类】DF795.1
【相关文献】
1.基于GC-MS结合化学计量学的浓香型白酒分类方法
2.基于ICP-MS结合化学计量学的不同品牌酱香型白酒鉴别方法
3.基于GC-MS结合化学计量学分析4种酱
香型缺陷白酒挥发性成分差异4.基于智能感官和GC-MS技术分析市售酱香型白酒的品质5.中红外光谱分析技术结合化学计量学方法快速分析酱香型白酒酸酯含量
因版权原因，仅展示原文概要，查看原文内容请购买。

DOI ：10.15913/ki.kjycx.2024.06.051基于警务云的刑事案件可视化模型的实践与分析＊刘兴毅，宋 华（重庆警察学院，重庆 401331）摘 要：针对刑事案件办理过程中存在的案情分析方式单一抽象、方法传统效率低等问题，构建了一个具有丰富可视化形式的刑事案件可视化模型。

该模型的功能主要包括规律特征总结提炼、侦查思路直观表达、办案战果多样化呈现。

首先，通过数据收集模块收集刑事案件的案情数据；其次，将标准数据存入MySQL 数据库进行持久性存储；最后，采用Python 调取第三方库的方式进行多种可视化形式的成果展现。

该模型易上手、运用难度小，将数据收集、处理、分析、直观表达集于一体，能在基层警务工作中实现犯罪规律总结和犯罪预测。

关键词：刑事案件；可视化；模型；数据分析中图分类号：TP311.13 文献标志码：A 文章编号：2095-6835（2024）06-0172-05——————————————————————————＊［基金项目］全国大学生创新创业训练计划项目（编号：202112757003）；重庆市教委软科学项目（编号：19SKGH215）；重庆警察学院科研项目（编号：JY201812）自2020年“世纪疫情”以来，数字经济被进一步提上新高度，与其相关联的信息产业得到进一步发展，可视化技术在此环境下得以孕育发展。

目前，可视化技术被普遍运用于医疗、教育、金融、互联网行业，并呈现出向各行各业蔓延渗透的趋势[1]。

而公安机关掌握了海量的数据资源，如何充分发挥数据的价值，服务国家和人民，成为新时代新征程中建设平安中国一个重要的课题。

可视化技术为发挥数据价值提供了突破口，一方面，因为涉及信息安全，可视化技术的商业产品与公安专业领域的结合存在掣肘[2]；另一方面，智慧公安建设的现实需求又引导公安强化科技引领。

对此，本文以可视化技术为切入点，面向基层警务工作实践，探索可视化技术与刑事案件办理的结合，或许可以成为办理刑事案件方式手段转型升级的一大助力。

1. 基于单片机汽车防盗报警系统设计（字数：18145,页数:572. 光学衍射仿真实验系统（字数:9381,页数:403. 基于单片机的音乐存储播放器设计（字数:19557,页数:71 ）4. 低频数字式相位测量仪（字数:11601,页数:31 ）5. 简易数字存储示波器（字数:15560,页数:386. 基于组态软件的测控系统设计（字数:27507,页数:467. 基于PC机的防盗报警系统设计（字数:13123,页数:35）8. 弯管机电机转速测控系统的研制（字数:10961,页数:25）9. 基于单片机智能火灾报警器设计（字数:17817,页数:50 ）10. 开关稳压电源设计（字数:11048,页数:40）11. 基于单片机的无功补偿的设计（字数:14963,页数:55 ）12. 浮尘含量检测系统的LabVIEW 数据采集分析软件设计（字数:13877,页数:3213. 便携式高清晰数字无线监控系统---- 接收单元硬件设计（字数:15075,页数:41 ）14. 数控高精度直流电源（字数:24333,页数:52）15. 音频信号分析仪设计（字数：11603,页数:32）16. 基于MATLAB 的图像处理平台开发（字数:14101,页数:4817. I2C总线温度传感系统（字数:11775,页数:40 ）18. 基于Java的企业管理系统设计（字数:10770,页数:3819. 自动化立体仓库岀入库检测控制系统的研究（字数:20729,页数:3520. 基于单片机的遥控调光灯系统设计（字数:11107,页数:32 ）21. 电动工具（吸尘器）的生产和检验（字数:13916,页数:3122. 三相正弦波变频电源设计（字数:12826,页数:43 ）23. 基于单片机的温度报警器设计（字数:10257,页数:30）24. 基于LabVIEW 的直流电机转速检测系统设计（字数:8497，页数:50 ）25. 智能仪器的USB接口设计（字数:11943,页数:41 ）26. 基于RFID技术的Mifare1卡读写器的设计（字数:17364,页数:4327. 基于TUBE DB的弯管装备的信息管理系统设计（字数:16702,页数:57 ）28. 智能建筑的视频监控系统设计（字数:22567,页数:38 ）29. 基于单片机的智能电表设计（字数:29991,页数:64 ）30. 轴承加热器温度控制方案研究（字数:12214,页数:35）31. 基于LABVIEW 的湿度测量仪设计（字数:12835,页数:37 ）32. 基于Labview的温度信号采集系统设计（字数:20192,页数:47）33. 浮尘含量检测系统的信号调理设计（字数:12414,页数:3334. 洗衣机的智能控制系统设计（字数:13185,页数:3335. 基于Labview的电机起动过程的观测与分析（字数:11851,页数:2536. 基于ARM 微处理器的三相逆变电源设计（字数:15309,页数:61）37. 基于ST7540的多频率电力线通信系统设计（字数:13600,页数:53）38. 面向数控装备的嵌入式测控系统的硬件系统的研究（字数:14003,页数:40）39. 基于单片机的载波通信系统设计（字数:15638,页数:80）40. 正弦脉宽调制波SPWM的仿真优化（字数:14306,页数:52 ）41. 基于LabVIEW 的海水温度测量系统设计（字数:14234,页数:42 ）42. 基于MATLAB 的数字图像处理应用（字数:16456,页数:42 ）43. 基于Struts的连锁店管理系统（字数:17140,页数:6044. 简易波形发生器的设计（字数:13574,页数:3645. 基于ARM的电流互感器特性测试仪设计（字数:13659,页数:51 ）46. 基于LIN总线的司机座椅控制器设计（字数:15325,页数:44）47. 酒精浓度检测仪的设计（字数:12127,页数:44）48. 某办公大楼综合布线系统设计（字数:11971,页数:2649. 楼宇综合布线系统设计（字数:13355,页数:2650. 用电智能电动装置设计（字数：13765,页数:38 ）51. 单片机在点钞机中的应用（字数:7658,页数:42 ）52. 基于单片机的温度测控系统设计（字数：25122,页数:71）53. 全站型电子速测仪的使用和检验（字数:9708,页数:3454. 标准电阻自动巡检装置设计（字数：10494,页数:34 ）55. 基于施耐德Premium PLC的水厂自动控制系统的设计（字数:11249,页数:35 ）56. 造纸过程DCS控制方案设计（字数:20602,页数:31 ）57. 住宅建筑电气与智能化系统设计（字数:16501,页数:33 ）58. 多层住宅建筑电气系统设计（字数:18116,页数:32 ）59. 某住宅小区智能监控系统设计（字数:14482,页数:2760. 轴承加热器温度传感器研制与参数校正（字数:13385,页数:38 ）61. 基于单片机的数字直流电位差计的设计（字数:17221,页数:37 ）62. 电加热器温控设计（字数:11159,页数:34 ）63. 基于VC + +的云台控制系统开发设计（字数:12017,页数:40 ）64. 基于神经网络的字符识别研究（字数:21735,页数:41 ）65. 高稳定性卤钨灯光源的研制（字数:10179,页数:34）66. 弯管角度非接触测量系统的设计（字数:12693,页数:23 ）67. 智能照明节电器的设计（字数:13120,页数:32 ）68. 基于AD590的火灾报警系统的设计（字数:9640,页数:2469. 智能门锁系统（字数:14339,页数:39 ）70. 车载GPS的设计（字数:18585,页数:35 ）71. 蒸煮过程温度程序控制（字数:14602,页数:3572. 注塑机操作规范与成型工艺设计（字数:21561,页数:42 ）73. 基于SQL数据库的测控信息平台的研制（字数:13015,页数:35 ）74. 基于VC++云台串口控制设计（字数:15682,页数:55 ）75. 基于虚拟仪器的微位移测量系统的研制（字数:11516,页数:24 ）76. 基于单片机的函数信号发生器设计（字数:11150,页数:32 ）77. 集成运放综合参数测试仪（字数:13418,页数:36 ）78. 面向化工产品检测技术的研究（字数:15650,页数:3479. 近红外光谱仪光电信号采集电路设计（字数:13554，页数:32）80. 吸烟式火灾报警器系统设计（字数:11629,页数:34 ）81. 基于虚拟仪器的可编程智能电池参数实时监控系统设计（字数:15270,页数:28 ）82. 杭州某化纤厂太阳能热水控制系统设计（字数:16902,页数:43）83. 基于VC++的数据库报表的开发（字数:12752,页数:50 ）84. 红外遥控温度报警器（字数:12376,页数:32）85. 程控滤波器设计（字数:12387,页数:37 ）86. 基于PSpice的电路仿真（字数:10671,页数:3587. 基于单片机的太阳能热水器控制系统设计（字数:14892,页数:50）88. 开放式控制器与多种检测元件的匹配问题的研究（字数:10864,页数:29 ）89. 基于IMAQ的弯管角度测量系统的研制（字数:10452,页数:2290. 智能电能表及手持抄写器设计（字数:30248,页数:48）91. 直流无刷电机精密转速控制（字数:13891,页数:25 ）92. 基于单片机的LED点阵电子显示屏设计（字数:9975,页数:31 ）93. 面向数控装备的嵌入式测控系统的软件系统研究（字数:16869,页数:3694. 周期信号软件同步采样方法的研究（基于Matlab ）（字数:11627,页数:2795. 基于LABVIEW 的滤波器设计（字数:10359,页数:3096. 简易数字频率计的设计（字数:10394,页数:31 ）97. 基于LabVIEW的直流电机控制系统设计（字数:15841,页数:37）98. 基于ARM 微处理器的电参数测量设（字数:17063,页数:48 ）99. 基于旋转编码器的转速检测系统的设计（字数：11133,页数:27100. 基于MatLAB的电路仿真（字数:11036,页数:35101. 简易逻辑分析仪（字数：20430,页数:49）102. 基于C#的数字图像处理应用设计（字数：14955,页数:33103. 简易综合测试仪（字数:14702,页数:41）104. 数据采集与传输系统设计（字数：11683,页数:33）105. 基于Matlab的电力系统谐波分析研究（字数:19905,页数:46 ）106. 盛丝桶往复机电气控制系统设计（字数:22422,页数:42107. 自动络筒机电气控制系统设计（字数:25183,页数:42108. 冷媒自动填充机电气控制系统设计（字数:27579,页数:46109. 四工位组合机床电气控制系统设计（字数:18706,页数:32110. 机械手定位系统电气控制设计（字数:18830,页数:38111. 呢料预缩机电气控制系统设计（字数:25610,页数:43112. 自动配色机电气控制系统的设计（字数:21098,页数:42113. 收卷机电气控制系统设计（字数:24950,页数:44114. 自动过滤机电气控制系统设计（字数:26614,页数:44115. 自动供料装置电气控制系统设计（字数:24876,页数:41116. 成型机电气控制系统设计（字数:19368,页数:38117. 油锅炉供热电气控制系统设计（字数:21608,页数:38118. 螺杆挤岀机电气控制系统设计（字数:20902,页数:40119. 自动喂粕系统电气控制设计（字数:17133,页数:38120. 输送机电气控制系统设计（字数:23486,页数:43121. 染色机电气控制系统设计（字数:29748,页数:42122. 基于虚拟仪器的振动测试系统的设计（字数:18706,页数:51123. 基于噪声信号源的声学测距系统的设计（字数:22913,页数:57）124. 光纤测振仪的设计（字数:24934,页数:63 ）125. 基于DS18B20的多点温度测量系统的研究（字数:19388,页数:61126. 基于混沌与分形理论的表面肌电信号非线性分析（字数:19337,页数:55 ）127. 基于聚类分析的生物电信号模式识别的研究（字数:24345,页数:78128. 基于线性判别函数和非线性判别函数的肌电信号的识别方法（字数:30214,页数:94 ）129. 基于虚拟仪器技术的步进电机控制系统设计（字数:18121,页数:43130. 基于虚拟仪器技术的加热炉温度控制系统设计（字数:15881,页数:35 ）131. 简频率特性测试仪设计CK026 （字数:22796,页数:59 ）132. 声波测距仪（字数:19651,页数:46133. 微机原理CAI课件设计（字数:18399,页数:36134. 小波变换与人工神经网络在肌电信号模式识别中的应用（字数:20750,页数:41 ）135. 压电测振仪的设计（字数:27021,页数:67价格:¥ 108.00）136. 液体包装机电气系统的PLC控制（字数:17359,页数:47 ）137. 液体包装机电器系统的PLC控制系统（字数:18806,页数:39 ）138. 用VB建立传感器技术课程习题库（字数:17791,页数:56139. 基于GSM/CDMA 的防盗报警系统（字数:14186,页数:40140. 基于网络控制的温度远程自动控制系统的设计（字数:23077,页数:53 ）141. 开关电源系统测试的方法研究（字数:9105,页数:20表》（附表2）所列内容记录有关事项。

XX市“智慧公安”建设工作情况调研报告__市“智慧公安”建设工作情况的调研报告随着云计算、物联网、移动互联网等信息技术的快速发展,“智慧公安”业已成为新一轮警务改革的战略选择。

__年底以来,广东省__市公安局抓住新—轮警务改革契机,全力推进以大数据发展为引领、以“五智五精”为主要内容的“智慧公安”战略,走出了一条符合时代特征、颇具公安特色、具有__特点的新时代公安工作发展新路。

一、__市“智慧公安”建设的总体框架和实现路径（一）总体框架。

即以“共享、高效、实战、安全”为核心理念,按照信息数据“大采集、大集中、大整合、大应用”的步骤,全力打造“一个智慧大脑”,完善“两大骨干支撑”,搭建“五大警务应用平台”,力争通过3年时间,建成一个高度集成、高度共享、高度智能,贯穿打、防、管、控、建等环节的“智慧公安”警务体系,实现警务资源高效集约应用和战斗力生成模式的全新变革。

(二)实现路径。

打造一个智慧大脑:建设警务云计算平台和大数据中心。

运用云计算、云存储技术,建设功能完备、扩展灵活、高效智慧、安全可靠的__警务大数据中心,开发集数据存储管理、资源共享服务、应用智能开发等功能于一体的“大数据综合应用服务平台”,为全局数据应用提供强大的存储、运算、扩充能力,着力打造__公安“智慧大脑”。

完善两大骨干支撑:即“智感围城”体系,通过视频监控、卡口、电子围栏、门禁+视频等科技感知手段,构建覆盖全市、触角灵敏、触网报警的智能感知网,全息自动感知“人、车、物、案”等实时信息动态,为警务大数据应用提供基础数据支撑;移动警务体系,启动新一代移动警务系统项目建设,搭建__公安移动警务信息网,实现移动信息网与公安内网定制双系统移动终端,建设移动服务区,开发办公审批、人员盘查、信息查询、信息采集等应用,为警务实战应用提供移动网络支撑。

搭建五大警务应用平台:智情预警平台,通过“人工+科技”、“网上+网下”等手段,着力构建智慧情报网络和智情预警平台,对特定场所多人聚集、人员异常流动等进行实时预警,实现精密维稳;智感防控平台,以社区警务为基础,以手采、扫码、上图等形式,在标准地址的基础上,实现全市所有“人、地、事、物、组织”等治安要素的全采集、全录入和全管理,通过大数据建模,实现基层基础警务的数据化分析、自动化提醒、智能化采集、可视化监督,实时掌控实有人口、实有建筑、实有财物和事件动态,有效提升对治安隐患风险的预测预警预防能力;智侦合成平台,高度集成刑侦、网警、情报等打击手段,研发线索共享平台,优化市区—镇打击犯罪合成作战体系,构建警种集成、手段集成、上下联动、资源共享的智侦合成平台,实现对各类违法犯罪的高效打击;智服惠民平台,按照“能网上办的网上办,不能网上办的自助办”的原则,积极推进“互联网+”公安服务改革,运用智能化手段优化行政服务管理,建设“平安__便民服务APP”,打通服务群众“最后一公里”,做到“网上办”“自助办”“一次办”,实现精心服务;智管强警平台,依托新型技术手段,搭建智慧警队管理平台,积极探索对公安执法办案、党团建设、人事管理、举报投诉、审计监督、信访办理、内部督察等系统的有机整合,汇聚各类数据并实现自动检测、碰撞分析,形成覆盖全警、链条管理、无缝时空的廉政勤政监督预警系统,实现精细管理。

大数据开发基础(试卷编号1121)1.[单选题]训练样本集S含有天气、气温、人体感受、风力4个指标,已知天气的熵为0.694,温度的熵为0.859,人体感受的熵为0.952,风力的熵为0.971,如使用ID3算法,选择( )为树模型的分界点。

A)天气B)气温C)人体感受D)风力答案:A解析:信息熵(information entropy)是度量样本集合纯度最常用的一种指标,信息熵越大,变量的不确定性越大,反之越小。

树模型的分界点应选择信息熵最小的元素,本体选天气。

2.[单选题]在支持向量机中，软间隔支持向量机的目标函数比硬间隔支持向量机多了一个()A)偏置项 bB)系教C)松弛变量D)两种情况的目标函数相同答案:C解析:3.[单选题]在Hive中，如果只需要结构集的部分数据，可以通过（ ）子句来限定返回的行数A)limitB)sortC)fromD)order答案:A解析:4.[单选题]根据变量取名的规则，以下变量的命名，合乎规则的是（ ）A)6SB)S6C)whileD)123name答案:B解析:5.[单选题]为了保障流应用的快照存储的可靠性,快照主要存储在哪里?A)jobManager 的内存中B)可靠性高的单机数据库中6.[单选题]创建DRDS库的时候，每个挂载的RDS实例默认创建的库的个数为：（ ）。

A)16B)8C)4D)2答案:B解析:7.[单选题]下面有关分类算法的准确率、召回率、F1值的描述,错误的是()。

A)准确率是检索出相关文档数与检索出的文档总数的比率,衡量的是检索系统的查准率B)召回率是指检索出的相关文档数和文档库中所有的相关文档数的比率,衡量的是检索系统的查全率C)正确率、召回率和F值取值都在0和1之间,数值越接近0,查准率或查全率就越高D)为了解决准确率和召回率冲突问题,引入了F1分数答案:C解析:正确率、召回率取值都在0和1之间,数值越接近1,查准率或查全率就越高。

警务综合平台情报研判应用建设方案5.1.3情报研判分析体系5.1.3.1 领导辅助决策系统5.1.3.1.1 功能框架随着社会形势的变化，违法、犯罪活动呈现高发趋势，因信息的缺乏，导致公安决策只能凭主观感觉判断办案，造成决策失误，浪费警力，领导辅助决策系统从现有系统（人口管理系统，旅馆业管理系统，派出所综合信息管理系统，网上办案综合系统，车辆管理系统，驾驶员管理系统，违章管理系统，事故管理系统等）中取得数据，形成汇总数据源，然后根据公安各类宏观分析指标，结合我司多年公安业务开发经验，对这些汇总数据进行建模、分析、挖掘、展现，供领导进行决策。

整个过程的示意图如下：整体架构如下：领导辅助决策系统基于最新的数据仓库、数据挖掘技术，通过对公安各业务系统数据的抽取、转换、清洗、加载，形成公安综合数据库，应用BI引擎进行报表设计、即席报表、即席查询、并进行进一步的多维分析与利用，通过建立数据挖掘模型，可以完成数据的挖掘与钻透，通过建立各种分析主题模型，可以完成各类公安业务的智能分析，实现对公安各类宏观分析指标的预测、统计和分析，为公安领导的科学决策提供技术支持，实现事前的准确预报，事中的及时处理，事后的分析决策。

领导辅助决策系统通过分析各单位、民警在多个业务系统中的工作数量及质量，实现对单位、民警的绩效考核；通过对高危人群等业务的趋势分析，做出及时、准确的预警决策；通过对案件发案情况分析，了解社会治安综合情况，充分利用有限警力，合理安排工作任务。

系统以图形化显示（饼图，趋势图，直方图和三维图等）展现各类分析结果。

并以超过警戒值信息的高亮显示，提醒决策人员注意警戒信息。

5.1.3.1.2 功能描述社会治安综合分析专题1、接警分析l 分析接警的高发时间l 分析接警的类别和高发地段用于高危地段的辅助决策。

l 分析接警案件类别以上分析可以指导指挥中心的接处警的警员资源的地点和时间的优化配置l 分析报警数量的变化情况，（环比，同比）2、处警分析l 到达时间段的分析l 分析某一时间段内的各处警单位处理的案件数从中可以根据案件类别来获取高发案件的类型l 分析按照处警意向来区分处理数从报警到处警的处理率和处理用时的分析，例如十分钟内到达率来考核个部门的工作业绩l 分析处警数量的变化情况，（环比，同比）分析民警处警的工作量3、刑事案件分析l 分析某一时间段内辖区下的刑事案件的总体情况包括受理数，立案数，破案数，不立案数，侦查终结数l 分析案件发生的变化情况，例如与同期比较发案数的比较，和上月比较发案数的变化情况4、行政案件分析l 分析某一时间段内辖区下的行政案件的总体情况l 分析行政案件发生的变化情况，例如与同期比较发案数的比较，和上月比较发案数的变化情况5、犯罪人员综合分析犯罪人员的年龄，性别，婚姻状况，文化程度，所属行政区划，籍贯，所犯罪别，职业等维度分析。

一种大规模分类数据聚类算法及其并行实现丁祥武;郭涛;王梅;金冉【摘要】CLOPE algorithm has achieved good results in clusteringlarge ,sparse categorical datasets with high dimensions . However ,it is hard to stably find the global optimal clusters since the data order can affect the result of clustering .To deal with this problem ,this paper proposes p-CLOPE algorithm iteratively dividing input data into multiply equal parts and then clustering their different permutations .In each iteration of p-CLOPE algorithm ,the input dataset is split into p parts and they are permuted into p !datasets with different part orders ,then each dataset is clustered and the optimal clustering is chosen according to the profit as the input of next iterations .In order to handle time complexity of the process ,a result reusing strategy is put forward that can improve the speed of clustering ,further . Finaly , a distributed solution is put forward that implements p-CLOPE on Hadoop platform and a clustering tool is developed which has been released to the open sourcecommunity .Experiments show that p-CLOPE can achieve better results than CLOPE . For the Mushroom dataset , when CLOPE achieves optimal results , p-CLOPE can achieve 35.7% higher profit value than CLOPE . When dealing with big data , parallel p-CLOPE greatly shortens the computing time compared with serial p-CLOPE ,and it achieves nearly p ! speedup when there is enough computing resource .%CLOPE 算法在大规模、稀疏、高维的分类数据集的聚类上取得了很好的聚类效果．然而该算法受输入数据的顺序影响，难以获得稳定且全局最优的聚类结果．因此提出一种基于等分划分再排列思想的 p-CLOPE 算法对这一缺陷进行改进．在 p-CLOPE 算法的每一轮迭代过程中，对输入数据集等分为p 部分再排列生成不同顺序的 p ！份数据集，对这些数据集分别聚类并选取最优的聚类结果作为下一轮迭代的输入．为了降低上述过程的时间复杂度，提出了一种中间结果复用策略，较大程度地提高了聚类速度．最后，在Hadoop 平台上实现了一个包含p -CLOPE 相关算法的开源聚类工具．实验表明：p-CLOPE 算法比 CLOPE 算法取得了更优的聚类结果．对蘑菇数据集，当 CLOPE 算法取得最优聚类结果时，p-CLOPE 比 CLOPE 取得了高35．7％的收益值；在处理大量数据时，并行 p-CLOPE 比串行p-CLOPE 极大地缩短了聚类时间，并在计算资源充足时，取得了接近 p ！倍的加速比．【期刊名称】《计算机研究与发展》【年(卷),期】2016(053)005【总页数】9页(P1063-1071)【关键词】分类数据;CLOPE;p-CLOPE;并行聚类;MapReduce【作者】丁祥武;郭涛;王梅;金冉【作者单位】东华大学计算机科学与技术学院上海 201620;东华大学计算机科学与技术学院上海 201620;东华大学计算机科学与技术学院上海 201620;浙江万里学院计算机与信息学院浙江宁波 315100【正文语种】中文【中图分类】TP312传统的针对数值数据的聚类算法虽然在不断取得突破[1]，但并不适合处理分类数据[2].分类数据由非数值的属性组成.对分类数据快速且准确地聚类在零售业、电子商务、医疗诊断、生物信息学等领域都有大量应用.因此，研究分类数据的聚类算法具有重要意义.然而，这些领域的数据通常具有高维度、稀疏、数据量大等特征，要对这种分类数据进行快速且准确地聚类通常非常困难.分类数据聚类算法k-modes[3]是对基于距离的数值数据聚类算法k-means[4]的扩展，采用0-1差异度来代替k-means算法中的距离，但没能充分考虑2个属性间的相似性，也没有从全局的角度考虑2条交易间的相似性.层次聚类方法ROCK[5]采用公共邻居数(链接)作为评价交易间相关性的度量标准.用于界定2条交易是否为邻居的相似度阈值θ需要预先指定，但很难给出恰当的阈值，另外还要求用户事先选定聚类簇数rgeItem[6]算法通过迭代优化一个全局评估函数来实现对大量分类数据的聚类，其最小支持度θ和权重w很难确定.CLOPE[7]算法在大规模、稀疏、高维数据集的聚类上取得了较好的聚类效果，该算法提出一个全局评估函数，通过一个簇的直方图中的高与宽的比率来表示这个簇内交易的重叠程度.CLOPE的运行速度比LargeItem和ROCK 更快，聚类质量比LargeItem更优，与设定了合适参数值的ROCK算法接近[7].SCLOPE[8]和σ-SCLOPE[9]是CLOPE应用在数据流上的聚类算法，牺牲了一些聚类的准确性.FUZZY CLOPE[10]提出了一种修正的划分模糊度，用来实现对CLOPE算法中的排斥因子r的自动优选.但是，这些研究都没有涉及一个问题：即数据集中交易的输入顺序会对聚类结果产生影响，不同的输入顺序可能会得到不一致的聚类结果.这一缺陷将导致CLOPE算法不能取得稳定且最优的聚类结果.本文提出了p -CLOPE算法，它采用一种等分划分再排列输入数据的思想对上述缺陷进行改进.为了降低p -CLOPE算法的时间复杂度，提出了一种中间结果复用策略，通过该策略可以较大程度地提高聚类速度.最后，在Hadoop平台上用MapReduce并行编程模型实现了p -CLOPE算法的并行化，并分析了时间与空间复杂度和加速比.实验表明:p -CLOPE算法能比CLOPE算法取得更优的聚类结果，也取得了很好的加速比.1.1 CLOPE算法分类数据聚类算法CLOPE[7]以簇的直方图的高宽比作为全局评估函数(也称全局收益函数).随着每一簇内数据重合度的增多，代表簇的统计直方图的高宽比也逐渐增加.所有簇的直方图的高宽比之和称为全局收益值.当全局收益值达到最大时，所对应的聚类被认为是最优的.定义1[7]. 分类数据集D是一组交易数据的集合{t1,t2,…,tn}.每条交易数据是一些属性项的集合{i1,i2,…,im}.一个聚类{C1,C2,…,Ck}是{t1,t2,…,tn}的一个划分，也就是说C1∪C2∪…∪Ck={t1,t2,…,tn}而且对任意1≤i,j≤k，满足Ci≠∅，且Ci∩Cj=∅.每一个Ci叫作一个簇，n，m，k分别表示交易的条数、属性项的个数、簇的个数.给定一个簇C，可以找到这个簇中所有的不同属性项，一个属性项出现的频率表示有多少条交易包含这个属性项，用D(C)表示簇C中不同属性项的集合，用Occ(i,C)表示属性项i在簇C中出现的频率.这样可以画出簇C的直方图，用属性项表示X轴，用每个属性项出现的频率表示Y轴[7].定义一个簇C的直方图的面积S(C)和宽度W(C)为[7]簇的高定义为H(C)=S(C)W(C)，全局评估函数定义为，其中，排斥因子r是一个正实数，用来控制簇内交易间的相似程度.当r较大时，簇内的交易必须有较多的公共项；相反，较小的r可用来对稀疏数据分组.通过调整排斥因子r的大小可以得到不同的簇个数，r越大，簇的个数越多.对于每个确定的r都可以找到一个划分C使得收益值Profit(C)最大.具体的算法如下：算法1. CLOPE算法[7].*第1阶段：初始化*① while 未到数据文件尾部② 读下一条交易〈t,unknown〉；③ 将t放入一个使收益最大的现有簇或新簇Ci中;④ 将〈t,i〉写回数据集中;*第2阶段：迭代*⑤ repeat⑥ 重新回到数据文件头;⑦ moved=false；⑧ while 未到数据文件尾部⑨ 读下一条交易〈t,i〉；⑩ 移动t到一个使收益最大的现有簇或新簇Cj中;将〈t,j〉写回数据集;；endifuntil not moved.1.2 CLOPE算法的缺陷分析对于一个特定的排斥因子r，CLOPE算法的目的是找一个收益值Profit(C)最大的聚类.但是实际上我们发现CLOPE算法并不能找到收益值最大的聚类，因为它的聚类结果会受数据集中交易的输入顺序的影响，交易的顺序不同时聚类结果可能不一致.也就是说CLOPE算法不能得到稳定的聚类结果，而且这个聚类结果通常不是最优的.这里举例来说明这一问题：对数据集D={abd,bcd,acd,ab,bc,ac}，当排斥因子r=2.0时，如果数据按照从左到右(abd→bcd→acd→ab→bc→ac)的顺序输入给CLOPE算法，那么得到的聚类{D}只有一个簇，其收益值为0.938.但是，如果按照从右到左(ac→bc→ab→acd→bcd→abd)的顺序输入，那么得到的聚类{{ab,abd}，{bc,bcd}，{ac,acd}}有3个簇，此时收益值为0.556.从以上的例子可以看出，输入交易的顺序不同时，聚类的结果可能不同.但是由于在默认的情况下，CLOPE算法只是按交易的原始顺序对数据集进行聚类，这样很有可能得不到最优的聚类结果. 上述例子用到的数据集D只有6条交易，我们通过穷举所有的输入顺序进行计算，发现只有2种聚类结果.而对一个实际待聚类的数据集，其数据量很大，在有限的计算能力下，穷举所有的输入顺序，其计算时间是很难接受的.本文接下来提出一种先对数据划分再排列划分块的思想来克服这一缺陷.2.1 算法设计针对CLOPE算法的缺陷，本文的改进思想是对原始数据形成多种输入顺序，对每种顺序的数据分别聚类，然后从中选择最优的聚类作为最后的输出.本文提出等分再排列的思想来形成不同顺序的数据.具体来说是先将要聚类的数据集D进行等分划分，再进行排列，目的是打乱输入数据的顺序.如果将D等分为p部分，那么可产生p!种不同的排列，将重新排列后的数据集分别定义为Di(1≤i≤p!)，每一份数据集中交易的集合是相同的，只是交易的顺序不同.对于得到的p!份数据集，我们可有2种处理方案:1)对每一份数据集Di先执行CLOPE算法的全过程，然后再比较对每一份数据集聚类的收益值，选出收益值最大的聚类结果作为最终聚类结果；2)用CLOPE算法对p!份数据集分别执行一次迭代，然后对这些迭代中最优的聚类结果重新等分划分再排列作为下一次迭代的输入，如此迭代，直至全局最优聚类划分不再变化时，整个聚类过程结束.第2种方案能达到每一次迭代结果的最优，而且对最优的聚类划分代表的数据集又重新划分排列成p!份数据集，因而它对交易的顺序打乱得更充分，可以取得比第1种方案全局更优的聚类结果，而且所需要的迭次代数更少，整个聚类过程所需时间当然更少.因而，我们选择第2种方案，具体步骤如下：阶段1. 对于每一份数据集Di，依次读取它的每一条交易t，决定将t放入一个已经存在的簇还是放入一个新的簇中，这取决于哪种情况下收益值将更大.每一个簇的收益值定义为通过比较将t放入已有的各簇和放入一个新的簇所产生的收益值增量的大小来判断将t放入已有的某簇中还是放入一个新的簇中.这样每一份数据集Di都会被划分成一些簇，而且每条交易有了对应的簇编号.阶段1结束后，每个数据集Di代表了一个聚类，计算各个聚类的收益值Profitr(C).比较各个聚类的收益值，选出收益值最大的数据集Dm.阶段2. 将Dm等分划分为p份，再排列为p!份数据集{D1,D2,…,Dp!}，对每一份数据集Di执行原始CLOPE算法的阶段2，即依次读取它的每一条交易t，将这条交易从原来的簇中移除，再根据簇收益值的增量大小选择放入某个已有的簇或者放入一个新的簇，如果这条交易现在放入的簇和原来所在的簇是同一个簇，则表示这个交易没有移动.如果一个数据集Di中所有的交易都没有移动，则表示Di对应的整个聚类划分不再变化.再次计算每个数据集的收益值，从中选出全局收益值最大的数据集Dm.如果在某一轮迭代中，Dm中没有交易移动，则程序结束，Dm对应的聚类划分就是最终所求的聚类划分.否则，重复执行以上阶段2的步骤，直到迭代结束.由于本文的改进思想中引入了划分参数p，因此将新的算法命名为p -CLOPE.2.2 划分参数p对于我们新引入的划分参数p，它是一个正整数.理论上，如果p等于数据集中总的交易条数n，那么划分的每一部分都只包含一条交易，这样的排列是一个全排列，能得到交易的各种顺序组合.但实际上，当n很大时，由于受计算能力和存储空间的限制，将无法实现这种情况，因为p!是一个增长非常快的函数.在我们设计的p -CLOPE算法里，将p设定为用户可以指定的参数，根据实际的计算能力和存储空间来设定.实际上从第3节的实验中可以看到：当p=4时已经可以达到非常好的聚类效果,当p=1时p -CLOPE退化为CLOPE.2.3 中间结果的复用将待聚类的数据集进行等分划分、再进行排列，目的是遍历划分块所构成的全排列，而我们发现这个计算过程中存在大量相同的中间结果，充分利用可重用的中间结果可以很大程度地提高聚类的速度.以p=4为例，将待聚类的数据集划分为4等份，标记为A，B，C，D.以A开始的排列可以用如图1所示的树来表示(以B，C，D开始的排列类似).每一种排列就是从根节点到叶子节点顺序遍历的节点.遍历路径上重复的节点就代表到该点的部分聚类结果可以在计算对应数据时复用.例如，对于ABCD和ABDC两种排列表示的数据集，它们可以复用的部分就是AB上各点的局部聚类结果.以A开始的排列中所有需要计算的划分个数就是图1中节点的个数，以B，C，D开始的排列也类似.可以计算出当p=4时需要计算的划分数是64(即16×4).按4个划分组成一个数据集来计算的话，等同于16份数据集的计算量.与不复用时(p=4时，需要计算4!=24个数据集)相比，计算量只有原来的23，随着p的增大，复用的程度会增加.可以归纳出采用复用技术时，需要计算的等量数据集个数为不采用复用技术时，需要计算的数据集的个数为p!，复用与不复用时计算量的比值为当p分别为2，3，4，5，6时，如果尽量复用，则需要计算的数据集个数分别为2，5，16，65，326；如果完全不复用，则需要计算的数据集为2，6，24，120，720，两者比例为1，0.833，0.667，0.542，0.453.由式(6)可知，当p=2时不可以复用，当p增大时复用的程度会增大.由以上分析可知，采用复用技术与不采用复用相比，能较大程度地减小计算量、提高聚类的速度.2.4 算法实现根据2.1～2.3节的设计，下面给出p -CLOPE算法.算法2. p -CLOPE算法.*第1阶段：初始化*① 划分数据文件成p片；② 变换p片数据之间的顺序得p!个数据集{D1,D2,…,Dp!};③ for Dk∈{D1,D2,…,Dp!}④ while 未到文件Dk的尾部⑤ 读下一条交易〈t,unknown〉；⑥ 将t放入一个使收益最大的现有簇或新簇Ci中;⑦ 将〈t,i〉写回数据集；⑧ endfor⑨ 选择具有最大收益的Dm.*第2阶段：迭代 *⑩ repeat划分数据文件Dm成p片；变换p片数据之间的顺序得p!个数据集{D1,D2,…,Dp!};moved=false;未读到数据文件Dk的尾部读下一条交易〈t, i〉;移动t到一个使收益最大的现有簇或新簇Cj中;将〈t,j〉写回数据集;endfor选择具有最大收益的Dm;until not moved.2.5 并行实现p -CLOPE算法的每一轮迭代都先将输入数据集划分成p等份，然后排列成p!份新的数据集，分别对这些数据集聚类，再将该轮迭代的最优聚类结果作为下一轮迭代的输入，反复迭代，直至得到最优的聚类划分.在每一轮迭代中，由于对每一份数据集Di都要单独执行一系列运算，计算出一个聚类划分，再比较对应的聚类划分根据式(3)计算的收益值，找出收益值最大的聚类.因此我们将每一份数据集Di的计算放在不同的计算单元上独立完成，而比较全局收益值的计算可以统一在一个计算单元上处理.这一过程完全可以先并行运算再全局比较大小，这为并行聚类的实现提供了可能性.MapReduce是一种数据并行编程模型[11]，但它同时又能实现一定程度的共享变量和消息传递，因此与其他的并行计算模型(如MPI[12]，OpenMP[13]等)相比较，MapReduce具有非常大的优势.用MapReduce编程模型实现p -CLOPE算法的编程方法是：对不同数据集Di的聚类用不同的Map来完成，比较全局收益值用Reduce来完成.我们在分布式基础架构Hadoop[11,14]上实现了p -CLOPE算法，使用HDFS存储数据，使用Map -Reduce实现算法并行化.具体来说，首先将待聚类的数据集D以指定的文本格式上传到HDFS，作为程序的输入文件.根据输入文件的大小将D划分成p等份，再将这p等份数据块排列生成p!份数据集{D1,D2,…,Dp!}.将每一份数据集Di分发到一个Map任务进行一次迭代的聚类操作，并将得到的聚类划分以及根据式(3)计算得到的收益值等中间结果写回HDFS.所有的Map任务结束后，通过一次Reduce过程，比较p!份数据集的聚类收益值，选出收益值最大的聚类结果数据集作为下一轮迭代的输入.依此迭代，当最优的聚类中所有的交易都没有移动时，聚类过程结束.这样得到的聚类划分就是整个算法所要求的最优聚类结果.执行流程如图2所示:2.6 时间与空间复杂度CLOPE算法一次迭代的时间复杂度是O(N×K×A)，其中A是每条交易的平均长度，N是交易的条数，K是簇的个数[7].它的空间复杂度是O(M×K)，其中M是维度，K是簇的个数.比如，对拥有10 000个维度和1 000个簇的数据集使用的内存为40 MB[7]，由此可看出CLOPE算法具有非常快的执行速度而且非常省内存.p -CLOPE算法由于一次迭代需要计算p!份数据集，在单机单线程上运行时，采用每排列生成一份数据集就执行一次的方式，p -CLOPE的一次迭代的时间复杂度是CLOPE算法一次迭代的p!倍，即为O(p!×N×K×A)，空间复杂度同CLOPE算法相当，但是由于p -CLOPE每次迭代后都选出最好的聚类结果，通常会比CLOPE算法在更少的迭代次数后就收敛了(即聚类结束).在处理少量数据时，网络通信代价比数据处理的计算代价大很多，运行在分布式平台Hadoop上的p -CLOPE算法并没有优势，甚至不如串行p -CLOPE.但是在处理大量数据时，并行p -CLOPE所花费的时间比串行p -CLOPE大大缩短，使用HDFS又能很好地实现大规模数据的存储.2.7 加速比分析加速比[15]是串行运行时间与并行运行时间的比率.p -CLOPE算法在每一轮的迭代中，串行时要依次处理p!份数据集，并行处理时这p!份数据集同时被处理，在Hadoop集群中每个任务处理一份数据集.在定量分析加速比之前先简单介绍Hadoop集群中的任务执行机制.Hadoop(版本：1.xx系列)集群是MasterSlave架构，包含一台Master服务器和若干台Slave服务器.Master服务器上运行的进程有NameNode，SecondaryNameNode和JobTracker；Slave服务器上运行的进程有DataNode和TaskTracker.TaskTracker需要设置(每个节点上)可运行的任务数的上限(默认是4).2类服务器上运行的进程也代表着它们的功能角色.JobTracker向TaskTracker 下达启动任务命令后，TaskTracker会为每个任务创建一个单独的Java虚拟机(这是为了防止任务之间的干扰)，并有专门的线程监控其资源的使用情况[16].目前，计算机的CPU一般都是多核多线程(例如，Intel i7 CPU是4核8线程)，内存也较大.我们假设每个TaskTracker上设置的任务数为T时，一个TaskTracker管理的所有任务不是以时间分片的方式交替使用CPU，而是拥有足够的CPU和内存等计算资源来并行执行，此时所有的TaskTracker管理的所有任务也都可以并行执行.如果集群中共有N台TaskTracker，那么整个集群能够运行的任务总数Total_Task如式(7)所示：当p!≤Total_Task时，所有的p!份数据集都可以并行计算，这时整个p -CLOPE算法可以完全并行运行，其加速比的理想值为p!.当p!>Total_Task时，所有的p!份数据集不可能并行计算，必然会有先后之分.Hadoop集群会分批执行任务，每批的任务数为Total_Task，所以分的批数B如式(8)所示：可以推导出此时理想的加速比如式(9)所示：从式(9)不难得出加速比的上限值是Total_Task.当处理大量数据时，并行p -CLOPE具有显著的优势.但如果此时集群的CPU和内存等计算资源相对不够，或者每个TaskTracker设置的任务数过大时，都会导致任务不能拥有足够的CPU和内存等计算资源来并行运行，进而不能达到理想的加速比.集群环境受到网络和IO开销的影响时，也不能达到理想的加速比.对理想的加速比举例说明如下：如果集群中的任务数为8，每个TaskTracker上设置的任务数为4时(CPU、内存等计算资源足够)，8个任务可以完全并行，这时整个集群中能同时运行的最多任务数为32.在这种环境的集群上用p -CLOPE算法对某个数据集进行聚类，当p=4时，p!=24，24<32，p -CLOPE算法可以完全并行，理想的加速比为24；当p=5时，p!=120，120>32，p -CLOPE算法不能完全并行，由式(9)计算得到理想的加速比为30；当p=6时，同理可以计算出理想的加速比为31.3.由于本文最大的贡献在于提出的p -CLOPE算法对CLOPE算法聚类质量进行了提升，其次在于将p -CLOPE算法并行化，所以实验主要对比p -CLOPE算法和CLOPE算法的聚类质量.① http:mlindex.html② http:index.html算法提出的全局评估函数(见式(3))作为评价聚类结果的指标.全局收益值Profitr(C)越大，聚类划分越优.实验采用了3组数据集：组1是CLOPE算法测过的蘑菇数据集，属性项数固定；组2是植物数据集，其属性项数是不定的；组3是美国人口普查数据集，其属性项数也是固定的.在组3百万条数据级别的情况下，我们不仅比较了p -CLOPE与CLOPE的聚类质量，还比较了CLOPE、串行p -CLOPE、并行p -CLOPE三者的执行时间.实验所使用的CLOPE算法的实现程序来自于数据挖掘软件Weka[17]中的版本(在实验中标记为Weka-CLOPE)和我们实现的版本(在实验中标记为CLOPE)，因为Weka软件中实现的CLOPE算法实际上只用到了原CLOPE算法的初始化阶段，并没有完全按照文献[7]提出的CLOPE算法来实现，而我们实现的CLOPE算法是完全按文献[7]来实现的.实验所用p -CLOPE算法有串行实现和在Hadoop上并行实现2个版本.Weka-CLOPE、CLOPE、串行p -CLOPE是在单机(8 GB的内存、i7处理器的联想PC机)上执行的，并行p -CLOPE是在9台这样的机器搭建的Hadoop集群上执行的.3.1 蘑菇数据集蘑菇数据集(Mushroom)来自加州大学欧文分校机器学习库①(UCI machine learning repository)，它被很多算法测试过[5]，也是原CLOPE算法测试过的数据集,该数据集有8 124条交易，每条交易有22个属性，分可食用(edible)和有毒的(poisonous)2个类别，各有4 208和3 916条交易.所有的属性项共有116个不同的值，2 480个缺失属性值用问题号“?”表示.以下分别用Weka-CLOPE，CLOPE，p -CLOPE进行聚类，用收益值Profitr(C)作为衡量聚类质量的指标进行测试.进行比较时以CLOPE算法的收益值为基准线，Weka-CLOPE，p -CLOPE算法的收益值与之相比较.对p -CLOPE算法测试了参数p取不同值时的情况，每组对应的算法用p -CLOPE p来表示，用排斥因子作为X轴、用收益比值作为Y轴，实验结果如图3所示.实验中排斥因子r取0.1～3.9，以0.2为步长；参数p取1～6，以1为步长.图3中收益值比率为1的是CLOPE算法，以其作为基准线，Weka-CLOPE在CLOPE 之下，p -CLOPE在CLOPE之上.因为Weka-CLOPE只实现了CLOPE算法的初始化阶段，没有继续迭代以寻找更好的聚类结果，这样做虽然节约了时间，但毕竟损失了精度，所以结果自然会差于CLOPE.p -CLOPE需要同时处理p!份数据集，由于p!增长太快，所以在实验中p值最大只取到了6，这时并行计算的任务数为720个.当p=1时，p -CLOPE算法退化为CLOPE算法.从图3中还可以看出，在排斥因子r一定时，随着参数p的增大，p -CLOPE的收益值一般是越来越大，但是会存在一个上限，图3中p -CLOPE取不同参数时曲线有一定程度的重合正好直观地说明了这一点.对大多数实际的数据集，r>1才有意义，否则2条没有相同属性项的交易会被放入同一个簇[7].在介绍CLOPE算法的文献[7]中，当r=3.1时取得最好的聚类结果，而在我们的实验中p -CLOPE 4在相同的r=3.1时取得了比CLOPE高35.7%的收益值.3.2 植物数据集植物数据集(Plants)同样来自加州大学欧文分校机器学习库，是从美国农业部的植物数据库②中提取出来的，其中包含所有的植物种类以及每种植物在美国和加拿大的哪些州出现过的信息.总共的交易条数为34 781，每条交易由植物的拉丁名和出现过的州名的缩写组成，这些州名可以看作是交易的属性项，不超过70个.与蘑菇数据集的数据属性项相比，植物数据集的每条交易的属性项个数不一定相同(因为有的植物只在部分州出现)，而且属性项的位置也是任意的，与出现的顺序无关.分别用Weka-CLOPE，CLOPE，p -CLOPE进行聚类，实验结果如图4所示.① http:从图4可以看出，在绝大多数情况下，p -CLOPE算法的聚类质量相比CLOPE算法有较大提升.3.3 美国人口普查数据集美国人口普查数据集(US Census data set)同样来自加州大学欧文分校机器学习库，是从美国商务部人口普查局①获取的，具体是从1990年美国人口普查全样本数据中按1%的比例抽取的公共使用微数据样本.总共交易条数为2 458 285，包括祖先、族群、拉美族裔来源、行业职业、语言、出生地等领域的68个属性.与前2个数据集相比，这个数据集的交易条数达到百万级别.分别用Weka-CLOPE，CLOPE，p -CLOPE进行聚类，实验结果如图5所示：从图5可以看出，p -CLOPE算法的聚类质量相比CLOPE算法都有提升，特别是。

建筑行业智能化建筑节能监测系统开发方案第一章概述 (2)1.1 项目背景 (2)1.2 项目目标 (2)1.3 系统架构 (3)第二章需求分析 (3)2.1 用户需求 (3)2.1.1 基本需求 (3)2.1.2 高级需求 (4)2.2 功能需求 (4)2.2.1 数据采集 (4)2.2.2 数据处理 (4)2.2.3 数据分析 (4)2.2.4 数据展示 (4)2.2.5 系统管理 (5)2.3 功能需求 (5)2.3.1 可靠性 (5)2.3.2 实时性 (5)2.3.3 扩展性 (5)2.3.4 安全性 (5)2.3.5 兼容性 (5)第三章系统设计 (5)3.1 系统模块划分 (5)3.2 硬件设计 (6)3.3 软件设计 (6)第四章数据采集与处理 (7)4.1 数据采集方式 (7)4.2 数据传输协议 (7)4.3 数据处理与分析 (8)第五章节能监测算法 (8)5.1 能耗预测算法 (8)5.2 节能潜力分析算法 (9)5.3 异常检测算法 (9)第六章系统集成与测试 (9)6.1 硬件集成 (9)6.1.1 硬件设备选型 (10)6.1.2 硬件设备安装 (10)6.1.3 硬件设备调试 (10)6.2 软件集成 (10)6.2.1 软件模块划分 (10)6.2.2 软件模块开发 (10)6.2.3 软件模块集成 (10)6.3 系统测试 (11)6.3.1 测试计划 (11)6.3.2 功能测试 (11)6.3.3 功能测试 (11)6.3.4 安全测试 (11)6.3.5 系统兼容性测试 (11)第七章系统实施与部署 (12)7.1 实施步骤 (12)7.2 部署方案 (12)7.3 维护与优化 (13)第八章安全与隐私 (13)8.1 数据安全 (13)8.2 网络安全 (14)8.3 用户隐私 (14)第九章经济效益分析 (15)9.1 投资成本 (15)9.2 运营成本 (15)9.3 收益分析 (15)第十章结论与展望 (16)10.1 项目总结 (16)10.2 未来展望 (16)第一章概述1.1 项目背景我国经济的快速发展和城市化进程的加速，建筑行业在国民经济中的地位日益显著。

大数据下的串并案分析随着互联网技术和大数据技术的发展，越来越多的数据被采集、存储和分析。

在这种背景下，数据分析也成为了一个重要的研究领域。

串并案分析是其中的一个重要方面，其通过分析数据中的“串”(共同点)和“并”(差异点)，来挖掘出数据中隐藏的规律和趋势。

本文将从以下几个方面对大数据下的串并案分析进行详细说明。

1. 串并案分析的概念和意义串并案分析，是对大量数据进行“串”的识别和“并”的比较，从而剖析数据之间的共性和差异，挖掘出数据之间的联系和趋势。

在具体的应用中，串并案分析可以用于市场营销、金融和医疗等多个领域，帮助决策者更好地决策和规划。

例如，在市场营销中，串并案分析可以帮助公司更好地理解客户需求，从而制定更好的销售策略；在金融中，串并案分析可以为风险控制提供更准确的依据；在医疗中，串并案分析可以为疾病诊断和治疗提供更科学的解决方案。

2. 串并案分析方法串并案分析的方法有很多种，包括聚类分析、因子分析、主成分分析、多维标度分析等等。

其中，聚类分析是串并案分析的常用方法之一。

聚类分析通过对数据进行分类，找到数据中的共性和差异，从而发现数据之间的逻辑关系。

其基本思想是将数据划分为若干组，使得每组内的数据最为相似，而组与组之间的差异最大。

因此，聚类分析可以帮助我们把数据进行有效的分类，为后续的决策提供有力支持。

另外，因子分析也是串并案分析的一种常用方法。

因子分析通过挖掘数据中的潜在因子，找到多个变量之间的内在联系。

它可以帮助我们对数据进行简化，从而更好地理解数据之间的变化。

例如，在市场营销中，因子分析可以找到客户需求中的关键因素，从而帮助制定更好的市场策略。

在实际应用中，串并案分析可以用于多个领域的决策。

以下是一些具体的应用案例：(1) 在市场营销中，串并案分析可以帮助企业了解客户的需求和喜好。

例如，对于某一产品，可以通过对不同年龄、性别、收入等条件的客户进行聚类分析，找到各个群体之间的共性和差异。