数据挖掘技术研究

大数据背景下数据挖掘技术的应用研究

摘要：随着科技的发展，数据信息大量出现，越来越多的人想要从许多混杂的资源中找出最具有价值的信息。本文将从数据挖掘技术的基本概念入手，并结合当下现实来分析大数据的出现给数据挖掘技术应用带来的变化。在数据挖掘技术应用中主要从数据分析的利用和数据聚类的利用两大方面进行阐释，总体研究大数据背景下数据挖掘技术的应用。

关键词：大数据时代;数据挖掘技术;数据挖掘技术的应用

大数据的发展会带来大量的信息资源，人们的思维方式也会随之发生改变。于此同时信息发展也逐渐成为了开启信息时代的钥匙。全球各国普遍认识到数据的重要性及其对国家的发展发挥的许多重要意义，许多国家以此为基点制定适合自己国家发展的战略性计划，由此占领数据的高地，实现国家创新性发展。因此，大数据在当今时代具有极强的研究价值和应用价值。笔者将主要从大数据可视化给数据挖掘技术带来的影响为着眼点，进而进一步分析高性能计算（HPC）给数据挖掘技术带来的一定程度的影响，且通过这些变化研究大数据背景下数据挖掘技术的具体应用。

正文：当今的数据挖掘技术的理论已经成熟，数据挖掘技术的应用愈加广泛。受众趋向了解更多的数据挖掘技术，从而利用起大量的信息资源。我们对于大数据背景下的数据挖掘技术的具体应用，将会获得信息的有效运用和资源的科学整合。同时，掌握和了解到有关于数据挖掘技术的知识对普通受众来说不仅可以掌握到大量的数据资源，从而更好地利用这些资源为我们的生活实践服务，而且对于专业技术人员来说，广泛被大众所接受的数据挖掘知识前景将更加开阔，理论弹性增大，这将促进数据挖掘技术的进一步发展。

一、数据挖掘技术的概述

数据挖掘技术主要是一个搜索的过程，它主要利用算法进行搜索，并通过一定媒介，从大量的信息中提取对搜索者有用的信息资源。这个过程的原始数据被分成建模样本和分析样本两部分。建模样本将会经过数据预处理后变成预处理后的专家样本。而分析样本则会经过特征选择后变成预处理后的分析样本。专家样本和分析样本经过结果评价和建模规则等筛选，在最后产生搜索者所需要的挖掘结果。上述就是一般数据挖掘的数据模型的建立过程。整个过程也被认为是三个主要阶段：预处理阶段、挖掘阶段和知识表示及模式评价阶段。数据的预处理阶段主要是将系统采集到的最初始的数据转化为符合探索者需求的有用数据。数据挖掘就是根据存储的数据中数据的一般特性，选择合适工具，通过使用案例推理、规则推理等方法处理一般信息，其需要着重注意的地方在于挖掘任务。知识表示和模式评价阶段主要是进行评价工作，要求系统较为精准的将数据进行阐释，最终形成一套易于搜索者理解的表述方式。

技术平台

2021年第1

期科技·经济·市场

7基于Hadoop电商大数据的挖掘与分析技术研究

陈娥祥

（福州工商学院，福建 福州 350715）

摘 要：随着社会经济水平的不断提高和互联网时代的不断发展，全球数据逐渐呈现出大规模增长的趋势，为了满足海量数据处理需求，大数据挖掘与分析技术应运而生。Hadoop的出现和应用不仅能科学、高效地处理海量数据，还能可视化展现海量数据最终处理结果，为电商企业的健康、可持续发展提供重要的数据参考和支持。基于以上情况，以福州地区美容行业的电商系统为例，在介绍相关理论与技术的基础上分析了数据挖掘算法，从系统的整体设计、数据准备、数据挖掘分析三个方面入手，研究了电商大数据挖掘系统的设计，从实验环境、实验数据准备和实验结果分析三方面入手，探讨了系统可视化实现与效果。希望通过这次深度分析与研究，对公司的运营决策提供有力帮助，为电商平台各方参与者、相关领域技术人员提供有效的借鉴和参考。关键词：Hadoop；电商大数据；挖掘分析；可视化技术

随着社交媒体的不断发展，企业处理数据的途径

日益增加、规模日益扩大，并形成了海量的数据流。在

这样的背景下，我国逐渐进入了大数据时代，大数据

的生成速度呈现出指数爆炸形式，加上数据在处理的

过程中无法分解为常用的数据库，这无疑增加了企业

访问和处理数据的难度。目前，在我国电商行业的迅

猛发展下，数据规模递增，为了实现对消费者购买行

为相关数据的深入、全面挖掘，进一步提高电商企业

的销售业绩，在Hadoop框架的应用背景下，加大对大

数据挖掘与分析技术的科学应用，实现数据挖掘技术

与电商平台的有效融合，是相关领域技术人员必须思

考和解决的问题。

1 相关理论与技术研究

1.1 Hadoop平台相关技术研究

Hadoop作为一种开源编程框架，被广泛应用于

Apache基础项目中。该框架的编写语言主要以Java语

言为主，能够为海量数据集的分布处理提供重要支

持。同时，在部署的过程中，使用的服务器购买价格普

数据挖掘技术在高校实验室信息管理中的应用研究

连世新1宋丽荣2

(1．宁夏医科大学，宁夏银川750004；2．宁夏财经职业技术学院，宁夏银川750000)

￡}商要]本姗完了数据挖掘技术在高校实验室信息管理中的应用，通过对高校实验室信息管理系统数椐的数据挖掘，迅速萃取有用信息，

以指导和辅助实验室管理。法键词】实验室信息系统；数据仓库；OLAP数据挖掘

目前，数据挖掘技术已成功应用在超市、金融、银行、生产企业和电信，并有很好的表现。但在目前高校实验室信息管理对数据所隐藏

的价值还没有挖掘利用。

1应用中涉及的主要技术1)数据仓库：著名数据仓库专家WHJnmon在其著作中给出如

下定义：数据仓库是—个面向主题的、集成的、相对稳定的、反映历史

变化的数据集合，用于支持管理决策。2)OLAP技术：OLAP是数据

仓库系统的主要应用。它是使分析人员、管理人员或执行人员能够从多

角度对从原始数据中转化出来的、能够真正为用户所理觎的、并真实反

映企业特性的信息进行快速、稳定一致、交互地存取，从而获得对数据

的更深入了解的一类软件技术。3)数据挖掘：就是从大量的、不完全的、有噪声的、犊糊的、随机的数据中，提取隐含在其中的、人们事先

不知道的、但又是潜在有用的信息和知识的过程。

2需求分析和设计

实验室信息分析系统的功能就是为管理高层提供理解实验项目、

设备及设备配置的方法和途径。依据以上分析实验室信息分析系统应提供以下功能：1)研究：学校人员设备管理研究。2)效益分析：分析设

备使用情况并能决定合理的资源配置。3)决策分析：进行数据挖掘，

为管理部门制定和完善实验室发展规划时提供分析和决策。4)各种综合报告：能按照用户定制的信息产生报表。

根据数据挖掘的过程，结合学校实验宰管理的主要目标，首先进

行数据采集和数据预处理，建立数据仓库，作好数据分析准备，然后选

择适当的挖掘方法提取有用的知识模式，最后达到应用目的。基本体系结构见下图：

；圉囱圉耆蜜匡

3实验室信息分析系统的实现

基于数据挖掘技术的电商数据分析研究

随着电子商务的不断发展和普及，企业在电商平台上的销售数据也日渐丰富。这些数据在规模化和复杂化的同时，常常难以被企业直接化解和分析。因此，如何利用数据挖掘技术帮助企业更好地解析电商数据，成为了当前企业智能决策的重要方向之一。

一、电商数据的现状

电商数据的数量及其质量是决定数据分析和挖掘结果的关键因素。如今，大型电商平台的数据往往呈现出数量庞大、更新频繁、交互性强、多维化等特点。具体来说，这些数据可以包括商品销售数据、用户行为数据、物流配送数据、支付结算数据等多种类型的数据。

在现实中，电商平台数据的采集常常存在诸多挑战。例如，平台内部可能涉及到多种业务部门与系统，数据格式也不统一而且容易出现错误；平台外部因数据格式和种类的不同，需要渠道合作才能获得更多的数据；同时，质量问题和数据误差也是数据挖掘的重要问题。

二、数据挖掘与电商数据分析

数据挖掘是一种从大量数据中发现规律、模式和信息的过程，它在当前的信息时代中得到了广泛的应用和推广。在电商领域中，数据挖掘技术可以有效地帮助企业更好地理解和处理电商数据。 数据挖掘技术基本上包含数据预处理、数据分析和数据可视化这三个步骤。数据预处理包括数据清洗、数据集成、数据变换和数据规约等一系列处理操作。数据分析将数据挖掘工具应用于已准备好的数据集中，通过选择合适的挖掘算法来寻找数据集中的规律、模式和知识等。数据可视化则是将挖掘出的模式和知识表达出来，让普通人能够直观地理解。

在电商领域中，数据挖掘技术可以应用到诸多方面。例如，通过对用户行为数据进行分析，可以发现用户喜好、品味和兴趣，从而精准地推荐商品。通过对产品销售数据和用户评论进行分析，可以优化产品设计、改进服务品质，并持续提高用户满意度。通过对物流配送数据和支付结算数据进行分析，可以实现更优秀的配送方案和更精细的管理流程，从而更好地控制运营成本。

三、主要的电商数据分析方法