大数据挖掘第二次作业

数据挖掘作业21. 引言数据挖掘是一种从大量数据中发现、提取和分析有用信息的过程。

本文旨在探讨数据挖掘作业2的相关内容，包括数据集选择、数据预处理、特征选择和模型建立等。

2. 数据集选择在数据挖掘作业2中，我们选择了一个涉及电子商务的数据集。

该数据集包含了用户的购买记录、产品信息、用户评价等多个维度的数据。

通过对该数据集的挖掘，我们希望能够发现用户的购买偏好、产品的销售趋势等有价值的信息。

3. 数据预处理在进行数据挖掘之前，我们需要对数据进行预处理，以确保数据的质量和可用性。

首先，我们对数据进行清洗，去除缺失值和异常值。

然后，我们对数据进行归一化处理，以消除不同特征之间的量纲差异。

最后，我们对数据进行采样，以减少计算复杂度并保持数据的代表性。

4. 特征选择特征选择是数据挖掘的重要步骤，旨在从原始特征中选择出最具有预测能力的特征。

在数据挖掘作业2中，我们采用了信息增益和相关系数等方法来评估特征的重要性，并选择出了与目标变量相关性较高的特征。

此外，我们还进行了特征的降维处理，以减少特征空间的维度。

5. 模型建立在数据挖掘作业2中，我们选择了决策树算法作为模型建立的方法。

决策树是一种基于树状结构的分类模型，通过对特征进行逐步划分，最终得到一个可以对新样本进行分类的模型。

我们使用了ID3算法来构建决策树模型，并通过交叉验证的方法对模型进行评估和调优。

6. 模型评估为了评估模型的性能，我们采用了准确率、召回率、F1值等指标来衡量模型的分类效果。

此外，我们还使用了混淆矩阵来展示模型的分类结果，并计算了ROC曲线下的面积（AUC）来评估模型的整体性能。

7. 结果分析通过对数据挖掘作业2的实验和分析，我们得到了一些有价值的结论。

首先，我们发现用户对某一类产品的购买意愿与其评价的积极程度呈正相关关系。

其次，我们发现某些产品的销售量与其价格呈负相关关系，即价格越高，销售量越低。

最后，我们通过决策树模型对用户的购买行为进行了预测，并取得了较好的分类效果。

项目三大数据采集处理与挖掘任务一大数据采集子任务一报表采集➢作业及思考1.选择任一企业，在金蝶大数据处理平台从东方财富网站中爬取2019和2020年两年的利润表数据做对比。

➢参考答案1.以招商银行为例，招商银行的企业代码（完整股票代码）为sh600036。

在“大数据采集”下的“财务报表”页面中，选择数据源为“东方财富”。

参数中填写年份“2019,2020”，报表类型选择“利润表”，企业代码（完整股票代码）填写“sh600036”。

点击【运行】，运行完成后查看数据结果并下载excel文件。

子任务二电商平台评论的采集➢作业及思考1.获取唯品会上其他任一商品的全部历史评价数据，最热的评论排在最前面。

➢参考答案1.以小米体脂称为例，获取需要分析的爆款产品在唯品会网站上的产品查看链接为：https:///detail-1711297312-6918849116177740352.html 在“大数据采集”下的“电商平台评论数据”页面中，选择数据源为“唯品会”。

参数中填写商品链接为前面查询到的产品链接，评论页数不填写（默认为全部页数），每页评论数选择“30”，按点赞数排序选择“降序”。

点击【运行】，运行完成后查看数据结果并下载excel文件。

任务二大数据处理子任务一数据清洗➢作业及思考1.在以上任务的基础上，删除字段“商品价格”、“商品编号”、“评论标签”和“#”，并将商品名称统一改成“2020款iPad”。

2.删除“匿名vip用户”的评论数据。

➢参考答案1.在“大数据处理”下的“数据清洗”页面中，将任务二-子任务一中下载的文件上传。

配置清洗规则：●去除多余数据：选择“局部清洗”并选择“列删除”，单击规则右侧的“加号”，勾选准备删除的字段“商品价格”、“商品编号”、“评论标签”和“#”，并单击右上角【选择】。

●字符替换：选择“局部清洗”并选择“字符替换”。

单击规则右侧的“加号”，勾选准备替换的字段“商品名称”，并单击右上角【选择】，输入需要替换的字符和替换的字符，即分别填入“2020款 iPad 10.2英寸【壳膜套餐】WLAN版平板电脑”和“2020款iPad”。

数据挖掘作业2一、任务背景数据挖掘是一种通过发现和分析大量数据中的模式和关联来提取有用信息的过程。

数据挖掘技术在各个领域中得到广泛应用，例如市场营销、金融风险管理、医疗诊断等。

本次数据挖掘作业2旨在通过使用机器学习算法对给定的数据集进行分析和预测，以解决一个实际问题。

二、任务描述本次数据挖掘作业2的任务是基于一个电信公司的客户数据集，构建一个客户流失预测模型。

客户流失是指客户停止使用某个产品或服务的情况，对于电信公司来说，客户流失可能导致业务下降和收入减少。

因此，通过预测客户流失，电信公司可以采取相应的措施来留住客户，提高客户忠诚度。

三、数据集介绍本次任务使用的数据集包含了一些客户的个人信息、合同信息、付款信息等。

数据集中的每一行代表一个客户的信息，每一列代表一个特征。

数据集中包含了以下特征：1. 客户ID：每个客户的唯一标识符。

2. 性别：客户的性别，可能取值为男或女。

3. 年龄：客户的年龄，以岁为单位。

4. 合作伙伴：客户是否有合作伙伴，可能取值为有或无。

5. 好友：客户是否有好友，可能取值为有或无。

6. 月租费：客户每月支付的费用，以美元为单位。

7. 总消费：客户总共支付的费用，以美元为单位。

8. 在网时间：客户使用该服务的时间，以月为单位。

9. 流失：客户是否已经流失，可能取值为是或否。

四、数据挖掘流程1. 数据预处理：a. 导入数据集：读取数据集，并查看数据的基本信息，如数据类型、缺失值情况等。

b. 数据清洗：处理数据中的缺失值、异常值等问题，确保数据的质量。

c. 特征选择：根据领域知识和特征相关性等方法，选择对预测客户流失有重要影响的特征。

d. 数据转换：对数据进行标准化、归一化等处理，以便于模型的训练和预测。

2. 模型训练：a. 划分数据集：将数据集划分为训练集和测试集，通常采用70%的数据作为训练集，30%的数据作为测试集。

b. 选择模型：根据任务的特点和需求，选择适合的机器学习算法，如逻辑回归、决策树、支持向量机等。

数据挖掘第二次作业第一题：1.a) Compute the Information Gain for Gender, Car Type and Shirt Size.b) Construct a decision tree with Information Gain.答案：a)因为class分为两类：C0和C1，其中C0的频数为10个，C1的频数为10，所以class元组的信息增益为Info(D)==11.按照Gender进行分类：Info gender(D)==0.971Gain(Gender)=1-0.971=0.0292.按照Car Type进行分类Info carType(D)==0.314Gain(Car Type)=1-0.314=0.6863.按照Shirt Size进行分类：Info shirtSize (D)==0.988Gain(Shirt Size)=1-0.988=0.012b) 由a 中的信息增益结果可以看出采用Car Type 进行分类得到的信息增益最大，所以决策树为：第二题：2. (a) Design a multilayer feed-forward neural network (one hidden layer) for the data set in Q1. Label the nodes in the input and output layers.(b) Using the neural network obtained above, show the weight values after one iteration of the back propagation algorithm, given the training instance “(M, Family, Small)". Indicate your initial weight values and biases and the learning rate used.a)Car Type?Shirt Size?C0C1familySportluxuryC0 C1smallmedium,large, extra large输入层隐藏层输出层x12x21x22x23x31x32x33x34b)由a可以设每个输入单元代表的属性和初始赋值由于初始的权重和偏倚值是随机生成的所以在此定义初始值为：净输入和输出：每个节点的误差表：单元j Err j 10 0.0089 11 0.0030 12 -0.12权重和偏倚的更新： W 1,10 W 1,11 W 2,10 W 2,11 W 3,10 W 3,11 W 4,10 W 4,11 W 5,10 W 5,11 0.201 0.198 -0.211 -0.099 0.4 0.308 -0.202 -0.098 0.101 -0.100 W 6,10 W 6,11 W 7,10 W 7,11 W 8,10 W 8,11 W 9,10 W 9,11 W 10,12 W 11,12 0.092 -0.211 -0.400 0.198 0.201 0.190 -0.110 0.300 -0.304 -0.099 θ10 θ11 θ12 -0.287 0.1790.344第三题：3.a) Suppose the fraction of undergraduate students who smoke is 15% andthe fraction of graduate students who smoke is 23%. If one-fifth of the college students are graduate students and the rest are undergraduates, what is the probability that a student who smokes is a graduate student? b) Given the information in part (a), is a randomly chosen college studentmore likely to be a graduate or undergraduate student?c) Suppose 30% of the graduate students live in a dorm but only 10% of theundergraduate students live in a dorm. If a student smokes and lives in the dorm, is he or she more likely to be a graduate or undergraduate student? You can assume independence between students who live in a dorm and those who smoke.答：a) 定义：A={A 1 ,A 2}其中A 1表示没有毕业的学生，A 2表示毕业的学生，B 表示抽烟则由题意而知：P(B|A 1)=15% P(B|A 2)=23% P(A 1)= P(A 2)=则问题则是求P(A 2|B)由()166.0)()|B ()()|B (B 2211=+=A P A p A P A P P则()277.0166.02.023.0)()()|(|222=⨯=⨯=B P A P A B P B APb) 由a 可以看出随机抽取一个抽烟的大学生，是毕业生的概率是0.277，未毕业的学生是0.723，所以有很大的可能性是未毕业的学生。

数据挖掘作业2数据挖掘是一种从大量数据中发现实用信息和模式的过程。

数据挖掘作业2旨在让学生运用数据挖掘技术，分析和挖掘给定数据集中的实用信息和模式。

本次数据挖掘作业2的任务是基于一个电子商务网站的用户行为数据集，通过分析和挖掘数据，了解用户的行为模式和购买意向，进而提供有针对性的推荐策略和市场营销方案。

首先，我们需要对数据集进行预处理。

这包括数据清洗、去除重复数据、处理缺失值等。

通过这些步骤，我们可以确保数据的准确性和完整性。

接下来，我们可以进行数据探索和可视化分析。

利用统计学和可视化工具，我们可以对数据集进行探索，了解用户的行为特征和购买习惯。

例如，我们可以通过绘制柱状图或者饼图来展示用户的购买类别偏好，或者使用散点图来展示用户的浏览时间和购买金额之间的关系。

在数据探索的基础上，我们可以应用数据挖掘技术来挖掘隐藏在数据中的模式和规律。

其中，常用的数据挖掘技术包括关联规则挖掘、聚类分析、分类算法等。

通过这些技术，我们可以发现用户之间的关联关系、不同用户群体之间的差异以及用户购买意向的预测等。

例如，我们可以利用关联规则挖掘算法，找出用户购买某一商品时，同时购买其他商品的规律。

这可以匡助电子商务网站进行交叉销售和推荐相关商品。

此外，我们可以利用聚类分析算法，将用户分成不同的群体，进而制定针对性的营销策略。

此外，通过分类算法，我们可以预测用户的购买意向，从而提前采取措施，增加用户的转化率。

最后，我们可以根据数据挖掘的结果，提出相应的推荐策略和市场营销方案。

这些策略和方案应该基于对用户行为的深入理解和数据挖掘的结果。

例如，我们可以通过个性化推荐系统，向用户推荐他们可能感兴趣的商品。

或者，我们可以通过优惠券、促销活动等方式，刺激用户的购买欲望。

综上所述，数据挖掘作业2旨在让学生通过对电子商务网站用户行为数据的分析和挖掘，了解用户的行为模式和购买意向，并提供有针对性的推荐策略和市场营销方案。

通过完成这个任务，学生可以提升数据挖掘和分析的能力，并将其应用于实际问题的解决中。

数据挖掘作业2一、任务背景与目的数据挖掘作业2旨在通过应用数据挖掘技术，从给定的数据集中发现有价值的信息和模式，以帮助决策者做出准确的决策。

本次作业的任务是基于一个电子商务网站的用户行为数据，分析用户购买行为，并构建一个预测模型，以预测用户是否会购买某个特定的产品。

二、数据集介绍本次作业使用的数据集包含了一段时间内的用户行为数据，包括用户的浏览、加购物车、购买等行为。

数据集中的字段包括用户ID、时间戳、产品ID、行为类型等。

数据集共有100万条记录。

三、数据预处理1. 数据清洗：对数据集进行清洗，去除重复记录、缺失值等异常数据。

2. 特征选择：根据业务需求和特征的相关性，选择合适的特征进行分析和建模。

3. 特征编码：对类别型特征进行编码，如使用独热编码将类别型特征转换为数值型特征。

4. 数据划分：将清洗和编码后的数据集划分为训练集和测试集，一般采用70%的数据作为训练集，30%的数据作为测试集。

四、数据分析与建模1. 数据可视化：通过绘制柱状图、折线图等方式，对用户行为数据进行可视化分析，了解用户行为的分布和趋势。

2. 关联规则挖掘：使用关联规则算法（如Apriori算法）挖掘用户行为之间的关联关系，发现用户购买某个产品的规律。

3. 用户分类：根据用户的购买行为特征，使用聚类算法（如K-means算法）将用户划分为不同的类别，以便更好地理解用户的购买行为。

4. 预测模型构建：选择合适的机器学习算法（如决策树、随机森林等），构建用户购买行为的预测模型。

五、模型评估与优化1. 模型评估：使用准确率、召回率、F1值等指标对构建的预测模型进行评估，选择最优的模型。

2. 模型优化：根据评估结果，对模型进行调参和优化，以提高模型的准确性和泛化能力。

六、结果分析与报告撰写1. 结果分析：对模型预测结果进行分析，比较不同模型的性能差异，找出影响用户购买行为的主要因素。

2. 报告撰写：根据分析结果，撰写数据挖掘作业2的报告，包括任务背景、数据处理方法、模型构建过程、结果分析等内容。

数据挖掘在客户关系管理中的应用一、数据挖掘技术在客户关系管理中的主要应用领域1、客户关系管理中常用的数据挖掘方法常用的数据挖掘方法主要包括：分类、聚类、关联规则、统计回归、偏差分析等等。

（1）分类：分类在数据挖掘中是一项非常重要的任务。

分类的目的是通过统计方法、机器学习方法（包括决策树法和规则归纳法）、神经网络方法等构造一个分类模型，然后把数据库中的数据映射到给定类别中的某一个。

（2）聚类：聚类是把一组个体按照相似性归成若干类别。

即“物以类聚”。

它的目的是使同一类别之内的相似性尽可能大，而类别之间的相似性尽可能小。

这种方法可以用来对客户进行细分，根据客户的特征和属性把客户分成不同客户群，根据其不同需求，制订针对不同客户群的营销策略。

（3）关联规则：它是描述数据库中数据项之间存在关联的规则，即根据一个事物中某些项的出现可导出另一项在同一事物中也出现，即隐藏在数据间的关联或相互关系。

在客户关系管理中，通过对企业客户数据库里大量数据进行挖掘，可以从中发现有趣的关联关系。

（4）回归分析：回归分析反映的是事务数据库中属性值在时间上的特征．主要用于预测，即利用历史数据自动推出对给定数据的推广描述．从而对未来数据进行预测。

它可应用于商品销售趋势预测、客户赢利能力分析和预测等。

（50偏差分析：偏差分析侧重于发现不规则和异常变化，即与通常不同的事件。

在相类似的客户中，对客户的异常变化要给予密切关注。

例如某客户购买行为发生较大变化，购买量较以前大大减少，就要对客户的这种原因进行调查，避免客户流失。

2、数据挖掘在客户关系管理中的具体运用由于零售业采用P O S机和C R M。

使得顾客的资料及购买信息得以贮存。

在这些海量的数据中存在着许多能对商品决策提供真正有价值的决策信息。

商家面临以下问题是：真正有价值的信息是哪些。

这些信息有哪些关联等等。

因此，需要从大量的数据中, 经过深层分析，从而获得有利商业运作提高企业争力的信息。

数据挖掘作业2数据挖掘作业2：文本分类与情感分析一、引言数据挖掘是从大量的数据中发现隐藏在其中的有价值信息的过程。

文本分类和情感分析是数据挖掘中的两个重要任务。

本文将介绍文本分类和情感分析的基本概念、方法和应用，并结合实际案例进行详细说明。

二、文本分类1. 概念文本分类是将大量的文本按照一定的标准进行分类的过程。

其目标是通过自动化方法将文本划分到预定义的类别中。

2. 方法（1）特征提取：从文本中提取有用的特征信息。

常用的特征提取方法包括词袋模型、TF-IDF、词嵌入等。

（2）特征选择：选择对分类任务有用的特征。

常用的特征选择方法包括信息增益、卡方检验、互信息等。

（3）分类器构建：选择合适的分类器进行文本分类。

常用的分类器包括朴素贝叶斯、支持向量机、决策树等。

（4）模型评估：使用评估指标对分类模型进行评估，如准确率、精确率、召回率、F1值等。

3. 应用文本分类在各个领域都有广泛的应用，如垃圾邮件过滤、新闻分类、情感分析等。

三、情感分析1. 概念情感分析是对文本中的情感进行识别和分类的过程。

其目标是判断文本中的情感倾向，如正面、负面或中性。

2. 方法（1）情感词典：使用情感词典对文本中的词进行情感打分，然后根据打分结果进行情感分类。

（2）机器学习：使用机器学习方法构建情感分类模型，常用的方法包括朴素贝叶斯、支持向量机、深度学习等。

（3）深度学习：使用深度神经网络进行情感分析，如卷积神经网络、循环神经网络等。

3. 应用情感分析在社交媒体监测、产品评论分析、舆情分析等方面具有重要的应用价值。

四、实例分析：电影评论情感分析为了进一步说明文本分类和情感分析的应用，我们以电影评论情感分析为例进行实例分析。

1. 数据收集从互联网上收集了一批电影评论数据，包括评论文本和对应的情感标签（正面、负面或中性）。

2. 数据预处理对收集到的电影评论数据进行预处理，包括去除停用词、标点符号和数字，对文本进行分词等。

3. 特征提取使用词袋模型对预处理后的文本进行特征提取，得到每个评论的特征向量表示。