下载文档原格式
大数据理论考试(试卷编号162)说明：答案和解析在试卷最后1.[单选题]当构建一个神经网络进行图片的语义分割时，通常采用下面哪种顺序（）。
A)先用卷积神经网络处理输入，再用反卷积神经网络得到输出B)先用反卷积神经网络处理输入，再用卷积神经网络得到输出C)不能确2.[单选题]（）是从（多条）信息中发现的共性规律、模式、模型、理论、方法。
A)信息B)数据C)知识D)智慧3.[单选题]开发Maxcompute的用户自定义标量函数，主要是实现其中的（）方法。
A)evaluateB)mainC)iterateD)process4.[单选题]Spark的集群管理模式不包含（）。
A)Standalone模式B)Message模式C)YARN模式D)Mesos模式5.[单选题]大数据计算服务（MaxCompute，原ODPS ）中的用户表dim_user是一张非分区表，另外有一部分新增用户的数据存在user_delta表中，两张表的结构相同，为了在dim_user表中得到全量的用户数据，可以采用（）方式A)select* from user_delta、into dim_userB)insert into dim_user select* from user_delta union all select*from dim_userC)insert overwrite table dim_user select*from user_deltaD)insert into table dim_user select* from user_delta6.[单选题]Python使用（）符号标示注释。
A)&B)*C)#7.[单选题]在选择神经网络的深度时，下面那些参数需要考虑（）1神经网络的类型(如MLP,CNN)2输入数据3计算能力(硬件和软件能力决定)4学习速率5映射的输出函数A)1,2,4,5B)2,3,4,5C)都需要考虑D)1,3,4,8.[单选题]常用的数据归约方法可以分为（）。
《基于机器学习的评论情感分析系统设计与实现》一、引言随着互联网的快速发展，用户在线上平台发表的评论数量急剧增长。
这些评论包含了大量的情感信息，对于企业或个人而言，如何有效地获取并分析这些情感信息成为了一个重要的问题。
因此，基于机器学习的评论情感分析系统应运而生。
本文将详细介绍基于机器学习的评论情感分析系统的设计与实现。
二、系统设计1. 系统架构本系统采用分层设计的思想，将系统分为数据预处理层、特征提取层、模型训练层和结果输出层。
其中，数据预处理层负责对原始评论数据进行清洗和标注；特征提取层利用文本处理方法提取出评论中的特征；模型训练层则采用机器学习算法对提取出的特征进行训练，以构建情感分析模型；结果输出层将模型对评论的情感分析结果进行展示。
2. 数据预处理数据预处理是情感分析的基础，主要包括数据清洗和标注两个步骤。
数据清洗主要是去除无效、重复和无关的评论数据，同时对数据进行格式化和标准化处理。
标注则是为每条评论打上情感标签，以便后续的特征提取和模型训练。
3. 特征提取特征提取是情感分析的关键步骤，主要采用文本处理方法。
首先，通过分词、去除停用词等操作将评论转换为词向量；然后，利用TF-IDF、Word2Vec等算法提取出评论中的关键特征；最后，将提取出的特征输入到模型训练层。
4. 模型训练模型训练是情感分析的核心，主要采用机器学习算法。
本系统采用深度学习中的循环神经网络（RNN）和卷积神经网络（CNN）进行情感分析。
在模型训练过程中，通过不断调整模型参数，使模型对评论的情感分析结果更加准确。
三、系统实现1. 技术选型本系统采用Python作为开发语言，利用Python中的NumPy、Pandas等库进行数据处理和特征提取；采用TensorFlow、PyTorch等深度学习框架进行模型训练和推理；使用Flask等Web 框架进行系统部署和用户交互。
2. 具体实现步骤（1）数据收集与预处理：从各大平台上收集用户评论数据，并进行清洗、格式化和标准化处理，同时为每条评论打上情感标签。
动态场景下的基于SIFT和CBWH的目标跟踪王芬芬;陈华华【摘要】针对动态背景下的目标跟踪，提出了基于SIFT特征和CBWH特征的卡尔曼跟踪算法。
算法利用卡尔曼滤波器预测目标的大概位置；在所在位置区域内提取SIFT特征，与第一帧和前一帧进行特征匹配，并投票获得候选目标位置；利用CBWH特征获得目标可能位置；将二者位置加权对卡尔曼滤波器预测值进行修正，得到目标位置。
实验表明，所提算法取得了较好的实验结果。
%An object tracking algorithm based on Kalman filter using scale invariant feature transform (SIFT) and CBWH is proposed to solve the problem that trackers always drift or even lose target in dynamic scenes . Kalman filter predictsan area ,each matched keypoint casts a vote for the object center ,then the voting results are evaluated by the nearest neighbor clustering , the weighted result is a candidate position of the object's center.Another possible position is calculated by mean shift tracking using CBWH .The positions above are weighted into the object's center.This center is then sent to Kalman filter to get the final position and velocity . Experimental results demonstrate that the proposed method obtains good tracking results .【期刊名称】《杭州电子科技大学学报》【年(卷),期】2015(000)004【总页数】4页(P46-49)【关键词】动态场景;目标跟踪;卡尔曼滤波;尺度不变特征变换【作者】王芬芬;陈华华【作者单位】杭州电子科技大学通信工程学院，浙江杭州310018;杭州电子科技大学通信工程学院，浙江杭州310018【正文语种】中文【中图分类】TP391运动目标跟踪是计算机视觉的重要研究方向，其中对先验未知的物体进行跟踪越来越引起人们的关注。
随机森林原理解释及其中各个参数的含义中文解释随机森林（Random Forest）是一种集成学习算法，它结合了决策树和随机性的概念，能够用于分类和回归问题。
随机森林通过构建多棵决策树，并基于“投票”或“平均”策略来做出最终预测。
以下是对随机森林的原理和各个参数的中文解释。
随机森林的原理包括两个主要部分：随机性构建决策树和投票或平均策略。
1.随机性构建决策树：随机森林中的每棵决策树都是以随机取样方式构建的。
首先，从原始数据集中有放回地随机抽取一些样本（称为bootstrap样本），然后使用这些bootstrap样本构建一棵决策树。
这种随机抽样与替换的方式能够保证每个决策树都有一定的差异性。
2.投票或平均策略：对于分类问题，随机森林中的每棵决策树都会根据样本特征做出预测。
最后，根据“投票”策略，所有决策树的预测结果中得票最多的类别被认定为最终的预测结果。
对于回归问题，随机森林中的每棵决策树都会输出一个数值结果，最后取所有决策树输出结果的平均值作为最终预测结果。
随机森林参数解释：随机森林有许多参数可以调节，以下是其中一些重要参数的中文解释：1. n_estimators（决策树数量）：决策树的数量，也就是随机森林中包含的决策树的个数。
n_estimators参数越大，随机森林的性能可能会更好，但是计算开销也会增加。
2. max_depth（最大深度）：决策树的最大深度限制，用于控制决策树的复杂度。
较小的最大深度可以减少过拟合的风险，但可能导致欠拟合。
3. min_samples_split（内部节点最少样本数）：决定是否需要进一步拆分内部节点的最小样本数。
当样本数量小于min_samples_split时，节点将不再拆分，成为叶节点。
4. min_samples_leaf（叶节点最小样本数）：叶节点中需要含有的最少样本数。
当样本数量小于min_samples_leaf时，样本将和同类别的样本一起作为一个叶节点。
1．全体一致规则，也称“一票否决制”。
它有以下特征：（1)决策成员能享有平等的决策权，决策方案只有获得全体决策成员的同意，才能够得以通过.（2）个体选择对集体的决策结果有决定性的影响。
（3）决策结果充分照顾每一个决策者利益偏好和要求。
这虽然是公平的，但由于为了取得共赢，就可能无休止地“讨价还价”，往往是议而不决。
如果决策成员较多，实行这一规则较为困难。
2．多数裁定规则，即按照少数服从多数的原则,以得票最多的决策方案为最终择定的决策方案。
它又分为两种：（1)简单多数规则。
哪一个得票最多，就择定哪个决策方案，而不必要求该方案得票过半数。
这一规则要求决策群体的成员为奇数，比如,一个由9人组成的决策群体,对于决策方案A、B、c进行选择。
投票结果显示有四人选择了A方案，三人选择了B方案，二人选择了c方案。
尽管有五人没有选择A方案，但是A方案得票最多，那么，A方案就可被择定.简单多数规则容易且迅速作出决策,常被人们所采用。
但是，得票最多者往往只是代表的“小多数”人的意愿。
这就容易形成少数控制多数，损害多数利益的局面。
(2）绝对多数规则.指在选择决策方案时，要求择定的方案得票数必须超过半数，有的规定要求赞成票的比例达到2/3或3/4等多数票。
如果在第一轮未达到规定的数量，通常在两个得票最多的备选方案中进行第二轮投票，票数领先者为最终择定的决策方案.这一规则也比较省事,决策成本较低，但也出现了“多数控制少数”的现象，忽略了少数人的利益。
在直接民主制下,公共决策由选民直接投票决定，所有选民每人一票，每个人的决策能力相等，这种决策方式又被称为直接投票决策。
在代议民主制下，全体选民通过投票选举出一定数量的代表（如议员），再由这些代表代替选民做出公共决策，这种决策方式又被称为间接投票决策不管是直接投票决策，还是间接投票决策，不管是针对具体的公共政策方案a投票，还是针对人(代表）投票,都涉及投票的规则问题，主要的投票规则有两大类:全体一致同意规则与多数通过规则.所谓“全体一致同意规则"(unanimity rule),就是通常提及的全票通过原则，是指一项公共决策或集体行动方案，只有在全体当事人一致同意，或者至少没有一个人反对的前提下才能被通过和实现。
Vol. 46, No. 4 A pr，2021火力与指挥控制Fire Control & Command Control第46卷第4期2021年4月文章编号：1002-0640(2021 )04-0078-05RPL路由协议中基于投票法的黑洞攻击检测算法张娴静(郑州工业应用技术学院信息工程学院，郑州451150)摘要:物联网容易遭受多类拒绝服务攻击，其中黑洞攻击是最严重的攻击之一。
为此，提出基于投票法的黑洞 攻击检测算法(Voting Method-based Blackhole Attack Detection, VMBAD)。
通过 VMBAD 算法检测RPL 协议上的黑洞 攻击。
先通过过滤器构建嫌疑节点，再验证嫌疑节点的行为，各节点作出自己的决策意见，并传输到边界路由（Border R outer,B R)。
接收后,BR 利用投票机制融合各节点的决策意见，进行最终的决策，进而判断节点是否为黑洞攻击 节点。
一旦认定为黑洞攻击，就将黑洞攻击节点与网络隔离，使其不参与R PL路由。
仿真结果表明,VMBAD算法能 够有效地检测黑洞攻击节点，并且通过排除攻击节点，提高了数据包传递率。
关键词:物联网,R PL，黑洞攻击，投票机制,数据包传递率中图分类号:TPT393 文献标识码：A D0I：10.3969/j.issn. 1002-0640.2021.04.014引用格式:张娴静.R PL路由协议中基于投票法的黑洞攻击检测算法[J].火力与指挥控制,2021,46(4):78-82. Blackhole Attack Detection Algorithm in RPL Routing Protocal Basedon Voting MethodZhang X i a n-j i n g(Department o f Information Engineering，School o f Zhengzhou Industrial Technology,Zhengzhou 45\\50，China)Abstract:The I n t e r n e t o f t h i n g s i s v u l n e r a b l e t o many DOS attacksAmong them,Bla ck ho le a t t a c ki s one o f t h e s e v e r e s t a t t a c k s.B l a c k h o l e a t t a c k d e t e c t i o n(V M B A D)a l g o r i t h m V o t i n g Method-based i sp r o p o s e d i n t h i s p a p e r F i r s t,t h e s u s p e c t node i s c o n s t r u c t e d t h r o u g h t h e f i l t e r,a n d t h e n t h e b e h a v i o r o f t h e s u s p e c t node i s v e r i f i e d T h e n,each node makes i t s own d e c i s i o n o p i n i o n s and t r a n s m i t s them t o BRAfter r e c e i v i n g them,BR u s e s t h e v o t i n g mechanism t o f u s e t h e d e c i s i o n-making o p i n i o n s o f e a c h node t o make t h e f i n a l d e c i s i o n,a n d t h e n d e t e r m i n e s wh e t h e r t h e node i s a b l a c k h o l e a t t a c k node.Once i d e n t i f i e d a s a b l a c k h o l e a t t a c k no de,t he b l a c k h o l e a t t a c k node i s i s o l a t e d f r o m t h e n e t w o r k s o t h a t i t d o e s n o t p a r t i c i p a t e i n RPL r o u t i n g S i m u l a t i o n r e s u l t s show t h a t V M B A D a l g o r i t h m c a ne f f e c t i v e l y d e t e c t b l a c k h o l e a t t a c k n o de s and i m p r o v e p a c k e t t r a n s m i s s i o n r a t e by e x c l u d i n g a t t a c knodes.Key words:I n t e r n e t o f t h i n g s,R P L,b l a c k h o l e a t t a c k,v o t i n g method,p a c k e t t r a n s m i s s i o n r a t eCitation format:Zhang X J.B l a c k h o l e a t t a c k d e t e c t i o n a l g o r i t h m i n RPL r o u t i n g p r o t o c a l b a s e d o n v o t i n g method[j].F i r e C o n t r o l&Command C o n t r o l,2021,46(4) ：78-82.0引百随着信息技术的发展以及智能设备的微型化，物联网（1111611161〇0'}1丨喂,1〇1')[1]已在智能交通、智慧*农业、康复医疗等领域广泛使用。
2021⁃01⁃10计算机应用,Journal of Computer Applications 2021,41(1):74-80ISSN 1001⁃9081CODEN JYIIDU http ：//基于随机森林和投票机制的大数据样例选择算法周翔1，2，翟俊海1，2*，黄雅婕1，2，申瑞彩1，2，侯璎真1，2（1.河北大学数学与信息科学学院，河北保定071002；2.河北省机器学习与计算智能重点实验室（河北大学），河北保定071002）（∗通信作者电子邮箱mczjh@ ）摘要：针对大数据样例选择问题，提出了一种基于随机森林（RF ）和投票机制的大数据样例选择算法。
首先，将大数据集划分成两个子集，要求第一个子集是大型的，第二个子集是中小型的。
然后，将第一个大型子集划分成q 个规模较小的子集，并将这些子集部署到q 个云计算节点，并将第二个中小型子集广播到q 个云计算节点。
接下来，在各个节点用本地数据子集训练随机森林，并用随机森林从第二个中小型子集中选择样例，之后合并在各个节点选择的样例以得到这一次所选样例的子集。
重复上述过程p 次，得到p 个样例子集。
最后，用这p 个子集进行投票，得到最终选择的样例子集。
在Hadoop 和Spark 两种大数据平台上实现了提出的算法，比较了两种大数据平台的实现机制。
此外，在6个大数据集上将所提算法与压缩最近邻（CNN ）算法和约简最近邻（RNN ）算法进行了比较，实验结果显示数据集的规模越大时，与这两个算法相比，提出的算法测试精度更高且时间消耗更短。
证明了提出的算法在大数据处理上具有良好的泛化能力和较高的运行效率，可以有效地解决大数据的样例选择问题。
关键词：大数据；样例选择；决策树；随机森林；投票机制中图分类号：TP181文献标志码：AInstance selection algorithm for big data based onrandom forest and voting mechanismZHOU Xiang 1，2，ZHAI Junhai 1，2*，HUANG Yajie 1，2，SHEN Ruicai 1，2，HOU Yingzhen 1，2（1.College of Mathematics and Information Science ，Hebei University ，Baoding Hebei 071002，China ；2.Hebei Key Laboratory of Machine Learning and Computational Intelligence （Hebei University ），Baoding Hebei 071002，China ）Abstract:To deal with the problem of instance selection for big data ，an instance selection algorithm based on RandomForest （RF ）and voting mechanism was proposed for big data.Firstly ，a dataset of big data was divided into two subsets ：the first subset is large and the second subset is small or medium.Then ，the first large subset was divided into q smaller subsets ，and these subsets were deployed to q cloud computing nodes ，and the second small or medium subset was broadcast to q cloud computing nodes.Next ，the local data subsets at different nodes were used to train the random forest ，and the random forest was used to select instances from the second small or medium subset.The selected instances at different nodes were merged to obtain the subset of selected instances of this time.The above process was repeated p times ，and p subsets of selected instances were obtained.Finally ，these p subsets were used for voting to obtain the final selected instance set.The proposed algorithm was implemented on two big data platforms Hadoop and Spark ，and the implementation mechanisms of these two big data platforms were compared.In addition ，the comparison between the proposed algorithm with the Condensed Nearest Neighbor （CNN ）algorithm and the Reduced Nearest Neighbor （RNN ）algorithm was performed on 6large datasets.Experimental results show that compared with these two algorithms ，the proposed algorithm has higher test accuracy and smaller time consumption when the dataset is larger.It is proved that the proposed algorithm has good generalization ability and high operational efficiency in big data processing ，and can effectively solve the problem of big data instance selection.Key words:big data;instance selection;decision tree;Random Forest (RF);voting mechanism0引言在信息技术飞速发展的时代，不仅技术在快速发展，数据也在呈指数型上升。
