：首页 > 技术文库 > 技术服务 > 信息产业化 > 文章内容:云计算的五大核心技术 云计算的五大核心技术 云计算的五大核心技术 newmaker 云计算系统运用了很多技术，其中以编程模型、数据治理技术、数据存 储技术、虚拟化技术、云计算平台治理技术最为关键。 1)编程模型 MapReduce是Google开发的java、Python、C++编程模型，它是一种简化的分布式编程模型和高效的任务调度模型，用于大规模数据集（大于1TB）的并行运算。严格的编程模型使云计算环境下的编程十分简单。MapReduce 模式的思想是将要执行的题目分解成Map(映射)和Reduce(化简)的方式，先通过Map程序将数据切割成不相关的区块，分配（调度）给大量计算机处理，达到分布式运算的效果，再通过Reduce程序将结果汇整输出。 2) 海量数据分布存储技术 云计算系统由大量服务器组成，同时为大量用户服务，因此云计算系统采用分布式存储的方式存储数据，用冗余存储的方式保证数据的可靠性。云计算系统中广泛使用的数据存储系统是Google的GFS和Hadoop团队开发的GFS 的开源实现HDFS。 GFS即Google文件系统（Google File System），是一个可扩展的分布式文件系统，用于大型的、分布式的、对大量数据进行访问的应用。GFS的设计思想不同于传统的文件系统，是针对大规模数据处理和Google应用特性而设计的。它运行于廉价的普通硬件上，但可以提供容错功能。它可以给大量的用户提供总体性能较高的服务。 一个GFS集群由一个主服务器（master）和大量的块服务器(chunkserver)构成，并被很多客户（Client）访问。主服务器存储文件系统所以的元数据，包括名字空间、访问控制信息、从文件到块的映射以及块确当前位置。它也控制系统范围的活动，如块租约（lease）治理，孤儿块的垃圾收集，块服务器间的块迁移。主服务器定期通过HeartBeat 消息与每一个块服务器通讯，给块服务器传递指令并收集它的状态。GFS中的文件被切分为64MB的块并以冗余存储，每份数据在系统中保存3个以上备份。
龙源期刊网 https://www.doczj.com/doc/019158545.html, 数据新闻可视化报道形式的思考 作者：张颖瑜 来源：《传播力研究》2018年第07期 摘要：数据新闻可视化报道应“数据时代”而生，其文本融合了数据处理与表征手段，以可视化图像叙事替代传统文字叙事，有真实、易读、经济等特点。本文旨在剖析当下媒体在数据新闻可视化报道发展中存在的问题。探讨可视化数据新闻对读者认知习惯、思维方式以及个人行为引起的改变，并进一步在宏观层面探讨其对社会文化和民族特性带来的影响。 关键词：数据新闻可视化；可视化报道；符号；文化 一、数据新闻可视化报道概念探析 数据新闻以数据为驱动，伴随对大数据的抓取与挖掘而生。数据新闻可视化报道是对动态挖掘出的数据新闻进行可视化操作，表征为图表、图形等符号的过程。数据新闻可视化不仅是把数据转化成形象、可见的图表或场景的手段，而是一种处理数据的思维。这种思维要求把新闻事件本身和其相关的内容看做可以相互产生勾连的数据，并对这些数据挖掘能够形成有意义的新闻传播事件，注重挖掘和寻找的过程。舍恩伯格提出大数据的核心是预测，因此对数据新闻的挖掘有了解现状并对未来形势进行预测的功能。 二、我国数据新闻可视化报道形式存在的问题 （一）冗余信息弱化数据新闻的优势 数据新闻可视化报道以真实、准确的传递信息为目的，然而某些新闻工作者在数据新闻实践中弃本逐末，忽略可视化数据新闻报道的本质。数据新闻用数据图像之间的关联和逻辑构建文本，与传统新闻存在叙事手法的差异，但本质看依旧是新闻文本。对数据进行表征设计时，国内的某些报道常出现与新闻主题相关的卡通或简笔画等象形符号，这种美其名曰用以渲染气氛的形象，反而增加了阅读负担。“在一个静态图像中展现时空结构本身就不够简明，附加额外的数据信息后，可视化图像结果就会违背数据新闻对直观明晰的诉求①”，形成不同程度的冗余信息，污染读者视觉且干扰读者的阅读体验。 （二）数据过度“包装”及娱乐化表征 数据新闻可视化呈现以更好的表现和佐证新闻主题为目的，以视觉化的图形表征为读者能更方便快捷的认知、理解主题而服务。固然“图示形式有独特的魅力，能够把分散的故事元素汇集于一图，并能够吸引和诱导读者的目光，瞬间捕获观者的视线和注意力②”，但国内媒体过度的“包装”数据，违背了新闻报道“故事性”的初衷。只调动读者关注新闻文本表层形式，以浅层情感娱乐读者，而不注重新闻内容本身趣味。
１０３ 研讨与交流·研究数据新闻2.0：数据新闻可视化制作的创新变革 摘 要：数据新闻报道为新闻产品带来了新闻叙事形式创新，但依然存在体验困境。当前的数据新闻作品普遍缺乏用户意识，设计感不强，单调乏味的数据可视化方式并没有带来较好的受众新闻产品体验。要突破原有的可视化制作模式，创新可视化内在形态，需要数据新闻可视化制作的呈现牢牢把握新闻产品核心，注重以用户为设计导向，增加可视化手段的互动元素，将数据人性化地融入新闻叙事中，进一步优化现有的数据新闻可视化制作。 关键词：数据新闻；可视化；数据可视化 中图分类号：G210.7 文献标识码：A 文章编号：1671-0134（2018）09-103-02DOI：10.19483/https://www.doczj.com/doc/019158545.html,ki.11-4653/n.2018.09.043 文/白龙 数据新闻可视化是一种新闻数据化的艺术加工，透过视觉解码对新闻实现解读，触发受众全新的新闻视觉体验空间。但随着可视化新闻的产量逐渐增多，读者口味愈发挑剔，对可视化新闻的内容、形式创新提出更高的要求。大量的可视化工具生成的柱形图、饼图、折线图、条形图等信息图表缺乏设计美感，图表形式呈现方式过于单一，形成受众的视觉疲劳和单一数据新闻认知。挖掘得出的数据直接进入软件后台分析，结合设计模块直接生成可视化图表图形，导致一个发展误区，使用者会依赖软件公司不断改进或更新自身设计模块，从而丧失对艺术创意的感知，缺乏设计灵感。另一方面，更多的数据新闻只注重数据的可视化，忽略新闻故事内容的可视化。过于注重视觉传达也容易忽视数据新闻最核心的部分，容易将受众的注意力从新闻信息点转移到其他视觉符号上来。如何优化现有的数据新闻可视化制作模式，如何把数据有机地融入新闻报道本身，如何增强受众互动和提高受众对数据新闻产品的认可，成为数据新闻生产下一阶段关注的重点。 1.重新定义数据新闻的可视化呈现方式 数据的可视化呈现可追溯到二世纪保存最早的埃及石板，最初作为航海工具用来记录天文信息。一般认为，数据的可视化是“一种以图示或图解的格式对数据的呈现”，或可描述为“以图解形式对抽象信息的展示”。数据可视化使我们能在传统报表、表格或电子数据表找出被忽视的模式、趋势和相关关系。从某种意义上来说，数据可视化是一种数据的“翻译”，转换为受众直观可感的内容形式，形成可辨别性强的大小、形状或者趋势图示关系。在数据新闻作品中，让受众能够最快速便捷、最易读取数据新闻信息，同时在数据新闻产品设计上让受众印象深刻，提供审美震撼的数据可视化产品才能称得上是一种优秀的数据“翻译”。 实现数据新闻可视化的目标是为了有效传达数据新闻的核心新闻信息，但不少数据新闻作品往往忽略了数据新闻可视化更值得注重的是强大的新闻效果。目前的数据新闻可视化制作中出现的可视化信息图只是新闻报道的视觉补充，并没有作为一种新闻故事的要素来构建新闻报道主体。在新闻实践中容易出现两种极端：第一种是数字堆叠起来的数字+图文解读模式，过于追求一个统计数据的整体展示，数据传达喧宾夺主，没有突出新闻核心内容；第二种是追求一个宏大的视觉图像感官效果，过度花哨的混乱视觉呈现易误导受众迷失重心，不能抓住核心新闻要素。可见传统单一的数据新闻的可视化已经不能适应用户需求，数据新闻可视化的优化应该从用户开始入手，以此重新定义数据新闻的可视化呈现。 2.以“用户”为中心引导数据新闻可视化产品设计 目前，数据服务公司拥有各自研发的各种数据可视化软件，方便使用者进行数据筛选与分类并直接套用可视化工具模板。对于多数数据服务公司而言，不同的数据潜藏着其结构化的、指向性强的表达逻辑，这种表达逻辑的确在数据可视化工作效率上有一定优势，但同时陷入创新的窘境。没有经过人工设计而直接生成可视化信息图，导致了缺乏产品思维的制作陷入固定循环，从长远来看，不利于数据新闻的可视化丰富性与多样性的 基金项目：2018年玉林师范学院教改项目“大数据推动下新闻可视化教学的探索与实践”（项目编号：2018XJJG32）；2018年度广西中青年教师基础能力提升项目“人工智能技术推动下编辑室创新转型研究”（项目编号：2018KY0463）。
我们在上一篇文章中给大家介绍了大数据的部分核心技术，分别是数据挖掘和机器学习。在大数据中，数据挖掘和机器学习都是发挥了不同的功能。在这篇文章中我们给大家介绍一下人工智能和其他大数据处理的基础技术，希望这篇文章能能够给大家带来帮助。 首先说说人工智能，AI和大数据是相互促进的关系，一方面，AI基础理论技术的发展为大数据机器学习和数据挖掘提供了更丰富的模型和算法，如近几年的深度学习一系列技术和方法；另一方面，大数据为AI的发展提供了新的动力和燃料，数据规模大了之后，传统机器学习算法面临挑战，要做并行化、要加速要改进。AI的终极目标是机器智能化拟人化，机器能完成和人一样的工作，人脑仅凭几十瓦的功率，能够处理种种复杂的问题，怎样看都是很神奇的事情。虽然机器的计算能力比人类强很多，但人类的理解能力，感性的推断，记忆和幻想，心理学等方面的功能，机器是难以比肩的，所以机器要拟人化很难单从技术角度把人工智能讲清楚。人工智能与机器学习的关系，两者的相当一部分技术、算法都是重合的，深度学习在计算机视觉和思考等领域取得了巨大的成功，但是如果真正的做到仿生，还是比较困难的。 然后就是其它大数据处理基础技术。一般来说，大数据除了之前提到的内容，还有很多的基础技术，大数据基础技术包括计算机科学相关如编程、云计算、分布式计算、系统架构设计等方向，还有机器学习的理论基础包括如算法、数据结构、概率论、代数、矩阵分析、统计
学习、特征工程等方面；商业分析与理解如领域知识管理、产品设计、可视化等技术；数据管理如数据采集、数据预处理、数据库、数据仓库、信息检索、多维分析、分布式存储等技术。这些理论与技术是为大数据的基础管理、机器学习和应用决策等多个方面服务的。只有掌握了这些内容，我们才能够更好的使用大数据为我们发挥更多的功能。 以上的内容就是小编为大家介绍的大数据的核心技术了。大数据的核心技术就是数据挖掘、机器学习、人工智能和其他的大数据处理基础技术，最后感谢大家的阅读。
精心整理 岭南师范学院2015年－2016 学年度第二学期 期末考试试题A 卷 (考试时间:120分钟) 考试科目：大数据核心技术 1.下面哪个程序负责HDFS 数据存储。 （C ） https://www.doczj.com/doc/019158545.html,Node B.Jobtracker C.Datanode D.secondaryNa meNode 2.HDFS 中的block 默认保存几 个备份。（A ） A.3份 B.2份 C.1份 D.不确定 3.HDFS1.0默认BlockSize 大小是多少。（B ） 5.Hadoop1.0默认的调度器策略是哪个。（A ） A.先进先出调度器 B.计 算能力调度器 C.公平调度器 D.优先级 调度器
精心整理 6.Client端上传文件的时候 下列哪项正确？（B） A.数据经过NameNode传 递给DataNode B.Client端将文件切分 为Block，依次上传 C.Client只上传数据到 一台DataNode，然后由NameNode 负责Block复制工作 D.以上都不正确 7.在实验集群的master节点 使用jps 现以下哪项能说明Hadoop 启动成功？（D） econdaryNameNode https://www.doczj.com/doc/019158545.html,node,Datanode,H Master https://www.doczj.com/doc/019158545.html,node,JobTracker ,secondaryNameNode 8.若不针对MapReduce编程 模型中的key和value值进行特别 设置，下列哪一项是MapReduce 不适宜的运算。（D） A.Max B.Min C.Count D.Average 对 10.以下哪一项属于非结构化 C） A.企业ERP数据 B.财务系 统数据 C.视频监控数据 D.日志 数据 11.HBase数据库的 BlockCache缓存的数据块中，哪 一项不一定能提高效率。（D） A.–ROOT-表 B..META.表
大数据核心技术培训 你学或者不学，大数据依旧在发展；你从事或者不从事，大数据的前景你都应该了解。时代的前进方向，未来的领先技术，作为时代的年轻人，你不知道就真的会被社会所淘汰的。大数据的发展前景怎么样？未来大数据的发展趋势如何? 近年来，科技的快速发展推动了企业在数据生成、储存等多方面的需求增长。所以在企业爆炸式的大数据时代下，剧增了原有数据存的储存压力，所以大数据人才需求量将会与日俱增。所以大数据在未来就业前景一定非常广阔，在此千锋教育带大家了解大数据的发展趋势。 数据分析成为大数据技术的核心 大数据的价值体现在对大规模数据集合的智能处理方面，进而在大规模的数据中获取有用的信息。要想逐步实现这个功能，就必须对数据进行分析和挖掘。而数据的采集、存储、和管理都是数据分析步骤的基础，通过进行数据分析得到的结果，将应用于大数据相关的各个领域。 云数据分析平台将更加完善 近几年来，云计算技术发展迅猛，与此相应的应用范围也越来越宽。云计算的发展为大数据技术的发展提供了一定的数据处理平台和技术支持。云计算为大
数据提供了分布式的计算方法、可以弹性扩展、相对便宜的存储空间和计算资源，这些都是大数据技术发展中十分重要的组成部分。随着云计算技术的不断发展和完善，发展平台的日趋成熟，大数据技术自身将会得到快速提升，数据处理水平也会得到显著提升。 开源软件的发展成为推动大数据发展的新动力 开源软件是在大数据技术发展的过程中不断研发出来的。这些开源软件对各个领域的发展、人们的日常生活具有十分重要的作用。开源软件的发展可以适当的促进商业软件的发展，以此作为推动力，从而更好地服务于应用程序开发工具、应用、服务等各个不同的领域。 由于大数据行业快速发展，人才需求急剧增加。目前，据某招聘网站平台数据，目前大数据人才的供给量远远低于行业人才需求。所以大数据培训应运而生，作为连接人才与企业的窗口，千锋大数据培训成为了为企业提供大数据人才强而有力的保障。 千锋大数据培训讲师经过多年的培训经验，结合学员的学习曲线，设计合理的项目进阶课程，让学员逐渐掌握做项目的方法方式，培训真正的项目经验。不
大数据时代新闻可视化传播的创新路径 高新技术、移动互联网的迅猛发展使人类社会迈入了大数据时代。而这个时代也给生活在这个时代的人们提供了新的生活和工作方式，不管是在地铁上，还是在车站旁，我们随处可见各行各业的人们拿着移动设备在浅阅读新闻或广告等，快节奏的工作方式，让越来越多的人习惯了快速的浅阅读，在最短的时间内查看各种报道的核心内容。据此，传统的新闻报道模式已经不适应现代人们的阅读习惯，数据新闻应运而生。本文基于以上问题，分析了大数据时代的数据新闻的特点，以及根据这些特点，让新闻可视化传播会有怎样的创新路径，以期为新闻媒体行业的改革创新起到一定的指导作用。 1 大数据时代新闻可视化传播的特点 数据新闻大数据时代新闻可视化传播的主要特点。数据新闻这个概念并非突然横空出世，而是新闻业长期探索积累的成果。大数据时代的科学技术将数据新闻推上了一个新的高度，在以往新闻工作中，主要是强调数据运用在新闻制作中的科学性与精确性，而大数据时代则是利用庞大的数据仓库和科学的分析方法，来挖掘和预测数据背后可能存在的固定行为模式和这些行为模式发生的必然原因，再利用丰富的和具有交互性的可视化传播工具，来达到创新新闻报道的目的。对于数据新闻的生产流程，大部分新闻工作机构主要是采取获取数据分析数据数据可视化等步骤来完成[1]。在整个数据采集、分析与可视化的过程中能充分体现数据的公共价值，并为广大受众提供精彩纷呈的新闻故事。 数据新闻在与传统的精确新闻相比较的过程中，可以清晰地看出数据新闻是在挖掘庞大数据仓库背后的意义，从而开发数据的预测功能与可视化功能。在以往精确新闻中新闻工作者往往将数据当作新闻内容的支撑点和判断论据，即用数据来增强报道的准确性和可信性[2]。而数据新闻一方面通过采集庞大的量级数据，再对量级数据进行分析，来提前预测新闻走向和事物的发展趋势，为新闻工作者提前指明新闻采集方向，抢夺新闻报道先机；另一方面，数据新闻采用新型科技手段改变以往以文字为中心的叙事方式，将庞大的数据通过丰富多彩的、直观易见的可视化方式展示出来，让不同的用户能够独立地去理解及参与和开发新闻内容。 2 大数据时代新闻可视化传播的创新路径 由于大数据时代数据新闻发展速度较快，在实际的新闻传播工作中，对数据新闻的可视化运用，主要集中在信息图、动态图和交互地图等方面。 2.1 信息图的运用 信息图运用在新闻可视化传播中，主要是由于其能够用简单明了的方式来阐释较为复杂的文字信息。这也较好地适应了现代人浅阅读的习惯模式，用最直观和一目了然的信息图在最短的时间内将文段的核心内容输送给读者，瞬间抓住读者的阅读兴趣。目前，众所皆知的四大门户网站近期相继推出了自己的数据新闻专栏：《图解天下》《数读》等。这些栏目旨在为观众提供轻松直观、简单易懂、以图达意的阅读体验[3]。可见，信息图已经成为当前快节奏生活中的人们的主要阅读方式，且这种方式也给提倡创新的社会带来了耳目一新的感觉，并将会随着高新技术的发展和人们生活工作节奏的加强，成为未来新闻传播的主要趋势。
岭南师范学院2015 年－ 2016 学年度第二学期 期末考试试题A卷 (考试时间: 120 分钟) 考试科目：大数据核心技术 一、单项选择题(每小题 2 分，共 30 分) 请把答案写在下表中，写在试题后无效。 1. 下面哪个程序负责 HDFS 数据存储。（C ） A. NameNode B. Jobtracker C. Datanode D. secondaryNameNode 2. HDFS 中的 block 默认保存几个备份。（ A ） A. 3 份 B. 2 份 C. 1 份 D. 不确定 3. HDFS1.0 默认 Block Size大小是多少。（ B ） A. 32MB B. 64MB C. 128MB D. 256MB 4. 下面哪个进程负责 MapReduce 任务调度。（ B ） A. NameNode B. Jobtracker C. TaskTracker D. secondaryNameNode 5. Hadoop1.0默认的调度器策略是哪个。（ A ） A. 先进先出调度器 B. 计算能力调度器 C. 公平调度器 D. 优先级调度器 6. Client 端上传文件的时候下列哪项正确？（ B ） A. 数据经过 NameNode 传递给 DataNode B. Client 端将文件切分为 Block，依次上传 C. Client 只上传数据到一台 DataNode，然后由 NameNode 负责 Block 复制工作 D. 以上都不正确 7. 在实验集群的master节点使用jps命令查看进程时，终端出现以下哪项能说明Hadoop 主节点启动成功？（ D ） A. Namenode, Datanode, TaskTracker B. Namenode, Datanode, secondaryNameNode C. Namenode, Datanode, HMaster D. Namenode, JobTracker, secondaryNameNode 8. 若不针对MapReduce编程模型中的key和value值进行特别设置，下列哪一项是MapReduce不适宜的运算。（ D ） A. Max B. Min C. Count D. Average
大数据时代的到来，催生了许多新的信息传播方式。数据新闻的可视化传播就是大数据在新闻领域的革新形态，它是依托于数据的抓取、挖掘、统计和分析，以可视化的技术手段呈现出的新型报道方式。近年来，数据新闻正在国内引领新的传播浪潮，但也出现了浅层化、同质化、弱互动等传播现象，本文探讨数据新闻在可视化传播中的深度报道思路。 一、新媒体环境下数据新闻可视化的呈现形态 数据新闻的可视化报道始于《卫报》。1821年，英国的报纸《卫报》刊登了世界上第一条数据新闻，用表格图的形式，呈现曼彻斯特和索尔福德两个城市学校的学生数量和学杂费用。在新媒体时代，除了静态图表，又出现了如数据地图、时间轴、动画视频等可视化传播形态，与移动互联端相适应，增强了视觉传达效果。 2009年，《卫报》设立全球第一个数据新闻部；次年7月，它通过数据可视化手段刊登的维基解密事件，引发公众对数据新闻的关注，并逐渐成为热潮。在国内，2011年搜狐的《数字之道》在报道两会时率先使用数据新闻，随后网易、新浪、腾讯等网站也开始转向数据新闻的生产与推出。目前数据新闻的呈现形态不断变化着，大致可以分为以下四种类型。 (一)静态图表可视化 静态图表类是数据新闻传统的也是最常见的传播形式，它开启了文字语言文化向视觉文化的转变。近几年静态信息图也涌现了很多新的形式，例如气泡图、词频图、数据漫画等，具有较好的视觉效果。 (二)数据地图可视化 数据地图的可视化传播是将新闻事件以数据的形式，和实际的地理位置相关联形成的报道方式，有利于帮助受众建立新闻事件的空间概念，在传达新闻信息的同时，体现时空的宏观变化。 (三)时间轴可视化 时间轴可视化是从时间的维度去还原整个事件的来龙去脉、展现事物变化轨迹的可视化形式。它根据时间线来展开新闻叙事，让受众在时间的跨度上更好地把握新闻事件的脉络与内在联系，有利于增强新闻报道的纵深感。 (四)动态图片、动画视频模式 动态图片、动画视频的可视化传播在视觉上的传达更加活泼，其中视频类的数据新闻兼具听觉传达功能，辅以解说，让观众更容易理解新闻内容。动态模式的可视化传播，维度更加广阔，新闻内涵也更加丰富。 二、数据新闻在可视化传播中的问题分析 随着大数据在新闻业的广泛应用，数据资源的分析、整合、共享速度不断加快。梳理国内媒体在数据新闻可视化应用上的产品表征，发现有以下问题尚需思考。 (一)在传播中缺乏新闻互动性 从新闻的时效性以及制作成本角度考虑，国内很多数据新闻的推出停留在静态的信息图表当中，将新闻事件通过图示化、统计表格等形式呈现。在与受众的互动中多以评论、转发、分享等形式进行，缺乏交互性和创新性，没有很好地提升受众的参与感和阅读体验。 (二)止步于浅层数据挖掘,缺乏深度性 在一个新闻事件发生之后，媒体首先获得的往往是浅层的数据，或者是公布的资料，这些数据和资料的可视化呈现一般很难带给受众深度的解读，并没有传达给受众全面、内在、实质的信息，也鲜有独家的调查结果，这些都会阻碍数据新闻在深刻内涵上的发展。 三、数据新闻可视化的深度报道思路 深度报道起源于20世纪30年代的美国，在80年代中期开始引入我国。它对新闻事件有着全面和深度的解读，在如今“后真相时代”对揭示新闻事件的真相、遏制流言的传播具有重要作用。 在新媒体的环境下，移动化、碎片化阅读成为受众接收新闻资讯的主要方式，传统的深度报道有较长的篇幅、文字为主的形态与当下快餐式的阅读习惯难以兼容，其局限性逐渐显现出来，出现阶段性式微。那么作为新型的报道方式，数据新闻在可视化传播中如何体现深度性，丰富新闻内涵？以下思路可供参考。 (一)深化新闻背景,巧用垂直空间 在新闻叙事中，对新闻背景的阐述往往是深度报道不可或缺的一部分。时间轴可视化，作为数据可视化在新闻领域的应用之一，其直线型的叙事模式在深度报道中有许多用武之地。例如，媒体可以借用时间轴可视化形态，将新闻事件的背景以及发生时的细节以时间为主线，完整地展示事件的发展轨迹。此外也可按逻辑关系开展叙事，环环相扣，展现事态本质。 在移动互联端，垂直显示的数据信息图与受众下拉浏览的习惯相适应。将新闻信息和垂直空间巧妙地结合起来，受众的视觉体验感会有很大提升，对新闻事件也会有深度的理解。 (二)引入组合叙事,创建主题矩阵 主题报道可视化是当下深度报道的一种创新模式。如果说以时间轴可视化的新闻在纵向上能增强深度性，那么以同一主题为核心的组合型新闻则在横向上拓宽了新闻报道的维度。主题新闻在组合后会形成多个相对独立完整的阅读模块，它们从属于相同的主题。这在一定程度上 增 新闻与传播 新媒体环境下基于数据可视化传播的新闻深度性探究 摘要:数据新闻的可视化传播在如今新媒体环境下越来越受到追捧，满足了受众追求视觉效果、可选择性大的内在偏好。近年来，数据新闻正在国内引领新的传播浪潮，但也出现了浅层化、同质化、弱互动等传播现象。本文主要针对数据新闻在传播上的深度性问题展开探讨，思考深度数据新闻的创新途径。 关键词:数据新闻；可视化；深度报道；创新思路 阴宣勇捷 187 视听2019.04|
我们在之前的文章中提到过，大数据的核心技术就是机器学习、数据挖掘、人工智能以及其 它大数据处理基础技术。在这篇文章中我们给大家详细地介绍一下这些内容，希望这篇文章 能能够给大家带来帮助。 首先说一下机器学习，一般数据分析师都知道，机器学习是大数据处理承上启下的关键技术，机器学习往上是深度学习、人工智能，机器学习往下是数据挖掘和统计学习。机器学习属于 计算机和统计学交叉学科，核心目标是通过函数映射、数据训练、最优化求解、模型评估等 一系列算法实现让计算机拥有对数据进行自动分类和预测的功能。这就需要我们对机器学习 有一个足够的了解。机器学习领域包括很多种类的智能处理算法，分类、聚类、回归、相关 分析等每类下面都有很多算法进行支撑，随着深度学习核心技术的突破性发展，机器学习算 法得以高速扩张。总之大数据处理要智能化，机器学习是核心的核心，深度学习、数据挖掘、商业智能、人工智能，大数据等概念的核心技术就是机器学习，机器学习用于图像处理和识 别就是机器视觉，机器学习用于模拟人类语言就是自然语言处理，机器视觉和自然语言处理 也是支撑人工智能的核心技术，机器学习用于通用的数据分析就是数据挖掘。由于在大数据 条件下图像，语音识别等领域的学习效果显著，有望成为人工智能取得突破的关键性技术， 正因为如此，我们需要重视机器学习。
然后我们说收数据挖掘，数据挖掘是一个较为宽泛的概念，大数据就是从海量数据里面挖掘 有价值有规律的信息同理。数据挖掘核心技术来自于机器学习领域，如深度学习是机器学习 中一类比较火的算法，当然也可以用于数据挖掘。还有传统的商业智能领域也包括数据挖掘，关键是技术能否真正挖掘出有用的信息，然后这些信息可以指导决策。数据挖掘的提法比机 器学习要早，应用范围要广，数据挖掘和机器学习是大数据分析的核心技术，互为支撑，为 大数据处理提供相关模型和算法，而模型和算法是大数据处理的关键，探索式交互式分析、 可视化分析、数据的采集存储和管理等都较少用到学习模型。由此可见，数据挖掘在数据分 析中都是十分重要的事情，更不用说大数据了。 由于篇幅原因我们就给大家介绍了大数据的核心技术的两个，分别是数据挖掘以及机器学习，我们在下一篇文章中给大家介绍更多有用的内容，最后感谢大家的阅读。
的数据新闻栏目，虽然获得了可喜的成绩，但是依然存在着困境，这极大地阻碍了数据新闻的发展。 (一)专业人才缺乏,数据素养偏低 大数据时代，使用数据说话成为新闻工作者必备的技能。可是，我国的数据新闻团队存在着人才缺乏、数据素养偏低等问题，使得对社会的热点、公众关注的话题缺乏分析和处理的能力，而自身专业技能的不足，又使得在数据的挖掘和处理利用上有待提高。如数据新闻的制作过程与传统新闻存在差别，它对于传统新闻工作者提出了更高、更具体的要求，既包括搜集数据、分析数据、信息图表的选择和制作，还包括所涉及的社会统计学、数据挖掘分析、平面设计的知识。而我国如今具备上述条件的全能型人才不足。 (二)数据开放较低,获取数据困难 数据新闻制作的前提是海量的数据，而海量的数据有赖于开放的数据源。西方的数据新闻起源早而且越来越成熟，这与西方开放的数据环境息息相关。而中国数据新闻来源的开放很大程度受制于两个方面，一方面是政府原因，我国政府信息公开起步较晚，相关部门的数据获取渠道不通畅，甚至一些重要的数据因为机密、隐私等原因无法获取，这使得数据资源获取受阻，新闻报道缺乏数据支持。另一方面是商业原因，很多重要的数据掌握在一些运营商、服务商以及权威机构手中，出于商业利益保护，有时候这些机构拒绝公开自己的数据，拒绝数据的流通，这使国内的数据在获取方面受到影响。 (三)重技术形式,轻新闻价值 数据可视化技术是指通过利用先进的图像处理技术和计算机网络技术，对新闻内容进行图像化处理，将新闻数据转化成可视的数据图表，以可视化的形式代替了文字形式，向公众传播更加具有视觉冲击力的新闻。但是，当前我国的数据新闻存在着为了可视化而可视化的现象，注重的是新闻作品的表现形式，这使得内容缺少新闻价值，也缺乏去挖掘数据背后的意义。在可视化的过程中堆砌大量的信息图表辅助报道，并没有给受众具体说明新闻的真正价值，为了可视化而可视化，其结果往往只能适得其反。 数据新闻具有的数据可视化、数据讲故事、数据深挖掘等新的特点促进了从业人员的思维方式和生产理念的革新。但是在实践过程中也存在着人才缺乏、数据源不开放、滥用可视化技术等问题，这些问题严重阻碍了数据新闻的发展。总之，互联网技术的进步、信息的爆炸性增长、人们日益改变的阅读习惯等都给数据新闻的发展带来了广阔的空间。数据新闻的发展是一个不容阻挡的趋势，已经成为传统新闻转型的必然途径之一。 参考文献: 1.方洁,颜冬.全球视野下的“数据新闻”:理念与实践[J].国际新闻界,2013(06):73-83. 2.郎劲松,杨海.数据新闻:大数据时代新闻可视化传播的创新路径[J].现代传播(中国传媒大学学报),2014(03):32-36. （作者系河南大学新闻与传播学院硕士研究生） 大数据能够真实地反映出用户的行为和情绪，有了数据就能预测公众喜好，在这样的背景下，大数据成为近年来炙手可热的一个话题，社会的各行各业都日益趋向于依靠数据的发现来解决问题。在新闻传播领域，数据新闻也应运而生。自2012年以来，我国人民网、新华网、澎湃新闻、网易新闻、财新网等媒体都争相开辟了数据新闻板块，并取得了一定的成绩。财新的“数字说”作为国内较早成立的数据新闻制作团队，在2018年的全球数据新闻奖中击败了来自BBC、彭博、英国卫报等媒体的11个团队，获得“最佳大型数据新闻团队”奖。数据新闻作为一种独特而多元的新闻呈现方式，已成为各路媒体在数字传媒时代的必争之所，数据新闻正在成为新闻界的主流。一、什么是数据新闻 数据新闻以数据为中心，密切围绕数据来组织报道，记者主要通过数据统计、数据分析、数据挖掘等技术手段或是从海量数据中发现新闻线索，或是抓取大量数据拓展既有新闻的主题的广度与深度，最后依靠可视化技术将经过过滤后的数据进行融合，以形象化、艺术化的方式加以呈现，致力于为读者提供客观、系统的报道以及良好的阅读体验。①在描述、呈现数据之外，数据还可用来提供预测服务，比如DT财经的《重新认识地铁上的上海—— —上海城市大数据活跃报告》，这份报告综合了百度地图、大众点评、e成等多维度的数据，全面描绘了上海各个地铁站周边区域的整体面貌，让租房一族直观地看到哪几个地铁 站 新闻与传播 数据新闻写作模式探析 —— —以RUC新闻坊数据新闻为例 阴张早 摘要:在大数据的影响下，数据新闻的概念成为新闻传播领域的新命题。作为一种新型的新闻生产模式，它改变了传统新闻的生产模式和整个运作体系。由于我国数据新闻的实践时间短，在数据新闻的制作中存在不少问题，其中新闻从业人员数据素养低的问题尤为突出。中国人民大学新闻系的官方微信公众号“RUC新闻坊”数据新闻作品的写作实践，不仅顺应时代的发展，为新闻媒体机构输送具有较高数据素养的新闻人才，同时也为其他高校新闻学专业的发展提供了参考借鉴。 关键词:数据新闻；RUC新闻坊；大数据 185 视听2019.04|
数据新闻新发展：网易数读在全媒体时代的传播要求 刘明珠 摘要全媒体的不断发展，促进了媒体的传播方式深刻变化。以网易数读为例，全媒体思维对数据新闻传播中媒体的整体格局、技术监督、叙事传播以及形象特色的把握有了新的要求，引导媒体在数据新闻领域中长期有效发展、标准化数据分析呈现、回归新闻本位并打造更具特色的传播报道方式。 关键词全媒体;数据新闻;网易数读 数据新闻（data journalism），也被称为“数据驱动新闻传播”（data-driven journalism）。它指的是基于数据的抓取、处理、分析和可视化，呈现数据中隐藏着的新闻事实的新型报道方式[1]。20XX年1月13日，网易开设了“数读”栏目，标榜“用数据说话”，制作数据新闻，成为国内最早进行数据新闻实践的媒体之一。 在全媒体时代，我国媒体已经跨入融合3.0时代，进入了高水平、深层次的媒体融合发展。全程媒体、全息媒体、全员媒体、全效媒体是观察全媒体时代的基本特征[2]，网易数读作为中国数据新闻实践、数据可视化传播的重要栏目，能够提供数据可视化传播发展前景的参考蓝本。 1 在全程媒体中开启互动循环模式 全程媒体是指媒体对新闻报道和信息传播的同步跟进和全程生产[3]。这推动着数据新闻工作者探索与受众合理互动、寻找新的价值线索，开启互动循环发展模式。网易数读是以网易这一门户网站为基础建立的平台栏目，在与受众互动传播中具有先天的讨论、话题收集和舆情分析的优势。依照中央厨房式生产模式，网易数读可以建立专门的数据收集、分析、整合生产和分发系统，联动受众参与数据新闻传播制作。在全媒体时代，全程媒体在时间维度对数据新闻提出的新要求，正是依托数据新闻传播后，在受众互动交流的过程中寻求可持续循环运营的模式探索。 对于大学生群体，网易数读近期连续发布了《B站课程排行榜，这届大学生最爱学什么》《大学每月生活费4 500，要多了吗》《大学最容易挂的科目排行，全是泪》《寒假52天，什么大学放假这么野》和《春招缩水，这届毕业生要怎么找工作》等5篇系统化的宏
从五大行业案例，看大数据的应用逻辑本文从一则搞笑的大数据应用案例入手：某超市通过分析一位女顾客的购物数据（包括购物清单，浏览物品，咨询信息，视频监控信息<超市内徘徊区域>等），根据分析结果给该女顾客寄来了孕婴童试用品，这一举动让该女顾客的父亲非常生气，立马致电该超市投诉，因为她女儿还未成年！超市经理立马登门拜访道歉，不过事实是，不久后这位小女孩因遮盖不住隆起的腹部而不得不向父亲告知真相：她真的怀孕了。对于企业而言，大数据有时候就像是一个侦探家，能够拨开重重迷雾，找到问题的本质以及解决方案，而关键在于，你是否真的懂得如何去驾驭它，让它为你服务。 在经历了喊口号、布局深耕之后，大数据应用开始显现出巨大的商业价值，触角已延伸到零售、金融、教育、医疗、体育、制造、影视、政府等各行各业。随着中国企业数据中心数据存储量的快速增长，非结构化数据呈指数级增长，有效地处理和分析结构化数据和非结构化数据中所富含的对企业和政府有价值的信息将带动新的盈利模式、管理模式、创新模式以及思维模式。 在维克托·迈尔·舍恩伯格的《大数据时代》一书中解释，大数据是指不用随机分析法（抽样调查）这样的捷径，而采用所有数据的方法。随着云时代的来临，大数据也吸引了越来越多的关注。大数据是继云计算、物联网之后IT产业又一次颠覆性的技术变革，消费者的网络足迹是互联网基因，网络中的足迹、点击、浏览、留言直接反映消费者的性格、偏好、意愿等，互联网交互大数据就是研究每个用户碎片行为的过程。大数据对于经济发展、企业决策、组织和业务流程，对个人生活方式等都将产生巨大的影响。 大数据作为当下非常火爆的一个词，其价值不言而喻，今天，《互联网周刊》不谈价值，通过聚拢一些实实在在的应用，如电商，传统金融，互联网金融，医疗，制造五大领域的案例，进而衍射出大数据内在的应用逻辑。 “用户画像”直击零售商需求 在如此激烈而又庞大的市场中，电商们迫切想知道的想必就是用户需求。当这个用户登陆网站的瞬间，就能猜出来这个用户今天为何而来，然后从电商的商品库里面把合适的商品找出来并推荐给他，进而展现出符合客户需求的产品都有哪几款。这种服务是消费者想要的，但是谁能帮助电商们做到呢？
工业互联网的九大核心技术 工业互联网这个话题是由GE公司在2012年率先提出的。这个话题和后来2013年德国提出的工业4.0，可以说搅动了很多企业的神经。 但是这些新的理念并不是空穴来风，它是工业化国家在过去几十年强大的技术积累，以及和互联网结合以后产生的新战略，新的技术布局以及对未来的一种新的愿景。如果我们单从互联网角度去解读这些愿景和战略，我认为是不够的。事实上工业互联网有强大的技术支撑。 在工业互联网领域，我们要想获得持续、稳健的发展，需要具备坚实的技术基础。下面这张图将正在出现的以及未来可能出现的技术要素用结构化的方式展现出来，让大家对工业互联网所形成的技术和系统基础，有一个系统性的了解。
在这个结构当中，最为基础是工业互联网的标准和系统安全体系，不同于已经成熟的商业互联网和人际互联网，工业互联网相关的技术标准还远远没有成形，可以讲不同技术阵营当中的博弈和争夺正在激烈展开。而且系统安全是比较薄弱的环节，这在相当程度上阻碍了工业互联网的开放，和彼此数据的交换。在未来我们可以预见到各个工业化的国家、组织乃至企业，以及科研机构，将围绕标准的设立和系统安全的共识和创建，进行大量的工作。 这些基础性的工作是非常重要的，而且是战略性的。因此我们中国的企业家群体要非常关注这些基础性的工作，要抛弃那些可能假想性的，以及希望快速弯道超车的简单愿望。没有这些基础工作，要实现真正意义上的工业互联，是不可能的。
在此之上还有三个非常关键的技术组件，一个称之为随处可及的超级计算终端。所谓随处可及的超级计算终端，是由传感器、强大的芯片以及因此产生的分布式强大计算能力所带来的，这个是因为芯片技术的普及和IPV6的寻址能力的扩张所带来的。 第二类的组件基础，我们称为软件定义机器。所谓软件定义机器就是强大的、无处不在的超级计算终端，以及我们所使用的工业时代的各种设备的整合以后所出现的一种新的前景。未来硬件虽然重要，但是软件更加重要。硬件作为技术组件，相对软件赋予不同的功能，软件定义硬件和定义机器，将成为未来的大势所趋。 由此产生的数据、模式、方法论和人工智能，将归结在知识工作的自动化领域，这个领域涉及大量新的技术。 在这三个技术组件之上，是关于新型的工业流程。未来的工业流程将突破流程化，或者是离散化的传统定义。随着机器人的深度介入，将使得工业流程和工业生产的过程发生根本性的改变。工业生产将变成真正没有停息的全过程，因为机器人没有疲劳，而且机器人之间将进行深度的交流和自动化处理，使得生产效率突破人类介入方式的瓶颈，达到新的高峰。
第1页，共18页 第2页，共18页 任课教师签名： 命题教师签名： 系主任签名： 主管院长签名： 岭南师范学院2015 年－ 2016 学年度第二学期 期末考试试题A 卷 (考试时间: 120 分钟) 考试科目： 大数据核心技术 一、单项选择题(每小题 2 分，共 30 分) 请把答案写在下表中，写在试题后无效。 1. 下面哪个程序负责 HDFS 数据存储。 （C ） A. NameNode B. Jobtracker C. Datanode D. secondaryNameNode 2. HDFS 中的 block 默认保存几个备份。 （ A ） A. 3 份 B. 2 份 C. 1 份 D. 不确定 3. HDFS1.0 默认 Block Size 大小是多少。 （ B ） A. 32MB B. 64MB C. 128MB D. 256MB 4. 下面哪个进程负责 MapReduce 任务调度。 （ B ） A. NameNode B. Jobtracker C. TaskTracker D. secondaryNameNode 5. Hadoop1.0默认的调度器策略是哪个。 （ A ） A. 先进先出调度器 B. 计算能力调度器 C. 公平调度器 D. 优先级调度器 6. Client 端上传文件的时候下列哪项正确？ （ B ） A. 数据经过 NameNode 传递给 DataNode B. Client 端将文件切分为 Block ，依次上传 C. Client 只上传数据到一台 DataNode ，然后由 NameNode 负责 Block 复制工作 D. 以上都不正确 7. 在实验集群的master 节点使用jps 命令查看进程时，终端出现以下哪项能说明Hadoop 主节点启动成功？ （ D ） A. Namenode, Datanode, TaskTracker B. Namenode, Datanode, secondaryNameNode C. Namenode, Datanode, HMaster
岭南师范学院2015 年－2016 学年度第二学期 期末考试试题A卷 (考试时间: 120 分钟) 考试科目：大数据核心技术 一、单项选择题(每小题 2 分，共30 分) 请把答案写在下表中，写在试题后无效。 1. 下面哪个程序负责HDFS 数据存储。（C ） A. NameNode B. Jobtracker C. Datanode D. secondaryNameNode 2. HDFS 中的block 默认保存几个备份。（A ） A. 3 份 B. 2 份 C. 1 份 D. 不确定 3. HDFS1.0 默认Block Size大小是多少。（B ） A. 32MB B. 64MB C. 128MB D. 256MB 4. 下面哪个进程负责MapReduce 任务调度。（B ） A. NameNode B. Jobtracker C. TaskTracker D. secondaryNameNode 5. Hadoop1.0默认的调度器策略是哪个。（A ） A. 先进先出调度器 B. 计算能力调度器 C. 公平调度器 D. 优先级调度器 6. Client 端上传文件的时候下列哪项正确？（ B ） A. 数据经过NameNode 传递给DataNode B. Client 端将文件切分为Block，依次上传 C. Client 只上传数据到一台DataNode，然后由NameNode 负责Block 复制工作 D. 以上都不正确 7. 在实验集群的master节点使用jps命令查看进程时，终端出现以下哪项能说明Hadoop主节点启动成功？（ D ） A. Namenode, Datanode, TaskTracker B. Namenode, Datanode, secondaryNameNode C. Namenode, Datanode, HMaster D. Namenode, JobTracker, secondaryNameNode 8. 若不针对MapReduce编程模型中的key和value值进行特别设置，下列哪一项是MapReduce不适宜的运算。（ D ） A. Max B. Min C. Count D. Average