1019大数据笔记记录

《牛津通识读本：大数据》大数据的三个视角●一是计算视角：从计算视角来看，大数据是一个难以获取、难以组织与管理、难以处理和分析的技术难题（以及因此而引发的各类思维层难题），也正是因为这样的难题驱动，加之人们对大数据在优政、兴业、科研、惠民等不同领域的价值期望，促使相关科研人员进行技术攻关和发明创造，进而推进了相关理论和技术的发展。

●二是科研视角：从科学研究的角度来看，大数据成为继实验、理论、模拟之后用于科学研究的“第四范式”（此处的“范式”指的是从事某一科学的科学家群体所共同遵从的世界观和行为方式）。

●三是商业视角：从商业应用的角度来看，大数据能够带来利润。

一般而言，只要找到一个合适的应用场景，并为这个应用场景找到一个合适的解决方案，知道数据的来源并且能够获取，而且有技术支撑（研发能力），更重要的是能够找到融资支持（经过可行性分析、盈亏平衡分析等之后），就有可能最终成功应用并获得收益。

这在彰显大数据商业价值的同时，也会促使同行去挖掘更多的大数据价值。

实现大数据价值的四个维度（ABCD）1算法（Algorithm）：大数据价值的实现路径涵盖了数据采集与汇聚、数据存储与管理、数据处理与分析、应用系统开发与运维，每一个环节都需要依赖不同的算法进行，如数据采集算法、数据汇聚算法、数据治理算法、数据处理和分析算法等。

2商业应用（Business）：大数据应用一般体现在描述性分析、预测性分析或者决策性分析等，任何一种应用都是围绕某个具体场景展开的，因此大数据价值得以实现的一个重要前提，是找到一个合适的应用场景，该应用场景既直击需求痛点并有投资回报预期，又有数据积淀和IT建设基础。

大数据在这个场景的应用，能够进一步内生和富集更多数据并因而形成数据闭环，就能进一步体现和实现大数据价值。

3算力（Computing Power）：所谓算力，指的是设备的计算能力，显然，对于大数据应用而言，更精准（复杂）的算法以及更高效的计算需求都需要强大的算力支撑，因此算力是大数据价值实现的基本保障。

洛飞超短笔记汇总洛飞，一位资深科技博主，以其短小精悍的笔记闻名于业界。

他的笔记内容涵盖了广泛的科技领域，包括人工智能、大数据、区块链等各个热门话题。

在这篇文章中，我们将对洛飞的超短笔记进行汇总和梳理，为您带来一场关于科技前沿的精彩聚集。

一、人工智能领域1. 机器学习算法的发展- 传统算法 vs. 深度学习：全连接网络、卷积神经网络、循环神经网络，掀起了机器学习的新风潮。

- 半监督学习：利用带标签数据和未标签数据相结合，提高了模型性能。

- 强化学习：通过试错来优化模型，实现智能决策。

2. 自然语言处理（NLP）的进展- 语音识别：深度学习技术的应用提高了语音识别的准确性和交互性。

- 文本分类：基于深度学习的模型，实现更准确的文本分类和情感分析。

- 机器翻译：神经网络机器翻译（NMT）的使用，实现了更准确、流畅的语言翻译。

二、大数据领域1. 数据存储与计算- 分布式文件系统：HDFS、Ceph等，实现了大规模数据的存储和处理。

- 数据仓库技术：Hive、Presto等，提供了高效的数据查询和分析能力。

- 分布式计算框架：Hadoop、Spark等，加速了大规模数据处理和分析的速度。

2. 数据挖掘与分析- 关联规则挖掘：通过挖掘数据集中的关联规则，发现隐藏在数据中的有用信息。

- 聚类分析：将数据集划分为不同的群组，揭示数据内在的分布特征。

- 预测与分类：通过构建预测模型，实现对未来事件的预测和分类。

三、区块链领域1. 去中心化的特点- 去中心化网络：区块链网络通过节点之间的共识机制，实现了信息的去中心化传输和存储。

- 区块链账本：通过区块的链接和加密算法，保证了数据的安全性和不可篡改性。

2. 智能合约与DApp- 智能合约：在区块链上编码的合约，能够自动执行和验证合约中的条款和条件。

- DApp（去中心化应用）：基于区块链技术构建的应用程序，具有去中心化和安全性的优势。

四、网络安全领域1. 数据加密与隐私保护- 对称加密算法：使用相同的密钥进行加密和解密，实现数据的机密性。

大数据时代读书笔记Newly compiled on November 23, 2020大数据时代维克托·迈尔·舍恩伯格首先作者抛出了大数据时代处理数据理念上的三大转变：●要全体不要抽样。

首先，要分析与某事物相关的所有数据，而不是依靠分析少量的数据样本。

全数据模式，样本=总体。

●要效率不要绝对精确。

其次，我们乐于接受数据的纷繁复杂，而不再追求精确性。

●要相关不要因果。

最后，我们的思想发生了转变，不再探求难以捉摸的因果关系，转而关注事物的相关关系。

接着，从万事万物数据化和数据交叉复用的巨大价值两个方面，讲述驱动大数据战车在材质和智力方面向前滚动的最根本动力；最后，作者冷静描绘了大数据帝国前夜的脆弱和不安，包括产业生态环境、数据安全隐私、信息公正公开等问题。

●大数据的核心就是预测●大数据是指不用随机分析法这样的捷径，而采用所有数据的方法。

●大数据的精髓在于我们分析信息时的三个转变，这些转变将改变我们理解和组建社会的方法。

✧第一个转变就是，在大数据时代，我们可以分析更多的数据，有时候甚至可以处理和某个特别现象相关的所有数据，而不再依赖于随机采样。

✧第二个改变就是，研究数据如此之多，以至于我们不再热衷于追求精确度。

✧第三个转变因前两个转变而促成，即我们不再热衷于寻找因果关系。

●让数据发声，我们会注意到很多以前从来没有意识到的联系的存在●数据化意味着我们要从一切太阳底下的事物中汲取信息，甚至包括很多我们以前认为和“信息”根本搭不上边的事情。

●大数据时代开启了一场寻宝游戏，而人们对于数据的看法以及对于由因果关系向相关关系转化时释放出的潜在价值的态度，正是主宰这场游戏的关键。

第一部分大数据时代的思维变革●大数据与三个重大的思维转变有关，这三个转变是相互联系和相互作用的。

●要想获得大规模数据带来的好处，混乱应该是一种标准途径，而不应该是竭力避免的。

●知道“是什么”就够了，没必要知道“为什么”。

大数据时代——读书笔记一、引论1.大数据时代的三个转变：1.可以分析更多的数据，处理和某个现象相关的所有数据，而不是随机采样2.不热衷于精确度3.不热衷与寻找因果关系2.习惯：用来决策的信息必须是少量而精确的。

实际：数据量变大，数据处理速度变快，数据不在精确3.危险：不是隐私的泄露而是未来行动的预判二、大数据时代的思维变革1.原因：没有意识到处理大规模数据的能力，假设信息匮乏，发展一些使用少量信息的技术（随机采样）1.1086年末日审判书英国对人的记载2.约翰·格朗特：统计学，采样分析精确性随着采样随机性上升而大幅上升，与样本数量关系不大3.1890年，穿孔卡片制表机，人口普查4.随机采样有固有的缺陷1.采样过程中存在偏差2.采样不适合考察子类别3.只能得出实现设计好的问题的结果4.忽视了细节考察2.全数据模式：样本=总体1.通过异常量判断信用卡诈骗2.大数据分析：不用随机抽样，而是采用所有数据。

不是绝对意义而是相对意义。

（Xroom信用卡诈骗，日本相扑比赛）3.多样性的价值（社区外联系很多》社区内联系很多）3. 混杂性而非精确性1. 葡萄树温度测量：数据变多，虽然可能有错误数据，但总体而言会更加精确。

2. 包容错误有更大好处3. word语法检查：语料库》算法发展4. google翻译：让计算机自己估算对应关系，寻找成千上万对译结论：大数据的简单算法好过小数据的复杂算法5. 大数据让我们不执著于也无法执着于精确6. MIT的通货紧缩软件：即时的大数据7. 标签：不精确8. 想要获得大规模数据的好处，混乱是一种标准途经9. 新的数据库：大部分数据是非结构化的，无法被利用10. Hadoop：与mapreduce系统相对的开源式分布系统，输出结果不精确，但是非常快结论：相比于依赖小数据和精确性的时代，大数据因为更强调数据的完整性和混杂性，帮助我们进一步接近事情的真相。

“部分”和”确切“的吸引力是可以理解的。

大数据管理与应用专业笔记一、概述大数据管理与应用专业是当前信息管理领域中备受瞩目的专业方向之一。

随着信息技术的飞速发展和互联网的普及，海量数据的产生和应用已经成为了现代社会不可忽视的问题。

大数据管理与应用专业应运而生，旨在培养具备大数据处理与管理能力的专业人才，以满足社会对于数据管理和应用的需求。

二、专业课程1.大数据原理与技术本课程主要介绍大数据的基本概念、原理和技术，包括大数据的特征、存储与处理技术、大数据分析与挖掘技术等内容。

学生通过学习，可以对大数据的基本概念有所了解，了解大数据的存储和处理技术，掌握大数据分析与挖掘的基本方法。

2. 数据管理系统本课程主要介绍数据管理系统的结构、原理和技术，包括数据库系统、数据仓库、数据挖掘等内容。

学生通过学习，可以了解不同类型数据管理系统的特点以及其在大数据环境中的运行原理和技术。

3. 大数据编程与开发本课程主要介绍大数据编程和开发的相关技术，包括Hadoop生态系统、Spark、Flink 等大数据框架的编程与开发技术。

学生通过学习，可以掌握大数据编程和开发的基本原理和方法，提高对大数据处理和应用的技术能力。

4. 大数据应用案例分析本课程主要介绍大数据在不同领域的应用案例，包括金融、医疗、电商等行业的大数据应用案例分析。

学生通过学习，可以深入了解大数据在实际领域中的应用，并掌握大数据分析和挖掘技术在不同行业中的应用方法。

三、专业能力培养1. 数据管理能力学生通过学习数据管理系统和大数据原理与技术，掌握数据管理系统的搭建、维护和优化能力，具备数据清洗、整合、存储和分析的能力。

2. 数据分析能力学生通过学习大数据应用案例分析和大数据编程与开发，掌握大数据分析工具和技术，具备对大数据进行分析和挖掘的能力，可以从海量数据中提取有效信息。

3. 专业实践能力学生通过实习和课程设计，实际应用所学的知识和技能，具备在实际工作中处理大数据和应用大数据技术的能力，解决大数据管理与应用中的实际问题。

大数据与会计笔记在当今数字化时代，大数据的浪潮汹涌而来，深刻地影响着各个领域，会计行业也不例外。

大数据为会计工作带来了前所未有的机遇和挑战，也促使会计从业者不断更新知识和技能，以适应这一变革。

大数据是什么呢？简单来说，就是海量、多样、高速和价值密度低的数据集合。

这些数据来源广泛，包括企业内部的财务数据、业务数据，以及来自外部的市场数据、行业数据等等。

它们的规模之大、增长速度之快，超出了传统数据处理技术的能力范围。

对于会计工作而言，大数据的影响首先体现在数据的采集和处理上。

以往，会计人员主要依靠企业内部的结构化财务数据进行核算和分析。

但现在，随着大数据技术的应用，非结构化数据如文本、图像、音频等也能被纳入到会计信息系统中。

这意味着会计人员需要掌握新的数据采集和处理技术，能够从海量的、杂乱无章的数据中提取有价值的信息。

大数据也改变了会计的分析方法。

传统的会计分析往往侧重于财务指标的计算和比较，而大数据时代则更注重数据的相关性分析和预测。

通过运用数据挖掘、机器学习等技术，会计人员可以发现隐藏在数据背后的规律和趋势，为企业的决策提供更准确、更及时的支持。

例如，通过分析客户的购买行为和偏好数据，企业可以制定更有针对性的营销策略，提高销售业绩；通过分析供应链数据，企业可以优化采购和库存管理，降低成本。

同时，大数据对会计信息的质量和安全性提出了更高的要求。

海量的数据意味着出错的可能性增加，数据的准确性和完整性需要得到更严格的保障。

此外，数据的安全性也至关重要，一旦数据泄露，将给企业带来巨大的损失。

因此，会计人员需要加强对数据质量的把控和数据安全的防护，建立完善的数据管理制度。

在大数据背景下，会计职能也在发生转变。

传统的会计主要侧重于核算和监督，而现在则更倾向于决策支持和战略规划。

会计人员不再仅仅是数据的记录者，更是数据的分析师和决策者的参谋。

他们需要运用大数据技术，为企业提供深入的财务分析和风险评估，帮助企业制定合理的发展战略。

23课的课堂笔记
23课堂笔记：
本次课程主要讲解了大数据处理中的一些基本概念和技术，以下是我所记录的一些重点内容：
1. 大数据指的是数据量过大、类型繁多、处理速度要求高的数
据集合。

其特点包括三个V：Volume（数据规模大）、Variety（数据类型多样）和Velocity（数据处理速度快）。

2. 大数据处理的技术包括分布式存储和计算、MapReduce编程
模型、Hadoop生态系统等。

其中，Hadoop是一个开源的大数据处理
框架，包含了HDFS分布式文件系统和MapReduce计算模型。

3. 在大数据处理中，常用的数据存储格式包括文本格式、序列
化格式和列式存储格式。

其中，列式存储格式在处理大规模数据时具有较好的性能表现。

4. 数据清洗和预处理在大数据处理中也非常重要。

常用的数据
清洗工具包括OpenRefine、DataWrangler等。

5. 大数据可视化是将大数据处理结果以图形化界面展现出来的
过程。

常用的大数据可视化工具包括Tableau、D3.js等。

总的来说，本次课程让我了解到了大数据处理的基本概念和技术，对我今后的工作和学习都有很大的启发作用。

大数据管理与应用专业笔记一、大数据概述1.1 定义大数据是指由传统数据库工具难以捕捉、管理和处理的超大规模数据集。

这些数据通常具有高速增长、多样化、低价值密度和低密度特点，这些特点决定了传统数据库方法已不再适用于其管理和处理。

1.2 特点大数据主要具有四个特点：数据量大、数据类型多样、数据价值密度低、数据密度低。

这决定了大数据的管理和应用需要采用新型的技术和方法。

1.3 应用大数据在各个行业都有着广泛的应用，如金融、电商、医疗、交通、能源等。

大数据的管理与应用已成为各个行业竞争的核心。

二、大数据技术2.1 存储技术大数据存储技术是大数据管理的关键技术之一。

Hadoop、Spark、NoSQL数据库等存储技术成为了大数据存储的主要技术工具。

2.2 处理技术大数据的处理技术是大数据应用的重要组成部分，MapReduce、Storm、Flink等大数据处理技术为大数据处理提供了强大的支持。

2.3 分析技术大数据分析技术是大数据应用的关键环节，机器学习、数据挖掘、文本分析等技术为大数据分析提供了有效的手段。

2.4 可视化技术大数据的可视化技术有助于以直观直觉的方式表达大数据的信息，Tableau、D3.js等可视化技术为大数据分析与应用提供了重要的支持。

三、大数据管理3.1 数据采集大数据管理从数据采集开始，包括结构化数据、非结构化数据、半结构化数据等。

数据采集质量直接影响着后续数据分析与应用的结果。

3.2 数据存储大数据存储包括数据存储系统的选择、存储结构的优化、数据备份与恢复等环节，其目的是为了保证大数据的安全和高效的管理。

3.3 数据清洗与预处理大数据管理首先要进行数据清洗与预处理操作，以保障数据的质量，包括去重、去噪、缺失值处理等操作。

3.4 数据分析与挖掘数据分析与挖掘是大数据管理的核心环节，有助于发现数据中的潜在规律，指导决策和优化业务流程。

四、大数据应用4.1 金融大数据在金融领域的应用已经十分普遍，包括风险控制、信用评估、市场预测等方面，大数据的应用加速了金融行业的数字化进程。

读书笔记1：《大数据时代》生活、工作和思维的大变革 【英】维克托·迈尔—舍恩伯格 肯尼斯·库克耶著 大数据标志着人类在寻求量化和理解世界的道路上前进了一大步。

过去不可计量、储存、分析和共享的不少东西都被数据化了。

拥有大量的数据和更多不那末精确的数据为我们理解世界打开了一扇大门。

社会所以抛却了寻觅因果关系的传统偏好，开始挖掘相关系数的好处。

“大数据”的本质是思维、商业和管理领域前所未有的大变革。

由此，必然会带来教学方式的改变。

大数据与三个重大的思维转变相关，这三个转变是相互联系和相互作用的。

首先，要分析与某事物相关的所有数据，而不是依靠分析少量的数据样本。

●其次，我们乐于接受数据的纷繁复杂，而再也不追求精确性。

●最后，我们的思想发生了转变，再也不探求难以捉摸的因果关系，转而注重事物的相关关系。

数据创新就像一个奇妙的钻石矿，当它的首要价值被发掘后仍能持续赋予。

它的真实价值就像飘荡在海洋中的冰山，第一眼只能看到冰山的一角，而绝绝大部份都隐藏在表面之下。

当世界开始迈向大数据时代，社会也将经历类似的地壳运动。

在改变人类基本的生活与思量方式的同时，大数据早已在推动人类信息管理准则的重新定位。

无非，不同于印刷革命，我们没有几个世纪的时间去适合，我们也许只有几年时间。

大数据，给我们带来了机遇、风险和挑战。

它们持续对我们管理世界的方法提出挑战，我们要意识到新技术的风险，促动其发展，然后然后斩获成果。

大数据标志着真正的“信息社会”终于到来了。

我们能够获得比以前更多的信息并实行分析。

在我们诠释世界时，能够利用更多的数据，甚至是全部数据。

这需要我们采取非传统的方法，特殊是要改变我们理想中构成实用信息的因素。

我们“做新、做多、做好、做快”的水平能释放出无限价值，产生新的赢家和输家。

绝大部份的信息价值来自于二级用途，即潜在价值，而不是我们所习惯认为的基本用途。

结果，对于绝大部份数据来说，尽可能多地采集、等待信息增值并且让其他更适合挖掘价值的人来分析它才是明智之举（前提是这人能够分享开辟出的利润）。

大数据实习报告工作记录在过去的三个月里，我有幸成为一家大数据公司的实习生，这段经历让我收获颇丰。

我主要参与了公司的一个项目，负责数据解析入库和爬虫采集入库等工作。

以下是我在实习期间的工作记录和一些心得体会。

一开始，我对大数据领域知之甚少，因此在实习初期遇到了不少困难。

我花费了大量时间去学习相关知识，包括数据解析、数据存储、数据挖掘等。

在项目过程中，我负责的数据解析入库工作让我对数据处理有了更深入的了解。

我学会了如何将原始数据进行清洗、转换和解析，使其成为可用于分析和挖掘的格式。

此外，我还学习了如何使用各种数据存储技术，如关系型数据库和非关系型数据库，来存储和管理大量数据。

在爬虫采集入库方面，我负责开发和维护爬虫程序，从互联网上获取所需的数据并将其存储到数据库中。

我学会了使用Python编写爬虫程序，使用Scrapy框架来构建爬虫项目。

在实际操作中，我遇到了一些挑战，如如何解决爬虫在访问网站时遇到的反爬虫机制、如何处理异步加载的数据等。

通过查阅资料和不断实践，我逐渐找到了解决这些问题的方法。

除了参与项目工作，我还养成了记笔记和写博客的习惯。

每天下班后，我会将当天学到的知识和遇到的问题记录下来，以便日后回顾和总结。

同时，我开始在CSDN上发表博客，分享自己的学习经验和心得。

通过写博客，我不仅巩固了自己的知识，还吸引了其他读者的关注和讨论，从而拓宽了视野。

在实习期间，我还有机会参加了一些面试。

通过面试，我更加明确了自己的职业目标和发展方向。

我意识到，在大数据领域，除了掌握相关技术技能，还需要具备良好的沟通能力和团队协作能力。

因此，我开始注重培养这些软技能，参加了一些培训和讲座。

总的来说，这段实习经历让我对大数据领域有了更深入的了解，也让我明白了自己的不足之处。

我会继续努力学习和提升自己，为未来的职业生涯做好准备。

同时，我也希望我的经验和心得能够对其他有意进入大数据领域的人有所帮助。