1.大数据时代：生活、工作与思维的大变革（图书馆有）
《大数据时代:生活、工作与思维的大变革》是国外大数据系统研究的先河之作，作者维克托?迈尔?舍恩伯格被誉为“大数据时代的预言家”，拥有在哈佛大学、牛津大学、耶鲁大学和新加坡国立大学等多个互联网研究重镇任教的经历，早在2010年就在《经济学人》上发布了长达14页对大数据应用的前瞻性研究。
维克托?尔耶?舍恩伯格在《大数据时代:生活、工作与思维的大变革》中前瞻性地指出，大数据带来的信息风暴正在变革我们的生活、工作和思维，大数据开启了一次重大的时代转型，并用三个部分讲述了大数据时代的思维变革、商业变革和管理变革。维克托最具洞见之处在于，他明确指出，大数据时代最大的转变就是，放弃对因果关系的渴求，而取而代之关注相关关系。也就是说只要知道“是什么”，而不需要知道“为什么”。这颠覆了千百年来人类的思维惯例，对人类的认知和与世界交流的方式提出了全新的挑战。
大数据是人们获得新的认知，创造新的价值的源泉；大数据还是改变市场、组织机构，以及政府与公民关系的方法。维克托认为，大数据的核心就是预测。这个核心代表着我们分析信息时的三个转变。第一个转变就是，在大数据时代，我们可以分析更多的数据，有时候甚至可以处理和某个特别现象相关的所有数据，而不再依赖于随机采样。第二个改变就是，研究数据如此之多，以至于我们不再热衷于追求精确度。第三个转变因前两个转变而促成，即我们不再热衷于寻找因果关系。书中展示了谷歌、微软、亚马逊、IBM、苹果、facebook、twitter、VISA 等大数据先锋们最具价值的应用案例。
2.大数据：正在到来的数据革命，以及它如何改变政府、商业与我们的生活涂子沛
《大数据:正在到来的数据革命,以及它如何改变政府、商业与我们的生活》入榜《亚洲周刊》“年度十大好书”，持续畅销；叫醒中国，领跑大数据时代最好的书。中国高层人物汪洋，读后非常有启发，针对国人数据意识的淡薄由来已久，中国如何应对大数据时代的挑战，他在工作会议上说：“我希望大家能认真读一读这本书，带着问题读，带着想法读。”哈佛大学商学院访问教授、全球顶尖管理咨询师达文波特，为中国政经两界提示智库建言：“无论是对中国政府，还是就中国的商业组织而言，《大数据》都是一本重要的书。”史学大家、匹兹堡大学历史系荣誉讲座教授许倬云，有感于“老大哥”的影子，专门作序：“我们要对涂子沛先生致敬与致谢，因为他为华文世界提出一个重要的话题。”美国第一，中国第几？公布官员财产美国是怎么做的，美国能让少部人腐败起来吗，美国式上访是怎么回事，凭什么美国矿难那么少，全民医改美国做得到吗，美国总统大选有什么利器才能赢，下一轮全球洗牌我们世界工厂会被淘汰吗……
除了上帝，任何人都必须用数据来说话。大数据浪潮，汹涌来袭，与互联网的发明一样，这绝不仅仅是信息技术领域的革命，更是在全球范围启动透明政府、加速企业创新、引领社会变革的利器。现代管理学之父德鲁克有言，预测未来最好的方法，就是去创造未来。而“大数据战略”，则是当下领航全球的先机。
大数据，这一世界大潮的来龙去脉如何？数据技术变革，何以能推动政府信息公开、透明和社会公正？何以促发行政管理和商业管理革新，并创造无限商机？又何以既便利又危及我们每个人的生活？Google、百度之类搜索服务，何以会不再有立足之地？引领世界的数据帝国——美国和西欧，正在如何应对大数据时代？我们中国，又当如何作为？
本书通过讲述美国半个多世纪信息开放、技术创新的历史，以别开生面的经典案例——奥巴马建设“前所未有的开放政府”的雄心、公共财政透明的曲折、《数据质量法》背后的隐情、全民医改法案的波澜、统一身份证的百年纠结、街头警察的创新传奇、美国矿难的悲情历史、商务智能的前世今生、数据开放运动的全球兴起，以及云计算、Facebook和推特等社交媒体、Web3.0与下一代互联网的未来图景等等，为您一一细解，数据创新给公民、政府、社会带来的种种挑战和
变革。
美国是主体，但又处处反观中国当下的现实。回望中国，胡适批评“差不多先生”，黄仁宇求索“数目字管理”，作者从太平洋对面看到中美两国的差距，深知中国缺少什么、需要什么，故将十多年观察、思索所得，又新增微学校、微学位等教育领域正在发生的革命，以及建言中国“大数据战略”的重要文章和访谈，淘洗成这本“2.0升级版”——大数据：正在到来的数据革命，以及它如何改变政府、商业与我们的生活。
3.爆发：大数据时代预见未来的新思维
美国艾伯特-拉斯洛.巴拉巴西
1．《爆发：大数据时代预见未来的新思维》是一本超越《黑天鹅》的惊世之作。如果说塔勒布认为人类行为是随机的，都是小概率事件，是不可以预测的；那么全球复杂网络权威巴拉巴西则认为，人类行为93%是可以预测的。
2．巴拉巴西的研究是在人类生活数字化的大数据时代基础上进行的，移动电话、网络以及电子邮件使人类行为变得更加容易量化，将我们的社会变成了一个巨大的数据库。他认为，人类正处在一个聚合点上，在这里数据、科学以及技术都联合起来共同对抗那个最大的谜题——我们的未来。
3．在本书中，巴拉巴西揭开人类行为背后隐藏的模式“爆发”，提出人类日常行为模式不是随机的，而是具有“爆发性”的。爆发揭开了人类行为中令人惊讶的深层次的秩序，使得人类变得比预期中更容易预测得多。
4．爆发模式的揭示，其影响力将与20世纪初期的物理学或者基因革命的影响力不相上下。
4.数据之巅大数据革命、历史、现实与未来涂子沛
数据，自古就有，人口普查、农业统计、军事战争、政治计算……数据虽小，却有助于治国安邦。美国之所以繁荣鼎盛，数据文化根基牢不可破概是主因之一。
信息爆炸、互联互通、智慧城市时代，大数据，更以排山倒海之势席卷全球，政府施政、企业掘金，大众要公平与正义，大数据被赋予了新的历史使命。
在《数据之巅：大数据革命，历史、现实与未来》这本书中，从小数据时代到大数据的崛起，作者以宏大的历史观、文化观、大数据观，给我们描绘了一幅数据科学、智慧文化的全景图。全书从美国建国之基讲起，通过阐述初数时代、内战时代、镀金时代、进步时代、抽样时代、大数据时代的特征，系统梳理了美国数据文化的形成，阐述了其数据治国之道，论述了中国数据文化的薄弱之处，展望了未来数据世界的远景。
“尊重事实，用数据说话”，“推崇知识和理性，用数据创新”，作者不仅意在传承黄仁宇“数目字”管理的薪火，还试图把数据这个科技符号在中国转变为文化符号，形成一种文化话语体系。大数据正在撬动中国的制度创新、科技创新。阅读此书，历史与现实相互融合，知识与激情相互交织，思想与观念相互碰撞，未来与前景必定豁然开朗。
5.赤裸裸的未来.大数据时代：如何预见未来的生活和自己
美国帕特里克.塔克尔（接地气的书籍）
《赤裸裸的未来》主题聚焦于未知与未来，但论述绝非建立在想象之上的空中楼阁，其间穿插着大量事例，或基于客观现实，或依据科学推测，生动有趣。塔克尔通过大量的访谈和调查，约见各领域的权威人士，积累了极为丰富的素材，提取了他们有关现实的观点和对未来的预期，为我们展开了有关未来社会各领域的翔实可信的图景，讲述的虽是前沿科技主题，内容却平实亲和。
就个人而言，我们生活在一个“超级透明”的世界，我们泄露出去的海量信息无处不在。若将这些信息收集起来，加以分析，就能勾勒出每一个人的真实性格、内心偏好，乃至可以预测每个人的命运。
就时代而言，作者大胆预言：“大数据时代”只不过是一朵小浪花，终将会被更新、更前沿的“物联网时代”取代，并以灾难预测、流行病预防、犯罪防治、潜能开发、情绪管理、恋爱情感、个性化学习、娱乐私人定制等领域为例，描绘了一个富有激情的美好未来。
案例大多发生在海外，但在国内各领域中都能找到其缩影或前兆，物联网、遥感等高尖信息化的潮流终将席卷全球。本书具有先锋意义。
6.大数据预测：告诉你谁会点击、购买、死去或撒谎
（预测分析专家权威解读）美国埃里克.西格尔
大数据时代下，作为其核心应用，预测已经在各个领域得到广泛应用，未来预测分析必定会成为所有领域的关键技术。
《大数据预测》作者埃里克·西格尔博士为预测分析领域的专家，在《大数
据预测》一书中，他结合预测分析的应用实例，对其进行了深入、细致且全面的解读。
关于预测，你想知道什么？
预测到底是什么？
预测是如何做到的？
预测可以被应用到哪些领域？
预测已经在哪些领域得到应用？
预测会对个人的隐私造成危害吗？
哪些事情是不可预测的？
预测的未来会是什么样的？
预测对你的生活有什么影响？
我们的世界会因为预测变成什么样？
以上以及其他所有预测的相关内容，《大数据预测》都会告诉你。
7.大数据：从海量到精准
李军
《大数据：从海量到精准》共分为15章，具体内容包括入门：大数据的基本概念；价值：大数据商业变革；架构：大数据基础设施；掌握：数据管理与挖掘；管理：用数据洞察一切；安全：摆脱大数据风险；平台：信息通信大数据；医疗：数据解决大难题；网络：抓牢数据发源地；零售：打响大数据之战；制造：更快更好地生产；餐饮：精准营销的数据；金融：大数据理财时代；交通：畅通无阻的数据；社会：用数据改变生活。
120个精彩应用案例，图片精美，阐述细致，在学习中找到赚钱商机，从入门到精通大数据！一本在手，轻松玩转大数据，掌握应用与营销，实现从海量到精准，从新手成为大数据应用高手！
《大数据：从海量到精准》主要有两个特色：一是容易懂，让抽象的大数据落地到具体行业上；二是接地气，将宏观的大数据与现实相结合，讲解详细，实用性强。
《大数据：从海量到精准》细节特色：12大行业领域应用＋15章大数据专题精讲＋110多个经典专家提醒＋120个大数据应用案例＋150多张图片全程图解，帮助读者在最短的时间内掌控大数据的秘密。
适合阅读《大数据：从海量到精准》的读者：对数据、数据挖掘、数据分析感兴趣的IT技术人员和决策者，以及实业家、企业高管、营销人员、政府媒体工作人员、创业者、想创业的人和相关专业的学生等。
8.相关性准则：大数据时代的高效能之道
[意] Stefania,Lucchetti著；李芳，王卓译（如何自己变得高效能）
在这个信息爆炸的时代，许多人每天埋没于邮件、消息和电话中难以自拔。因为担心不回复这些沟通信息就会失去某些东西，我们努力回复所有信息，而这往往会打断我们的思路和注意力，以致有可能降低工作效能。
《相关性准则——大数据时代的高效能之道》告诉读者，要学会过滤不必要的信息以及选择、使用相关信息。通过阅读本书并学习“相关性准则”的方法，训练自己提升大脑能力，帮助大脑获取、处理多层次信息并仅对相关信息做出反应。书中详细阐释了“相关性原则”的理论和基础，如何发现相关性，如何训练大脑识别相关性，如何在生活、工作中应用相关性并取得成效。
《相关性准则——大数据时代的高效能之道》适合不同行业和背景、各个层级的职场人士阅读。《相关性准则——大数据时代的高效能之道》能够帮助读者在纷杂的信息洪流中，快速地判断和识别重要的相关性信息，积极主动、游刃有余地处理好相关性的工作，从而成为真正的高效能人士。
9.全面回忆：改变未来的个人大数据
现代“小型机之父”戈登·贝尔和微软研究院研究员吉姆·戈梅尔通过“我的数字生活”（MyLifeBits）项目，带领我们进行了一场关于数字化记录生活的美妙之旅，为我们揭示了在“信息在你指尖”的时代，全面数字化记录我们的所见所闻和所作所为如何完美呈现我们生命中的风景，以实现真正的“永生”。
那么，在”全面回忆“时代，我们该如何实时监测自己的健康状态，使自己的所有健康信息综合起来，为治疗和保健所用？我们该如何将“数字记忆”应用于工作领域，建立新式的数字记忆型企业，实现事业的巨大成功？我们又该如何在“全面回忆”的背景下，掀起一场教育革命，发掘科学研究的第四范式——数据密集型科学发现，成就最高效的学习？而我们又该如何应用这些个人大数据信息，成就自己的数字化人生？
“全面记忆”和云端存储的大量信息，将彻底改变人们工作和学习的方式，人们的创造力将大大提高，学习境界也将明显提升。全面完整的健康信息，将为我们的健康生活保驾护航，“数字护士”将颠覆现有的医疗模式。“数字记忆”有助于长久保持与亲人之间的情感，让我们的亲人真正实现“永生”。“全面记忆“将催生一个新的产业和无数创业家，而工作、健康和学习的数字记忆必将引发一场革命！
10.大数据云图
大卫·芬雷布（David Feinleib），“大数据商业应用的引路人”，他与同伴共同创建的Big Data Group公司，旨在为科技买家和供应商提供咨询服务。该公司绘制的大数据云图已经成为Twitter上的热门话题，在全球最大的幻灯片分享社区SlideShare中的被浏览次数也超过30000次。
互联网行业的资深创业者，先后创办了多家公司，包括onDevice公司，该公司后来被Keynote Systems公司收购；Consera Software公司，该公司后来被惠
普公司收购；Likewise公司，该公司后来被美国EMC公司旗下的Isilon业务部收购。
著名风险投资人，曾在莫尔达维多风险投资公司人之，掌管20亿美元资产亚马逊、谷歌、IBM、Facebook…… 超过一百家大数据公司的商业法则深度解密。教育、医疗、商业、设计、汽车…… 十几个行业的成功企业案例全面分享。
从Twitter到Netflix，从Bing到LinkedIn……互联网新贵如何在大数据之战中脱颖而出？从福特到宝洁，从耐克到三星……传统商业巨头如何在大数据时代再创辉煌？
大数据云图清晰勾勒出大数据行业的企业分布，让你能够轻易发现大数据行业的下一个大机遇究竟在何处。
大学生必读书目100本(教育部高等教育司指定) 序号书名作者及出版年代 1 《语言问题》赵元任著，商务印书馆 1980年版 2 《语言与文化》罗常培著，语文出版社 1989年版 3 《汉语语法分析问题》吕叔湘著，商务印书馆 1979年版 4 《修辞学发凡》陈望道著，上海教育出版社 1979年版 5 《汉语方言概要》袁家骅等著，文字改革出版社 1983年版 6 《马氏文通》马建忠著，商务印书馆 1983年版 7 《汉语音韵》王力著，中华书局 1980年版 8 《训诂简论》陆宗达著，北京出版社 1980年版 9 《中国语言学史》王力著，山西人民出版社 1981年版 10 《中国文字学》唐兰著，上海古籍出版社 1979年版 11 《中国历代语言学论文选注》吴文祺、张世禄主编，上海教育出版社 1986年版 12 《普通语言学教程》（瑞士）索绪尔著，高名凯译， 岑麒祥、叶蜚声校注，商务印书馆 1982年版 13 《语言论》高名凯著，商务印书馆，1995年版 14 《西方语言学名著选读》胡明扬主编，中国人民大学出版社1988年版 15 《应用语言学》刘涌泉、乔毅编者，上海外语教育出版社 1991年版
16 《马克思恩格斯论文学与艺术》陆梅林辑注，人民文学出版社 1982年版 17 《在延安文艺座谈会上的讲话》毛泽东著，见《毛泽东选集》第3卷， 人民出版社 1991年版 18 《邓小平论文艺》中共中央宣传部文艺局编，人民文学出版社 1989年版 19 《中国历代文论选》郭绍虞主编，上海古籍出版社 1979年版 20 《文心雕龙选译》刘勰著，周振甫译注，中华书局 1980年版 21 《诗学》亚里斯多德著，罗念生译，人民文学出版社 1986年版 22 《西方文艺理论史精读文献》章安祺编，中国人民大学出版社 1996年版 23 《20世纪西方美学名著选》蒋孔阳主编，复旦大学出版社1987年版 24 《西方美学史》朱光潜著，人民文学出版社 2002年版 25 《文学理论》（美）韦勒克、沃伦著，刘象愚等译，三联书店 1984年版 26 《比较文学与文学理论》（美）韦斯坦因著，刘象愚译，辽宁人民出版社 1987年版
第1章分布式计算概述 一、选择题 1，CD 2，ABC 3，ABCD 4，ACD 二、简答题 1，参考1.1.1和节 2，参考1.1.2节 3，分布式计算的核心技术是进程间通信，参考1.3.2节 4，单播和组播 5，超时和多线程 三、实验题 1.进程A在进程B发送receive前发起send操作 进程A进程B 发出非阻塞send操 作，进程A继续运行 发出阻塞receive操 作，进程B被阻塞进程B在进程A发起send前发出receive操作
发出非阻塞send 操作，进程A 继续运行 发出阻塞receive 操作，进程B 被阻塞 收到进程A 发送的数据，进程B 被唤醒 2. 进程A 在进程B 发送receive 前发起send 操作 进程A 进程B 发出阻塞send 操作， 进程A 被阻塞 发出阻塞receive 操作，进程B 被阻塞 进程B 在进程A 发起send 前发出receive 操作
发出阻塞send操作，进程A被阻塞 发出阻塞receive操作，进程B 被阻塞 收到进程A发送的数据，进程B 被唤醒 收到进程B返回的数 据，进程A被唤醒 3.1).在提供阻塞send操作和阻塞receive操作的通信系统中在提供非阻塞send操作和阻塞receive操作的通信系统中2)．P1，P2，P3进程间通信的顺序状态图 m1 m1 m2 m2 第2章分布式计算范型概述 1.消息传递，客户-服务器，P2P，分布式对象，网络服务，移动代理等 2.分布式应用最广泛最流行的范型是客户-服务器范型，参考节
3.分布式应用最基本的范型是消息传递模型，参考节 4.参考节，P2P应用有很多，例如Napster，迅雷，PPS网络电视等 5.参考节 6.参考节 7.略 8.消息传递模式是最基本的分布式计算范型，适用于大多数应用；客户-服务器范型是最 流行的分布式计算范型，应用最为广泛；P2P范型又称为对等结构范型，使得网络以最有效率的方式运行，适用于各参与者地位平等的网络；分布式对象范型，是抽象化的远程调用，适用于复杂的分布式计算应用等。 9.略 10.中间件又称为代理，中间件为参与对象提供内容抽象，隐藏对象引用，起到中介作用。 11.略 第3章 Socket编程与客户服务器应用开发 一、填空题 1.数据包socket，流式socket 2.无连接方式，面向连接方式 3.数据层，业务层，应用层 4.迭代服务器和并发服务器 5.有状态服务器和无状态服务器 二、简答题 1.API：Application Programming Interface,应用程序编程接口，是一些预先定义 的函数，目的是提供应用程序与开发人员基于某软件或硬件得以访问一组例程的能 力，而又无需访问源码，或理解内部工作机制的细节 Socket API：套接字应用程序编程接口，适用于进程间通信的套接字应用程序编程 接口
【书单】60本“互联网”系列书籍推荐 互联网既是技术、也是思维、更是模式，说到底，互联网带来的是一个时代，在这样一个时代，跨界融合颠覆是商业重构的主题，变化将持续不断愈演愈烈。 拥抱变化的能力是一个企业的核心竞争力，而拥抱变化、创造未来需要的是学习力、洞察力。如何永久收藏微信文章？点击→ 了解详情企业家必读系列:《互联网思维独孤九剑》国内第一部系统阐述互联网思维的著作，用9大思维、22 个法则深度揭秘互联网思维。全方位解读移动互联网给传统产业带来变革,涉及战略规划、模式设计、品牌建设、产品研发、营销推广、组织转型、文化变革等企业经营价值链条的各个方面。 《互联网:从IT到DT》 “互联网”国民必读手册。马云作序。本书深度解析了“互联网”的内涵及其与云计算、大数据、新分工网络的关系。世界正从IT走向DT(数据技术)。IT以自我控制、自我管理为主,DT以服务大众、激发生产力为主,未来属于DT时代。 《互联网:国家战略行动路线图》 作者:马化腾等。
书稿从理论层面、实践经验等多个角度,结合当下各产业的现状、发展趋势,全方位进行阐述,以通俗易懂的文字将这一经济发展新引擎呈现出来,并对读者如何抓住新时期的机遇有切实的指导意义。 《互联网:跨界与融合》 本书是首本讲解从“互联网”理论与框架到产业、企业实践的专著。 “互联网”是什么?“互联网”的理论与框架是什么?互联网“ “什么?”互联网“如何” “?传统企业如何做好”互联网“?”本书都做了深刻阐述。 《看见未来》 全球首部历史创造者亲证的互联网通史。还原本真精神,勾勒发展全貌,剖析趋势、契机和拐点。互联网时代,思考的河流永不止息。本书为读者开启一次互联网精神之旅。 《众创时代》 《众创时代》以众多先进企业案例基础,全面勾画新商业系统的“C2C商业生态圈模式”。为传统企业转型、新锐企业和个
数据分析师常见的7道笔试题目及答案 导读：探索性数据分析侧重于在数据之中发现新的特征，而验证性数据分析则侧 重于已有假设的证实或证伪。以下是由小编J.L为您整理推荐的实用的应聘笔试题目和经验，欢迎参考阅读。 1、海量日志数据，提取出某日访问百度次数最多的那个IP。 首先是这一天，并且是访问百度的日志中的IP取出来，逐个写入到一个大文件中。注意到IP是32位的，最多有个2^32个IP。同样可以采用映射的方法，比如模1000，把 整个大文件映射为1000个小文件，再找出每个小文中出现频率最大的IP(可以采用 hash_map进行频率统计，然后再找出频率最大的几个)及相应的频率。然后再在这1000 个最大的IP中，找出那个频率最大的IP，即为所求。 或者如下阐述： 算法思想：分而治之+Hash 1.IP地址最多有2^32=4G种取值情况，所以不能完全加载到内存中处理; 2.可以考虑采用“分而治之”的思想，按照IP地址的Hash(IP)24值，把海量IP日 志分别存储到1024个小文件中。这样，每个小文件最多包含4MB个IP地址; 3.对于每一个小文件，可以构建一个IP为key，出现次数为value的Hash map，同时记录当前出现次数最多的那个IP地址; 4.可以得到1024个小文件中的出现次数最多的IP，再依据常规的排序算法得到总体上出现次数最多的IP; 2、搜索引擎会通过日志文件把用户每次检索使用的所有检索串都记录下来，每个查询串的长度为1-255字节。 假设目前有一千万个记录(这些查询串的重复度比较高，虽然总数是1千万，但如果除去重复后，不超过3百万个。一个查询串的重复度越高，说明查询它的用户越多，也 就是越热门。)，请你统计最热门的10个查询串，要求使用的内存不能超过1G。 典型的Top K算法，还是在这篇文章里头有所阐述， 文中，给出的最终算法是： 第一步、先对这批海量数据预处理，在O(N)的时间内用Hash表完成统计(之前写成了排序，特此订正。July、2011.04.27); 第二步、借助堆这个数据结构，找出Top K，时间复杂度为N‘logK。 即，借助堆结构，我们可以在log量级的时间内查找和调整/移动。因此，维护一 个K(该题目中是10)大小的小根堆，然后遍历300万的Query，分别和根元素进行对比所以，我们最终的时间复杂度是：O(N) + N’*O(logK)，(N为1000万，N’为300万)。ok，更多，详情，请参考原文。 或者：采用trie树，关键字域存该查询串出现的次数，没有出现为0。最后用10 个元素的最小推来对出现频率进行排序。 3、有一个1G大小的一个文件，里面每一行是一个词，词的大小不超过16字节，内存限制大小是1M。返回频数最高的100个词。 方案：顺序读文件中，对于每个词x，取hash(x)P00，然后按照该值存到5000 个小文件(记为x0，x1，…x4999)中。这样每个文件大概是200k左右。 如果其中的有的文件超过了1M大小，还可以按照类似的方法继续往下分，直到 分解得到的小文件的大小都不超过1M。 对每个小文件，统计每个文件中出现的词以及相应的频率(可以采用trie树 /hash_map等)，并取出出现频率最大的100个词(可以用含100 个结点的最小堆)，并把
基于城市公交情况的城市大数据应用 刘平成 (中科院高能物理研究所，北京，100049) 摘要：现在互联网大数据越来越多的应用在社会计算的学科之中，人们的生活、出行方式，人们通过上传数据、共享数据，共同完成数据收集的过程，分享数据处理结果，形成良性循环。本文基于城市的公交系统，简单分析了几种城市公交情况的数据获取，并提出大数据计算在社会计算中的一些应用构想。 关键词：城市公交；大数据；社会计算 1引言 由于互联网的高速发展，我们的信息被大量记录在一些站点中，大量的零散数据彼此相互关联，这些数据背后存在大量的社会、经济关联。要研究整个互联网的社交网络是非常困难的，因此大多数研究都基于网络的某个子集。城市交通作为市民生活的重要一部分，在市民生活习惯的分析和预测中，可以起到数据的重要支撑。 挖掘用户签到位置轨迹，提取用户社会活动的空间特征模型及其与社会关系的关联性，成为当前基于位置的社会化网络推荐系统的主要任务。从城市公交中挖掘知识对很多方面都非常有用，政府可以从中获得有利于民生的信息，如城市规划、位置推荐城市公共空间、公众参与和互动等领域。互联网信息爆炸式增长，各种服务的繁复经常难以抉择，用户的位置信息可以反映用户的社会属性（经历、工作生活环境以及年龄、兴趣爱好等）。此外由具体位置产生的热点社会话题等容易引起社会关注，位置又把虚拟空间与现实世界连接起来所以企业可以通过推荐系统来为用户过滤，通过对人们的行为分析，获得其相关领域的人们的位置偏好和行为偏好，基于位置给用户推荐离他近的且他感兴趣的服务，用户就更有可能去消费。 2数据来源 在各种交通相关的应用中使用出租车，地铁以及公交车轨迹，比如交通流量估计，这方面的数据主要来源于交通局、地铁站、公交公司以及包括高德、百度、腾讯地图在内的app，基本上如果能收集到覆盖较全、时间较长的交通出行数据，则能统计测算出人们的出行路线、交通偏好，路面的拥堵情况。 对于北京的阶梯性计价措施，乘车费用取决于乘客的乘车距离，我们可以从中知道乘客的上车时间、上车地点和下车地点。可以从数据中重建用户的轨迹。然后，能够知道这些用户的家庭住址、工作地点等重要地点，以及他们的乘车模式。 3数据处理与应用 3.1社交生活推荐 把用户去过的地方看成用户对一个特定地点的偏好。而用户去一个地点的次数则表示偏好的置信度。根据用户的出生年份分组。比如一些人喜欢去咖啡厅这样的地方，一些人喜欢看香港的文章和玩电子游戏。这说明这些用户很年轻。很多人都喜欢火锅，其中一些人喜欢川菜，他们会在白天和晚上去办公室。这意味着，他们年龄要大一些，因为他们需要去上班。 如果你去一些地方的次数更多，那么就更加确信你喜欢这些地方。对于没有去过的地方，由于缺乏信息，所以它们可能是正的或者负的。据此，产生了很多推荐系统，包括朋友推荐、社区推荐、地点推荐和行为活动推荐等。这些推荐算法可以用于一些社交，旅行，团购app 中，为用户定制个性化的推荐。
干货&神图：数据分析师的完整流程与知识结构体系 【编者注】此图整理自微博分享，作者不详。一个完整的数据分析流程，应该包括以下几个方面，建议收藏此图仔细阅读。完整的数据分析流程：1、业务建模。2、经验分析。3、数据准备。 4、数据处理。 5、数据分析与展现。 6、专业报告。 7、持续验证与跟踪。 （注：图保存下来，查看更清晰） 作为数据分析师，无论最初的职业定位方向是技术还是业务，最终发到一定阶段后都会承担数据管理的角色。因此，一个具有较高层次的数据分析师需要具备完整的知识结构。 1. 数据采集 了解数据采集的意义在于真正了解数据的原始面貌，包括数据产生的时间、条件、格式、内容、长度、限制条件等。这会帮助数据分析师更有针对性的控制数据生产和采集过程，避免由于违反数据采集规则导致的数据问题；同时，对数据采集逻辑的认识增加了数据分析师对数据的理解程度，尤其是数据中的异常变化。比如： Omniture中的Prop变量长度只有100个字符，在数据采集部署过程中就不能把含有大量中文描述的文字赋值给Prop变量（超过的字符会被截断）。 在Webtrekk323之前的Pixel版本，单条信息默认最多只能发送不超过2K的数据。当页面含有过多变量或变量长度有超出
限定的情况下，在保持数据收集的需求下，通常的解决方案是采用多个sendinfo方法分条发送；而在325之后的Pixel版本，单条信息默认最多可以发送7K数据量，非常方便的解决了代码部署中单条信息过载的问题。（Webtrekk基于请求量付费，请求量越少，费用越低）。 当用户在离线状态下使用APP时，数据由于无法联网而发出，导致正常时间内的数据统计分析延迟。直到该设备下次联网时，数据才能被发出并归入当时的时间。这就产生了不同时间看相同历史时间的数据时会发生数据有出入。 在数据采集阶段，数据分析师需要更多的了解数据生产和采集过程中的异常情况，如此才能更好的追本溯源。另外，这也能很大程度上避免“垃圾数据进导致垃圾数据出”的问题。 2.数据存储 无论数据存储于云端还是本地，数据的存储不只是我们看到的数据库那么简单。比如： o数据存储系统是MySql、Oracle、SQL Server还是其他系统。 o数据仓库结构及各库表如何关联，星型、雪花型还是其他。 o生产数据库接收数据时是否有一定规则，比如只接收特定类型字段。 o生产数据库面对异常值如何处理，强制转换、留空还是返回错误。
大学生必读书籍书目集 本集册共收录了包括教育部高等教育司、清华大学、北京大学、香港中文大学、哈弗大学以及一些知名教授学者等为广大大学生提供的必读书目12条。希望能够方便大学生们寻找名著名作，多读一些好书。
目录 一教育部高等教育司指定大学生必读100本书 (1) 二大学生必读的100本书（一） (3) 三大学生必看的100本书（二） (5) 四大学生必读的100本书（三） (7) 五大学生必读的书 (9) (一）文学部分(37种) (9) （二）哲学部分(34种) (9) （三）历史学部分(31种) (9) （四）艺术类部分(10种) (9) 六哈弗幸福课推荐书目 (11) 七北大清华推荐书目 (12) （一）清华 (12) （二）北大 (14) 八北大清华教授推荐书目 (15) 九香港中文大学推荐书单 (20) 十哈佛名师力荐——20本该读的英文书籍【本本经典】 (22) 十一大学本科生必读书目（博通类） (24) （一）马克思主义理论 (24) （二）哲学 (25) （三）自然科学 (25) （四）中国史 (25) （五）世界史 (26) （六）国学（中国文化） (26) （七）文学 (27) （八）文化 (27) （九）社会 (27) （十）美学 (28) （十一）心理 (28) （十二）经济学和政治学 (28) （十三）语言 (28) （十四）艺术 (29) （十五）未来 (29) （十六）赏析 (29) （十七）散文 (29) 附录：中国文学名著 (29) 十二44位大学教授推荐书目一览 (32)
一教育部高等教育司指定大学生必读100本书 △01、《语言问题》赵元任著，商务印书馆，1980年版 △02、《语言与文化》罗常培著，语文出版社，1989年版 △03、《汉语语法分析问题》吕叔湘著，商务印书馆，1979年版 △04、《修辞学发凡》陈望道著，上海教育出版社，1979年版 △05、《汉语方言概要》袁家骅等著，文字改革出版社，1983年版 △06、《马氏文通》马建忠著，商务印书馆，1983年版 △07、《汉语音韵》王力著，中华书局，1980年版 △08、《训诂简论》陆宗达著，北京出版社，1980年版 △09、《中国语言学史》王力著，山西人民出版社，1981年版 △10、《中国文字学》唐兰著，上海古籍出版社，1979年版 △11、《中国历代语言学论文选注》吴文祺、张世禄主编，上海教育出版社，1986年版 △12、《普通语言学教程》（瑞士）索绪尔著，高名凯译，岑麒祥、叶蜚声校注，商务印书馆 △13、《语言论》高名凯著，商务印书馆，1995年版 △14、《西方语言学名著选读》胡明扬主编，中国人民大学出版社，1988年版 △15、《应用语言学》刘涌泉、乔毅编者，上海外语教育出版社，1991年版 △16、《马克思恩格斯论文学与艺术》陆梅林辑注，人民文学出版社，1982年版△17、《在延安文艺座谈会上的讲话》毛泽东著，见《毛泽东选集》第3卷，人民出版社， △18、《邓小平论文艺》中共中央宣传部文艺局编，人民文学出版社1989年版△19、《中国历代文论选》郭绍虞主编，上海古籍出版社1979年版 △20、《文心雕龙选译》刘勰著，周振甫译注，中华书局1980年版 △21、《诗学》亚里斯多德著，罗念生译，人民文学出版社1982年版 △22、《西方文艺理论史精读文献》章安祺编，中国人民大学出版社1996年版△23、《20世纪西方美学名著选》蒋孔阳主编，复旦大学出版社1987年版 △24、《西方美学史》朱光潜著，人民文学出版社1979年版 △25、《文学理论》（美）韦勒克、沃伦著，刘象愚等译，三联书店1984年版 △26、《比较文学与文学理论》（美）韦斯坦因著，刘象愚译，辽宁人民出版社1987年版 △27、《诗经选》余冠英选注，人民文学出版社1956年版 △28、《楚辞选》马茂元选注，人民文学出版社1980年版 △29、《论语译注》杨伯峻译注，中华书局1980年版 △30、《孟子译注》杨伯峻译注，中华书局1960年版 △31、《庄子今注今译》陈鼓应译注，中华书局1983年版 △32、《乐府诗选》余冠英选，人民文学出版社1959年版 △33、《史记选》王伯祥选，人民文学出版社1957年版 △34、《陶渊明集》逮钦立校注，中华书局1979年版 △35、《李白诗选》复旦大学中文系古典文学教研组选注，人民文学出版社1977
工商管理专业必读的十本书籍 工商管理专业必读的十本书籍 1.《人性的弱点》 作者：[美]戴尔·卡内基 “世界成功学第一书”，戴尔·卡耐基被称为美国“成人教育之父”，他运用社会学和心理学知识，对人性进行了深刻的探讨和分析。他讲述的许多普通人通过奋斗获得成功的真实故事，激励了无 数陷入迷茫和困境的人，帮助他们重新找到了自己的人生。不管成 功学有怎样的缺陷，这些故事对于处于迷茫中的同学无疑是一种指 引和帮助。 2.《大数据时代:生活、工作与思维的大变革》 作者：[英]维克托·迈尔·舍恩伯格 维克托·迈尔·舍恩伯格被誉为“大数据时代的预言家”。他在《大数据时代:生活、工作与思维的大变革》中前瞻性地指出，大数 据带来的信息风暴正在变革我们的生活、工作和思维，大数据开启 了一次重大的时代转型，并用三个部分讲述了大数据时代的思维变革、商业变革和管理变革。大数据是人们获得新的认知，创造新的 价值的源泉;大数据还是改变市场、组织机构，以及政府与公民关系 的方法。他明确指出，大数据时代最大的转变就是，放弃对因果关 系的渴求，而取而代之关注相关关系。也就是说只要知道“是什么”，而不需要知道“为什么”。这颠覆了千百年来人类的思维惯例，对人类的认知和与世界交流的方式提出了全新的挑战。 3.《长尾理论》 作者：[美]克里斯·安德森 本书讲述了互联网时代如何改变了长尾的经济价值。本书中阐述，商业和文化的未来不在于传统需求曲线上那个代表“畅销商
品”(hits)的头部;而是那条代表“冷门商品”(misses)经常为人遗忘的长尾。比如，亚马逊网络书店的销售额有四分之一来自于排名10万之后的书籍。本书适合所有希望了解产品与市场的同学阅读。 4.《不能承受的生命之轻》 作者：[法]米兰·昆德拉 本书描述一九六八年苏俄入侵捷克时期，民主改革的气息演变成专横压榨之风潮，本书剖示隐密的无情，探讨爱的真谛，涵盖了男女之爱、朋友之爱、祖国之爱。在任何欲望之下，每个人对于各类型的爱机皆有自由抉择的权利，自应负起诚恳执着的义务。人生责任是一个沉重的负担，却也是最真切实在的，解脱了负担，人变得比大陆还年轻，以真而非，一切将变得毫无意义。本书探讨更多的是人生的意义所在，人生是要有一种信念的，不能被交给机遇和偶然，甚至是一种媚俗。他以一个哲人的睿智将人类的生存情景提升到形而上学的高度加以考虑、审查和描述，由此成功地把握了政治与性爱两个敏感领域。 5.《一网打尽：贝佐斯与亚马逊时代》 作者：[美]布拉德·斯通 一部关于这家互联网公司的无限创新与令人瞠目的发展史。一个最近距离讲述创始人杰夫·贝佐斯的故事!亚马逊最早起步于通过邮购来经营图书业务。但贝佐斯却不满足于仅做一名书商，他希望缔造亚马逊万货商店的神话——能提供海量的货源，并以超低的价格提供最具吸引力的便捷服务。为了实现这一诺言，他发展了一种企业文化，这种文化蕴含着执着的雄心与难以破解的秘诀。亚马逊的这一文化现在依旧在发扬光大。《一网打尽》充分展示了公司成长过程中的关键时刻，揭示出亚马逊如何成为第一家在互联网上下如此大赌注并获得成功的公司，它又是永久改变了全球人类传统的购物习惯和阅读方式。 6.《理性的追问:关于经济学理性主义的对话》 作者：汪丁丁叶航
大学生必读的100本书,好书推荐 推荐了大学生必读的100本书，后面还为大家找来了十条读书技巧，一本本读起来吧! 天下第一奇书《周易》 中国最早的诗歌总集《诗经》 欧洲第一部文学巨著《荷马史诗》 史书之祖《尚书》 兵学圣典《孙子兵法》
中国最早的哲学著作《老子》 世界上第一部寓言总集《伊索寓言》儒家经典《论语》 拟圣而作的儒家经典《孟子》 西方最早的历史著作《历史》 世界上最古老的数学巨著《几何原本》哲学家主宰下的等级社会《理相国》希腊城邦国家制度的发轫《政治学》
自由至上思想的经典之作《庄子》世界上流传最广的宗教典籍《圣经》千古之绝作《史记》 古代原子唯物主义杰作《物性论》中国最早的医学著作《黄帝内经》中国最早的百科全书《山海经》 历史上的第一部算经《九章算术》
千古奇书载地理《徐霞客游记》 唯物主义和辩证法的代表著作《伦理学》民间文学史的一座金字塔《一千零一夜》世界上第一部写实小说《源氏物语》 中国科学史上的坐标《梦溪笔谈》 把历史当做一面镜子的巨著《资治通鉴》传播东方文明的见闻录《马可波罗游记》
承前启后的伟大诗篇《神曲》 射向禁欲主义的一支利箭《十日谈》 中国第一部长篇白话历史小说《三国演义》中国最早以农民起义为题材的小说《水浒传》欧洲历代君主的案头之书《君主论》 空想社会主义的奠基之作《乌托邦》 自然科学独立的宣言《天体运行论》 极富浪漫色彩的神魔小说《西游记》
一曲人文主义者的悲壮颂歌《哈姆莱特》 空想社会主义者构想的理想国度《太阳城》 骑士文学的终结之作《堂吉诃德》 归纳逻辑的奠基之作《新工具》 开启物理学大门的巨著《关于托勒密和哥白尼两大世界体系的对话》 超人智慧杰作《自然哲学的数学原理》 西方政治思想的理论著作《政府论》
大数据方面的书籍推荐 大数据现在正在被称为一个时代的标志，了解和学习大数据，要从理念上彻底转变，彻底理解大数据思维，并渗透到血液和骨髓中，换句话说，你的世界观要彻底转变！而要实现这个转变，必须经过初级、中级和高级三个阶段的学习。以下是这三个阶段大数据方面的书籍推荐。 初级阶段：《大数据时代》 作者：[英]维克托·迈尔-舍恩伯格，[英]肯尼思·库克耶，翻译：盛杨燕，周涛 不用说了，肯定是这本书。读完这本书，要求你形成大数据的概念，即知道这么几点： 1、绝不是有很多数据就叫大数据； 2、大数据是一种数据分析方式，与传统数据分析方式有着本质上的不同； 3、大数据的特点是“关注相关性，不关注因果”，这是大数据最核心的东西，一定要真正理解，并牢牢记住，不然你就很容易被别人忽悠； 4、大数据采用的是统计的方法； 5、大数据主要是结合人工智能进行机器的自动数据挖掘； 6、大数据主要是用来作预测的。而不是象一般的数据分析，只是分析出历史情况和现状，未来还是要靠人去预测，大数据则是直接告诉你未来的结果。
中级阶段：《失控》 作者：凯文·凯利（KEVIN KELLY），很多人都亲切地叫他KK，翻译：东西文库 为什么是这本书呢？学完初级阶段要记住的几件事还没忘吧？对，用统计的方法，而不是因果的方法，预测未来。在对预测机制进行剖析的时候，法默最喜欢用这个例子来进行说明：「来，接着！」他说着就朝你扔过来一个棒球。你抓住了球。「你知道你是怎么接住这个球的吗？」，他问道。「通过预测。」 用f=ma（公式）来预测，或者说线性预测，就是通过因果推理来进行预测，即根据球的质量、加速度等等因素，找出这个球为什么会从那个地方飞到这个地方的原因； 而“归纳”即是“统计”的意思，或者说是较粗略的统计，归纳是不问原因的，接住这个球就完了，管它是什么原因。 你想成为大数据高手，你想用统计的方法来对某些东西进行预测？好了，现在你来告诉我，还有什么理由不去好好读这本书？ 高级阶段：《复杂性》 作者：[美]尼古拉斯·雷舍尔（NICHOLAS RESCHER），翻译：吴彤
如果你认为别人的思想比你的成熟，那一定是得益于他们读了一下这些书，开给自己的书目，即使读了其中的十分之一也受益无穷，书是人类进步的阶梯，饭可以一天不吃，书却不能一日不读，奉劝我的朋友，多读一些书，不要以工作繁忙为理由 文学类： 《鲁迅全集》《金瓶梅》《穆斯林的葬礼》《红楼梦》《堂.吉诃德》《李自成》《城南旧事》《莎士比亚去全集》、《浮士德》、《瓦尔登湖》、《追忆似水年华》《尤利西斯》、《约翰·克利斯朵夫》、《人间词话》、《契诃夫小说集》、《假如给我三天光明》、《姑妄言》、《庄子注》、《边城》、《热爱生命》、《张爱玲典藏全集》、《围城》、《西方哲学史》、《小王子》、《局外人鼠疫》、《呼啸山庄》、《麦田里的守望者》、《金庸作品集》、《百年孤独》、《王小波文集》、《战争与和平》、《丑陋的中国人》、《挪威的森林》、《儒林外史》、《人间喜剧》、《文化苦旅》、《平凡的世界》、《活着》《十日谈》《复活》《在人间》《静静的顿河》《怎么办》《钢铁是怎样炼成的》 哲学类： 《沉思录》、《坛经》、《哲学的故事》、《西方的智慧》、《精神分析引论》、《存在与时间》、《人，诗意地栖居》、《中国文化要义》、《第二性》、《金赛性学报告》、《存在与虚无》、《西方哲学史》、《中国哲学简史》、《动机与人格》、《人生十论》、《论语别裁》、《梁漱溟问答录》、《苏菲的世界》、《士与中国文化》《中国哲学史》《实用主义》《乌托邦》《论语》《道德经》 遗书第二卷〔法〕让_梅叶.txt 遗书第三卷〔法〕让_梅叶.txt 遗书第一卷〔法〕让_梅叶.txt 通俗政治经济学〔英〕托马斯霍吉斯金.txt 袖珍神学〔法〕保尔.霍尔巴赫.txt 萨特：荒谬人格.txt 荣格：神话人格.txt 艺术的起源〔德〕格罗塞.txt 自由主义〔英〕霍布豪斯.txt 自然法典〔法〕摩莱里.txt 自我论个人与个人自我意识.txt 自我认识思想自传.txt 耶稣基督与神话学［德］布尔特曼.txt 纯粹理性批判.txt 神学政治论〔荷兰〕斯宾诺莎.txt 神学与当代文艺思想.txt
大数据入门推荐书籍 大数据是眼下非常流行的技术名词，自然也催生出了一些与大数据相关的职业，通过对数据的分析挖掘来影响企业的商业决策。想知道有关大数据的学习书籍资料有哪些？，今天千锋教育来为大家推荐一波大数据学习需要的书籍。 《大数据时代》 大数据不是随机样本，而是所有采集数据；大数据不追求精确性，而是允许混杂性；大数据不是分析因果关系，而是相关关系。 2、《爆发》 《爆发：大数据时代预见未来的新思维》揭开了人类行为背后隐藏的模式“爆发”，大胆的提出人类有93%的行为都是可预测的，是一本超越《黑天鹅》惊世之作。神秘色彩十足。
3、《Presto技术内幕》 Presto是Face book开发的数据查询引擎，基于Java语言开发的，专门为大数据实时查询计算而设计和开发的产品，更是大数据实时查询计算产品的佼佼者，比Spark、Impala更加简单、高效。 4、《智能时代》
《智能时代》回顾了科学研究发展的四个范式，用实例证明了数据在科学发现中的位置。 5、《大数据处理之道》 从最初的Hadoop到Spark，再到Storm，到底哪个战斗力更强？《大数据处理之道》分析比较了当下流行的大数据处理技术的优劣及适用场景，包括Hadoop、Spark、Storm、Dremel、Drill等，详细分析了各种技术的应用场景和优缺点。几乎涵盖所有的大数据处理热门技术，语言诙谐，大数据处理技术与应用场景并在，对未来新的大数据处理技术发展趋势进行了预，测，初学者好上手，专业人士可系统的扩展知识。
6、《大数据基础与应用》 数据本身没有丝毫意义，通过统计、分类、萃取、特征抽取等一系列技术手段才能实现其价值。基础≠不重要，大数据初级必须要掌握的理论知识都在这里 7、《超越大数据》 把社交数据、移动数据、位置数据与主数据结合起来, 可以实现与现有客户
数据分析个人工作总结 在数据分析岗位工作三个月以来，在公司领导的正确领导下，深入学习关于淘宝网店的相关知识，我已经从一个网店的门外汉成长为对网店有一定了解和认知的人。现向公司领导简单汇报一下我三个月以来的工作情况。 一、虚心学习，努力提高网店数据分析方面的专业知识 作为一个食品专业出身的人，刚进公司时，对网店方面的专业知识及网店运营几乎一无所知，曾经努力学习掌握的数据分析技能在这里根本就用不到，我也曾怀疑过自己的选择，怀疑自己对踏出校门的第一份工作的选择是不是冲动的。但是，公司为我提供了宽松的学习环境和专业的指导，在不断的学习过程中，我慢慢喜欢上自己所选择的行业和工作。一方面，虚心学习每一个与网店相关的数据名词，提高自己在数据分析和处理方面的能力，坚定做好本职工作的信心和决心。另一方面，向周围的同同事学习业务知识和工作方法，取人之长，补己之短，加深了与同事之间的感情。 二、踏实工作，努力完成领导交办的各项工作任务 三个月来，在领导和同事们的支持和配合下，自己主要做了一下几方面的工作： 1.汇总公司的产品信息日报表，并完成信息日报表的每日更新，为产品追单提供可靠依据。 2.协同仓库工作人员盘点库存，汇总库存报表，每天不定时清查入库货品，为各部门的同事提供最可靠的库存数据。 3.完成店铺经营月报表、店铺经营日报表。 4.完成每日客服接待顾客量的统计、客服工作效果及工作转化率的查询。 5.每日两次对店铺里出售的宝贝进行逐个排查，保证每款宝贝的架上数的及时更新，防止出售中的宝贝无故下架。 6.配合领导和其他岗位的同事做好各种数据的查询、统计、分析、汇总等工作。做好数据的核实和上报工作，并确保数据的准确性和及时性。 7.完成领导交代的其它各项工作，认真对待、及时办理、不拖延、不误事、不敷衍，尽量做到让领导放心和满意。 三、存在的不足及今后努力的方向 三个月来，在公司领导和同事们的指导和配合下，自己虽然做了一些力所能
城市计算的基本框架及核心问题 基本框架 城市计算的基本框架包括城市感知及数据捕获、数据管理、城市数据分析和服务提供（如图1）。与自然语言分析和图像处理等“单数据单任务”系统相比，城市计算是 一个“多数据多任务”系统。城市计算中的任务包括改进城市规划、缓解交通拥堵、 保护自然环境、减少能源消耗等。而一个任务又需要同时用到多种数据。例如，在城 市规划的设计过程中，需要同时参考道路结构、兴趣点分布、交通流等多种数据源。 城市计算与大数据 核心问题 城市计算是一门新兴的交叉领域，涵盖面较广。从计算机科学的角度来看，其核心的 研究问题主要包括以下4 个方面： 城市感知如何利用城市现有的资源（如手机、传感器、车辆和人等），在不干扰人们生活的前提下自动感知城市的韵律，是一个重要的研究课题。如何从大量的传感器和 设备中高效而可靠地收集、传送数据将给现有的传感器网络技术带来挑战。此外，人 作为传感器参与到城市感知过程是一个新概念。例如，当一场灾难发生后，有些用户 会在社交网络上发布消息或上传照片。这些用户其实就是在感知发生在他们身边的事情。用户在出入地铁站时的刷卡行为也间接帮助我们感知了地铁系统的拥挤和人们的 出行。人赋予了传统传感器强大的感知能力和前所未有的灵活性，但产生的数据更加 随机、无序（如微博上的文字），数据的产生时间也变得难以预测、不可控，这给数 据的收集和解析带来了挑战。 海量异构数据的管理城市产生的数据五花八门，属性差别很大。例如：气象是时序数据，兴趣点是空间点数据，道路是空间图数据，人的移动是轨迹数据（时间+ 空间），交通流量是流数据，社交网上用户发布的信息是文本或图像数据。如何管理和整合大 规模的异构数据是一个新的挑战。尤其是在一个应用中使用多种数据时，只有提前建 立起不同数据之间的关联，才能使后面的分析和挖掘过程变得高效、可行。
《分布式计算、云计算与大数据》习题解答参考第1章分布式计算概述 一、选择题 1，CD 2，ABC 3，ABCD 4，ACD 二、简答题 1，参考1.1.1和1.1.2节 2，参考1.1.2节 3，分布式计算的核心技术是进程间通信，参考1.3.2节 4，单播和组播 5，超时和多线程 三、实验题 1.进程A在进程B发送receive前发起send操作 进程A进程B 发出非阻塞send操 作，进程A继续运行 发出阻塞receive操 作，进程B被阻塞 进程B在进程A发起send前发出receive操作
发出非阻塞send 操作，进程A 继续运行 发出阻塞receive 操作，进程B 被阻塞 收到进程A 发送的数据，进程B 被唤醒 2. 进程A 在进程B 发送receive 前发起send 操作 进程A 进程B 发出阻塞send 操作， 进程A 被阻塞 发出阻塞receive 操作，进程B 被阻塞 进程B 在进程A 发起send 前发出receive 操作
发出阻塞send操作，进程A被阻塞 发出阻塞receive操作，进程B 被阻塞 收到进程A发送的数据，进程B 被唤醒 收到进程B返回的数 据，进程A被唤醒 3.1).在提供阻塞send操作和阻塞receive操作的通信系统中 receive operation send operation t=1 在提供非阻塞send操作和阻塞receive操作的通信系统中
t=1 receive operation send operation 2)．P1，P2，P3进程间通信的顺序状态图 m1 m1 m2 m2 第2章分布式计算型概述 1.消息传递，客户-服务器，P2P，分布式对象，网络服务，移动代理等 2.分布式应用最广泛最流行的型是客户-服务器型，参考2.2节 3.分布式应用最基本的型是消息传递模型，参考2.1节 4.参考2.3节，P2P应用有很多，例如Napster，迅雷，PPS网络电视等 5.参考2.4节 6.参考2.7节 7.略 8.消息传递模式是最基本的分布式计算型，适用于大多数应用；客户-服务器型是最流行 的分布式计算型，应用最为广泛；P2P型又称为对等结构型，使得网络以最有效率的方
https://www.doczj.com/doc/cd16990284.html, 光环大数据分享数据狂人必备的10本全球畅销书 对于一位数据科学的狂热粉丝而言，可供选择阅读的书籍内容很多，包括大数据、机器学习、数据科学以及数据挖掘等等。除了这些技术范围内的书籍之外，也有很多工具类和语言类的书籍，比如Hadoop、Spark、Python和R语言等。关于数据的书籍和专题时常更新，所以只有你掌握了最新的信息才可以让你掌握这个领域内最先进的技术和技能。幸运的是(或者也可以称之为不幸?)关于数据科学与技术领域的各种专题从来不会缺少响应的书籍，所以你大可放心随便选取。 和数据有关的数据有很多具体的类目，而且每种类目都有很多畅销书列表可供你参考。实际上我们最近为读者列举了很多书籍列表，比如关于数据挖掘、数据库与大数据、统计学、AI和机器学习以及神经网络。但是以上这些枚举的列表都是根据Amazon书籍畅销榜的比较狭隘的分类得出的推荐结论，而且没有这些书籍缺少编辑决定权或者没有考虑到内容是否可以免费获取以及是否有电子书的格式。 首先，让我们把一个问题弄清楚：本文的标题有些误导性。为数据狂人(或者专业人员)推荐的必备书籍列表中的内容比较泛泛，我们向读者推荐的这10种类别的书籍当中，每一种类别的书籍内容都是与付费资源和免费资源有关的畅销书籍。尽管我们的工作内容涉及到的数据通道数量有限，但是我们通常情况下会想主动去了解比现有数据通道更加庞大的数量，你的初衷可能是为了工作的实践操作也可能是出于兴趣的目的。 所以，一位Hadoop专业人士可能不会对深度学习进行更加专业水准的洞察，他们只不过是对某些专题感兴趣。这篇文章可以让读者巩固自己的兴趣，并为那些想拓宽个人知识层面的数据狂人提供具体的建议。 需要大家注意的是，这些数据类目所涉及的内容有所重叠，这种情况无法避免。通常情况下书籍内容所专注的领域决定了他属于哪个类目。 01.数据科学DISCOVERY 畅销付费书籍推荐：
数据挖掘入门读物： 深入浅出数据分析这书挺简单的，基本的内容都涉及了，说得也比较清楚，最后谈到了R是大加分。难易程度：非常易。 啤酒与尿布通过案例来说事情，而且是最经典的例子。难易程度：非常易。 数据之美一本介绍性的书籍，每章都解决一个具体的问题，甚至还有代码，对理解数据分析的应用领域和做法非常有帮助。难易程度：易。 数学之美这本书非常棒啦，入门读起来很不错！ 数据分析： SciPy and NumPy 这本书可以归类为数据分析书吧，因为numpy和scipy真的是非常强大啊。Python for Data Analysis 作者是Pandas这个包的作者，看过他在Scipy会议上的演讲，实例非常强！Bad Data Handbook 很好玩的书，作者的角度很不同。 数据挖掘适合入门的教程： 集体智慧编程学习数据分析、数据挖掘、机器学习人员应该仔细阅读的第一本书。作者通过实际例子介绍了机器学习和数据挖掘中的算法，浅显易懂，还有可执行的Python代码。难易程度：中。 Machine Learning in Action 用人话把复杂难懂的机器学习算法解释清楚了，其中有零星的数学公式，但是是以解释清楚为目的的。而且有Python代码，大赞！目前中科院的王斌老师（微博：王斌_ICTIR）已经翻译这本书了机器学习实战(豆瓣)。这本书本身质量就很高，王老师的翻译质量也很高。难易程度：中。我带的研究生入门必看数目之一！ Building Machine Learning Systems with Python 虽然是英文的，但是由于写得很简单，比较理解，又有Python 代码跟着，辅助理解。 数据挖掘导论最近几年数据挖掘教材中比较好的一本书，被美国诸多大学的数据挖掘课作为教材，没有推荐Jiawei Han老师的那本书，因为个人觉得那本书对于初学者来说不太容易读懂。难易程度：中上。Machine Learning for Hackers 也是通过实例讲解机器学习算法，用R实现的，可以一边学习机器学习一边学习R。 数据挖掘稍微专业些的： Introduction to Semi-Supervised Learning 半监督学习必读必看的书。 Learning to Rank for Information Retrieval 微软亚院刘铁岩老师关于LTR的著作，啥都不说了，推荐！Learning to Rank for Information Retrieval and Natural Language Processing 李航老师关于LTR的书，也是当时他在微软亚院时候的书，可见微软亚院对LTR的研究之深，贡献之大。 推荐系统实践这本书不用说了，研究推荐系统必须要读的书，而且是第一本要读的书。 Graphical Models, Exponential Families, and Variational Inference 这个是Jordan老爷子和他的得意门徒Martin J Wainwright 在Foundation of Machine Learning Research上的创刊号，可以免费下载，比较难懂，但是一旦读通了，graphical model的相关内容就可以踏平了。 Natural Language Processing with Python NLP 经典，其实主要是讲NLTK 这个包，但是啊，NLTK 这个包几乎涵盖了NLP 的很多内容了啊！ 数据挖掘机器学习教材： The Elements of Statistical Learning 这本书有对应的中文版：统计学习基础(豆瓣)。书中配有R包，非常赞！可以参照着代码学习算法。 统计学习方法李航老师的扛鼎之作，强烈推荐。难易程度：难。 Machine Learning 去年出版的新书，作者Kevin Murrphy教授是机器学习领域中年少有为的代表。这书是他的集大成之作，写完之后，就去Google了，产学研结合，没有比这个更好的了。