Domino初学者的入门地图
《Domino体系说明》
Domino是什么：
一、是一个文档数据库系统
二、是一个邮件服务器
三、是一个目录服务器
四、是一个web应用服务器，支持web应用程序（LotusScript,perl,CGI）和java。
Domino的扩展：
一、Domino至少可以通过下面列出的手段访问其他系统
lcslx,
ls:do,
java,
decs
二、domino自身可以调用com组件和win32 API
三、domino可以调用c接口
《Domino初学者的入门地图》
一、domino作为文档数据库具有数据库的一般特性：增删改查。你可以将信息存到domino数据库中进行处理。很多应用程序不就是以此为基础的吗？
二、domino是一个邮件服务器，支持smtp和pop3。domino作为邮件系统，可以通过配置建立复杂的邮件网络。
三、domino可以支持ldap，可以集成/被集成其他目录服务器，如windows ad,netscape ldap server等。并且可以和iis,websphere等应用服务器做SSO。
四、domino作为web应用服务器可以建立b/s应用，并可以通过它的扩展接口集成其他的系统。domino 支持java，可以运行java代理和java servlet。（说明：R5 jvm:1.1.8）domino内置了java servlet manager。
五、domino可以发布xml。不信就去查查ibm红皮书吧。
《可以学习什么》
一、domino管理的两大主要问题：邮件和目录。看看帮助吧。能够熟练地配置domino邮件系统并且可以做到ldap目录集成的管理员，基本上是高人了。
二、开发的几个重要问题：
（客户端开发的问题）
表单、视图、数据库的几个事件，例如queryopen,postsave等。能够合理地将代码分布在这些事件里，基本上算是精通的人了。
另外要了解如何调用windows上的OLE类。怎么找OLE类的帮助？designer，随便做一个按钮，click事件里，lotusscript。看到左边的帮助了吗？自己选择吧。最重要的几个OLE类：MS Office，IE Navigator（看
数据库web导航器的设计去！），如果你不是很懂，看看ms ado。
（b/s开发的几个问题）
b/s开发设计的技术要多一些，html,vbscript/javascript，xml等。
其实我们如果用其他语言开发过b/s系统可以发现共通的地方：
web上交互方式两种最重要的：GET和POST。
我们可以将Web Query Open代理想象为GET操作，就是你要在页面打开前进行页面的初始化。
当你想向服务器提交数据处理请求时，执行的是POST操作－Web Query Save。
有许多人喜欢在表单上放置按钮运行代理：@command([Toolsrunmacro];"XXX"。这样做不是不可取。如果你转到ASP,JSP或者利用CGI,Servlet就很难适应。因为这些开发方式都是最终要执行一个docuemnt-form-submit。
举个例子：
对当前的文档有三个操作：保存并新建、保存、提交审批。
一般的初学者会这样：@command([filesave]);@postedcommand([compose])、@command([filesave])、@command([toolsrunmacro];"TiJiao")。
如果你想将来能适应jsp,asp,cgi,servlet的设计，可以使用这样的方式：
方式一、在表单上放一个域SubmitType，文本，type=hidden，default value＝""。
做一个web query save代理－"Submitdocument.quot;。
三个操作就变为：document.forms[0].SubmitType.value="1";
document.forms[0].submit();
document.forms[0].SubmitType.value="2";
document.forms[0].submit();
document.forms[0].SubmitType.value="3";
document.forms[0].submit()。
代理内容：
select case doc.SubmitType(0)
case "1"
...保存并新建的处理代码
case "2"
...保存的代码
case "3"
...提交的代码
case else
...出错控制！
学习：
Select Case doc.submitType(0)
Case "1"
Messagebox "保存！"
Case "2"
Messagebox "新建!"
Case "3"
Messagebox "退出！"
Case Else
Messagebox "出错！"
end case
方式二、巧用$$QuerySaveAgent域（这是系统的域！）
创建一个名字为$$QuerySaveAgent的文本域，缺省值“NoAction”，type=hidden。
三个操作的代码是：
document.forms[0].$$QuerySaveAgent.value="SaveAndNew";
document.forms[0].submit();
document.forms[0].$$QuerySaveAgent.value="Save";
document.forms[0].submit();
document.forms[0].$$QuerySaveAgent.value="TiJiao";
document.forms[0].submit()。
然后建三个代理：SaveAndNew、Save、TiJiao即可。分别处理。
说明：$$QuerySaveAgent的功能和表单的WebQuerySave事件一样，它的值是告诉服务器在web query save 时执行哪个代理。具体请看designer帮助！
明白了这些原理，大家可以多使用一些document.formName.submit()的javascript做程序。尽量避免使用在web页面调用公式的方式。
我见过许多人将用户输入的合法性检查放到代理里进行。出错了就alert一下。为什么不用javascript先检查，然后将document.formName提交呢？
（扩展接口的使用）
domino连接RDBMS的最好方法是java.sql.*，虽然R5只支持java 1.1.8 API。使用数据库系统自身提供的jdbc driver是最好的，因为人家优化过呀。db的jdbc driver通过java代理的“编辑项目”按钮可以引入到当前代理里。
记住扩展方向：
一、Domino ------> RDBMS：编程接口有LCLSX,LSO,JDBC
二、其他系统 -----> Domino：Domino COM、Notes JDBC/OBDC Driver、Domino Java API/C API、NotesSQl 等
地图学知识点整理 第一章导论 一．地图的定义与基本特征 1.地图的定义：地图是依据特定的数学法则，通过科学的概括，并运用符号系统将地理信息表示在一定载体上的图形，以传递客观现象的数量、质量特征在空间和时间上的分布规律和发展变化。 2.地图的基本特征： 地理信息的载体——多样性 数学法则的结构——（地图投影，坐标系统，比例尺） 有目的的图形概括——（地理信息形成地图信息的过程，图形的形状变化和尺寸变化） 符号系统的运用——（地理信息的图形借助地图符号，地图是符号的模型） 二、地图的功能与分类 1.地图的功能： （1）.地图信息的载负功能地图信息分为直接（从图中直接反映）和间接信息（分析）组成， （2）.地图的传递功能将制图者和用图者联系起来，统一在地图信息的传递过程中 （3）.地图的模拟功能所需表示的对象，在众多特征中抽取内在的，本质的联系，进行实物的模拟 （4）.地图的认知功能用图者根据自己的知识和经验，对图形进行联想和推演和各种分析 2.地图的类型 （1）按尺度划分： 大比例尺地图：大于比例尺1:10万的地图 中比例尺地图：比例尺1:10万~1:100万 小比例尺地图：比例尺小于1:100万 （2）按区域划分（了解） A.星球图、地球图 B.世界图、半球图、大洲图、大洋图 C.国家图、行政区图 D.局部区域图 （3）按照地图的图型划分 普通地图（自然地理和社会经济一般特征的，不偏重哪一个要素，分为地形图和地理图） 专题地图（各自学科体系进行层次细分，构成地图的主要内容） （4）按地图的维数划分 平面地图和立体地图 （5）按其他指标分类 按用途 按语言种类 按历史年代 按出版和使用方式 三、地图学 1.地图学的概念：地图学是以地理信息可视化为核心，探讨地图的理论实质、制作技术和使用方法的综合性科学。 2.地图学的学科体系（了解）
《新编地图学教程》（第二版）毛赞猷等编 复习指导 第一章导论 一、填空： 1、地图的基本特征：遵循特定的数学法则、具有完整的符号系统、经过地图概括、地理信息的载体。 2、地图和文字一样有着4000多年的历史。 3、地图至少有四方面的功能：地图信息的载负功能、地图信息的传递功能、地图的模拟功能、地图的认知功能。 4、地图能够存贮数量巨大的地理信息，以表达它的空间结构和时间序列变化，以及各现象间的相互联系。空间结构指地理信息的空间分布规律，包括它的数量、质量特性；时间序列变化反映制图对象的动态变化，也即制图对象的历史进程、现代发展和未来趋势。 5、地图投影、坐标系统、比例尺构成地图的数学法则。 6、经过分类、简化、夸张和符号化，从地理信息形成地图信息的过程，称为地图概括。 7、地图信息由直接信息和间接信息组成。直接信息是地图上用图形符号直接表示的地理信息，如水系、居民点等；间接信息是经过解译、分析而获得的有关现象或实体规律的信息，如通过对等高线的量测而获得有关坡度、切割密度的数据和图形。 8、地图按图型划分为普通地图与专题地图。 9、虚地图是指存在于人脑中或以数字形式记录存储在电脑中的地图。前者例如心像地图，后者如数字地图。 10、实地图是地理信息可视化了的地图。例如纸质地图、屏幕地图、地球仪等。 11、地图是伴随着文字出现的，是随着人类经济活动的需要产生的。古尼罗河、黄河流域的农田水利和城郭的发展带动了天文测量、平面测量和地图制作技术。古希腊手工业作坊比较发达，地中海贸易和战争使测绘用于航海成为当时的迫切任务，他们着重于测量经纬度、研究地图投影、编绘航行地图，因而将地图测绘建立在天文——大地测量的基础上。 12、古希腊毕达哥拉斯提出大地是圆球的观念，埃拉托色尼估算出地球的一段经线弧长，以此推算出地球的大小。托勒密是西方重要的天文学家、地图学家，他的名著是《地理学指南》。 13、1978年河北省平山县出土了一块公元前310年以前铜版的“兆域图”，是我国现存最古老的平面图实物。 14、1986年甘肃天水放马滩出土了秦王嬴政八年（公元前239年）绘在四块松木板上的地图七幅，
第一篇地图的基本知识 §地图的定义和基本特征 一、地图的基本特性 1. 可量测性——特殊的数学法则(地图投影、比例、尺地图定向) 2. 直观性——地图语言（符号、注记、颜色） 3. 一览性——制图综合（概括） 二、地图的概念 根据一定的数学法则，将地球(或其他星体)上的自然和人文现象，使用地图语言，通过制图综合，缩小反映在平面上，反映各种现象的空间分布、组合、联系、数量和质量特征及其在时间中的发展变化。 §地图的分类 普通地图: 以相对平衡的详细程度表示地表最基本的自然和人文现象的地图。 六大地理要素：水系、地貌、土质植被、居民地、交通网、境界、各种独立目标。 大比例尺地图：[1/10万，1〕 中比例尺地图：(1/100万，1/10万) 小比例尺地图：(0,1/100万] 国家基本比例尺地图 1：5千1：1万1：万1：5万1：10万1：25万1：50万1：100万 专题地图 根据专业的需要，突出反映一种或几种主题要素的地图，其中作为主题的要素表示得很详细，其他的要素则围绕表达主题的需要，作为地理基础概略表示。 自然专题地图：地质图、地貌图等 人文专题地图：政区图、人口图、经济图等 其他专题地图：航空图、航海图、城市地图 §地图的基本内容 数学基础 控制点、坐标网、比例尺和地图定向 地理要素 普通地图：自然和人文要素 专题地图：地理基础要素和主题要素 整饰要素 外图廓、图名、图例、坡度尺、三北方向图解、文字比例尺、编图单位、编图时间和依据等。§地图用途和基本功能
地图的基本功能 1.传输功能 编图者（信息源）——用图者（目的地） 2.信息载负功能 空间信息载体：直接信息、间接信息 3.模拟功能 空间模型 形象—符号模型：等高线 4.认知功能 空间认知：空间定位、格局、相互关系、时空变化等 图形认知：数量和质量特征 §地图的成图过程 计算机地图制图的一般过程 地图设计（根据要求收集资料，确定比例尺、投影，选择地图内容和表示方法……） 数据输入（将作为制图资料的图形、图像、统计数据转换成计算机可以接受的数字形式，以数据库形式记录在计算机可存储介质上……） 数据处理（加工处理数据，建立新编地图以数字形式表达的图形……） 图形输出（将数字地图变成可视的模拟地图形式） 第二篇地图的分幅与编号 一、地图的分幅 编图、印刷、保存、使用方便 地图分幅的方法 三、我国基本地形图的分幅和编号 顶点的编号怎么看 分成1:10万时是3*3 J-50/J50 横列号=[ 纬度/4°] + 1 纵行号= [ 经度/6°]+31 （东经） 纵行号=31- [ 经度/6°] （西经） [ ] 代表取整 旧分幅编号法
地图学： 第一章： 现代地图学概论 地图定义：按照严密的数学法则，并使用特定的符号系统把空间事物抽象地表示在平面或者球面上，并且其还具有传输事物信息的一种图形 地图的基本特性： 1、严密的数学法则 2、科学的地图概括 3、特定的符号系统 地图的组成要素： 1、数学要素 确定地理要素的空间位置，“骨架”作用，大地控制点、比例尺、经纬网2、地理要素 地图根据制图要求表达的内容（内容要素）， 自然要素：水系、地形、土质植被 社会经济要素：居民地、交通线， 用图形表示，“图形要素” 3、辅助要素 图名图号、图例、文字说明等 4、现代地图还包括技术设备和技术操作 地图的功能 1、信息载负功能 2、信息传输功能 3、客观模拟功能 4、认知与感受功能 现代地图分类 （一）按地图功能和内容分类 按地图功能分类，普通地图、专题地图、专用地图、特种地图 按地图内容分类，普通地图、专题地图（主要方法） 普通地图：
同等详细程度全面表示地面上主要的自然和社会经济现象的地图，可分为地形图和地理图。 专题地图： 着重表示一种或几种自然或社会经济现象的地图 （二）按地图比例尺分类 大比例尺地图（>=1：10万），地市规划 中比例尺地图（大于1：100万，小于1：10万），国家或省级规划 小比例地图（1：100万以及更小比例尺），教育普及 第二章： 制图框架与成图方法 一、地图成图方法： 实测成图法、编绘成图法 地理空间信息特征：空间特征、时间特征以及属性特征 大地水准面：假定在重力作用下海水面静止时的平均水面，并假设此面穿过穿过大陆与岛屿，连续扩展形成处处与铅垂线成正交的闭合曲面 大地水准面高低起伏，地球内部物质密度不均，起伏不定的重力等位面，又称地球物理表面 平均海水面为椭球体面，地球数学表面 地理坐标系： 空间参照系是测量空间点坐标位置的一种度量衡制 地球表面点坐标的确定包括两方面内容： 1、地面点在地球椭球体面上的投影位置，采用地理坐标系 2、地面点到大地水准面的垂直距离，采用高程系 天文经纬度： 天文经度：首子午面与过观测点的子午面所夹的二面角， 天文纬度：过某点的铅垂线与赤道平面之间的夹角
Scala从基础到开发实战 对于进化缓慢的Java跟C++语言来说，目前Scala无疑更适应现代化特质的语言，语法简洁，同时兼备函数式编程与面向对象编程，具有令人耳目一新的编程范式。而运行在Java 虚拟机上的编译环境使得其具有很多的现有工具与类库，拥有快速的可靠的解释器和编译器。 本课程是Scala语言基础课程，面向没有或仅有少量编程语言基础的同学，当然，具有一定的Java或C、C++语言基础将有助于本课程的学习。在本课程内，将更注重scala的各种语言规则和应用，通过学习本课程能具备初步的Scala语言实际编程能力。 Scala最近的红火也得益于Spark分布式内存计算平台的兴起，由于其惊人的计算速度，Spark将要革命Hadoop的说法尘嚣日上，但学习Spark的一项瓶颈是其原生语言Scala并不为大众所熟知，即使是资深程序员，从未听说过Scala者大有人在，于是本门课程也可以称为Spark系列的前置课程，供深入学习大数据技术的同仁们进行热身运动。 课程大纲： 第一课：Scala介绍——如何安装Scala REPL、SBT、IDE，编写简单的Scala程序；函数式编程简介 第二课：Scala的class和object，Scala的变量、类的介绍 第三课：Scala的基本数据类型、控制语句 第四课：高阶函数、Currying、尾递归 第五课：数据结构：List、Map、Set 第六课：组合和继承 第七课：Trait 第八课：响应式编程介绍 第九课：Akka框架（一）——akka的基本用法 第十课：Akka框架（二）——actor的监控 第十一课：Akka框架（三）——网络编程 第十二课：Akka框架（四）——akka使用技巧
上市公司，官网：https://www.doczj.com/doc/926348745.html, 大数据开发初学者该如何学习 导读： 第一章：初识Hadoop 第二章：更高效的WordCount 第三章：把别处的数据搞到Hadoop上 第四章：把Hadoop上的数据搞到别处去 第五章：快一点吧，我的SQL 第六章：一夫多妻制 第七章：越来越多的分析任务 第八章：我的数据要实时 第九章：我的数据要对外 第十章：牛逼高大上的机器学习 经常有初学者会问，自己想往大数据方向发展，该学哪些技术，学习路线是什么样的，觉得大数据很火，就业很好，薪资很高……首先，如果你确定了想往这个方面发展，先考虑自己的过去从业经历、专业、兴趣是什么。计算机专业——操作系统、硬件、网络、服务器？软件专业——软件开发、编程、写代码？还是数学、统计学专业——对数据和数字特别感兴趣？ 其实这就是想告诉你大数据的三个发展方向，平台搭建/优化/运维/监控、大数据开发/设计/架构、数据分析/挖掘。 先扯一下大数据的4V特征： ?数据量大，TB->PB ?数据类型繁多，结构化、非结构化文本、日志、视频、图片、地理位置等；
上市公司，官网：https://www.doczj.com/doc/926348745.html, ?商业价值高，但是这种价值需要在海量数据之上，通过数据分析与机器学习更快速的挖掘出来； ?处理时效性高，海量数据的处理需求不再局限在离线计算当中。 现如今，正式为了应对大数据的这几个特点，开源的大数据框架越来越多，越来越强，先列举一些常见的： 文件存储：Hadoop HDFS、Tachyon、KFS 离线计算：Hadoop MapReduce、Spark 流式、实时计算：Storm、Spark Streaming、S4、Heron K-V、NOSQL数据库：HBase、Redis、MongoDB 资源管理：YARN、Mesos 日志收集：Flume、Scribe、Logstash、Kibana 消息系统：Kafka、StormMQ、ZeroMQ、RabbitMQ 查询分析：Hive、Impala、Pig、Presto、Phoenix、SparkSQL、Drill、Flink、Kylin、Druid 分布式协调服务：Zookeeper 集群管理与监控：Ambari、Ganglia、Nagios、Cloudera Manager 数据挖掘、机器学习：Mahout、Spark MLLib 数据同步：Sqoop 任务调度：Oozie 1.1 学会百度与Google
1.地图的定义 地理环境诸要素（内容）按照一定的数学法则、运用符号系统、并经过制图综合（特征）的一种缩小表像（形式）以表达各种自然和社会现象的数质量特征及空间分布和发展变化（目的、结果）。 2.地图的基本特征 地图必须遵循一定的数学法则（可测量性、可比性）；地图必须经过科学制图综合（清晰性、一览性）；地图具有完整的符号系统（直观性、易读性）；地图是地理信息的载体（传递性、持久性）。 3.地图的基本内容 数学要素（骨架）：地图坐标、投影、比例尺、控制点等 地理要素（主体）：表达地理信息的各种图形，文字标记 辅助要素（润滑剂）：说明地图的编制情况，为应用提供相关内容，在主要图形的外侧，如图名、图号、图例、比例尺等；对主要图件在内容和形式上的补充，如统计图表、剖面图、测图时间、出版单位等 4.地图的分类 按比例尺分：-大比例尺地图（≥1:10万）-中比例尺地图（1:10万~1:100万）-小比例尺地图（≤1:100万）-微缩地图 按地图的图形内容分类：-普通地图（是指以相对平衡的程度表示地表最基本的自然和人文现象的地图。）-专题地图（是根据专业的需要，突出反映一种或几种主题要素的地图，其中，作为主题的要素表示得很详细，其他的要素则围绕表达主题的需要，作为地理基础概略表示。） 5.图幅编号 a=[φ/4°]+1 φ纬度；b=[λ/6°]+31 λ经度1:1万(G) 1：5000(H) c=4°/△φ-[(φ/ 4°)/△φ] △φ图幅纬差2′30″1′15″ d=[(λ/6°)/ △λ]+1 △图幅经差3′45″1′52.5″ X1X2X3 X4 X5X6X7 X8X9X10 λ0=(X2X3-31)*6°φ0=(X1-1)*4° λ=λ0+(X8X9X10-1)* △λφ=φ0+(4°/△φ-X5X6X7)* △φ 6.现代地图学体系 地图学的定义是以地图信息传递为中心的，探讨地图的理论实质、制作技术和使用方法的综合性科学 ┏理论地图学（地图学理论基础）~地图信息、传输、模式、认知理论；地 图可视化原理、数学制图原理、地图语言学（地图符号学）、地图感受理 论、地图概括（制图综合）理论、综合制图理论、地学信息图谱理论 现代地图学╋地图制图学（地图编制方法与技术）~普通地图制图学、专题**、遥感制图学、计算机制图学、地图印制学与计算机出版系统、多媒体电子地图与 网络地图设计和制作 ┗应用地图学（地图应用原理与方法）~地图功能、评价、分析与研究方法、 使用方法、信息自动分析和处理系统、应用、数字地图应用 7. 大地水准面：一个与静止的平均海水面相重合，并假想其穿过大陆、岛屿形成一个闭合曲面。（水准面的特点：面上任意一点的铅垂线都垂直于该点的曲面） 地球椭球面：人们假想，可以将大地体绕短轴（地轴）飞速旋转，就能形成一个表面光滑的球体，即踢球椭球体。其表面可用数学模型定义和表达称为地球椭球面。
第一章 现代地图定义:按照严密的数学法则，用特定的符号系统，将地球或其它星球的空间事象，以二维或多维、静态或动态可视化形式，抽象概括、缩小模拟等手段表示在平面或球面上，科学地分析认知与交流传输着事象的时空分布、数量质量特征及相互关系等多方面信息的一种图形或图像。 地图的基本特性 （1）具有严密的数学法则：地图是正形投影。（2）进行了科学的地图概括：地图的内容进行了高度概括。 （3）使用特定的符号系统：地图图式。（4）现代地图基本特性有所拓展，但是地图的３条基本特性却没有实质性改变。 现代地图的组成要素 数学要素：（1）用来确定地理要素的空间相关位置；（2）地理要素：根据制图要求所要表达的内容；（3）辅助要素：对主图内容与形式的补充，也是用图的工具或参考；（4）技术设备和技术操作：计算机的软硬件设备和具体的技术操作。 现代地图的分类体系 （一）按地图的功能和内容分类 1、功能分：普通地图、专题地图、专用地图和特种地图； 2、内容分：普通地图、专题地图。这是最主要的分类方法。 （二）按地图的比例尺分类 大比例尺地图：大于和等于１：１０万；中比例尺地图：小于１：１０万大于１：１００万；小比例尺地图：小于等于１：１００万 1、模拟地图：是利用经过人工抽象和符号化了的图形及图像描述制图内容的地图。 现代地图学:以地图信息传输与地图可视化为手段，以区域综合制图与地图概括为核心，以地图科学认知与分析应用为目的，研究地图理论实质、制作技术和使用方法的综合性大众化科学。 现代地图学的学科体系 2、现代地图学理论：地图信息与传输、地图模拟与模型、地图认知与感受； 第二章制图框架与成图方法 大地球体:当海洋静止时，自由水面与该面上各点的重力方向（铅垂线）成正交，这个面叫水准面。在众多的水准面中，有一个与静止的平均海水面相重合，并假想其穿过大陆、岛屿形成一个闭合曲面，这就是大地水准面。它实际是一个起伏不平的重力等位面——地球物理表面。
用Apache Spark进行大数据处理——第一部分：入门介绍 什么是Spark Apache Spark是一个围绕速度、易用性和复杂分析构建的大数据处理框架。最初在2009年由加州大学伯克利分校的AMPLab开发，并于2010年成为Apache的开源项目之一。与Hadoop和Storm等其他大数据和MapReduce技术相比，Spark有如下优势。 首先，Spark为我们提供了一个全面、统一的框架用于管理各种有着不同性质（文本数据、图表数据等）的数据集和数据源（批量数据或实时的流数据）的大数据处理的需求。 Spark可以将Hadoop集群中的应用在内存中的运行速度提升100倍，甚至能够将应用在磁盘上的运行速度提升10倍。 Spark让开发者可以快速的用Java、Scala或Python编写程序。它本身自带了一个超过80个高阶操作符集合。而且还可以用它在shell中以交互式地查询数据。 除了Map和Reduce操作之外，它还支持SQL查询，流数据，机器学习和图表数据处理。开发者可以在一个数据管道用例中单独使用某一能力或者将这些能力结合在一起使用。 在这个Apache Spark文章系列的第一部分中，我们将了解到什么是Spark，它与典型的MapReduce解决方案的比较以及它如何为大数据处理提供了一套完整的工具。 Hadoop和Spark Hadoop这项大数据处理技术大概已有十年历史，而且被看做是首选的大数据集合处理的解决方案。MapReduce是一路计算的优秀解决方案，不过对于需要多路计算和算法的用例来说，并非十分高效。数据处理流程中的每一步都需要一个Map阶段和一个Reduce阶段，而且如果要利用这一解决方案，需要将所有用例都转换成MapReduce模式。 在下一步开始之前，上一步的作业输出数据必须要存储到分布式文件系统中。因此，复制和磁盘存储会导致这种方式速度变慢。另外Hadoop解决方案中通常会包含难以安装和管理的集群。而且为了处理不同的大数据用例，还需要集成多种不同的工具（如用于机器学习的Mahout和流数据处理的Storm）。 如果想要完成比较复杂的工作，就必须将一系列的MapReduce作业串联起来然后顺序执行这些作业。每一个作业都是高时延的，而且只有在前一个作业完成之后下一个作业才能开始启动。 而Spark则允许程序开发者使用有向无环图（DAG）开发复杂的多步数据管道。而且还支持跨有向无环图的内存数据共享，以便不同的作业可以共同处理同一个数据。
利用Scala语言开发Spark应用程序 park内核是由Scala语言开发的，因此使用Scala语言开发Spark应用程序是自然而然的事情。如果你对Scala语言还不太熟悉，可以阅读网络教程A Scala Tutorial for Java Programmers或者相关Scala书籍进行学习。 AD： Spark内核是由Scala语言开发的，因此使用Scala语言开发Spark应用程序是自然而然的事情。如果你对Scala语言还不太熟悉，可以阅读网络教程A Scala Tutorial for Java Programmers或者相关Scala书籍进行学习。 本文将介绍3个Scala Spark编程实例，分别是WordCount、TopK和SparkJoin，分别代表了Spark 的三种典型应用。 1. WordCount编程实例 WordCount是一个最简单的分布式应用实例，主要功能是统计输入目录中所有单词出现的总次数，编写步骤如下： 步骤1：创建一个SparkContext对象，该对象有四个参数：Spark master位置、应用程序名称，Spark安装目录和jar存放位置，对于Spark On Y ARN而言，最重要的是前两个参数，第一个参数指定为yarn-standalone ，第二个参数是自定义的字符串，举例如下： valsc=newSparkContext(args(0), WordCount ,System.getenv( SPARK_HOME ),Seq(System.getenv( SPARK_TEST_JAR ))) 步骤2：读取输入数据。我们要从HDFS上读取文本数据，可以使用SparkCon valtextFile=sc.textFile(args(1)) 当然，Spark允许你采用任何Hadoop InputFormat，比如二进制输入格式SequenceFileInputFormat，此时你可以使用SparkContext中的hadoopRDD函数，举例如下： valinputFormatClass=classOf[SequenceFileInputFormat[Text,Text]]varhadoopRdd=sc.hadoopRDD(c onf,inputFormatClass,classOf[Text],classOf[Text]) 或者直接创建一个HadoopRDD对象： varhadoopRdd=newHadoopRDD(sc,conf,classOf[SequenceFileInputFormat[Text,Text,classOf[Text],c lassOf[Text]) 步骤3：通过RDD转换算子操作和转换RDD，对于WordCount而言，首先需要从输入数据中每行字符串中解析出单词，水草玛瑙 https://www.doczj.com/doc/926348745.html,然后将相同单词放到一个桶中，最后统计每个桶中每个单词出现的频率，举例如下： valresult=hadoopRdd.flatMap{case(key,value)= value.toString().split( \\s+ }.map(word= (word,1)).reduceByKey(_+_) 其中，flatMap函数可以将一条记录转换成多条记录（一对多关系），map函数将一条记录转换为另一条记录（一对一关系），高山茶 https://www.doczj.com/doc/926348745.html, reduceByKey函数将key相同的数据划分到一个桶中，并以key为单位分组进行计算，这些函数的具体含义可参考：Spark Transformation。步骤4：将产生的RDD数据集保存到HDFS上。可以使用SparkContext中的saveAsTextFile哈数将数据集保存到HDFS目录下，默认采用Hadoop提供的TextOutputFormat，每条记录以（key,value）的形式打印输出，你也可以采用saveAsSequenceFile函数将数据保存为SequenceFile格式等，举例如下： result.saveAsSequenceFile(args(2)) 当然，一般我们写Spark程序时，需要包含以下两个头文件： importorg.apache.spark._importSparkContext._ WordCount完整程序已在Apache Spark学习：利用Eclipse构建Spark集成开发环境一文中进行了介绍，在次不赘述。 需要注意的是，指定输入输出文件时，需要指定hdfs的URI，比如输入目录是hdfs:hadoop-testtmpinput，输出目录是hdfs:hadoop-testtmpoutput，其中，hdfs:hadoop-test 是由Hadoop配置文件core- site.xml中参数https://www.doczj.com/doc/926348745.html,指定的，具体替换成你的配置即可。 2. TopK编程实例
1、什么是地图？ 地图是按照一定的法则,有选择地以二维或多维形式与手段在平面或球面上表示地球(或其它星球)若干现象的图形或图像，它具有严格的数学基础、符号系统、文字注记，并能用地图概括原则，科学地反映出自然和社会经济现象的分布特征及其相互关系。 2、什么是数字地图? 数字地图是存储在计算机的硬盘、软盘、光盘或磁带等介质上的，地图内容是通过数字来表示的，需要通过专用的计算机软件对这些数字进行显示、读取、检索、分析。 3、什么是栅格图？ 栅格图是基于一套行列组成的方格数据模型，使用一组方格描述地理要素，每一个方格的值代表一个现实的地理要素。 栅格数据适合于做空间分析和图象数据格式的存储，不适合做不连续的数据处理。 4、什么是数字栅格地图（DRG）？ 数字栅格地图(DRG)是纸质地图的栅格数字化产品。每幅图经扫描、几何纠正、图幅处理与数据的压缩处理，形成在内容、精度和色彩上与地图保持一致的栅格文件。 5、什么是栅格图像？ 栅格图像，也称光栅图像，是指在空间和亮度上都已经离散化了的图像。我们可以把一幅栅格图像考虑为一个矩阵，矩阵中的任一元素对应于图像中的一个点，而相应的值对应于该点的灰度级，数字矩阵中的元素叫做像素。数字图像与马赛克拼图相似，是由一系列像素组成的矩形图案，如果所有的像素有且仅有两个灰度级（黑或白），则称其为二值图像，也即位图；否者称其为灰度图像或彩色图像。什么是矢量图形？在介绍矢量图形之前，我们首先阐述矢量对象的概念。矢量对象是以矢量的形式，即用方向和大小来综合表示目标的形式描述的对象。例如画面上的一段直线，一个矩形，一个点，一个圆，一个填充的封闭区域……等等。矢量图形文件就是由这些矢量对象组合而成的描述性文件。矢量图形则是计算机软件通过一定算法，将矢量对象的描述信息在显示终端上重绘的结果。 6、什么是矢量图？ 矢量图是基于直角坐标系统，用点、线、多边形描述地理要素的数据模型或数据结构。每一个地理要素由一系列有顺序的的x、y坐标描述，这些要素与属性相结合。 7、为什么要将栅格地图矢量化？ 纸质地图经扫描仪扫描后，初步保存为栅格图像（常见的格式有TIFF、BMP、PCX、JPEG 等）。栅格图像在地理应用领域有着这样的缺陷：首先，栅格图像文件对图像的每一像素点（不管前景或背景像素）都要保存，所以其存储开销特别大。另外，我们不能对图像上的任一对象（曲线、文字或符号）进行属性修改、拷贝、移动及删除等图形编辑操作，更不能进行拓扑求解，只能对某个矩形区域内的所有像素同时进行图像编辑操作。此外，当图像进行放大或缩小显示时，图像信息会发生失真，特别是放大时图像目标的边界会发生阶梯效应，正如点阵汉字放大显示发生阶梯效应的原理一样。而矢量图形则不同。在矢量图形中每个目标均为单个矢量单位（点、线、面）或多个矢量单位的结合体。基于这样的数据结构，我们便可以很方便地在地图上编辑各个地物，将地物归类，以及求解各地物之间的空间关系。并有利于地图的浏览、输出。矢量化则是利用数字图像处理算法，将源图上的各种栅格阵列识别为矢量对象，最后以一定格式保存的过程。矢量图形在工业、制图业、土地利用部门等行业都有广泛的应用。在这些领域的许多成功软件都
51cto学院-Scala深入浅出实战初级入门经典视频课程 课程目标 为进一步推动大数据技术的发展和应用，在王家林的带领下联合大数据狂热爱好者和一线实践专家构建了“DT大数据梦工厂”公益团队，旨在免 费分享大数据最佳实践技术，帮助您和公司在大数据时代重铸强大IT大 脑，笑傲互联网+时代！在这里，先从Scala语言的编程开发实战学起。。。适用人群 Scala语言爱好者，Spark技术爱好者，大数据技术学习者 课程简介 《Scala深入浅出实战初级入门经典视频课程》 从Scala的开发环境的搭建起步，基于纯粹动手实战的原则，循序渐进的覆盖Scal a基础、Scala面向对象编程、Scala函数式编程、集合的操作深度实战、Scala测 试等实用实战内容，是《Scala深入浅出实战中级---进阶经典》和《Scala深入浅 出实战高级---高手之巅》的前置课程。纯粹的实战精华课程打造能够进行Scala编程实战的您！ 从零开始，跟随着王家林老师每天早晨4点左右发布的一个绝对精华的约15分钟的大数据免费视频学习大数据方面的技术，先从Scala语言的编程开发实战学起。。。 Scala是一门以JVM为目标运行环境并将面向对象和函数式编程语言的最佳特性结合在一起的编程语言,此课程是大数据框架Spark的前置课程： 1、Spark框架是采用Scala语言编写的，精致而优雅。要想成为Spark高手，你 就必须阅读Spark的源代码，就必须掌握Scala；
2、虽然说现在的Spark可以采用多语言Java、Python等进行应用程序开发，但 是最快速的和支持最好的开发API依然并将永远是Scala方式的API，所以你必须掌握Scala来编写复杂的和高性能的Spark分布式程序； 3、本课程采用循序渐进的实战方式，深入浅出的讲解Scala所有核心内容和高级实 战技巧 课程 1 第1讲：Scala开发环境搭建和HelloWorld解析 24分钟 本视频介绍了Scala语言的特性，Java的安装，详细介绍了Scala的下载、Scala的环境变量配置，ScalaIDE工具的安装。在Scala的环境安装完成后又动手演示了一个在ScalaIDE中建立Sc ala工程的例子，并演示运行结果。 2 第2讲：Scala函数定义、流程控制、异常处理入门实战 24分钟 本视频以具体的例子代码详细介绍了1）Scala中函数的定义格式，以main函数为例介绍了ma in函数中的参数意义和返回值，同时还介绍了无参数函数的调用方式和有参数函数的调用方式。 2）介绍了Scala中流程控制do-while循环、for循环的使用方式。3）Scala中的异常处理try-catch-finally的使用流程。 3 第3讲：Tuple、Array、Map与文件操作入门实战 15分钟 本视频以具体的例子代码详细介绍了1）Scala中的元组的定义、元组的元素访问方式。2）Scal a中数组的定义、数组的遍历方式。3）Scala中Map集合的定义和访问方式。4）Scala中网络文件和本地文件的访问方式。 4
IT=挨踢，这是IT人的自嘲，进入IT行业是有四五年了，也算得上是一个“老人”了吧，见了不少新人，面试了不少新人，也带了一些新人，多多少少还是有点发言权的。 新人们常常会说我看了多少多少的书，看过某某人写的书，仿佛书看了就会做了。其实不然，很多新人在面试的时候夸夸其谈，说啥啥都知道一点，到真正做的时候，啥都不会。归根到底是没有经验，技术这玩意儿经验非常重要，很多东西如果不是你碰到了，你从书上一辈子都找不到答案。 一般都是先把整个书翻一下，了解一下书的基本内容，然后在实际项目中遇到相应的问题再去翻书，当然这是因为我对技术已经有一定的了解，不需要通读整本书。初学者应该找一些适合自己的书，通读一遍，其中的例子要认真做，一定要自己去写代码，而不是Copy。我以前在学做网页的时候，别人都用Dreamweaver去做，只有我打开源代码编辑器学习HTML源代码的编写。 做完书的例子只能说明你会削木头了，但会削木头离会做柜子还有很远的路要走。还记得达·芬奇画鸡蛋的故事么？不停地重复肯定是枯燥的，所以你需要自己尝试去做一些实际的东西，比如做一个个人主页、一个留言本、一个通信地址本......在这些实际的东西中去实现你的创意，去实现你在书本上所学习的例子，并且将这些例子加入你的思想。 永远不要认为书本能给你带来多少东西，虽然它们很有用，但它们只是一个Key，一个引你入门的Key。 四川是旅游的天堂，无法拒绝她火辣辣的美食，无法拒绝她惊艳的自然风光，更无法拒绝她的古蜀文化。随着社会物质文明和精神文明的不断提高，越来越多的人在社会的残酷竞争中优胜劣汰！在追求男女平等的同时，男生和女生却面临同样的竞争，这就是社会生存潜
第一章地图学基础复习题 《新编地图学教程》复习指导第一章导论一、填空：1、地图的基本特征：遵循特定的数学法则、具有完整的符号系统、经过地图概括、地理信息的载体。 2、地图和文字一样有着4000多年的历史。 3、地图至少有四方面的功能：地图信息的载负功能、地图信息的传递功能、地图的模拟功能、地图的认知功能。 4、地图能够存贮数量巨大的地理信息，以表达它的空间结构和时间序列变化，以及各现象间的相互联系。空间结构指地理信息的空间分布规律，包括它的数量、质量特性；时间序列变化反映制图对象的动态变化，也即制图对象的历史进程、现代发展和未来趋势。 5、地图投影、坐标系统、比例尺构成地图的数学法则。 6、经过分类、简化、夸张和符号化，从地理信息形成地图信息的过程，称为地图概括。 7、地图信息由直接信息和间接信息组成。直接信息是地图上用图形符号直接表示的地理信息，如水系、居民点等；间接信息是经过解译、分析而获得的有关现象或实体规律的信息，如通过对等高线的量测而获得有关坡度、切割密度的数据和图形。 8、地图按图型划分为普通地图与专题地图。 9、虚地图是指存在于人脑中或以数字形式记录存储在电脑中的地图。前者例如心像地图，后者如数字地图。 10、实地图是地理信息可视化了的地图。例如纸质地图、屏幕地图、地球仪等。 11、地图是伴随着文字出现的，是随着人类经济活动的需要产生的。古尼罗河、黄河流域的农田水利和城郭的发展带动了天文测量、平面测量和地图制作技术。古希腊手工业作坊比较发达，地中海贸易和战争使测绘用于航海成为当时的迫切任务，他们着重于测量经纬度、研究地图投影、编绘航行地图，因而将地图测绘建立在天文——大地测量的基础上。 12、古希腊毕达哥拉斯提出大地是圆球的观念，埃拉托色尼估算出地球的一段经线弧长，以此推算出地球的大小。托勒密是西方重要的天文学家、地图学家，他的名著是《地理学指南》。
地图学基础知识 1．什么是地图？ 地图是按照一定的法则,有选择地以二维或多维形式与手段在平面或球面上表示地球(或其它星球)若干现象的图形或图像，它具有严格的数学基础、符号系统、文字注记，并能用地图概括原则，科学地反映出自然和社会经济现象的分布特征及其相互关系。 2、什么是数字地图? 数字地图是存储在计算机的硬盘、软盘、光盘或磁带等介质上的，地图内容是通过数字来表示的，需要通过专用的计算机软件对这些数字进行显示、读取、检索、分析。 3、什么是栅格图？ 栅格图是基于一套行列组成的方格数据模型，使用一组方格描述地理要素，每一个方格的值代表一个现实的地理要素。 栅格数据适合于做空间分析和图象数据格式的存储，不适合做不连续的数据处理。 4、什么是数字栅格地图（DRG）？ 数字栅格地图(DRG)是纸质地图的栅格数字化产品。每幅图经扫描、几何纠正、图幅处理与数据的压缩处理，形成在内容、精度和色彩上与地图保持一致的栅格文件。 5、什么是栅格图像？ 栅格图像，也称光栅图像，是指在空间和亮度上都已经离散化了的图像。我们可以把一幅栅格图像考虑为一个矩阵，矩阵中的任一元素对应于图像中的一个点，而相应的值对应于该点的灰度级，数字矩阵中的元素叫做像素。数字图像与马赛克拼图相似，是由一系列像素组成的矩形图案，如果所有的像素有且仅有两个灰度级（黑或白），则称其为二值图像，也即位图；否者称其为灰度图像或彩色图像。 6、什么是矢量图？ 矢量图是基于直角坐标系统，用点、线、多边形描述地理要素的数据模型或数据结构。每一个地理要素由一系列有顺序的的x、y坐标描述，这些要素与属性相结合。 7、为什么要将栅格地图矢量化？ 纸质地图经扫描仪扫描后，初步保存为栅格图像（常见的格式有TIFF、BMP、PCX、JPEG等）。栅格图像在地理应用领域有着这样的缺陷：首先，栅格图像文件对图像的每一像素点（不管前景或背景像素）都要保存，所以其存储开销特别大。另外，我们不能对图像上的任一对象（曲线、文字或符号）进行属性修改、拷贝、移动及删除等图形编辑操作，更不能进行拓扑求解，只能对某个矩形区域内的所有像素同时进行图像编辑操作。此外，当图像进行放大或缩小显示
GIS地图基础知识--入门教程 MAPGIS地理信息系统是中国地质大学信息工程学院开发的工具型地理信息系统软件。该软件产品在由国家科技部组织的国产地理信息系统软件测评中连续三年均名列前茅，是国家科技部向全国推荐的唯一国产地理信息系统软件平台。以该软件为平台，开发出了用于城市规划、通信管网及配线、城镇供水、城镇煤气、综合管网、电力配网、地籍管理、土地详查、GPS导航与监控、作战指挥、公安报警、环保监测、大众地理信息制作等一系列应用系统。 GIS 地图知识 1. 地图、地图制图学 . 2. 地图基本概念-特性、分类、用途、工艺 (国家基本比例尺地形图) 3. 地图数学基础 (椭球、投影、高斯-克吕格直角坐标、地形图分幅) 4. 地图符号 5. 普通地图的内容要素及表示方法 6. 专题地图的内容要素及表示方法 7. 传统测绘与“3S”、“数字地球” 1. 地图、地图制图学: 一.什么是地图 地图是按一定的数学法则和综合法则，以形象－符号表达制图物体(现象)的地理分布、组合和相互联系及其在时间中的变化的空间模型，它是地理信息的载体，又是信息传递的通道。 二.地图制图学及其理论基础 地图制图学属地球科学中的一门学科。主要是研究地图的实质(性质、内容及其表示方法)发展、制图理论和技术方法的的一门科学。它的任务是获取各种类型的、高速优质的地图。是制作地图的科学。地图是人类认识客观世界、反映自然的特殊形式。地图的制作不是单纯的技术问题，而是人类认识客观的能力和水平的反映。 三.地图制图学及其组成部分 地图概论：研究地图的发展规律、特点以及地图的性质、分类、用途、内容及表示方法等。 地图投影学：研究地图上点的平面直角坐标(或极坐标)同地球椭球体表面上相应点的地理坐标(经纬度坐标)之间的函数关系，研究投影的理论、性质、变形规律、计算方法投影的判别和选择，以及在编制地图中不同投影的转换问题。 地图编制学：研究制图资料编制地图的理论、技术方法和程序。 地图绘制学：研究绘制出适合于制印要求的出版原图的理论和技术。
制图学基础 高等教育出版社?1.地球椭球体、大地水准面、GPS、比例尺、地图投影的概念。 ?为了寻求一种规则的曲面来代替地球的自然表面，人们设想当海洋静止时，平均海水面穿过大陆和岛屿，形成一个闭合的曲面，该面上的各点与重力方 向（铅垂线）成正交，这就是大地水准面。 ?形状接近一个扁率极小的椭圆绕大地球体短轴旋转所形成的规则椭球体，这个椭球体称为地球椭球体。其表面是一个规则数学表面，可用数学公式表达， 所以在测量和制图中用它替代地球的自然表面。 2.地图投影的分类、选择与判别、变形分布规律及用途。 按变形图性质 1）等角投影（正形投影）：角度变形为0，地球面上的微小圆经过投影后仍为相 似的微小圆，其形状保持不变，只有长度和面积变形。 等角投影在同一点任何方向的长度比都相等，但在不同地点长度比不一定相同。 多用于编制航海图、洋流图、风向图等地形图。 2）等积投影：投影后图形保持面积大小相等，没有面积误差。也就是球面上的 不同地点微小圆投影后为面积相等的各个椭圆，但椭圆的形状不一样。因此有 角度和长度变形。 由于这类投影可以保持面积没有变形，故有利于在图上进行面积对比。一般用于绘制对面积精度要求较高的自然地图和经济地图。 3）任意投影：任意投影是既不等角也不等积的投影。这种投影的特点是面积变 形小于等角投影，角度变形小于等积投影。 在任意投影中，有一种特殊的投影，叫做等距投影，其条件是，m=1。即变形椭 圆上的一个半径和球面上相应微小圆半径相等。 ?3. 高斯-克吕格投影及其特点。 ?假想有一个椭圆柱面横套在地球椭球体外面，并与某一条子午线（此子午线称为中央子午线或轴子午线）相切，椭圆柱的中心轴通过椭球体中心，然后用一定投影方法，将中央子午线两侧各一定经差范围内的地区投影到椭圆柱面上，再将此柱面展开即成为投影面，如图2所示，此投影为高斯投影。高斯投影是正形投影的一种。 ?（4）高斯平面投影的特点 ①中央子午线无变形； ②无角度变形，图形保持相似； ③离中央子午线越远，变形越大。
Spark 实战，第1 部分: 使用Scala 语言开发Spark 应用程序 本文旨在通过具有实际意义的案例向读者介绍如何使用Scala 语言开发Spark 应用程序并在Spark 集群上运行。本文涉及的所有源数据都将从HDFS（Hadoop Distributed File System）读取，部分案例的输出结果也会写入到HDFS, 所以通过阅读本文，读者也会学习到Spark 和HDFS 交互的一些知识。 查看本系列更多内容|3评论： 王龙, 软件开发工程师, IBM 内容
关于Spark Spark 由加州大学伯克利分校AMP 实验室(Algorithms, Machines, and People Lab) 开发，可用来构建大型的、低延迟的大数据处理的应用程序。并且提供了用于机器学习(MLlib), 流计算（Streaming）, 图计算(GraphX) 等子模块，最新的1.4.0 版本更是提供了与R 语言的集成，这使得Spark 几乎成为了多领域通吃的全能技术。Spark 对数据的存储，转换，以及计算都是基于一个叫RDD(Resilient Distributed Dataset) 分布式内存的抽象，应用程序对需要计算的数据的操作都是通过对RDD 的一系列转化(Transformation) 和动作(Action) 算子完成的，其中转化算子可以把一个RDD 转成另一个RDD，如filter 算子可以通过添加过滤条件生成一个只包含符合条件的数据的新的RDD。动作算子负责完成最终的计算，如count 算子可以计算出整个RDD 表示的数据集中元素的个数。关于Spark 所支持的算子以及使用方法请参考Spark 官方网站。本文所使用的Spark 的发行版是1.3.1，读者可根据需要下载相应的版本。 回页首关于Scala Scala 语言是一门类Java 的多范式语言，其设计初衷就是为了继承函数式编程的面向对象编程的各种特性，正如Scala 语言官网描述的那样:Object-Oriented Meets Functional, 就是给出了一个关于Scala 语言特性的最简单明了的概括。 Spark 框架使用Scala 语言开发，那么使用Scala 语言开发Spark 应用程序就变成一件很自然的事情，虽然Spark 提供了面向Python,Java 等语言的编程接口，但是从各个方面来看使用Scala 编程都是最简单最容易理解的，特别是当程序出现异常或者是需要通过学习源码来定位问题时，您会发现学习Scala 语言来编写Spark 应用程序是多么有意义的事情。关于Scala 语言，如果您还没有基础，请参考 ?Scala 语言官网 ?Scala 中文网 ?Twitter 提供的Scala 课堂 ?面向Java 开发人员的Scala 指南系列 由于Spark 1.3.1 版本使用的是Scala 2.10.x 版本，所以本文将使用Scala 2.10.5 版本。 回页首搭建开发环境 1. 安装Scala IDE