HIVE从入门到精通 目录 HIVE介绍 (2) 二、hive的安装和配置 (8) 三、hive与hbase集成 (13) 四、HIVE创建目录和表 (16) 六、HIVE查询 (23) 七、HIVE视图 (29) 八、索引 (30) 九、hive schema (30) 十、Hive join (33) 十一、Hive基本语法 (37) 十二、Hive操作语句 (40) 十三、数据操作语句 (50) Hive 优化 (56)
HIVE介绍 主要介绍 背景及体系结构 1背景 应用于工业的商务智能收集分析所需的数据集正在大量增长，使 得传统的数据仓库解决方案变得过于昂贵。Hadoop 是一个流行的开源map-reduce实现，用于像yahoo, Facebook一类的公司。来存储和处 理商用硬件上的大范围数据集。然而map-reduce程序模型还是处于很 低级别，即需要开发者来书写客户程序，这些程序往往难于维护与重用。 用hbase做数据库，但由于hbase没有类sql查询方式,所以操作 和计算数据非常不方便，于是整合hive，让hive支撑在hbase数据库层面的hql查询。hive也叫做数据仓库。 2定义 Hive是基于Hadoop(HDFS, MapReduce)的一个数据仓库工具，可 以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。 本质是将SQL转换为MapReduce程序。 3体系结构 Hive本身建立在Hadoop的体系结构上，可以将结构化的数据文 件映射为一张数据库表，并提供完整的sql查询功能，可以将sql语 句转换为MapReduce任务进行。并按照该计划生成MapReduce任务后 交给Hadoop集群处理，Hive的体系结构如图1-1所示：
紫微斗数秘笈星情讲解之七杀星.txt爱尔兰﹌一个不离婚的国家，一个一百年的约定。难过了，不要告诉别人，因为别人不在乎。★真话假话都要猜，这就是现在的社会。 紫微斗数秘笈星情讲解之七杀星 七杀星 原文：七杀星在五行属阴金，在天属南斗星，化为权。是紫微斗数中的大将星曜。佐助紫微星与天府星，所以遇紫微天府则为国家栋梁，出将入相，得遇贵人提携，平步青云，指调百万雄师。在商亦于实业工厂方面发展。以其能掌握大众，如工人职员等。与廉贞星同度，在未宫或七杀星在午宫，称为［雄宿乾元格］，乃是上格，魄力雄厚。因为七杀的阴金被廉贞的文火所锻练，相制为用。在子宫则次之，在丑宫者普通。如会照煞星，反主刑剋、伤害、颠簸。七杀在命宫者，最恶落陷化忌、擎羊、陀罗、火星、铃星、空劫、天虚、阴煞等星曜，主孤独或福不全；每多解说尘世为僧为道者。有幻想，时或感觉心灵上的空虚。迁移宫有天府星者，外刚强而内富情感，花前月下，每生飘飘然的出世想，妻子亦每多志高聪明，或性情外柔内刚、有丈夫气概之配偶，否则多刑剋分离病灾；或虽有夫妻之名，而无夫妻之实者。 评注： （一）七杀是大将之星，性质刚烈强硬，故七杀守命，人生比较孤剋，六亲缘份不足，但在事业方面，每因命造积极苦干，所以就不会遇吉星吉化，或反过来见煞曜，也会有所表现，得名利富贵。 （二）七杀会紫微天府，这其实是指七杀在寅宫和申宫独坐，紫微天府拱照而言，七杀在寅宫，因南斗北斗星主在上方申宫，故称［七杀仰斗］格，七杀在申宫，因南斗北斗星主在下方寅宫，故称［七杀朝斗］格。这是七杀的大格之一。紫微天府具贵人气质，所以主［贵人提携］，如果不见煞曜，更有左辅、右弼、天魁、天钺、禄存、天马等，适宜［实业工厂方面］发展，不见禄存天马却有煞曜，则可［调百万雄师］，当军警领导人。 （三）七杀在未宫，和廉贞同度，为七杀的另一大格，称为［雄宿乾元］格，其结构的道理可见原文。另外，七杀居于午宫守命，廉贞在申宫守福德宫，亦属［雄宿乾元］格。在子宫和在丑宫，都不入格，成就远远不如。 （四）凡七杀在命，人生都比较孤独，无论成就有多大，事业局面有多宏伟，都会感到［心灵上的空虚］，不见煞曜见吉星，就是成为大格，也不例外，只是程度不如七杀见煞忌那样强烈。 （五）七杀坐命，迁移宫必是天府，十二宫都如此，没有一宫例外。七杀性质变化和冲动激烈，天府性质稳定和保守平和，故此，对宫多吉，则七杀的性格较柔，人生也较安定，可以平衡性格，但如果天府性质弱，七杀性质强，过刚则折，故人生纵使成就高，但六亲缘更差，精神更空虚。 （六）原文提到，七杀居命宫，主妻子［志高聪明］、［外柔内刚］、［丈夫气概］等，这其实和七杀无关，而是夫妻宫星系的克应。凡七杀在命，夫妻宫必定是天相星，这星在夫妻宫为吉曜，对男命尤其如此，读者可以参阅有关天相入夫妻宫的部份。 七杀星临命宫 原文：七杀星临命宫，主面色黄白或红黄色，面型长方者或瘦长者较多；方面较少。中等身材，不怒而有威，为众人所敬服。一生事业性重。处事外表果决，内实进退考虑。富计谋，善策划。与紫微、天府、禄存、化禄、化权、化科、左辅、右弼、天魁、天钺、文昌、文曲会照者，得群众拥护。在国家为大将之材，极品之贵，在商为工业界之领袖，左右经济（七杀最喜会照或同度禄存、化禄，以其能柔化七杀之刚暴），名震他邦。若与擎羊、陀罗、火星、铃星、天刑、空劫、大耗会照者，主刑剋伤害。落陷者，或死于兵荒马乱，或阵亡灾死，或则疾病开刀。性情倔强，刚愎自用，处事霸道，行为凶横而寿夭。故七杀最忌落陷会煞星。
四大谱图基本原理及图谱解析 一.质谱 1.基本原理： 用来测量质谱的仪器称为质谱仪，可以分成三个部分：离子化器、质量分析器与侦测器。其基本原理是使试样中的成分在离子化器中发生电离，生成不同荷质比的带正电荷离子，经加速电场的作用，形成离子束，进入质量分析器。在质量分析器中，再利用电场或磁场使不同质荷比的离子在空间上或时间上分离，或是透过过滤的方式，将它们分别聚焦到侦测器而得到质谱图，从而获得质量与浓度(或分压)相关的图谱。 在质谱计的离子源中有机化合物的分子被离子化。丢失一个电子形成带一个正电荷的奇电子离子(M+·)叫分子离子。它还会发生一些化学键的断裂生成各种 碎片离子。带正电荷离子的运动轨迹：经整理可写成： 式中：m／e为质荷比是离子质量与所带电荷数之比；近年来常用m／z表示质荷比；z表示带一个至多个电荷。由于大多数离子只带一个电荷，故m／z就可以看作离子的质量数。 质谱的基本公式表明： （1）当磁场强度(H)和加速电压(V)一定时，离子的质荷比与其在磁场中运动半径的平方成正比(m／z ∝r2m)，质荷比(m／z)越大的离子在磁场中运动的轨道半径(rm)也越大。这就是磁场的重要作用，即对不同质荷比离子的色散作用。 （2）当加速电压(V)一定以及离子运动的轨道半径(即收集器的位置)一定时，离子的质荷比(m／z)与磁场强度的平方成正比(m／z∝H2)改变H即所谓的磁场扫描，磁场由小到大改变，则由小质荷比到大质荷比的离子依次通过收集狭缝，分别被收集、检出和记录下来。 （3）若磁场强度(H)和离子的轨道半径(rm)一定时，离子的质荷比(m／z)与加速电压(V)成反比(m／z∝1／V)，表明加速电压越高，仪器所能测量的质量范
实验报告（四）
紫微斗数秘笈星情讲解之天府星 天府星在五行属阳土，在天是南斗的主星，是财帛的库府。与紫微星同度，如得左辅、右弼、天相、武曲、文昌、文曲、天魁、天钺会照，称为君臣相会，主大富大贵。在戌宫为上格，有吉曜辅星扶持，为军政元首、人民领袖、各部门长官。在商则主为创业巨子、商界闻人。在技术或艺术方面，亦主有特殊见地，超人发明，另有特长，出人头地，举世扬名，但注意必须要有左辅、右弼及吉星扶持，或天魁、天钺夹持命宫者，为上格。在巳、亥宫，紫府对照，有吉星扶持或同度者，大富大贵，或大寿，或突遇贵人提拔，平步青云。寅、申二宫无吉助，乃清高自赏，或是人师，或执教鞭。辰、戌二宫安命，会照左辅星，不如同度为更贵更富之奇格。但须会到禄存星方是真格。因为天府星在戌宫立命，则紫微星正在午宫庙地，而太阳也正在旭日东升的宫上，太阴又是躔在月朗天门的宫位，如能会到吉辅同度，而没有恶煞冲破，当然非侯卿之命，亦是将相之材了。有了煞曜冲破，亦主为商业巨子，会空劫者，则主由理想幻像中成天下。 评注： （一）天府星是南斗的主星，在紫微斗数中，共有四颗主星，除南斗的天府外，还有北斗主星紫微，日间的中天主星太阳，夜间的中天主星太阴，虽性质各有不同，但皆有贵气。 （二）天府是［财帛的库府］是指天府具有储财的本质，由此引伸，意指天府有保守、稳定的本质，因为欲要积储财富，就一定要环境稳定，而积储就是不胡乱花费，故保守。不过，如果性质不良，便会形成自私自利和吝啬。 （三）斌兆公对于紫微天府同度，有很高的评价，这在原文讲义的各个篇章中，都可找到这方面的推断，在此亦不例外，他认为紫微天府同度，更有天相和辅弼魁钺昌曲六吉，兼见武曲，是为［君臣相会］，主大富大贵。无疑，得六吉的紫微天府，固然很有气势，领导力佳，但却只宜公职，且紫微天府性质矛盾，一主进攻一主保守，故魄力有余，决断则不足，不能担当最高的决策人。这类命格，较适宜担任公职，可以统领部门。 （四）天府在戌宫，是和廉贞同度，三方见午宫的紫微，和寅宫的武曲天相，
2013/12/2四大图谱综合解析[解] 从分子式CHO，求得不饱和度为零，故未知物应为512饱和脂肪族化合物。 1 某未知物分子式为CHO，它的质谱、红外光谱以及核磁共振谱如图，512未知物的红外光谱是在CCl溶液中测定的，样品的CCl稀溶液它的紫外吸收光谱在200 nm以上没有吸收，试确定该化合物结构。44-1的红外光谱在3640cm处有1尖峰，这是游离O H基的特征吸收峰。样品的CCl4浓溶液在3360cm-1处有1宽峰，但当溶液稀释后复又消失，说明存在着分子间氢键。未知物核磁共振谱中δ4. 1处的宽峰，经重水交换后消失。上述事实确定，未知物分子中存在着羟基。未知物核磁共振谱中δ0.9处的单峰，积分值相当3个质子，可看成是连在同一碳原子上的3个甲基。δ3.2处的单峰，积分值相当2个质子，对应1个亚甲基，看来该次甲基在分子中位于特丁基和羟基之间。质谱中从分子离子峰失去质量31（－CHOH）部分而形成基2峰m/e57的事实为上述看法提供了证据，因此，未知物的结构CH是3CCl稀溶液的红外光谱, CCl浓溶液44 CHOH C HC在3360cm-1处有1宽峰23 CH3 2. 某未知物，它的质谱、红外光谱以及核磁共振谱如图，它的根据这一结构式，未知物质谱中的主要碎片离子得到了如下紫外吸收光谱在210nm以上没有吸收，确定此未知物。解释。CH CH3+3.+ +C CH HCOH CHOH C HC3223 m/e31CH CH33 m/e88m/e57-2H -CH-H-CH33m/e29 CH m/e73CHC23+ m/e41 [解] 在未知物的质谱图中最高质荷比131处有1个丰度很小的峰，应从分子量减去这一部分，剩下的质量数是44，仅足以组为分子离子峰，即未知物的分子量为131。由于分子量为奇数，所以未成1个最简单的叔胺基。知物分子含奇数个氮原子。根据未知物的光谱数据中无伯或仲胺、腈、CH3N酞胺、硝基化合物或杂芳环化合物的特征，可假定氮原子以叔胺形式存CH3在。红外光谱中在1748 cm-1处有一强羰基吸收带，在1235 cm-1附近有1典型正好核磁共振谱中δ2. 20处的单峰(6H )，相当于2个连到氮原子上的宽强C－O－C伸缩振动吸收带，可见未知物分子中含有酯基。1040 的甲基。因此，未知物的结构为:-1cm处的吸收带则进一步指出未知物可能是伯醇乙酸酯。O核磁共振谱中δ1.95处的单峰(3H），相当1个甲基。从它的化学位移来CH3N看，很可能与羰基相邻。对于这一点，质谱中，m/e43的碎片离子CHCHCHOC223CH(CHC=O)提供了有力的证据。在核磁共振谱中有2个等面积(2H)的三重33峰，并且它们的裂距相等，相当于AA’XX'系统。有理由认为它们是2个此外，质谱中的基峰m /e 58是胺的特征碎片离子峰，它是由氮原子相连的亚甲－CH－CH，其中去屏蔽较大的亚甲基与酯基上的氧原子22的β位上的碳碳键断裂而生成的。结合其它光谱信息，可定出这个相连。碎片为至此，可知未知物具有下述的部分结构：CHO3NCH2CHCHCHOCCH32231 2013/12/23.某未知物CH的UV、IR、1H NMR、MS谱图及13C NMR数据如下，推[解] 1. 从分子式CH，计算不饱和度Ω＝4；11161116导未知物结构。 2. 结构式推导未知物碳谱数据UV：240～275 nm 吸收带具有精细结构，表明化合物为芳烃；序号δc序号δc碳原子碳原子IR :：695、740 cm-1 表明分子中含有单取代苯环；（ppm）个数（ppm）个数MS ：m/z 148为分子离子峰，其合理丢失一个碎片，得到m/z 91的苄基离子；1143.01632.01 313C NMR：在（40～10）ppm 的高场区有5个sp杂化碳原子；2128.52731.51 1H NMR：积分高度比表明分子中有1个CH和4个－CH－，其中（1.4～1.2）3128.02822.5132 ppm为2个CH的重叠峰；4125.51910.012因此，此化合物应含有一个苯环和一个CH的烷基。511536.01 1H NMR 谱中各峰裂分情况分析，取代基为正戊基，即化合物的结构为：23
Hive 基础（2）：库、表、字段、交互式查询的基本操作目录[-] ?1、命令行操作 ?2、表操作 ?3、列操作 ?4、查看变量 ?5、一个完整的建库、表例子 ?6、常用语句示例 ?7、Refer： 1、命令行操作 （1）打印查询头，需要显示设置： sethive.cli.print.header=true; （2）加"--"，其后的都被认为是注释，但CLI 不解析注释。带有注释的文件只能通过这种方式执行： hive -f script_name （3）-e后跟带引号的hive指令或者查询，-S去掉多余的输出： hive -S -e "select * FROM mytable LIMIT 3" > /tmp/myquery （4）遍历所有分区的查询将产生一个巨大的MapReduce作业，如果你的数据集和目录非常多， 因此建议你使用strict模型，也就是你存在分区时，必须指定where语句hive> set hive.mapred.mode=strict;
（5）显示当前使用数据库 set hive.cli.print.current.db=true; （6）设置Hive Job 优先级 setmapred.job.priority=VERY_HIGH | HIGH | NORMAL | LOW | V ERY_LOW (VERY_LOW=1,LOW=2500,NORMAL=5000,HIGH=7500,VERY _HIGH=10000) set mapred.job.map.capacity=M设置同时最多运行M个map 任务 set mapred.job.reduce.capacity=N设置同时最多运行N个red uce任务 （7）Hive 中的Mapper个数的是由以下几个参数确定的：mapred.min.split.size ，mapred.max.split.size ，dfs.block.siz e splitSize = Math.max(minSize, Math.min(maxSize, blockSiz e)); map个数还与inputfilles的个数有关，如果有2个输入文件，即使总大小小于blocksize,也会产生2个map mapred.reduce.tasks用来设置reduce个数。 2、表操作 （1）查看某个表所有分区 SHOW PARTITIONS ext_trackflow
禄存星 一、禄存主“孤独”；二、禄存星带有贵气，也有“爵禄”的性质。“爵”代表着地位，“禄”代表财富；三、禄为养命之源，能够“掌人寿机”；四、禄存星性质稳定，而且被动；五、禄存的前后二宫永远是擎羊、陀罗。过去研究斗数的人，往往急于求成，做学问不求甚解，只记得禄存星代表财富，而忽略了另外几条重要性质，导致看盘不够精确，时准时不准。例如，当禄存星【独坐】子女宫时，他们就只能说“子女带财而来”，除了这一条以外，就不知道该怎么解释了。便可以作出这样的推理：由于禄存星带有“孤”的特点，因此，当禄存星坐入六亲宫位时，就代表着数量上的稀少。又因为禄存永远被擎羊陀罗所夹，所以或多或少都会影响这个宫位的人际关系。如上例，假若子女宫是空宫，没有十四正曜而禄存独坐，则主其人的子女数目少，并主晚得子息。注意，在推断婚姻的过程中，子女宫的意义十分重大，因为它牵涉到一个“连锁反应”。关于“连锁反应”及“多宫合参”的内容，后面我再讲，这里先把禄存星的意义做一个彻底的分析。由于禄存主孤，所以在坐入命宫的时候，最不宜与天机、天梁、武曲等主孤的星曜同度，否则孤的性质太重，会对人生产生十分不利的影响。这是因为，禄存星虽然可以带来钱财，但越是有钱的人，往往就越容易受人攻击
和排挤。所以，当天机、天梁、武曲等星与禄存同度在命宫时，最喜有左辅、右弼同照命宫，可以减少孤独的性质。如果命宫有禄存，而正曜是紫微、太阳、七杀等强有力的星曜，则一般不会受人攻击及排挤，但由于擎羊、陀罗夹宫的原因，也会使其人的命运受到限制，人生并不潇洒。若是天府与禄存在命宫同度，人生颇有福气，但保守过甚，不爱花销，开支不论大小都要精打细算。天府本身是财星，如果与禄存同度，就会相当重视金钱，是一个很现实的人。以上这些特点，一般也可以引申入其余宫位。例如天梁星在奴仆宫，与禄存同度，表示命主可以通过下属、朋友而获得财富，但他的下属、朋友并不会很多。 除了“孤”和“财富”的性质以外，禄存星还是一颗有贵气、有地位的星曜。古书所记载的【阳梁昌禄格】，最利读书考试，命宫如果在安在卯宫，在三方四正会齐这四颗星，又没有遇到煞忌侵害，便主甲第登科，金榜题名，风光无限。古代科举考试的状元，地位十分尊贵，可以得到皇帝的御笔亲封，在皇宫大殿即刻封授官职。明清两朝，状元可以授六品的翰林院修撰，这比知县的级别还要高，相当于现在的正处级干部了。在现代社会，状元的地位远不如古代，【阳梁昌禄格】的意义便转化为竞争得胜，例如在公务员面试中胜出，在人民的投票选举中胜出等等。这里需要注意，【阳梁昌禄】的表现形式虽然发生了变化，但此格局所带来的荣誉、地位
13C-NMR谱图解析 13C-NMR谱图解析流程 1.分于式的确定 2.由宽带去偶语的谱线数L与分子式中破原子数m比较，判断分子的对称性. 若L=m，每一个碳原子的化学位移都不相同，表示分子没有对称性;若L 基团类型Qc/ppm 烷0-60 炔60-90 烯，芳香环90-160 羰基160 4.组合可能的结构式 在谱线归属明确的基础上，列出所有的结构单元，并合理地组合成一个或几个可能的工作结构。 5.确定结构式 用全部光谱材料和化学位移经验计算公式验证并确定惟一的或 可能性最大的结构式，或与标准谱图和数据表进行核对。经常使用的标准谱图和数据表有: 经验计算参数 1.烷烃及其衍生物的化学位移 一般烷烃灸值可用Lindeman-Adams经验公式近似地计算： ∑ Qc5.2 =nA - + 式中:一2.5为甲烷碳的化学位移九值;A为附加位移参数，列于下表，为具有某同一附加参数的碳原子数。 表2 注:1(3).1(4)为分别与三级碳、四级碳相连的一级碳;2(3)为与三级碳相连的二级碳，依此类推。 取代烷烃的Qc为烷烃的取代基效应位移参数的加和。表4一6给出各种取代基的位移参数 目录 摘要 ........................................................................................................................... I ABSTRACT............................................................................................................... III 1 绪论.. (1) 1.1研究背景及意义 (1) 1.2国内外研究现状 (3) 1.2.1分布式空间数据库技术的当前现状 (3) 1.2.2 Hive在分布式数据库的现状 (4) 1.3研究方法及内容 (4) 1.4论文组织结构 (5) 2 理论基础与关键技术 (7) 2.1空间数据库基础 (7) 2.1.1空间数据 (7) 2.1.2空间数据关系 (8) 2.1.3空间索引 (8) 2.1.4分布式空间数据库基础 (9) 2.2空间数据库模型 (10) 2.2.1空间数据库模型发展历程 (10) 2.2.2 Geodatabase空间数据模型 (11) 2.3基于Hadoop的分布式计算框架 (13) 2.3.1分布式文件系统HDFS (14) 2.3.2计算框架MapReduce (15) 2.3.3数据仓库工具Hive (15) 2.3.4 Hive、MapReduce、Hadoop之间的关系 (18) 2.4本章小结 (19) 3 扩展Hive的分布式空间数据库的分析与研究 (21) 3.1结构体系设计 (21) 3.1.1分布式空间系统的设计目标 (21) 3.1.2分布式空间计算系统DSQ总体架构 (21) 3.2空间数据管理 (22) 3.3关键字查询的优化 (23) 3.4本章小结 (24) 4 基于Hive的分布式空间查询扩展实现与优化 (25) 4.1 Hive框架的扩展 (25) 4.2 HIVE UDF的扩展支持 (27) 4.3针对基于Hive的查询框架的实现 (27) 4.4基于空间计算特点的性能调优 (29) 4.4.1 Hive的数据倾斜问题 (29) 4.4.2 bucket的大小划分 (30) 4.4.3合理化文件分布 (30) 4.5本章小结 (30) 5 实验验证 (33) V 一、文档说明 熟悉Hive功能，了解基本开发过程，及在项目中的基本应用。 注意：本文档中但凡有hive库操作的语句，其后面的“；”是语句后面的，非文档格式需要。每个hive语句都要以“；”来结束，否则将视相邻两个分号“；”之间的所有语句为一条语句。 二、Hive（数据提取）概述 Hive是构建在HDFS 和Map/Reduce之上的可扩展的数据仓库。是对HADOOP的Map-Reduce进行了封装，类似于sql语句（hive称之为HQL）计算数据从而代替编写代码对mapreduce的操作，数据的来源还是HDFS上面的文件。 Hive中的表可以分为托管表和外部表，托管表的数据移动到数据仓库目录下，由Hive管理，外部表的数据在指定位置，不在Hive 的数据仓库中，只是在Hive元数据库中注册。创建外部表采用“create external tablename”方式创建，并在创建表的同时指定表的位置。 Hive本身是没有专门的数据存储格式，也没有为数据建立索引，只需要在创建表的时候告诉Hive数据中的列分隔符和行分隔符，Hive就可以解析数据。所以往Hive表里面导入数据只是简单的将数据移动到表所在的目录中（如果数据是在HDFS上；但如果数据是在本地文件系统中，那么是将数据复制到表所在的目录中）。 三、Hive的元数据 Hive中的元数据包括表的名字，表的列和分区及其属性，表的属性（是否为外部表等），表的数据所在目录等。由于Hive的元数据需要不断的更新、修改，而HDFS系统中的文件是多读少改的，这显然不能将Hive的元数据存储在HDFS中。目前Hive将元数据存储在数据库中，如Mysql、Derby中。 Hive metastore 三种存储方式： Hive的meta 数据支持以下三种存储方式，其中两种属于本地存储，一种为远端存储。远端存储比较适合生产环境。 1、使用derby数据库存储元数据（内嵌的以本地磁盘作为存储），这称为“内嵌配置”。 这种方式是最简单的存储方式，只需要在或做如下配置便可。使用derby存储方式时，运行hive会在当前目录生成一个derby文件和一个metastore_db目录。这种存储方式的弊端是在同一个目录下同时只能有一个hive客户端能使用数据库，否则会提示如下错误（这是一个很常见的错误）。 2、使用本机mysql服务器存储元数据，这称为“本地metastore”。这种存储方式需要在本地运行一个mysql服务器， 3、使用远端mysql服务器存储元数据。这称为“远程metastore”。这种存储方式需要在远端服务器运行一个mysql服务器，并且需要在Hive服务器启动meta服务。 紫微官禄宫详解 官禄宫有紫微 紫微，庙旺遇左右昌曲魁钺，轩胜位至封候伯，加羊陀火铃平常，天府同权贵名利两全，天相加内外权贵清正，破军同闹中安身。 官禄宫有天机 天机，入庙权贵，会文曲为良巨，见羊陀火铃方宜，天梁同文武之材，太阴同名振边夷，陷宫退官失职，吏员立脚。 官禄宫有太阳 太阳，入庙文武为良，不见羊陀火铃吉，太阴同贵显，左右昌曲魁钺同更君科禄权，定居一品之贵。 官禄宫有武曲 武曲，入庙与昌曲左右同宫，武职峥嵘，常人发福，会科权禄为财富之官，贪狼同为贪污之官，破军同军旅内出身，与安身七杀同横立功名，陷宫及陀铃劫忌功名无分。 官禄宫有天同 天同，入庙文武皆宜，无羊陀火铃吉，巨门同先小后大，太阳昌曲科权禄吉美天姿，同权贵太阴同，陷宫胥更论。 官禄宫有廉贞 廉贞，入庙武职权贵不耐久，贪狼同闹中权贵，紫微会三方文职谕，七杀同军旅出身，天相天府同衣锦富贵。 官禄宫有天府 天府，入庙文武皆吉，无羊陀火铃空耗全美，紫微同文武声名，廉贞武曲同权贵，见空劫平常。 官禄宫有太阴 太阴，入庙多贵，陷地气高横破难显达，会太阳昌曲左右三品之贵，天同同文武皆宜，天机同闹中进身吏员立脚。 官禄宫有贪狼 贪狼，入庙遇火铃武职掌大权，紫微同文武之职权贵非小，陷宫贪污之官，加羊陀空劫平常。 官禄宫有巨门 巨门，入庙武职权贵，文人不耐久，太阳同有进退，入庙久长，天机同在卯宫吉美，在酉宫虽美无始终，陷宫遭悔吝，加羊陀火铃空劫更不美，退宫卸职。 官禄宫有天相 天相，入庙文武皆宜食禄千钟，陷地成败，紫微同权贵，昌曲左右同权显荣贵，武曲同边夷之职，廉贞同峥嵘权贵，加羊陀火铃空劫有贬谪。官禄宫有天梁 天梁，庙午会左右魁钺，文武之材天同同权贵不小，天机同峥嵘贵显，加羊陀火铃空劫平。 官禄宫有七杀 七杀，庙旺武职峥嵘权贵非小，不宜文人，武曲同权贵，廉贞同功名显达。 官禄宫有破军 破军，庙旺武职轩胜，武曲同加权禄，文昌文曲显达，加羊陀火铃平常，紫微同宫名振扬，廉贞同文人不耐久，胥吏最美。 官禄宫有:文昌 文昌，入庙太阳同加吉科权禄，文武之材，同天府文曲富贵双全。 官禄宫有:文曲 文曲，庙旺文武皆宜，陷宫与天机太阴同宫，胥吏权贵，会紫府左右近君频而执政，加羊陀火铃空劫平常。 官禄宫有:火星 火星，晚年功名遂心，早年成败，会紫微贪狼吉，陷地不美。 官禄宫有:铃星 铃星，独守旺宫吉，陷地不美，加诸吉星权贵。 官禄宫有:左辅 左辅，入庙文武之材，武职最旺，不利文人，会吉星身中清，文武皆良，见羊陀火铃空劫进退声名。 官禄宫有:右弼 右弼，宜居武职，不和文人，与紫府昌曲同，财官双美，陷宫成败有贬谪，见美陀火铃空劫亦有黜降。 官禄宫有:陀罗 陀罗，独守平常，加吉星亦虚名而已。 官禄宫有:擎羊 擎羊，入庙最利武职，同吉星权贵，陷地平常，虚名而已。 2013/12/2 1Hive使用入门： 主要流程为： 1.运行putty等ssh客户端连接hive服务器； 2.运行hive命令进入hive shell环境； 3.执行HQL语句进行查询； 本流程中以putty为例，如果使用别的SSH客户端，界面上会不同，基本过程相似。 我们当前使用的hive版本为0.9.0。由于hive本身还在不断开发、升级中，不同版本的hive对各种语句、命令行参数等的支持均不同，请大家注意某个特性从哪一个版本开始支持。Hive官方网站上的教材中有些命令需要到0.10.0等更高版本才支持！ 1.1安装ssh 客户端Putty 软件位置： \\cn1\ctrip\商业智能部\部门公用\SoftWare\putty.zip 解压所可以得到文件 Putty ssh客户端 1.2登录安装hive的机器 1.2.1运行putty 输入ip地址192.168.83.96 和端口号信息1022，如下图：注：一般默认的SSH端口是22，此处必须修改！ 1.2.2登录linux 单击open按钮，按提示输入用户名，并回车，然后按提示输入密码，并回车，例如： 用户名为ppj 密码为HgeeGxR5 提示：可选中复制到剪贴板后，用鼠标右键粘贴 如果用户名、密码正确，则登录成功，顺利进入linux 的bash 环境。 注：此环境类似于运行windows的cmd进入的dos环境。 1.2.3输入hive，进入hive 的shell 环境： 1.2.4查询 执行如下查询语句： Use test_wqd; Select * from pageview limit 5; 屏幕输出即为查询语句的结果。 注意：hive的查询语句以分号作为各条命令的分隔符，结尾的分号不能省略。这一点和SQL Server的T-SQL差异比较大！ 3 待鉴定的化合物（I）和（II）它们的分子式均为C8H12O4。它们的质谱、红外光谱和核磁共振谱见图。也测定了它们的紫外吸收光谱数据：(I)λmax223nm，δ4100；（II）λmax219nm，δ2300，试确定这两个化合物。 未之物（I）的质谱 未之物（II）质谱 化合物（I）的红外光谱 化合物（II）的红外光谱 化合物（I）的核磁共振谱 化合物（II）的核磁共振谱 [解] 由于未知物（I）和（II）的分子式均为C8H12O4，所以它们的不饱和度也都是3，因此它们均不含有苯环。（I）和（II）的红外光谱呈现烯烃特征吸收，未知物（I）：3080cm-1，(υ=C-H)，1650cm-1(υ=C-C) 未知物（II）：:3060cm-1 (υ=C-H)，1645cm-1(υ=C-C) 与此同时两者的红外光谱在1730cm-1以及1150～1300 cm-1之间均具有很强的吸收带，说明（I)和(II)的分子中均具有酯基； (I)的核磁共振谱在δ6.8处有1单峰，（II）在δ6.2处也有1单峰，它们的积分值均相当2个质子。显然，它们都是受到去屏蔽作用影响的等同的烯烃质子。另外，(I)和(II )在δ4. 2处的四重峰以及在δ1.25处的三重峰，此两峰的总积分值均相当10个质子，可解释为是2个连到酯基上的乙基。因此(I)和(II)分子中均存在2个酯基。这一点，与它们分子式中都含有4个氧原子的事实一致。 几何异构体顺丁烯二酸二乙酯(马来酸二乙酯)和反丁烯二酸二乙酯（富马酸二乙酯)与上述分析结果一致。现在需要确定化合物([)和(II)分别相当于其中的哪一个。 COOEt COOEt COOEt EtOOC 顺丁烯二酸二乙酯反丁烯二酸二乙酯 利用紫外吸收光谱所提供的信息，上述问题可以得到完满解决。由于富马酸二乙酯分子的共平面性很好，在立体化学上它属于反式结构。而在顺丁烯二酸二乙酯中，由于2个乙酯基在空间的相互作用，因而降低了分子的共平面性，使共轭作用受到影响，从而使紫外吸收波长变短。 HIVE安装使用说明 一、Hive简介 1.1.Hive是什么 Hadoop作为分布式运算的基础架构设施，统计分析需要采用MapReduce编写程序后，放到Hadoop集群中进行统计分析计算，使用起来较为不便，Hive产品采用类似SQL的语句快速实现简单的MapReduce统计，很大程度降低了Hadoop的学习使用成本。 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供基础的SQL查询功能，可以将SQL 语句转换为MapReduce任务运行，而不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。 1.2.部署架构 Hive中的Driver为核心驱动部分，包括SQL语句的解释、编译为MapReduce任务，并进行优化、执行。 Hive用户访问包括4种运行和访问方式，一是CLI客户端；二是HiveServer2和Beeline方式；三是HCatalog/WebHCat方式；四是HWI 方式。 其中CLI、Beeline均为控制台命令行操作模式，区别在于CLI只能操作本地Hive服务，而Beeline可以通过JDBC连接远程服务。 HiveServer2为采用Thrift提供的远程调用接口，并提供标准的JDBC 连接访问方式。 HCatalog是Hadoop的元数据和数据表的管理系统，WebHCat则提供一条Restful的HCatalog远程访问接口，HCatalog的使用目前资料很少，尚未充分了解。 HWI是Hive Web Interface的简称，可以理解为CLI的WEB访问方式，因当前安装介质中未找到HWI对应的WAR文件，未能进行使用学习。 Hive在运行过程中，还需要提供MetaStore提供对元数据（包括表结构、表与数据文件的关系等）的保存，Hive提供三种形式的MetaStore：一是内嵌Derby方式，该方式一般用演示环境的搭建；二是采用第三方数据库进行保存，例如常用的MySQL等；三是远程接口方式，及由Hive自身提供远程服务，供其他Hive应用使用。在本安装示例中采用的第二种方式进行安装部署。 备注：在本文后续的安装和说明中，所有示例均以HiverServer2、 Hive规则及常用语法 一.hive介绍 hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。 二.Hive规则 1.建表规则 表名使用小写英文以字符串模块名称，项目以BI开头(数据集市以DM)以’_’分割主业务功能块名,然后详细业务名,最后以数据表类别结尾,数据表存放在相应的表空间 例如: 数据仓库层_业务大类_业务小类-*** 示例 dw_mobile_start_week dw_mobile_start_mon dw_mobile_start_day 1）在建立长期使用的表时，需要给每个字段Column填写Comment栏，加上中文注释方便查看。对于临时表在表名后加上temp; 2）对运算过程中临时使用的表，用完后即使删除，以便及时的回收空间。临时表如果只用来处理一天数据并且每天都要使用不要按时间建分区。避免造成临时表数据越来越大。 3）字段名应使用英文创建，字段类型尽量使用string.避免多表关联时关联字段类型不一致。 4）多表中存在关联关系的字段，名称，字段类型保持一致。方便直观看出关联关系及连接查询。 5）建表时能够划分分区的表尽量划分分区。 6）建表时为表指定表所在数据库中。 2.查询规则 1.多表执行join操作时，用户需保证连续查询中的表的大小从左到右是依次增加的。也 可以使用/*+STREAMTABLES(表别名)*/来标记大表。 Hive就是一个基于Hadoop分布式系统上的数据仓库,最早就是由Facebook公司开发的,Hive极大的推进了Hadoop ecosystem在数据仓库方面上的发展。 Facebook的分析人员中很多工程师比较擅长而SQL而不善于开发MapReduce程序,为此开发出Hive,并对比较熟悉SQL的工程师提供了一套新的SQL-like方言——Hive QL。 Hive SQL方言特别与MySQL方言很像,并提供了Hive QL的编程接口。Hive QL语句最终被Hive解析器引擎解析为MarReduce程序,作为job提交给Job Tracker运行。这对MapReduce框架就是一个很有力的支持。 Hive就是一个数据仓库,它提供了数据仓库的部分功能:数据ETL(抽取、转换、加载)工具,数据存储管理,大数据集的查询与分析能力。 由于Hive就是Hadoop上的数据仓库,因此Hive也具有高延迟、批处理的的特性,即使处理很小的数据也会有比较高的延迟。故此,Hive的性能就与居于传统数据库的数据仓库的性能不能比较了。 Hive不提供数据排序与查询的cache功能,不提供索引功能,不提供在线事物,也不提供实时的查询功能,更不提供实时的记录更性的功能,但就是,Hive能很好地处理在不变的超大数据集上的批量的分析处理功能。Hive就是基于hadoop平台的,故有很好的扩展性(可以自适应机器与数据量的动态变化),高延展性(自定义函数),良好的容错性,低约束的数据输入格式。 下面我们来瞧一下Hive的架构与执行流程以及编译流程: 用户提交的Hive QL语句最终被编译为MapReduce程序作为Job提交给Hadoop执行。 Hive的数据类型 Hive的基本数据类型有:TINYINT,SAMLLINT,INT,BIGINT,BOOLEAN,FLOAT,DOUBLE,STRING,TIMESTAMP(V0、8、0+)与BINARY(V0、8、0+)。 Hive的集合类型有:STRUCT,MAP与ARRAY。 Hive主要有四种数据模型(即表):(内部)表、外部表、分区表与桶表。 表的元数据保存传统的数据库的表中,当前hive只支持Derby与MySQL数据库。 内部表: Hive中的表与传统数据库中的表在概念上就是类似的,Hive的每个表都有自己的存储目录,除了外部表外,所有的表数据都存放在配置在hive-site、xml文件的${hive、metastore、warehouse、dir}/table_name目录下。 Java代码 1.CREATE TABLE IF NOT EXISTS students(user_no INT,name STRING,sex STRING, 2.grade STRING COMMOT '班级')COMMONT '学生表' 3.ROW FORMAT DELIMITED基于Hive的分布式空间数据库的研究与优化
Hive学习总结及应用
官禄宫
四大图谱综合解析
四大图谱综合解析
1 某未知物分子式为C5 H12 O，它的质谱、红外光谱以及核磁共振谱如图，
它的紫外吸收光谱在200 nm以上没有吸收，试确定该化合物结构。
CCl4稀溶液的红外光谱, CCl4浓溶液 在3360cm-1处有1宽峰
[解] 从分子式C5H12O，求得不饱和度为零，故未知物应为 饱和脂肪族化合物。 未知物的红外光谱是在CCl4溶液中测定的，样品的CCl4稀溶液 的红外光谱在3640cm-1处有 1尖峰，这是游离 O H基的特征吸收 峰。样品的CCl4浓溶液在 3360cm-1处有 1宽峰，但当溶液稀释 后复又消失，说明存在着分子间氢键。未知物核磁共振谱中δ4. 1处的宽峰，经重水交换后消失。上述事实确定，未知物分子 中存在着羟基。 未知物核磁共振谱中δ0.9处的单峰，积分值相当3个质子，可 看成是连在同一碳原子上的3个甲基。δ3.2处的单峰，积分值 相当2个质子，对应1个亚甲基，看来该次甲基在分子中位于特 丁基和羟基之间。 质谱中从分子离子峰失去质量31（－ CH2 OH）部分而形成基 峰m/e57的事实为上述看法提供了证据，因此，未知物的结构 CH3 是
H3C
C
CH3
CH2OH
根据这一结构式，未知物质谱中的主要碎片离子得到了如下 解释。
CH 3
2. 某未知物，它的质谱、红外光谱以及核磁共振谱如图，它的 紫外吸收光谱在210nm以上没有吸收，确定此未知物。
CH2
+ OH m/e31 -2H
+ . CH2OH
H3C
CH3
H3C
C
CH 3
C+
CH3
m/e88 -CH3 m/e29 m/e73
m/e57 -CH3 -H CH 3 C + CH 2
m/e41
[解] 在未知物的质谱图中最高质荷比131处有1个丰度很小的峰，应 为分子离子峰，即未知物的分子量为131。由于分子量为奇数，所以未 知物分子含奇数个氮原子。根据未知物的光谱数据中无伯或仲胺、腈、 酞胺、硝基化合物或杂芳环化合物的特征，可假定氮原子以叔胺形式存 在。 红外光谱中在1748 cm-1处有一强羰基吸收带，在1235 cm-1附近有1典型 的宽强C－O－C伸缩振动吸收带，可见未知物分子中含有酯基。1040 cm-1处的吸收带则进一步指出未知物可能是伯醇乙酸酯。 核磁共振谱中δ1.95处的单峰(3H），相当1个甲基。从它的化学位移来 看，很可能与羰基相邻。对于这一点，质谱中，m/e43的碎片离子 (CH3C=O)提供了有力的证据。在核磁共振谱中有2个等面积(2H)的三重 峰，并且它们的裂距相等，相当于AA’XX'系统。有理由认为它们是2个 相连的亚甲－CH2－CH2，其中去屏蔽较大的亚甲基与酯基上的氧原子 相连。 至此，可知未知物具有下述的部分结构：
O CH 2 CH 2 O C CH 3
从分子量减去这一部分，剩下的质量数是 44，仅足以组 成1个最简单的叔胺基。
CH 3 CH3 N
正好核磁共振谱中δ2. 20处的单峰(6H )，相当于2个连到氮原子上 的甲基。因此，未知物的结构为:
CH3 CH3 O N CH2 CH2 O C CH3
此外，质谱中的基峰m /e 58是胺的特征碎片离子峰，它是由氮原子 的β位上的碳碳键断裂而生成的。结合其它光谱信息，可定出这个 碎片为
CH3 CH3 N CH 2
1Hive简易操作入门
四大谱图综合解析
HIVE安装使用说明
hive规则及常用语法
hive语法和常用函数
相关主题
文本预览