redis3.0.2 分布式集群安装详细步骤 --(centos5.8 X64系统) 版本历史 一: redis cluster介绍篇 1:redis cluster的现状 目前redis支持的cluster特性(已亲测): 1):节点自动发现 2):slave->master 选举,集群容错 3):Hot resharding:在线分片 4):进群管理:cluster xxx 5):基于配置(nodes-port.conf)的集群管理 6):ASK 转向/MOVED 转向机制. 2:redis cluster 架构 1)redis-cluster架构图
架构细节: (1)所有的redis节点彼此互联(PING-PONG机制),内部使用二进制协议优化传输速度和带宽. (2)节点的fail是通过集群中超过半数的节点检测失效时才生效. (3)客户端与redis节点直连,不需要中间proxy层.客户端不需要连接集群所有节点,连接集群中任何一个可用节点即可 (4)redis-cluster把所有的物理节点映射到[0-16383]slot上,cluster 负责维护node<->slot<->value 2) redis-cluster选举:容错
(1)领着选举过程是集群中所有master参与,如果半数以上master节点与master 节点通信超过(cluster-node-timeout),认为当前master节点挂掉. (2):什么时候整个集群不可用(cluster_state:fail),当集群不可用时,所有对集群的 操作做都不可用，收到((error) CLUSTERDOWN The cluster is down)错误a:如果集群任意master挂掉,且当前master没有slave.集群进入fail状态,也可以理解成进群的slot映射[0-16383]不完成时进入fail状态. b:如果进群超过半数以上master挂掉，无论是否有slave集群进入fail状态. 二.Redis集群安装篇(centos5.8 X64系统) （要让集群正常工作至少需要3个主节点，在这里我们要创建6个redis节点，其中三个为主节点，三个为从节点，对应的redis节点的ip和端口对应关系如下）
基于大数据的学习行为分析 斯坦福大学于2016 年发布了《2030 年的人工智能与生活》报告，该报告指出：新一代人工智能技术将深刻地影响教育领域，支撑智慧教育的实现。随后，美国白宫发表的Artificial Intelligence, Automation，and the Economy 报告也着重指出：人工智能技术未来会在学校广泛应用，基于人工智能的自动辅助教学工具会渗透到教学的方方面面，实现真正意义的个性化教育。面对当今势头强劲的在线教育，人工智能技术正在对其产生多方面的影响。 面向教育的大数据分析实例 大数据的发展为教学管理提供了更多的管理手段，基于大数据预测、分析基础上的教学管理方法和决策模型，在传统的教学模型上有了很多的改变，大数据技术和互联网思维将影响教育发展规划，加快推进教学活动与现代科技的融合。 以大数据为基础的教学管理主要体现在三个方面： （1）评价日常教学的质量：主要是分析学生的成绩，了解学生知识掌握 情况，对不同班级的教学效果进行横向比较。 （2）改进和提高教学方法：通过分析学习轨迹数据，查找教学的薄弱环节，提供改进意见。 （3）支持教学的运行决策：分析学校师资、资源、管理等方面的状况，优化学校的教学资源配置，正确运用评价结果，全面诊断学校的教育教学水平， 发现其中的薄弱领域和环节，从而为下一步改进提供依据。 以下通过两个实例，分别从两个方面介绍大数据在教学中的应用。
1普渡大学Signal 学业预警系统 学业预警是指学校针对学生在求学过程中出现的学业不佳、违规违纪等现象，对学生本人及家长作出及时提示，并采取相关措施以帮助学生顺利完成学业的一种监督管理制度。 随着我国高等教育步入大众化阶段，各类高等院校在面临诸多发展机遇的同时迎来了巨大的挑战，在校大学生数量急剧增加，许多学生由于自身学习目标迷茫、学习态度不端正、自主学习能力和自控能力较差和受到如网络世界、交友不慎、家庭条件等外界因素影响，导致学业状况不佳，从而无法按时顺利毕业。 因此利用学业预警机制对学生学业进行实时动态监控、成绩预测和预警，不仅能帮助学生有效规避学业危机，引导和督促学生科学学习，还可以保障学校教育教学质量，促进建设和谐高校。 国内的学业预警系统形式单一、功能有限，学业预警机制难以落实到位，缺乏时效性。美国一些高校通过对学生的SAT 成绩、家庭经济情况、宿舍停留时间长短以及食堂用餐情况的分析，了解他们退学的可能性，以便帮助那些在学业以及大学生活适应性上出现问题的学生。 普渡大学的退学预警系统是基于对学生学业变量，如课程GPA 成绩、等级考试成绩以及学生登录课程网站频率的分析。在这些方面综合表现不好的学生会被亮黄灯甚至红灯，然后收到一封学业失败危险预警邮件。 邮件建议他们尽快与导师联系，或者寻求外界帮助。普渡大学的研究者发现，那些曾经被亮黄灯，即处在中度学业失败危险的学生，收到预警邮件后会在课堂上表现得更好。而那些直接被亮红灯，即处于高危群体的学生，
Redis-集群安装详细步骤 一、Redis集群部署文档(centos6系统) 现有三台物理机10.18.154.2 10.18.154.3 10.18.154.4 （要让集群正常工作至少需要3个主节点，在这里我们要创建6个redis节点，其中三个为主节点，三个为从节点，对应的redis节点的ip和端口对应关系如下） 10.18.154.2:7000 10.18.154.2:7001 10.18.154.3:7000 10.18.154.3:7001 10.18.154.4:7000 10.18.154.4:7001 二、安装Redis（10.18.154.2、10.18.154.3、10.18.154.4） 下载redis-3.2.1.tar.gz [root@localhost ~]# tar zxvf redis-3.2.1.tar.gz [root@localhost ~]# cd redis-3.2.1 [root@localhost redis-3.2.1]# make [root@localhost redis-3.2.1]# make install [root@localhost ~]# mv redis-3.2.1 /usr/local/redis [root@localhost ~]# cd /usr/local/redis/ [root@localhost ~]# mkdir /usr/local/cluster [root@localhost ~]# cp /usr/local/redis/redis.conf /usr/local/cluster/ [root@localhost ~]# vi /usr/local/cluster/redis.conf ##修改配置文件中的下面选项 port 7000 bind 10.18.154.2 127.0.0.1 daemonize yes#如果你想让它在后台运行，你就把它改成yes cluster-enabled yes cluster-config-file nodes.conf cluster-node-timeout 5000 appendonly yes [root@localhost ~]# mkdir /usr/local/cluster/7000 [root@localhost ~]# mkdir /usr/local/cluster/7001 [root@localhost ~]# cp /usr/local/cluster/redis.conf /usr/local/cluster/7000 [root@localhost ~]# cp /usr/local/cluster/redis.conf /usr/local/cluster/7001 [root@localhost ~]# cp /usr/local/cluster/redis.conf /usr/local/cluster/7002 [root@localhost 7000]# redis-server redis.conf ---启动redis服务##注意：拷贝完成之后要修改7001目录下面redis.conf文件中的port参数，分别改为对应的文件夹的名称 ##启动之后使用命令查看redis的启动情况ps -ef|grep redis
Redis Sentinel数据库M-S配置(Redis的分片与复制集技术） 1.Redis Sentinel介绍 Redis Sentinel是Redis官方提供的集群管理工具，主要有三大功能： 监控，能持续监控Redis的主从实例是否正常工作； 通知，当被监控的Redis实例出问题时，能通过API通知系统管理员或其他程序；自动故障恢复，如果主实例无法正常工作，Sentinel将启动故障恢复机制把一个从实例提升为主实例，其他的从实例将会被重新配置到新的主实例，且应用程序会得到一个更换新地址的通知。 Redis Sentinel是一个分布式系统，可以部署多个Sentinel实例来监控同一组Redis实例，它们通过Gossip协议来确定一个主实例宕机，通过 Agreement协议来执行故障恢复和配置变更，一般在生产环境中部署多个实例来提高系统可用性，只要有一个Sentinel实例运行正常，就能保证被监控的Redis实例运行正常（类似Zookeeper，通过多个Zookeeper来提高系统可用性）； 2.Redis HA方案 HA的关键在于避免单点故障及故障恢复，在Redis Cluster未发布之前，Redis 一般以主/从方式部署（这里讨论的应用从实例主要用于备份，主实例提供读写，有不少应用是读写分离的，读写操作需要取不同的Redis实例，该方案也可用于此种应用，原理都是相通的，区别在于数据操作层如何封装），该方式要实现HA主要有如下几种方案： 1).keepalived：通过keepalived的虚拟IP，提供主从的统一访问，在主出现问题时，通过keepalived运行脚本将从提升为主，待主恢复后先同步后自动变为主，该方案的好处是主从切换后，应用程序不需要知道(因为访问的虚拟IP 不变)，坏处是引入keepalived增加部署复杂性； 2).zookeeper：通过zookeeper来监控主从实例，维护最新有效的IP，应用通过zookeeper取得IP，对Redis进行访问； 3).sentinel：通过Sentinel监控主从实例，自动进行故障恢复，该方案有个缺陷：因为主从实例地址(IP&PORT)是不同的，当故障发生进行主从切换后，应用程序无法知道新地址，故在Jedis2.2.2中新增了对Sentinel的支持，应用通过 redis.clients.jedis.JedisSentinelPool.getResource()取得的Jedis 实例会及时更新到新的主实例地址。 笔者所在的公司先使用了方案1一段时间后，发现keepalived在有些情况下会导致数据丢失，keepalived通过shell脚本进行主从切换，配置复杂，而且keepalived成为新的单点，后来选用了方案3，使用Redis官方解决方案；（方
redis 3.07的集群部署一:关于redis cluster 1:redis cluster的现状 1):节点自动发现 2):slave->master 选举,集群容错 3):Hot resharding:在线分片 4):进群管理:cluster xxx 5):基于配置(nodes-port.conf)的集群管理 6):ASK 转向/MOVED 转向机制. 2:redis cluster 架构 1) redis-cluster架构图 架构细节:
(1)所有的redis节点彼此互联(PING-PONG机制),内部使用二进制协议优化传输速度和带宽. (2)节点的fail是通过集群中超过半数的节点检测失效时才生效. (3)客户端与redis节点直连,不需要中间proxy层.客户端不需要连接集群所有节点,连接集群中任何一个可用节点即可 (4)redis-cluster把所有的物理节点映射到[0-16383]slot上,cluster 负责维护 node<->slot<->value 2) redis-cluster选举:容错 (1)领着选举过程是集群中所有master参与,如果半数以上master节点与master节点通信超过(cluster-node-timeout),认为当前master节点挂掉. (2):什么时候整个集群不可用(cluster_state:fail),当集群不可用时,所有对集群的操作做都不可用，收到((error) CLUSTERDOWN The cluster is down)错误 a:如果集群任意master挂掉,且当前master没有slave.集群进入fail状态,也可以理解成进群的slot映射[0-16383]不完成时进入fail状态. b:如果进群超过半数以上master挂掉，无论是否有slave集群进入fail状态. 二:redis cluster的使用 1:安装redis cluster所需软件
Redis Cluster 原理分析 文章较长，如需转载可分段。转载请标明作者以及文章来源，谢谢！ 作者介绍 姓名：李航 工作经历： 5年多互联网工作经验，先后在58同城，汽车之家，优酷土豆集团工作。目前主要在优酷土豆集团任职高级开发工程师，目前主要负责大数据基础平台Redis集群开发及运维等工作。主要关注领域Nginx，Redis，分布式系统，分布式存储。如果对nginx或者redis感兴趣的同学可以发简历到gaosong@https://www.doczj.com/doc/f61262295.html,。本文来源自“Redis技术交流群”线上分享。李航ID：Lucien_168。群主ID：gnuhpc。redis中国用户组qq群：374538650。后期的分享我们会同期进行。 这次主要是给大家分享的提纲如下： 1.简介 2.集群通信 3.数据分布及槽信息 4.数据迁移 5.通信故障 1.简介 继上次分享的优酷土豆的Redis服务平台化之路，这次着重来分享下Redis Cluster浅析，欢迎大家互相多交流学习。 Redis Cluster是一个高性能高可用的分布式系统。由多个Redis实例组成的整体，数据按照Slot存储分布在多个Redis实例上，通过Gossip协议来进行节点之间通信。
Redis Cluster功能特点如下： 1)所有的节点相互连接 2)集群消息通信通过集群总线通信，，集群总线端口大小为客户端服务端口+10000，这个 10000是固定值 3)节点与节点之间通过二进制协议进行通信 4)客户端和集群节点之间通信和通常一样，通过文本协议进行 5)集群节点不会代理查询 6)数据按照Slot存储分布在多个Redis实例上 7)集群节点挂掉会自动故障转移 8)可以相对平滑扩/缩容节点
一、概述 1、Redis集群安装有两种方式，第一种为编译源码安装，第二种为二进制安 装，具体选择哪一种方式根据实际情况决定。 2、本文档所使用版本如下： redis：redis-3.0.0-rc5 Twemproxy：nutcracker-0.4.0 autoconfig：2.69 3、常用Linux命令不清楚可以查看相关网站 4、本文档所述redis集群架构如下： 5、本文档使用120和121搭建redis集群，每台机器各启动两个redis实例 和一个twemproxy实例。Redis端口分别为6379 6380 6、采用源码编译方式安装需服务器具有访问外网权限，二进制安装不需求。 7、所有安装包均已上传至文件服务器 二、源码编译方式安装 1、安装automake 执行：yum install automake，出现如下输入Y完成安装：
2、libtool安装 执行：yum install libtool 出现如下输入yes完成安装 3、autoconfig安装 ①上传autoconf-2.69.tar.gz至/usr/local/src目录下 ②执行tar -xzvf autoconf-2.69.tar.gz ③cd autoconf-2.69 ④执行./configure ⑤执行make ⑥执行make install 至此，autoconfig安装完毕 4、redis安装 ①上传redis-3.0.0-rc5.zip至/usr/local/src目录下 ②执行unzip redis-3.0.0-rc5.zip ③执行cd redis-3.0.0-rc5 ④执行make&&make install ⑤执行mkdir /usr/local/redis ⑥执行cp src/redis-server src/redis-cli /usr/local/redis ⑦执行cd /usr/local/redis ⑧执行chmod 777 redis-server redis-cli ⑨执行./redis-server --port 6379 --save "" & 出现如下 ⑩执行./redis-cli -p 6379出现如下
48 B 12/2017 课程 教法／专业视点 ◆扬州大学商学院 李焕彰 基于大数据的教学模式探析 所谓大数据，顾名思义，指的是海量的资料，它是结构庞大、数量繁多的信息集合，通过使用特定的软件工具，对这些信息资料进行分析、整合，从而为科学的决策提供充足依据和保障。现阶段，我们正处于大数据时代，大量的电子信息数据在不断影响和改变我们的生产、生活方式，同时也给科、教、文、卫等各方各面带来巨大的影响。 作为传播先进文化、技术的教育界而言，更应当率先意识到大数据给自身带来的影响与挑战，充分利用其给传统教育模式带来的巨大发展空间，积极进行自我革新、自我优化与自我完善，进而促进自身不断发展与进步。 一、 概述 大数据是继“互联网”“云计算”之后IT 行业出现的又一里程碑式的技术创新和突破,巨量的数据正不断朝我们袭来，将我们带入大数据时代。 在大数据时代，通过已有的软件，对巨量的数据资料进行分析、整合，进而为人类生产、生活、学习以及其他社会活动提供科学化的信息依据和资讯保障。 与此同时，大数据也正不断改变着人类的生产、生活、学习等方式，基于现代信息技术处理与应用数据模式，通过整合和共享大数据，从而获得优质的知识服务与智力资源，给人类社会带来巨大变革，且变革覆盖文化、经济、教育、卫生等方方面面，尤其在教育领域，受大数据观念的渗透与影响，当今教育界正历经一场变革，一场对于传统教学模式的变革。教育界只有不断挖掘大数据的发展潜力，充分把握大数据给教育界带来的重大机遇和发展空间，才能真正实现教育模式的革新与发展。 二、传统教学模式的特点分析 现阶段，我国教育普遍沿袭传统教学模式，在对我国教育教学模式整体状况进行分析后归纳总结，其大致具有以下几个特点。 （一） 教学模式相对固定，易于接受与运用 采取传统教学模式开展教学，一方面，教师可以通过广泛查阅资料进行提前备课，从而确保课程教学设计的优化和过程的准确；另一方面，学生也可以根据自身学习进度来提前进行预习或复习，使得学习更具有针对性，同时还能做到典型案例分析与教师基础理论教学有机结合，从而建立起一套相对完整的知识学习体系。（二）教学成效快速且明显 在传统模式主导下的教学课堂，学生能够较为自主地完 成教师所布置的课堂作业，同时接受、理解教师传授的系统知识，并在生活实践中，做到理论联系实践、理论指导实践，运用课堂教学典型案例的思路来指导生活实践所观察到的案例，并且创造性地分析和整合现有数据，来帮助完成学习任务，进一步强化自身对基础知识的理解、掌握与运用。由此可见，传统教学模式具有教学成效快速且明显的特点，基本上能够实现学生按时按量地完成课业。（三）教学评价呈现出标准化、模式化特点 此外，在传统模式教学过程中，教师按照自身备课情况，已经在心中构建起一个模式化的教学评价标准，并用此来评价学生的作业完成情况和学习情况，再根据评价结果，督促学生进行反思。 三、大数据给传统教育模式带来的挑战 尽管传统教学模式具备以上几项优点，但在面对信息日趋多元的大数据时代，这种传统的填鸭式教学模式和通过统计分析典型案例式的教学方法，难以适应和满足时代发展的根本需要。不可否认，传统教学模式正面临着严峻挑战。大数据时代给传统教育模式带来的挑战集中体现在以下几个方面。 （一） 大数据时代要求教育实现开放化发展 在促进社会实现公平化发展过程中，首先要确保教育公平。在大数据时代，这一要求更为凸显。大数据时代要求教育应当不断朝着公平化的方向发展，而实现教育公平的基础是首先实现教育的开放化发展。在现今的网络上，许多高校都开放一些公开、免费的教学视频，个体获取和传播视频中的知识所需要的成本极低。此类优质教育资源正是大数据发展给教育带来的福利。只有确保每一位学习者都能获得这些教育资源，才能真正实现教育的公平化发展。（二） 大数据时代要求教育方式不断进行革新 在互联网不断发展延伸过程中，通过对大数据的充分分析与挖掘，来确定教育未来发展的重要趋势与方向。这就要求教育方式要不断进行革新，使其朝着更易于数据整合的方向发展，从而使人们学习和获取知识的途径变得不仅仅局限于课堂学习，而能从更为广阔的网络空间通过在线学习或数据分析等方法获得。 （三）大数据时代要求人才培养实现个性化发展大量信息、形式多样、价值多元、实时性强等是大数据时代的典型特点，要求传统教育理念和教育模式需不断进行革新，使其更多地关注个体的个性化、多样化发展，才能培 摘 要：在大数据时代，传统教育正面临严峻挑战，倒逼传统教育模式进行变革与优化，从而实现教育开放化、方式革新化、人才个性化等发展目标。文章基于大数据角度，探讨大数据时代给传统教育带来的挑战，同时提出在大数据时代下教学模式革新的具体路径。 关键词：大数据；传统教育；教学模式；革新 【中图分类号】G 【文献标识码】B 【文章编号】1008-1216（2017）12B-0048-02
Redis集群部署手册 一．部署环境 OS：Red Hat Enterprise Linux Server release 6.7 Redis Version: 3.0.0 IP-01: 10.32.60.138 Port:6380,6381 IP-02:10.32.60.139 Port:6382,6383 IP-03:10.32.60.140 Port:6383,6384 主节点01：10.32.60.138:6380 主节点02：10.32.60.139:6382 主节点03：10.32.60.140:6384 从节点01：10.32.60.138:6381 从节点02：10.32.60.138:6383 从节点03：10.32.60.138:6385 二．安装路径 redis主目录：/opt/software/redis-server redis 配置文件目录：/etc/redis 日志存放目录:/opt/software/redis 三．Redis 安装配置 1.安装 #tar –xzvf redis-3.0.0.tar.gz 解压 #cd /opt/software/redis3.0.0 #make && make PREFIX=/opt/software/redis-server install 编译安装 #cp redis.conf /etc/redis/redis-6380.conf 配置文件 #cp redis.conf /etc/redis/redis-6381.conf 配置文件 2.配置 以10.32.60.138 6380 节点为例 redis 配置文件放在 /etc/redis 目录下，根据端口来配置节点 设置后台运行：改为daemonize yes 修改默认端口：port 6380其他节点根据端口号修改 使用默认的日志级别：loglevel notice 修改日志路径：改为logfile /opt/software/redis/redis-6380.log 其他节点根据端口号修改日志文件名称 注释rdb保存条件（这样在运行过程中将不触发rdb模式）：改为 #save 900 1
Redis集群配置参数及优化 Redis的主要参数配置在redis.conf文件中。 1.conf 内存值 2.bind ip 默认情况下，如果没有指定“bind”配置指令，Redis将侦听服务器上可用的所有网络接口的连接。 默认情况：bind 127.0.0.1 实际配置：bind 本机ip 3.protected-mode yes 启用默认保护模式。只有当您确定您希望其他主机的客户端连接到Redis 时，您才应该禁用它，即使没有配置身份验证，也没有使用“bind”指令显式列出特定的接口集。 4.tcp-keepalive 300 如果非零，请使用SO_KEEPALIVE向没有通信的客户发送TCP协议。 这很有用，有两个原因: a)检测死同伴 b)从中间的网络设备的角度进行连接 在Linux上，指定的值(以秒为单位)是用于发送ack的周期。 注意，要关闭连接，需要双倍的时间。这个选项的合理值是300秒，这 是新的Redis默认值，从Redis 3.2.1开始。 5.timeout 0 在客户机空闲N秒后关闭连接(0到禁用) 6.port 6379 在指定端口上接受连接，默认值是6379 7.daemonize yes redis后台运行 8.pidfile /var/run/redis_6379.pid 如果指定了一个pid文件，Redis会在启动时指定，并在退出时删除它。 当服务器运行非守护进程时，如果配置中没有指定pid文件，则不会创建pid文件。当服务器被守护时，即使没有指定，也会使用pid文件，默认为“/var/run/redis.pid”。 创建一个pid文件是最好的工作:如果Redis不能创建它，那么服务器就会正常启动和运行。
redis主从服务器搭建 修改记录 目录 redis主从服务器搭建 (1) 一.redis主从服务器搭建 (2) 第一步：下载redis (2) 第二步:解压redis tar包 (2) 第三步：进入reidis目录 (2) 第四步：make (2) 第五步：make install (3) 第六步：修改redis.conf 操作 (3) 第七步：redis从服务器配置 (4) 第八步：修改从服务redis.conf (4) 二.redis测试 (4) 第一步：编写redis客户端启动shell (4) 第二步：启动客户端 (5) 第三步：操作 (5) 第四步:set name test (5) 第五步:get name (5) 第六步:从服务器端启动客户端 (5) 第七步:从服务器端(10.105.76.100) get name (5) 三.sentinel配置及启动 (5) 第一步：修改sentinel.conf (6) 第二步启动sentinel (6)
第三步：启动sentinel (6) 一.redis主从服务器搭建 第一步：下载redis 在redis官网下载redis2.8.17版本 第二步:解压redis tar包 将下载的redis-2.8.17.tar.gz放在10.105.76.99（主服务器)上/usr/local下然后解压tar包命令：tar -zxvf redis-2.8.17.tar.gz 第三步：进入reidis目录 进入redis-2.8.17目录命令: cd redis-2.8.17 第四步：make make 或者make MALLOC=libc 如果使用make时报错（zmalloc.h:50:31: error: jemalloc/jemalloc.h: No such file or directory）此时可使用make MALLOC=libc 出现下图说明make完成
Technology Analysis 技术分析 DCW 83 数字通信世界 2019.09 1 引言 大数据这个词是伴随着全球数据爆炸式增长而提出的，它主要用于描述巨大的数据库。与传统数据库相比，大数据通常包括很多非结构化数据，并且需要更多实时性的分析。同时，大数据也带给我们来了新的挑战，如何有效的组织和管理数据成为目前急需解决的难题。大数据具有大量、多样、快速、有价值等特征，这为我们的学习科研带来了极大的帮助。 通过用大数据方法对材料进行研究属于计算材料学的范畴，计算材料科学是将材料科学与量子物理，力学，数学等学科相结合而形成的学科。材料的微观组织以及原子的排列顺序，晶格结构决定了材料的性能，通过了解材料从原子的排列到相的形成过程，微观组织的变化过程以及材料宏观性能与有效服役时间之间的相互关系，就可以更好的发现和制造新型材料。材料基因组计划主要通过将高效的材料理论计算与模拟工具、高通量快速的试验方法、材料性能数据库和信息学等相结合，建立高效的材料数据库。基于大数据方法的材料计算的方法主要包括第一性原理、分子动力学计算、CALPHAD 方法、蒙特卡罗法、元胞自动机法和有限元分析法等。通过基于大数据分析的计算材料科学的计算模拟，可以获得材料的热力学性能、力学性能、物理化学性能、材料的结构、点缺陷和位错迁移率、晶界能和晶界移动性、析出相尺寸等性质，从而更好的了解材料。 2 材料学大数据处理基础理论 基于大数据处理的计算材料学包括许多种方法，主要有第一 原理、分子动力学、蒙特卡洛、元胞自动机、相场法、有限元分析等。由于学生基础知识欠缺较多且授课时间有限，以上方法不能全部应用到教学实践中。因此，根据教学课程的实际情况以及不同的计算材料方法的不同特点，本文主要研究应用广泛的第一性原理和分子动力学的教学，使学生从原子，分子角度更好的理解材料学。 2.1 基于大数据分析的第一性原理方法 第一性原理计算又称为从头算法，是基于量子力学原理的大数据计算方法。第一性原理计算通常不使用经验参数，不依赖实验结果，通过空间群，电子质量，光速，质子中子质量等少数实验数据去做量子计算，通过求解薛定谔方程，从而推导出材料的热力学，电学及磁学等物理性质的方法。第一性原理方法的计算量非常大，因此很难在短时间内求解出精确解，只能借助一些近似的手段求解近似解。由于计算量的局限性，目前第一性原理计算仅适用于材料的微观尺度的计算，但第一性原理具有精确性和普适性的特点而成为目前材料学计算不可或缺的一种方法。 第一性原理方法结合高通量数据和高通量性能的计算方法可以很大程度降低模拟时间，模拟过程包括动力学、结构稳定性和表面稳定性等物性特点，结合密度泛函理论的第一性原理计算方法，可以同时描绘新材料数据迁移变化，进一步获得新材料的态密度、电子能态、电荷密度等信息。根据物理性能和化学性能参 数之间的联系，从理论上可以获得材料的热力参数、机械性能、光学性能、电磁性等基本物理化学参数。2.2 基于大数据分析的分子动力学 分子动力学是指将不同体系下特定的势能函数作用于由众多粒子构成的系统中，同时通过附加外界条件，如温度，压力等，对体系中的所有粒子求解牛顿方程，然后通过统计物理学的方法来得到宏观材料性质的过程。分子动力是学基于牛顿经典力学进行计算的，是一种确定的方法，通过给定粒子的初始坐标和初始速度，利用方程可以计算粒子后续每一时刻的状态。在实际计算过程中，计算机首先读取自行创建的初始体系结构，然后通过势能函数给体系中粒子施加作用力，从而计算出粒子的加速度，不断计算粒子的坐标以，速度等参量，最后通过选择不同的统计系综方法得到材料相关的热力学性质。目前，分子动力学广泛应用于固体材料的性质研究，如材料的弹性模量，热导率等计算。 分子动力中分子力场优化问题是建设材料分子动力学计算平台的关键问题，解决这一问题的方法包括遗传算法和粒子群算法。遗传算法的出现成为了科学研究领域常用的优化工具，近年来，随着大数据计算的兴起，使得遗传算法在数据处理方面也得到了有效的应用。遗传算法主要包括数学基础研究，算法结构研究，基因操作研究，参数选择研究等。。 3 基于大数据分析的计算材料学与教学实践的结合 基于大数据分析的计算材料学课程具有极强的实践性，能够将基础知识与材料模拟的具体模型联系在一起，从而使学生对计算材料科学产生浓厚的兴趣。通过将教学和计算材料结合，实现理论与模拟相结合的教学。在教学过程中通过设定具体的教学目标来培养学生的能力，同时与数据库筛选，结构优化，结果优化相结合，实现教学与科研的同步进行。使得学生积极融入课堂，最终取得更好的效果。 3.1 基于大数据分析的第一性原理与教学实践的结合 第一性原理作为基于大数据分析的计算材料科学的一种典型方法，人们开发了许多模拟平台，如Materials Studio ，Vasp 等。通过高通量方法筛选优化计算模型，解决了材料计算过程中计算耗时的部分问题，并通过高通量的原子结构优化、电子结构优化、弹性性能算法设计，能够更加准确快速的得到模拟结果。在教学过程中通过晶胞模型的建立、晶胞与原胞的转换、电子密度、能量曲线、态密度及能带结构等，使学生快速掌握原子结构模型的建立，并与材料的基础理论相结合，取得更好的效果。3.2 基于大数据分析的分子动力学与教学实践的结合 分子动力学是材料大数据处理中又一典型方法。针对分子动力学，科学研究者们开发了很多并行化计算平台，如Lammps ，Gaussian ，Amber 等。通过遗传算法进行分子力场优化之后进行计算，更加快速准确的得到模拟结果，然后通过可视化界面，可以直观地给学生展示温度变化过程中，分子的移动、（下转第94页） 基于大数据分析的计算材料科学教学研究 赵宇宏，杨文奎 （中北大学材料科学与工程学院，太原 030051） 摘要：以大数据分析为基础的计算材料学教学是材料教学中的重要组成部分。由于其具有数据库庞大、理论知识繁杂、模拟范围广等特点，使得基于大数据分析的计算材料学教学的开展与实施存在较大的困难。本文通过将基于大数据分析的第一性原理，分子动力学与教学实践相结合，使学生能够更加直观的从原子，分子的角度了解材料的变化。帮助学生筛选优化数据，学会理论分析的方法，掌握运用专业知识的能力，从而培养学生的科研能力和综合素质。 关键词：大数据分析；计算材料科学；第一性原理；分子动力学doi ：10.3969/J.ISSN.1672-7274.2019.09.060中图分类号：TP391 文献标示码：A 文章编码：1672-7274（2019）09-0083-02
redis集群搭建 现在项目上用redis的话，很少说不用集群的情况，毕竟如果生产上只有一台redis会有极大的风险，比如机器挂掉，或者内存爆掉，就比如我们生产环境曾今也遭遇到这种情况，导致redis内存不够挂掉的情况，当然这些都是我们及其不能容忍的，第一个必须要做到高可靠，其次才是高性能，好了，下面我来逐一搭建一下。 一：Redis集群搭建 1. 下载 首先去官网下载较新的3.2.0版本，下载方式还是非常简单的，比如官网介绍的这样。 $ wget http://download.redis.io/releases/redis-3.2.0.tar.gz $ tar xzf redis-3.2.0.tar.gz $ cd redis-3.2.0 $ make 2. redis配置 由于我们要做集群，而且还要redis自带的redis-trib.rb 能正常运行，我们需要在集群中开启三台master，三台slave，所以这里我需要建立6个文件 夹，而且文件夹的名称就使用端口地址的名字，比如：6389. 6380....6384。
3. config配置。 现在directory的分布情况大致如上图，接下来要做的事情就是配置redis.conf了，在这里需要配置四个选项。。。 <1> port 端口地址，比如6380文件夹下面的port就是6380， # Accept connections on the specified port, default is6379 (IANA #815344). # If port 0is specified Redis will not listen on a TCP socket. port 6379 <2> cluster-enabled 和cluster-config-file 这个顾名思义，首先需要开启redis的cluster模式，然后配置一个cluster-config-file文件，这个文件用于存放redis 的实时信息，redis会动态追加和修改这个conf下面的内容信息，不过要记住，这个nodes-6379.conf 可以根据端口文件夹依次配置，比如6380文件夹可以改成nodes-6380.conf这样。。。 # Normal Redis instances can't be part of a Redis Cluster; only nodes that are # started as cluster nodes can. In order to start a Redis instance as a
1、当前大数据技术的基础是由（ C）首先提出的。（单选题，本题2分） A：微软 B：百度 C：谷歌 D：阿里巴巴 2、大数据的起源是（C ）。（单选题，本题2分） A：金融 B：电信 C：互联网 D：公共管理 3、根据不同的业务需求来建立数据模型，抽取最有意义的向量，决定选取哪种方法的数据分析角色人员是 （ C）。（单选题，本题2分） A：数据管理人员 B：数据分析员 C：研究科学家 D：软件开发工程师 4、（D ）反映数据的精细化程度，越细化的数据，价值越高。（单选题，本题2分） A：规模 B：活性 C：关联度 D：颗粒度 5、数据清洗的方法不包括（ D）。（单选题，本题2分） A：缺失值处理 B：噪声数据清除 C：一致性检查 D：重复数据记录处理 6、智能健康手环的应用开发，体现了（ D）的数据采集技术的应用。（单选题，本题2分） A：统计报表 B：网络爬虫 C：API接口 D：传感器 7、下列关于数据重组的说法中，错误的是（ A）。（单选题，本题2分） A：数据重组是数据的重新生产和重新采集 B：数据重组能够使数据焕发新的光芒 C：数据重组实现的关键在于多源数据融合和数据集成 D：数据重组有利于实现新颖的数据模式创新 8、智慧城市的构建，不包含（ C）。（单选题，本题2分） A：数字城市 B：物联网 C：联网监控 D：云计算
9、大数据的最显著特征是（ A）。（单选题，本题2分） A：数据规模大 B：数据类型多样 C：数据处理速度快 D：数据价值密度高 10、美国海军军官莫里通过对前人航海日志的分析，绘制了新的航海路线图，标明了大风与洋流可能发生的地 点。这体现了大数据分析理念中的（B ）。（单选题，本题2分） A：在数据基础上倾向于全体数据而不是抽样数据 B：在分析方法上更注重相关分析而不是因果分析 C：在分析效果上更追究效率而不是绝对精确 D：在数据规模上强调相对数据而不是绝对数据 11、下列关于舍恩伯格对大数据特点的说法中，错误的是（D ）。（单选题，本题2分） A：数据规模大 B：数据类型多样 C：数据处理速度快 D：数据价值密度高 12、当前社会中，最为突出的大数据环境是（A ）。（单选题，本题2分） A：互联网 B：物联网 C：综合国力 D：自然资源 13、在数据生命周期管理实践中，（ B）是执行方法。（单选题，本题2分） A：数据存储和备份规范 B：数据管理和维护 C：数据价值发觉和利用 D：数据应用开发和管理 14、下列关于网络用户行为的说法中，错误的是（ C）。（单选题，本题2分） A：网络公司能够捕捉到用户在其网站上的所有行为 B：用户离散的交互痕迹能够为企业提升服务质量提供参考 C：数字轨迹用完即自动删除 D：用户的隐私安全很难得以规范保护 15、下列关于计算机存储容量单位的说法中，错误的是（ C）。（单选题，本题2分） A：1KB＜1MB＜1GB B：基本单位是字节（Byte） C：一个汉字需要一个字节的存储空间 D：一个字节能够容纳一个英文字符， 16、下列关于聚类挖掘技术的说法中，错误的是（B ）。（单选题，本题2分） A：不预先设定数据归类类目，完全根据数据本身性质将数据聚合成不同类别 B：要求同类数据的内容相似度尽可能小 C：要求不同类数据的内容相似度尽可能小
Windows下搭建Redis集群 Redis 集群简介 Redis 是一个开源的 key-value 存储系统，由于出众的性能，大部分互联网企业都用来做服务器端缓存。Redis 在3.0版本前只支持单实例模式，虽然支持主从模式、哨兵模式部署来解决单点故障，但是现在互联网企业动辄大几百G的数据，可完全是没法满足业务的需求，所以，Redis 在 3.0 版本以后就推出了集群模式。 Redis 集群采用了P2P的模式，完全去中心化。Redis 把所有的 Key 分成了16384 个 slot，每个 Redis 实例负责其中一部分 slot 。集群中的所有信息（节点、端口、slot等），都通过节点之间定期的数据交换而更新。 Redis 客户端可以在任意一个 Redis 实例发出请求，如果所需数据不在该实例中，通过重定向命令引导客户端访问所需的实例。 集群搭建 要让集群正常运作至少需要三个主节点，不过在刚开始试用集群功能时，强烈建议使用六个节点：其中三个为主节点，而其余三个则是各个主节点的从节点。 主节点崩溃，从节点的Redis就会提升为主节点，代替原来的主节点工作，崩溃的主Redis回复工作后，会成为从节点 1). 创建Redis集群目录 在redis安装的根目录下通过命令行创建6个以端口命名的文件夹 mkdir 7000 7001 7002 7003 7004 7005
将安装的redis文件夹中的redis.windows.conf以及redis-server,分别拷贝到新建的六个文件夹中 2). 更改配置 将六个文件夹下的redis.windows.conf文件中以下属性进行修改： port 7001（对应文件夹的端口号） cluster-enabled yes(开启实例的集群模式)去掉注释
redis4.0.x集群搭建 一.集群搭建前提环境-ruby 因为redis集群环境基于ruby，所以需要先安装ruby运行环境。 采用rvm来安装或者升级ruby，因为有些服务器已经有了ruby，比如我买的阿里云好几台都是ruby2.0，你在安装redis集群时，执行gem install redis 安装接口命令就会报错： redis需要Ruby版本> = 2.2.2 告诉你最起码需要2.2.2的版本，因为现在redis4.0.x比较多，2.0版本低了，redis3.0貌似不会有这个问题。 --------------------------------------------------- 1.安装RVM：（以下每一行都是一条命令） gpg2 --keyserver hkp://https://www.doczj.com/doc/f61262295.html, --recv-keys D39DC0E3 curl -L get.rvm.io | bash -s stable 网速低的话装起来稍微慢点，装完后执行find进行查找，找到标红的rvm。 find / -name rvm -print / usr / local / rvm / usr / local / rvm / src / rvm /usr/local/rvm/src/rvm/bin/rvm /usr/local/rvm/src/rvm/lib/rvm /usr/local/rvm / src / rvm / scripts / rvm / usr / local / rvm / bin / rvm / usr / local / rvm / lib / rvm / usr / local / rvm / scripts / rvm 然后执行source命令： source /usr/local/rvm/scripts/rvm 2.查看RVM库中已知的ruby版本 rvm list known [ruby-] 1.8.6 [-p420] [ruby-] 1.8.7 [-head]＃在头上发布的安全性 [ruby-] 1.9.1 [-p431] [ruby-] 1.9.2 [-p330 ]