07_流式计算基础_第2天(Redis基础、应用场景、数据结构及案例)

内存计算如果说云计算这个新瓶装的是虚拟化+ SOA/⽹格计算+SaaS(软件即服务)的⽼酒，那么内存计算则重点是释放了计算这⼀部分的能量。

但是对内存计算经常有⼀些误解：1、⼤容量内存很贵2、内存计算不会持久化：实际上⼏乎所有的内存计算中间件都提供多种内存备份、持久存储备份以及基于磁盘的swap空间溢出的策略。

3、内存计算要取代数据仓库：内存计算的⽬的是要改善那些需要OLTP和OLAP混合处理的可操作数据集(Operational Dataset)的计算，⽽⾮历史数据集(Historical dataset)。

简⾔之，内存计算不是要把企业的所有数据都放进内存。

4、闪存已经⾜够快了：内存计算不是要达到2-3倍的边际效应提升(Marginal Effect)，⽽是10-100倍的提升，使之前那些不可⾏的业务和服务成为可能。

5、内存计算等于内存数据库：⾸先，内存计算是⼀种技术⽽不是某种产品。

其次，内存数据库只是⽬前内存计算触⼿可及的成果，内存计算长期的发展还是在流式处理(Stream Processing)上。

此外，内存计算与传统内存数据库的区别是：内存计算是为分布式、弹性环境以及内存数据处理⽽设计的。

⼀、内存计算产品分类根据内存计算技术的发展顺序，内存计算⼤致可以分为三类产品：1、分布式缓存(Memcached/Redis)：主要使⽤场景就是将频繁访问的数据保存在内存中避免磁盘加载。

多数产品都是分布式内存key/value 存储，并提供简单的put和get⽅法。

随着不断成熟，与后端的read/write-through，ACID事务，复制和分区，eviction策略等也逐渐加⼊到产品中，这些特性也成为了后来出现的IMDG/IMCG产品的基础。

2、内存数据/计算⽹格(IMDG/IMCG, GemFire/Hazelcast/GridGain)：数据⽹格的显著特性是co-location计算，将计算过程发送到数据本地执⾏。

redis内存占用计算公式Redis内存占用计算公式1. 概述Redis是一种开源的内存数据库，用于支持各种不同的数据结构。

在使用Redis时，了解其内存占用计算公式是非常重要的。

本文将列举一些相关的计算公式，并通过具体的示例进行解释说明。

2. 计算公式•字符串（String）的内存占用计算公式：–内存占用 = 所存储的字符串长度× 每个字符的字节数例如，存储一个长度为10的字符串”HelloWorld”，假设每个字符占用一个字节，则它的内存占用为10 × 1 = 10字节。

•哈希表（Hash）的内存占用计算公式：–内存占用 = sum(每个字段的键长 + 每个字段的值长 + 固定部分长)例如，存储一个哈希表，包含3个字段，假设键长为10字节，值长为20字节，固定部分长为10字节，则该哈希表的内存占用为3 × (10 + 20 + 10) = 120 字节。

•列表（List）的内存占用计算公式：–内存占用 = sum(每个元素的长度 + 固定部分长) × 列表的长度例如，存储一个列表，包含5个元素，假设每个元素的长度为10字节，固定部分长为5字节，则该列表的内存占用为 (10 + 5) × 5 = 75 字节。

•集合（Set）的内存占用计算公式：–内存占用 = sum(每个成员的长度 + 固定部分长) × 集合的长度例如，存储一个集合，包含4个成员，假设每个成员的长度为15字节，固定部分长为5字节，则该集合的内存占用为(15 + 5) × 4 = 80 字节。

•有序集合（Sorted Set）的内存占用计算公式：–内存占用 = sum(每个成员的长度 + 每个分值的长度 + 固定部分长) × 有序集合的长度例如，存储一个有序集合，包含3个成员，假设每个成员的长度为10字节，每个分值的长度为8字节，固定部分长为5字节，则该有序集合的内存占用为(10 + 8 + 5) × 3 = 69 字节。

编程中的实时数据处理和流式计算实时数据处理和流式计算是指在数据到达时立即进行处理和分析的数据处理方式。

相比传统的批处理方式，它能够更快地获取和处理数据，使得企业和组织能够更及时地做出决策和应对变化的市场需求。

实时数据处理是一种处理实时数据流的计算模型，它能够从源源不断的数据流中提取、转换和加载数据，并实时地生成结果。

在这个过程中，数据是逐个记录处理的，而不是批处理的方式一次性处理所有数据。

实时数据处理的关键是低延迟，在毫秒或甚至更短的时间内对数据进行处理和响应。

在实时数据处理中，数据通常以事件流的形式到达。

这些事件可以是传感器数据、网络日志、用户交互、业务指标等等。

实时数据处理系统通常由数据源、数据处理引擎、计算节点和结果存储组成。

数据源负责收集和传输数据，数据处理引擎负责对数据进行处理和计算，计算节点则是具体的执行单位，负责处理数据的每个事件，并将结果存储到结果存储中。

实时数据处理的应用场景非常广泛。

例如，在电商领域，实时数据处理可以用于在线推荐系统，根据用户的实时行为和偏好，实时更新推荐结果；在金融领域，实时数据处理可以用于监控交易风险，实时检测异常交易行为；在物联网领域，实时数据处理可以用于监控设备状态，实时预测设备故障等等。

流式计算是一种对数据流进行连续计算和处理的计算模型。

与实时数据处理类似，流式计算也是一种低延迟的计算方式，能够实时地对数据进行计算和分析。

流式计算与实时数据处理的主要区别在于计算的粒度。

流式计算通常以流为单位进行计算，而实时数据处理则以事件为单位进行处理。

在流式计算过程中，数据源会不断地产生数据流，流式计算系统会实时地对数据流进行计算和处理，并输出结果流。

流式计算系统通常由数据源、计算模型和结果存储组成。

数据源负责收集和传输数据流，计算模型定义了对数据流的计算逻辑，结果存储用于存储计算的结果。

流式计算的应用场景也非常广泛。

例如，在网络安全领域，流式计算可以用于实时检测和阻止网络攻击；在广告领域，流式计算可以用于实时竞价广告投放；在智能交通领域，流式计算可以用于实时交通监控和智能调度等等。

第1篇1. 什么是Redis？Redis（Remote Dictionary Server）是一个开源的、高性能的、基于内存的键值型数据库。

它支持多种类型的数据结构，如字符串、列表、集合、有序集合等，适用于缓存、消息队列、排行榜等多种场景。

2. Redis的特点有哪些？（1）高性能：Redis基于内存存储，读写速度快，适用于对性能要求较高的场景。

（2）支持多种数据结构：Redis支持多种数据结构，如字符串、列表、集合、有序集合等，满足不同业务场景的需求。

（3）持久化：Redis支持RDB和AOF两种持久化方式，保证数据不丢失。

（4）事务支持：Redis支持事务，可以保证多个命令的原子性执行。

（5）高可用：Redis支持主从复制和哨兵机制，实现高可用。

（6）分布式：Redis支持集群，实现数据分布式存储。

二、Redis数据结构与操作1. Redis支持哪些数据结构？（1）字符串（String）（2）列表（List）（3）集合（Set）（4）有序集合（Sorted Set）（5）哈希表（Hash）（6）位图（Bitmap）（7）HyperLogLog（8）GEO（地理信息）2. 如何在Redis中操作这些数据结构？以下是一些常见的数据结构操作示例：（1）字符串（String）```php// 设置字符串redis_set($redis, 'key', 'value');// 获取字符串$value = redis_get($redis, 'key');// 删除字符串redis_del($redis, 'key');```（2）列表（List）```php// 向列表末尾添加元素redis_rpush($redis, 'key', 'value1', 'value2'); // 从列表头部获取元素$value = redis_lpop($redis, 'key');// 删除列表中的元素redis_lrem($redis, 'key', 0, 'value');```（3）集合（Set）```php// 向集合中添加元素redis_sadd($redis, 'key', 'value1', 'value2');// 获取集合中的元素$value = redis_smembers($redis, 'key');// 删除集合中的元素redis_srem($redis, 'key', 'value');```（4）有序集合（Sorted Set）```php// 向有序集合中添加元素redis_zadd($redis, 'key', 1, 'value1', 2, 'value2'); // 获取有序集合中的元素$value = redis_zrange($redis, 'key', 0, -1);// 删除有序集合中的元素redis_zrem($redis, 'key', 'value');```（5）哈希表（Hash）```php// 向哈希表中添加元素redis_hset($redis, 'key', 'field', 'value');// 获取哈希表中的元素$value = redis_hget($redis, 'key', 'field');// 删除哈希表中的元素redis_hdel($redis, 'key', 'field');```三、Redis持久化与复制1. Redis支持哪些持久化方式？（1）RDB（快照）：将内存中的数据定期写入磁盘。

摘要摘要近年来，随着云计算、物联网、社交媒体等新兴信息技术和应用模式的快速发展，人类社会不断地向大数据时代迈进。

大数据时代下的流式数据呈现出实时性、突发性、无序性等特点，这对流式数据处理系统就有了更高更严格的要求。

如今，现有的实时流数据处理系统通常面临着业务扩展困难、数据流管理困难的问题，本文旨在解决实时流数据处理中所面临的这两大问题，在保证数据处理的实时性和高效性的前提下，提出了一套新的基于Node-red的数据流管理和Redis 内存计算的实时流数据处理模型。

本文从总体架构上对该模型进行设计，重新设计了Node-red的数据输入节点、数据输出节点、数据处理节点以及Redis数据库访问节点，各个节点的开发使用Node.js异步编程语言，节点之间的通信是通过Redis的pub/sub机制以及Node.js 的socket.io来完成。

最后将这些节点重新安装部署到Node-red中，使其成为一个完整的实时流数据处理模型。

在实时流数据处理过程中，经常会遇到最大值、最小值、累计求和、top(n)等数据指标的计算，而计算这些指标的基础就是去重统计，本文通过分析Redis有序集合的源码，结合Skip List的基本原理，提出了基于Redis 有序集合的去重统计方法，并通过新设计的Redis数据库访问节点实现该方法在实时流数据处理模型中的应用。

实时流数据处理模型设计完成之后，一个重要任务就是对模型进行应用验证，因此本文设计并实现了一个实时的网站访问监控系统，并利用该模型对数据进行实时处理，最终将分析结果展示在前端可视化界面上。

该系统主要包括三个模块，实时数据采集模块、实时数据分析模块以及数据可视化模块，其中，实时数据分析模块是利用本文所设计的实时流数据处理模型来实现的，数据可视化模块是利用Node.js的express框架实现的一个web应用，用户只需在浏览器上登录就可以访问监控页面，同时利用highcharts将数据可视化模块中的图表组件化，以此来适应因业务的不断扩展而带来的数据多样化。

Redis实时数据分析与计算实践Redis（Remote Dictionary Server）是一个开源的，基于内存的数据结构存储系统。

它在内存中存储数据，并通过网络进行快速访问。

由于其高性能和易用性，Redis在实时数据分析和计算领域得到了广泛的应用。

1. 简介Redis是一个支持多种数据结构的数据库，包括字符串、哈希表、列表、集合和有序集合等。

这些数据结构的高效操作使得Redis在实时数据分析与计算方面具有独特的优势。

2. 实时数据分析与计算实时数据分析与计算要求系统能够快速地处理和分析大量的实时数据。

Redis通过将数据存储在内存中，实现了快速的读写操作，从而满足实时数据分析与计算的需求。

3. 数据存储与读取Redis以键值对的形式存储数据，通过键来快速定位和读取数据。

数据存储在Redis的内存中，因此读取速度非常快。

这使得Redis成为实时数据分析与计算的理想选择。

4. 数据结构Redis支持多种数据结构，如字符串、哈希表、列表、集合和有序集合等。

这些数据结构的高效操作可以满足实时数据分析与计算的不同需求。

5. 数据分析通过Redis的数据结构，可以方便地进行各种数据分析操作。

例如，通过列表数据结构可以实现队列，用于实时处理数据流；集合数据结构可以用于去重和求交集；有序集合数据结构可以用于实现排行榜。

6. 数据计算Redis支持多种计算操作，如求和、求平均值、求最大值和最小值等。

这些计算操作可以直接在Redis中进行，而无需传输数据到其他计算节点，从而提高了计算效率。

7. 应用场景Redis在实时数据分析与计算方面有广泛的应用场景。

例如，广告系统可以使用Redis来实时统计展示量和点击量；电商系统可以使用Redis来实时统计商品销量和用户行为；游戏系统可以使用Redis来实时处理游戏事件和计算排名等。

8. 总结Redis作为一个高性能的内存数据库，具备实时数据分析与计算所需的快速存储和高效计算能力。

一、实验目的1. 了解流式处理的基本概念和原理。

2. 掌握流式处理编程的基本方法和技术。

3. 熟悉常用流式处理框架的使用。

4. 培养实际应用流式处理技术解决实际问题的能力。

二、实验环境1. 操作系统：Windows 102. 编程语言：Java3. 开发工具：IntelliJ IDEA4. 流式处理框架：Apache Kafka三、实验内容本次实验主要围绕流式处理编程展开，包括以下内容：1. Kafka基本概念及配置2. Kafka生产者与消费者编程3. 流式处理框架Flink的使用4. 实现一个简单的流式处理应用四、实验步骤1. Kafka基本概念及配置（1）安装Kafka：下载Kafka安装包，解压到指定目录。

（2）配置Kafka：编辑`config/server.properties`文件，修改以下参数：- broker.id：设置broker的唯一标识。

- listeners：设置监听的端口。

- log.dirs：设置日志存储目录。

（3）启动Kafka服务：在命令行中运行`bin/kafka-server-start.sh config/server.properties`命令启动Kafka服务。

2. Kafka生产者与消费者编程（1）生产者编程：```javaProperties props = new Properties();props.put("bootstrap.servers", "localhost:9092");props.put("key.serializer","mon.serialization.StringSerializer");props.put("value.serializer","mon.serialization.StringSerializer");Producer<String, String> producer = new KafkaProducer<>(props);String topic = "test";String record = "Hello, Kafka!";producer.send(new ProducerRecord<>(topic, record));producer.close();```（2）消费者编程：```javaProperties props = new Properties();props.put("bootstrap.servers", "localhost:9092");props.put("group.id", "test");props.put("key.deserializer","mon.serialization.StringDeserializer");props.put("value.deserializer","mon.serialization.StringDeserializer");Consumer<String, String> consumer = new KafkaConsumer<>(props);String topic = "test";consumer.subscribe(Collections.singletonList(topic));while (true) {ConsumerRecords<String, String> records =consumer.poll(Duration.ofMillis(100));for (ConsumerRecord<String, String> record : records) {System.out.printf("offset = %d, key = %s, value = %s%n", record.offset(), record.key(), record.value());}}consumer.close();```3. 流式处理框架Flink的使用（1）安装Flink：下载Flink安装包，解压到指定目录。

20道redis基础选择题及解析Redis是使用广泛的开源内存数据库，用于存储键值对。

以下是20道Redis基础选择题及解析：1.Redis的数据类型包括哪些？答案：Redis的数据类型包括字符串、列表、集合、有序集合和哈希表。

2.Redis的字符串类型可以存储什么类型的数据？答案：Redis的字符串类型可以存储任何类型的数据，包括字符串、数字、二进制数据等。

3.Redis的列表类型可以存储什么类型的数据？答案：Redis的列表类型可以存储任何类型的数据，但列表中的元素必须是相同的数据类型。

4.Redis的集合类型可以存储什么类型的数据？答案：Redis的集合类型可以存储任何类型的数据，但集合中的元素不能重复。

5.Redis的有序集合类型可以存储什么类型的数据？答案：Redis的有序集合类型可以存储任何类型的数据，但集合中的元素不能重复，并且元素的顺序由分值决定。

6.Redis的哈希表类型可以存储什么类型的数据？答案：Redis的哈希表类型可以存储键值对，键和值可以是任何类型的数据。

7.Redis的键可以有哪些类型？答案：Redis的键可以是字符串、列表、集合、有序集合和哈希表。

8.Redis的过期时间可以设置多少秒？答案：Redis的过期时间可以设置为0到2^32-1秒。

9.Redis的数据库可以有多少个？答案：Redis的数据库可以有16个。

10.Redis的连接数可以有多少个？答案：Redis的连接数可以有10240个。

11.Redis的最大内存可以有多少？答案：Redis的最大内存可以有16GB。

12.Redis的持久化方式有哪些？答案：Redis的持久化方式有RDB和AOF两种。

13.RDB持久化是如何工作的？答案：RDB持久化是通过定期将内存中的数据保存到磁盘文件中来实现的。

14.AOF持久化是如何工作的？答案：AOF持久化是通过记录所有对数据库的操作来实现的。

15.Redis的复制方式有哪些？答案：Redis的复制方式有主从复制和哨兵模式两种。