当前位置：文档之家› NoSQL数据库-MongoDB和Redis

NoSQL数据库-MongoDB和Redis

NoSQL数据库

—MongoDB和Redis

1NoSQL简述 (4)

2MongoDB简介 (4)

3术语介绍 (5)

4MongoDB资源消耗 (6)

5交互式shell (6)

6一般功能 (7)

6.1插入 (7)

6.2查询 (7)

6.3删除 (7)

6.4索引 (8)

6.5map/reduce (8)

7模式设计 (8)

8嵌入与引用 (9)

9GridFS (11)

9.1GridFS表示的对象信息 (11)

9.2GridFS管理 (12)

10Replication（复制） (13)

10.1master-slave模式 (13)

10.2replica pairs模式 (13)

10.3受限的master-master复制 (14)

11Sharding（分片） (14)

11.1sharding介绍 (14)

11.2sharding的配置和管理 (15)

12Java API简介 (16)

13MongoDB实例分析 (17)

13.1图片保存在文件系统中 (17)

13.2图片保存在数据库中 (19)

14MongoDB常用API总结 (23)

15Redis简介 (27)

15.1Redis特性 (27)

16Redis数据类型 (28)

16.1String类型 (28)

16.2List类型 (29)

16.3Set类型 (29)

16.4ZSet类型 (29)

16.5Hash类型 (30)

17All data in memory, but saved on disk (30)

18Redis的Master-Slave模式 (30)

19Redis虚拟内存管理 (31)

20Redis实例分析 (32)

21Redis命令总结 (32)

21.1连接操作相关的命令 (33)

21.2对value操作的命令 (33)

21.3对String操作的命令 (33)

21.4对List操作的命令 (34)

21.5对Set操作的命令 (34)

21.6对zset（sorted set）操作的命令 (35)

21.7对Hash操作的命令 (36)

21.8持久化 (36)

21.9远程服务控制 (36)

NoSQL数据库

—MongoDB和Redis

1NoSQL简述

CAP（Consistency，Availabiity，Partition tolerance)理论告诉我们，一个分布式系统不可能满足一致性，可用性和分区容错性这三个需求，最多只能同时满足两个。关系型数据库通过把更新操作写到事务型日志里实现了部分耐用性，但带来的是写性能的下降。MongoDB 等NoSQL数据库背后蕴涵的哲学是不同的平台应该使用不同类型的数据库，MongoDB通过降低一些特性来达到性能的提高，这在很多大型站点中是可行的。因为MongoDB是非原子性的，所以如果如果应用需要事务，还是需要选择MySQL等关系数据库。

NoSQL数据库，顾名思义就是打破了传统关系型数据库的范式约束。很多NoSQL数据库从数据存储的角度看也不是关系型数据库，而是key-value数据格式的hash数据库。由于放弃了关系数据库强大的SQL查询语言和事务一致性以及范式约束，NoSQL数据库在很大程度上解决了传统关系型数据库面临的诸多挑战。

在社区中，NoSQL是指“not only sql”，其特点是非关系型，分布式，开源，可水平扩展，模式自由，支持replication，简单的API，最终一致性（相对于即时一致性，最终一致性允许有一个“不一致性窗口”，但能保证最终的客户都能看到最新的值）。

2MongoDB简介

mongo取自“humongous”（海量的），是开源的文档数据库──nosql数据库的一种。

MongoDB是一种面向集合（collection）的，模式自由的文档（document）数据库。

面向集合是说数据被分成集合的形式，每个集合在数据库中有惟一的名称，集合可以包含不限数目的文档。除了模式不是预先定义好的，集合与RDBMS中的表概念类似，虽然二者并不是完全对等。数据库和集合的创建是“lazy”的，即只有在第一个document被插入时集合和数据库才真正创建——这时在磁盘的文件系统里才能看见。

模式自由是说数据库不需要知道存放在集合中的文档的结构，完全可以在同一个集合中存放不同结构的文档，支持嵌入子文档。

文档类似于RDBMS中的记录，以BSON的格式保存。BSON是Binary JSON的简称，是对JSON-like文档的二进制编码序列化。像JSON（JavaScript Object Notation）一样，BSON 支持在对象和数组内嵌入其它的对象和数组。有些数据类型在JSON里不能表示，但可以在BSON里表示，如Date类型和BinData（二进制数据），Python原生的类型都可以表示。与Protocal Buffers（Google开发的用以处理对索引服务器请求/应答的协议）相比，BSON模式

更自由，所以更灵活，但这样也使得每个文档都要保存字段名，所以空间压缩上不如Protocol Buffers。

BSON第一眼看上去像BLOB，但MongoDB理解BSON的内部机制，所以MongoDB 可以深入BSON对象的内部，即使是嵌套的对象，这样MongoDB就可以在顶层和嵌套的BSON对象上建立索引来应对各种查询了。

MongoDB可运行在Linux、Windows和OS X平台，支持32位和64位应用，默认端口为27017。推荐运行在64位平台，因为MongoDB为了提高性能使用了内存映射文件进行数据管理，而在32位模式运行时支持的最大文件为2GB。

3术语介绍

数据库、集合、文档

每个MongoDB服务器可以有多个数据库，每个数据库都有可选的安全认证。数据库包括一个或多个集合，集合以命名空间的形式组织在一起，用“.”隔开（类似于JA V A/Python 里面的包），比如集合blog.posts和blog.authors都处于"blog"下，不会与bbs.authors有名称上的冲突。集合里的数据由多个BSON格式的文档对象组成，document的命名有一些限定，如字段名不能以"$"开头，不能有"."，名称"_id"被保留为主键。

如果插入的文档没有提供“_id”字段，数据库会为文档自动生成一个ObjectId对象作为“_id”的值插入到集合中。字段“_id”的值可以是任意类型，只要能够保证惟一性。BSON ObjectID是一个12字节的值，包括4字节的时间戳，3字节的机器号，2字节的进程id以及3字节的自增计数。建议用户还是使用有意义的“_id”值。

MongoDb相比于传统的SQL关系型数据库，最大的不同在于它们的模式设计（Schema Design）上的差别，正是由于这一层次的差别衍生出其它各方面的不同。

如果将关系数据库简单理解为由数据库、表（table）、记录（record）三个层次概念组成，而在构建一个关系型数据库的时候，工作重点和难点都在数据库表的划分与组织上。一般而言，为了平衡提高存取效率与减少数据冗余之间的矛盾，设计的数据库表都会尽量满足所谓的第三范式。相应的，可以认为MongoDb由数据库、集合（collection）、文档对象（Document-oriented、BSON）三个层次组成。MongoDb里的collection可以理解为关系型数据库里的表，虽然二者并不完全对等。当然，不要期望collection会满足所谓的第三范式，因为它们根本就不在同一个概念讨论范围之内。类似于表由多条记录组成，集合也包含多个文档对象，虽然说一般情况下，同一个集合内的文档对象具有相同的格式定义，但这并不是

必须的，即MongoDb的数据模式是自由的（schema-free、模式自由、无模式），collection 中可以包含具有不同schema的文档记录，支持嵌入子文档。

4MongoDB资源消耗

考虑到性能的原因，mongo做了很多预分配，包括提前在文件系统中为每个数据库分配逐渐增长大小的文件集。这样可以有效地避免潜在的文件系统碎片，使数据库操作更高效。

一个数据库的文件集从序号0开始分配，0，1...，大小依次是64M，128M，256M，512M，1G，2G，然后就是一直2G的创建下去（32位系统最大到512M）。所以如果上一个文件是1G，而数据量刚好超过1G，则下一个文件（大小为2G)则可能有超过90%都是空的。

如果想使磁盘利用更有效率，下面是一些解决方法：

1. 只建立一个数据库，这样最多只会浪费2G。

2. 每个文档使用自建的“_id”值而不要使用默认的ObjectId对象。

3. 由于每个document的每个字段名都会存放，所以如果字段名越长，document的数据占用就会越大，因此把字段名缩短会大大降低数据的占用量。如把“timeAdded”改为“tA”。

Mongo使用内存映射文件来访问数据，在执行插入等操作时，观察mongod进程的内存占用时会发现量很大，当使用内存映射文件时是正常的。并且映射数据的大小只出现在虚拟内存那一列，常驻内存量才反应出有多少数据cached在内存中。

【按照mongodb官方的说法，mongodb完全由系统内核进行内存管理，会尽可能的占用系统空闲内存，用free可以看到，大部分内存都是作为io cache被占用的，而这部分内存是可以释放出来给应用使用的。】

5交互式shell

mongo类似于MySQL中的mysql进程，但功能远比mysql强大，它可以使用JavaScript语法的命令从交互式shell中直接操作数据库。如查看数据库中的内容，使用游标循环查看查询结果，创建索引，更改及删除数据等数据库管理功能。下面是一个在mongo中使用游标的例子：

> for(var cur = db.posts.find(); cur.hasNext();) {

... print(tojson(cur.next()));

... }

输出：

{

"_id" : ObjectId("4bb311164a4a1b0d84000000"),

"date" : "Wed Mar 31 17:05:23 2010",

"content" : "blablablabla",

"author" : "navygong",

"title" : "the first blog"

}

...其它的documents。

6一般功能

6.1插入

客户端把数据序列化为BSON格式传给DB后被存储在磁盘上，在读取时数据库几乎不做什么改动直接把对象返回给客户端，由client完成unserialized。如：

> doc = {'author': 'joe', 'created': new Date('2010, 6, 21'), 'title':'Yet another blog post', 'text': 'Here is the text...', 'tags': ['example', 'joe'], 'comments': [{'author': 'jim', 'comment': 'I disgree'}, {'author': 'navy', 'comment': 'Good post'}], '_id': 'test_id'}

> db.posts.insert(doc)

6.2查询

基本上你能想到的查询种类MongoDB都支持，如等值匹配，<，<=，>，>=，$ne，$in，$mod，$all，$size[1]，$exists，$type[2]，正则表达式匹配，全文搜索，......。还有distinct()，sort()，count()，skip()[3]，group()[4]，......。这里列表的查询中很多用法都和一般的RDBMS 不同。

[1]匹配一个有size个元素的数组。如db.things.find({a: {$size: 1}})能够匹配文档{a: ["foo"]}。

[2] 根据类型匹配。db.things.find({a : {$type : 16}})能够匹配所有a为int类型的文档。BSON 协议中规定了各种类型对应的枚举值。

[3]指定跳过多少个文档后开始返回结果，可以用在分页中。如：db.students.find().skip((pageNumber-1)*nPerPage).limit(nPerPage).forEach( function(student) { print(https://www.doczj.com/doc/9b16594104.html, + "

"); } )。

[4] 在sharded MongoDB配置环境中应该应该使用map/reduce来代替group()。

6.3删除

可以像查询一样指定条件来删除特定的文档。

6.4索引

可以像在一般的RDBMS中一样使用索引。提供了建立（一般、惟一、组合）索引、删除索引、重建索引等各种方法。索引信息保存在集合“system.indexes”中。

6.5map/reduce

MongoDB提供了map/reduce方法来进行数据的批处理及聚集操作。和Hadoop的使用类似，从集合中接收输入，结果输出到另一个集合。如果你需要使用group，map/reduce会是个不错的选择。但MongoDB中的索引和标准查询不是使用map/reduce，而是与MySQL 相似。

7模式设计

Mongo式的模式设计

使用Mongo有很多种方式，你本能上可能会像使用关系型数据库一样去使用。当然这样也可以工作得很好，但却没能发挥出Mongo的真正威力。Monog是专门设计为富对象模型（rich object model）使用的。

例如：如果你建立了一个简单的在线商店并且把产品信息存储在关系型数据库中，那你可能会有两个像这样的表：

item

item_features

你进行了范式处理因为不同的物品有不同的特征，这样你不用建立一个包含所有特征的表了。在Mongo中你也可以像上面那样建立两个集合，但像下面这样存储每种物品会更有效。

item : {

"title" : ,"price" : <price> ,"sku" : <sku> ,"features" : {"optical zoom" : <value> ,...}}因为只要查询一个集合就能取得一件物品的所有信息，而这些信息都保存在磁盘上同一个地方，因此大大提高了查询的速度。如果你想插入或更新一种特征，如db.items.update( { sku : 123 } , { "$set" : { "features.zoom" : "5" } } )，也不必在磁盘上移动整个对象，因为Mongo为每个对象在磁盘上预留了空间来适应对象的增长。8嵌入与引用以一实例来说，假设需要设计一个小型数据库来存储“学生、地址、科目、成绩”这些信息，那么关系型数据库的设计如图1所示，而key-value型数据库的设计则可能如图2所示。图1 关系型的数据库设计图2 key-value型的数据库设计对比图1和图2，在关系型的数据库设计里划分出了4个表，而在key-value型的数据库设计里却只有两个集合。如果说集合与表一一对应的话，那么图2中应该也有4个集合才对，把本应该是集合的address和scores直接合入了集合students中，原因在于在key-value 型的数据库里，数据模式是自由的。以scores来说，在关系型的数据库设计中将其单独成一个表是因为student与score是一对多的关系，如果将score合入student表，那么就必须预留最多可能的字段，这会存在浪费，并且当以后新增一门课程时扩展困难，因此一般都会将score表单独出来。而对于key-value 型的数据库就不同了，其scores字段就是一个BSON，该BSON可以只有一个for_course，也可以有任意多个for_course，其固有的模式自由特性使得它可以将score包含在内而无需另建一个score集合。对于与student为一对一关系的address表也可以直接合入student，无需担心address的扩展性，当以后需要给address新增一个province字段，直接在数据插入时加上这个值即可。当然，对于与student成多对多关系course表，为了减少数据冗余，可以将course建立为一个集合，同关系型的数据库设计中类似。students文档中嵌入了address文档和scores文档，scores文档的“for_course”字段的值是指向courses集合的文档的引用。如果是关系型数据库，需要把“scores”作为一个单独的表，然后在students表中建立一个指向“scores”的外键。所以Mongo模式设计中的一个关键问题就是“是值得为这个对象新建一个集合呢，还是把这个对象嵌入到其它的集合中”。在关系型数据库中为了范式的要求，每个子项都要建一个单独的表，但在Mongo中使用嵌入式对象更有效，所以你应该给出不使用嵌入式对象而单独建一个集合的理由。为什么说引用要慢些呢，以上面的students集合为例，比如执行：print( student.scores[0].for_https://www.doczj.com/doc/9b16594104.html, );如果这是第一次访问scores[0]，那些客户端必须执行：student.scores[0].for_course = db.courses.findOne({_id:_course_id_to_find_}); //伪代码所以每一次遍历引用都要对数据库进行一次这样的查询，即使所有的数据都在内存中。再考虑到从客户端到服务器端的种种延迟，这个时间也不会低。有一些规则可以决定该用嵌入还是引用：1. 第一个类对象，也就是处于顶层的，往往应该有自己的集合。2. 排列项详情对象应该用嵌入。3. 处于被包含关系的应该用嵌入。4. 多对多的关系通常应该用引用。5. 数据量小的集合可以放心地做成一个单独的集合，因为整个集合可以很快地cached。6. 要想获得嵌入式对象的系统级视图会更困难一些。如上面的“Scores”如果不做成嵌入式对象可以更容易地查询出分数排名前100的学生。7. 如果嵌入的是大对象，需要留意到BSON对象的4M大小限定（后面会讲到）。8. 如果性能是关键就用嵌入。下面是一些示例：1. Customer/Order/Order Line-Itemcutomers和orders应该做成一个集合，line-items应该以数组的形式嵌入在order中。2. 博客系统posts应该是一个集合；author可以是一个单独的集合，如果只需记录作者的email地址也可以以字段的方式存在于posts中；comments应该做成嵌入的对象。9GridFSGridFS是MongoDB中用来存储大文件而定义的一种文件系统。MongoDB默认是用BSON格式来对数据进行存储和网络传输。但由于BSON文档对象在MongoDB中最大为4MB，无法存储大的对象。即使没有大小限制，BSON也无法满足对大数据集的快速范围查询，所以MongoDB引进了GridFS。9.1GridFS表示的对象信息1. 文件对象（类GridFSFile的对象）的元数据信息。结构如下{"_id" : <unspecified>, // unique ID for this file"filename" : data_string, // human name for the file"contentType" : data_string, // valid mime type for the object"length" : data_number, // size of the file in bytes"chunkSize" : data_number, // size of each of the chunks. Default is 256k "uploadDate" : data_date, // date when object first stored"aliases" : data_array of data_string, // optional array of alias strings "metadata" : data_object, // anything the user wants to store"md5" : data_string //result of running "filemd5" command on the file's chunks}如下是put进去的一个文件例子：{_id: ObjId(4bbdf6200459d967be9d8e98),filename: "/home/hjgong/source_file/wnwb.svg",length: 7429,chunkSize: 262144,uploadDate: new Date(1270740513127),md5: "ccd93f05e5b9912c26e68e9955bbf8b9"}2. 数据的二进制块以及一些统计信息。结构如下：{"_id": <unspecified>, // object id of the chunk in the _chunks collection"files_id": <unspecified>, // _id value of the owning {{files}} collection entry"n": data_number, // "chunk number" - starting with 0"data": data_binary (type 0x02), // binary data for chunk}因此使用GridFS可以储存富媒体文件，同时存入任意的附加信息,因为这些信息实际上也是一个普通的collection。以前，如果要存储一个附件，通常的做法是，在主数据库中存放文件的属性同时记录文件的path，当查询某个文件时，需要首先查询数据库，获得该文件的path，然后从存储系统中获得相应的文件。在使用GridFS时则非常简单，可以直接将这些信息直接存储到文件中。比如下面的Java代码，将文件file（file可以是图片、音频、视频等文件）储存到db中：其中该方法的第一个参数的类型还可以是InputStream，byte[]，从而实现多个重载的方法。9.2GridFS管理MongoDB提供的工具mongofiles可以从命令行操作GridFS。如：./mongofiles -host localhost:1727 -u navygong -p 111 put ~/source_file/wnwb.svg每种语言提供的MongoDB客户端API都提供了一套方法，可以像操作普通文件一样对GridFS文件进行操作，包括read()，write()，tell()，seek()等。10Replication（复制）Mongo提供了两种方式的复制：简单的master-slave配置及replica pair的概念。如果安全认证被enable，不管哪种replicate方式，都要在master/slave中创建一个能为各个database识别的用户名/密码。认证步骤如下：slave先在https://www.doczj.com/doc/9b16594104.html,ers里查找一个名为"repl"的用户，找到后用它去认证master。如果"repl"用户没有找到，则使用https://www.doczj.com/doc/9b16594104.html,ers中的第一个用户去认证。local数据库和admin数据库一样，local中的用户可以访问整个db server。10.1master-slave模式一个server可以同时为master和slave。一个slave可以有多个master，这种方式并不推荐，因为可能会产生不可预期的结果。在该模式中，一般是在两个不同的机器上各部署一个MongDB实例，一个为master，另一作为slave。将MongoDB作为master启动，只需要在命令行输入：然后主服务进程将会在数据库中创建一个集合local.oplog.$main，该collection主要记录了事务日志，即需要在slave执行的操作。而将MongoDB作为slave启动，只需要在命令行输入：port不指定时即使用默认端口，masterhostname是master的IP或master机器的FQDN。其他配置选项：--autoresync：自动sync，但在10分钟内最多只会进行一次。--oplogSize：指定master上用于存放更改的数据量，如果不指定，在32位机上最少为50M，在64位机上最少为1G，最大为磁盘空间的5%。10.2replica pairs模式以这种方式启动后，数据库会自动协商谁是master谁是slave。一旦一个数据库服务器断电，另一个会自动接管，并从那一刻起起为master。万一另一个将来也出错了，那么master 状态将会转回给第一个服务器。以这种复制方式启动本地MongoDB的命令如下：其中remoteserver是pair里的另一个server，arbiterserver是一个起仲裁作用的Mongo 数据库服务器，用来协商pair中哪一个是master。arbiter运行在第三个机器上，利用“平分决胜制”决定在pair中的两台机器不能联系上对方时让哪一个做master，一般是能同arbiter通话的那台机器做master。如果不加--arbiter选项，出现网络问题时两台机器都作为master。命令db.$cmd.findOne({ismaster:1})可以检查当前哪一个database是master。pair中的两台机器只能满足最终一致性。当replica pair中的一台机器完全挂掉时，需要用一台新的来代替。如(n1, n2)中的n2挂掉，这时用n3来代替n2。步骤如下：1. 告诉n1用n3来代替n2：db.$cmd.findOne({replacepeer:1});2. 重启n1让它同n3对话：./mongod --pairwith n3 --arbiter <arbiterserver>3. 启动n3：./mongod --pairwith n1 --arbiter <arbiterserver>。在n3的数据没有同步到n1前n3还不能做master，这个过程长短由数据量的多少决定。10.3受限的master-master复制Mongo不支持完全的master-master复制，通常情况下不推荐使用master-master模式，但在一些特定的情况下master-master也可用。master-master也只支持最终一致性。配置master-master只需运行mongod时同时加上--master选项和--slave选项。如下：这种模式对插入、查询及根据_id进行的删除操作都是安全的。但对同一对象的并发更新无法进行。11Sharding（分片）11.1sharding介绍MongoDB包括一个自动分片的的模块（“mongos”），从而可以构建一个大的水平可扩展的数据库集群，可以动态地添加和移走机器。如下是一个数据库集群的示意图：mongod：数据库服务器进程，类似于mysqld。shards：每个shard有一个或多个mongod，通常是一个master，多个slave组成replication。数据由集合按一个预定的顺序划分，某一个范围的数据被放到一个特定的shard中，这样可以通过shard的key进行有效的范围查询。shard keys：用于划分集合，格式类似于索引的定义，也是把一个或多个字段作为key，以key来分布数据。如：{ name : 1 （1代表升序，-1代表降序）}、{ _id : 1 }、{ lastname : 1, firstname : 1 }、{ tag : 1, timestamp : -1 }。如果有100万人同名，可能还需要划分，因为放到一个块里太大了，这时定义的shar key不能只有一个name字段了。划分能够保证相邻的数据存储在一个server（当然也在相同的块上）。chunks：是一个集合里某一范围的数据，(collection, minkey, maxkey)描述了一个chunk。块的大小有限定，当块里的数据超过最大值，块会一分为二。如果一个shard里的数据过多（添加shard时，可以指定这个shard上可以存放的最大数据量maxSize），就会有块迁移到其它的shard。同样，当添加新的server时，为了平衡各个server的负载，也会迁移chunk过去。config server（配置服务器）：存储了集群的元信息，包括每一个shard、一个shard里的server、以及每一个chunk的基本信息。其中主要是chunk的信息，每个config server中都有一份所有chunk信息的完全拷贝。使用两阶段提交协议来保证配置信息在config server间的一致。mongos：可以认为是一个“数据库路由器”，用以协调集群的各个部分，使它们看起来像一个系统。mongos没有固定的状态，可以在server需要的时候运行。mongos启动后会从config server里取出元信息，然后接收客户请求，把请求路由到合适的server，得到结果后送回客户。一个系统可以有多个mongos例程，每个例程都需要内存来存储元信息。例程间不需协同工作，每个mongos只需要协同shard servers和config servers工作即可。当然shard servers 间也会彼此对话，也会同config servers对话。11.2sharding的配置和管理mongod的启动选项中也包含了与sharding相关的参数，如--shardsvr（声明这是一个sharddb），--configsvr（声明这是一个config db）。mongos的启动选项--configdb指定config server 的位置。下面的链接地址是一个简单的sharding配置例子：https://www.doczj.com/doc/9b16594104.html,/display/DOCS/A+Sample+Configuration+Session。像安全和认证一样，如果要sharding，先要允许一个数据库sharding，然后要指定数据库里集合的分片方式，这些都有相应的命令可以完成。12Java API简介要使用Java操作MongoDB，在官网上下载jar包，目前最新的版本是：mongo-2.0.jar。首先介绍一下比较常用的几个类：Mongo：连接服务器，执行一些数据库操作的选项，如新建立一个数据库等；DB：对应一个数据库，可以用来建立集合等操作；DBCollection：对应一个集合（类似表），可能是我们用得最多的，可以添加删除记录等；DBObject接口和BasicDBObject对象：表示一个具体的记录，BasicDBObject实现了DBObject，因为是key-value的数据结构，所以用起来其实和HashMap是基本一致的；DBCursor：用来遍历取得的数据，实现了Iterable和Iterator。下面以一段简单的例子说明：13MongoDB 实例分析下面通过一个实例说明如何用MongoDB 作为数据库。该实例中有一个user 实体，包含一个name 属性，每个user 对应一到多个图片image 。按照关系型数据库设计，可以设计一个user 表和一个image 表，其中image 表中有一个关联到user 表的外键。如果将这两个表对应为两个collection ，即image 对应的collection 中的每一个document 都有一个key ，其value 是该image 关联的user 。但为了体现MongoDB 的效率，即MongoDB 是schema-free 的，而且支持嵌入子文档，因此在实现时，将一个user 发布的image 作为该user 的子文档嵌入其中，这样只需要定义一个collection ，即userCollection 。如下图所示：https://www.doczj.com/doc/9b16594104.html,erCollection对于图片等文件，可以存储在文件系统中，也可以存储在数据库中。因此下面分两种情况实现。13.1图片保存在文件系统中这种情况下，图片实体中需要记录图片的路径uri ，因此Image 类的定义如下： 因为在MongoDB 中，当保存的对象没有设置ID 时，mongoDB 会默认给该条记录设置一个ID （"_id"），因此在类中没有定义id 属性（下同）。因为一个user对应多个image，所以在user实体中需要记录对应的image。如下：在main函数中实现如下功能：首先定义一个user（假设id为1），其对应3张图片，然后将该user插入userCollection中。然后，通过查询查找到该user（根据id），再发布第4张图片，更新该user，然后打印出其信息。部分代码如下：程序运行后，在控制台打印出的信息如下：从该结果容易看出，用户user有两个属性“_id”和“Name”，而且ImageList作为其子文档（数组）嵌入其中，该数组中是3个图片，每个图片仍然是bson格式。13.2图片保存在数据库中这种情况下，图片实体只需要存储文件名即可，因此Image2类的定义如下：User2类和上面类似，如下所示：实现了类MongoTest2，其功能仍然是一个user对应3个图片，存入数据库中后，通过查询得到该user后，再插入第4幅图片，然后打印出信息。同时为了演示文件的查询，对存入MongoDB中的图片进行了查询并打印出其部分元数据信息。部分代码如下所示：<h2>redis中文手册</h2>Skip to comments (0) 排头兵 Evangelist PHP / Blogger Live in Shanghai Work@https://www.doczj.com/doc/9b16594104.html, Email@shjuto(at)https://www.doczj.com/doc/9b16594104.html, More 国内的开放平台就是一个玩笑分享会-高性能nosql数据库redis 盛大在线跨站攻击分享会 Bambook 知识和文化传承的载体加入盛大在线 efish 在国内的开放平台就是一个玩笑上的评论最弱网在加入盛大在线上的评论大大的小蜗牛在国内的开放平台就是一个玩笑上的评论 youstar 在国内的开放平台就是一个玩笑上的评论 wss8848 在国内的开放平台就是一个玩笑上的评论 CSS FreeBSD jquery memcached MySQL nginx NOSQL PHP SEO技术 SEO新闻人在江湖团队管理我看互联网碎言碎语网站设计最近文章最近评论分类目录我看互联网碎言碎语网站设计网站运营网络营销文章索引模板2010年十一月 2010年九月 2010年八月 2010年七月 2010年六月 2010年五月 2010年三月 2010年二月 2010年一月 2009年十二月 2009年六月 2009年五月 2009年四月 2009年三月 2009年一月 2008年十二月 2008年十一月 2008年十月 2008年九月 2008年八月 2008年七月 2008年六月 2008年五月 2008年四月 2008年三月 2007年九月 2007年八月 2007年四月 2006年七月链接 Jackzou omiga PHPPAN Reco Lee Show Framework suppermen Tino Web开发一亩三分地五四陈科学院伊人莫公哥学社恋上E人某人的栖息地武林精神鸦片<h2>redis千万级数据性能测试</h2>Redis千万级的数据量的性能测试发布时间：2011-04-06 16:21:31 来源：未知评论：点击：1609 次【字号：】从图中可以猜测到还会有Redis 2.2.1 的测试，相同的测试环境，1K的数据量，使用ServiceStack.Redis 客户端进行如下测试：1) Set操作2) Get操作3) Del操作每一套测试分别使用三个配置进行测试：1) 绿色线条的是开启Dump方式的持久化，5分钟持久化一次2) 从图中可以猜测到还会有Redis 2.2.1 的测试，相同的测试环境，1K的数据量，使用ServiceStack.Redis客户端进行如下测试： 1) Set操作 2) Get操作 3) Del操作每一套测试分别使用三个配置进行测试： 1) 绿色线条的是开启Dump方式的持久化，5分钟持久化一次 2) 蓝色线条是开启AOF方式的持久化，每秒写入磁盘一次 3) 红色线条是关闭任何的持久化方式对于每一个配置都使用相同的其他配置： 1) 开启VM 最大内存10GB(128字节一页)之后开始换出，VM空间160GB 2) 最大使用内存15GB，确保在Dump的时候有足够的剩余内存 3) 开启压缩，没有配置主从现在来看一下测试结果：从这个图中可以看出： 1) 对于没有持久化的方式，读写都在数据量达到800万的时候，性能下降几倍，此时正好是达到内存10G，Redis开始换出到磁盘的时候。并且从那以后再也没办法重新振作起来，性能比Mongodb还要差很多。2) 对于AOF持久化的方式，总体性能并不会比不带持久化方式差太多，都是在到了千万数据量，内存占满之后读的性能只有几百。 3) 对于Dump持久化方式，读写性能波动都比较大，可能在那段时候正在Dump也有关系，并且在达到了1400万数据量之后，读写性能贴底了。在Dump的时候，不会进行换出，而且所有修改的数据还是创建的新页，内存占用比平时高不少，超过了15GB。而且Dump还会压缩，占用了大量的CPU。也就是说，在那个时候内存、磁盘和CPU的压力都接近极限，性能不差才怪。总结一下： 1) Redis其实只适合作为缓存，而不是数据库或是存储。它的持久化方式适用于救救急啥的，不太适合当作一个普通功能来用。对于这个版本的Redis，不建议使用任何的持久化方式。否则到时候可能会死的比较难看。说白了，期望Redis是memcached的升级版，带有各种数据结构，但是不要期望Redis来和Mongodb/Kt等来比。 2) 对于VM其实也是不建议开启，虽然开启VM可以让Redis保存比内存更多的数据，但是如果冷热数据不是很明显的话性能会非常差(我的测试都是随机查询Key，冷热不明显)。当然，对于冷热明显的情况下可以设置200% - 400%的内存作为VM空间，也不建议设置10倍的内存空间作为VM(像我的配置一样)。 3) ServiceStack.Redis客户端好像有几个Bug，首先RedisTypedClient的Dispose居然没有实现，应该是要调用client.Dispose()，其次RedisNativeClient的Info属性不是每次都获取最新值的，第三PooledRedisClientManager的WritePoolIndex和ReadPoolIndex 只看到加没看到减的地方，也不知道这是干啥的，其实每次都取第一个不是Active的Client 就可以了，PooledRedisClientManager也没有把超时使用的Active的Client强制回收(避免使用的时候忘记Dispose占用过多的连接)。有关这几点，我会尝试联系ServiceStack.Redis 的作者。<h2>Redis数据库安装使用说明</h2>Redis数据库安装使用说明 Redis数据库安装使用说明 Windows 安装说明下载文件配置启动 CentOS 安装说明下载安装配置启动关闭 redis-py 检测安装说明官方网站 Windows 安装说明 Windows下启动请使用Administrator账户下载请点击这里选择需要下载的版本 Windows版本只是为了开发使用，正式环境请选择在Linux下安装使用文件程序说明 redis-benchmark.exe Redis性能测试工具 redis-check-aof.exe数据修复 redis-check-dump.exe检查导出工具 redis-cli.exe Redis客户端 redis-server.exe Redis服务器 redis.windows.conf配置文件配置配置文件为 redis.windows.conf 主要修改以下几个参数：内网运行，建议不设置认证密码 port6379#端口，默认为6379 logfile"redis.log"#日志文件dbfilename dump.rdb #数据库文件 maxheap1024000000#修改为该值即可 dir ./ #路径（当前目录下）启动进入控制台，并跳转到reids-server.exe目录下，输入以下命令即可： redis-server redis.windows.conf 设置快捷启动在redis程序文件夹下创建StartRedisDB.bat文件，并写入如下内容 redis-server redis.windows.conf pause 保存即可，下次可以直接点击运行Redis服务端 CentOS 安装说明如果安装使用过，请使用你自己的方法；如果没有安装使用过，请根据我的步骤安装<h2>Redis中统计各种数据大小的方法</h2>如果MySQL 数据库比较大的话，我们很容易就能查出是哪些表占用的空间；不过如果Redis 内存比较大的话，我们就不太容易查出是哪些（种）键占用的空间了。有一些工具能够提供必要的帮助，比如redis-rdb-tools 可以直接分析RDB 文件来生成报告，可惜它不能百分百实现我的需求，而我也不想在它的基础上二次开发。实际上开发一个专用工具非常简单，利用SCAN 和DEBUG 等命令，没多少行代码就能实现：代码如下: <?php $patterns = array( 'foo:.+', 'bar:.+', '.+', ); $redis = new Redis(); $redis->setOption(Redis::OPT_SCAN, Redis::SCAN_RETRY); $result = array_fill_keys($patterns, 0); while ($keys = $redis->scan($it, $match = '* } } } } var_dump($result); ?> 当然，前提是你需要提前总结出可能的键模式，简单但不严谨的方法是MONITOR：代码如下: shell> /path/to/redis-cli monitor | awk -F '"' '$2 ~ "ADD|SET|STORE|PUSH" {print $4}' 此外，需要注意的是：因为DEBUG 返回的serializedlength 是序列化后的长度，所以最终计算的值小于实际内存占用，但考虑到相对大小依然是有参考意义的。更多信息请查看IT技术专栏<h2>Redis数据库简介</h2>介绍 Redis是一个开源（BSD许可）的，内存中的数据结构存储系统，它可以用作数据库、缓存和消息中间件。它支持多种类型的数据结构，如字符串（strings），散列（hashes），列表（lists），集合（sets），有序集合（sorted sets）与范围查询， bitmaps， hyperloglogs 和地理空间（geospatial）索引半径查询。 Redis 内置了复制（replication），LUA脚本（Lua scripting）， LRU驱动事件（LRU eviction），事务（transactions）和不同级别的磁盘持久化（persistence），并通过 Redis哨兵（Sentinel）和自动分区（Cluster）提供高可用性（high availability）。版本官方版本目前官方版本支持Linux系统和Ubuntu系统。官方下载地址： http://redis.io/download 由于我们的开发项目以Windows为主，所以在此不对官方版本做详细介绍，有兴趣的可以到官网查看。 #### 非官方版本（Windows 版本）官方没有Redis的Windows版本，但是微软开源技术团队（Microsoft Open Tech group）自行开发和维护了一个Win64的版本。 - 微软团队只提供了官方64位版本，而32位版本，需要自己从源代码构建。 - Released版本中提供了msi文件，Redis可以作为Windows服务安装安装服务 ?下载Win64的压缩文件到一个指定文件夹 ?打开一个 cmd 窗口使用cd命令切换目录到解压缩的文件夹下运行redis-server.exe redis.windows.conf ?redis-server.exe启动Redis服务 ?redis.windows.conf Redis服务的一些配置，不写则会调用默认设置 ?端口号默认6379可以通过修改配置文件redis.windows-service.conf修改或CONFIG set命令修改运行客户端 ?打开一个 cmd 窗口使用cd命令切换目录到解压缩的文件夹运行redis-cli.exe -h 127.0.0.1 -p 6379 ?redis-cli.exe启动Redis客户端 ?-h 127.0.0.1服务器IP地址 ?-p 6379服务器端口号<h2>分析Redis架构设计</h2>redis启动流程 1.初始化server变量，设置redis相关的默认值 2.读入配置文件，同时接收命令行中传入的参数，替换服务器设置的默认值 3.初始化服务器功能模块。在这一步初始化了包括进程信号处理、客户端链表、共享对象、初始化数据、初始化网络连接等 4.从RDB或AOF重载数据 5.网络监听服务启动前的准备工作 6.开启事件监听，开始接受客户端的请求启动的部分过程通过查看下图，会更直观。下面是针对启动过程中，对各个模块的详细理解。（目前只分析了后台线程系统与慢查询日志系统）三、Redis数据持久化方案在使用redis时不少人都说一个问题，就是说redis宕机了怎么办？会不会数据丢失等等的问题。现在来看看Redis提供的数据持久化解决方案，并通过原理分析优缺点。最终能得出Redis适合使用的应用场景。 1.RDB持久化方案在Redis运行时，RDB程序将当前内存中的数据库快照保存到磁盘中，当Redis需要重启时，RDB程序会通过重载RDB文件来还原数据库。从上述描述可以看出，RDB主要包括两个功能：关于rdb的实现可以见src/rdb.c a）保存(rdbSave) rdbSave负责将内存中的数据库数据以RDB格式保存到磁盘中，如果RDB文件已经存在将会替换已有的RDB文件。保存RDB文件期间会阻塞主进程，这段时间期间将不能处理新的客户端请求，直到保存完成为止。为避免主进程阻塞，Redis提供了rdbSaveBackground函数。在新建的子进程中调用rdbSave，保存完成后会向主进程发送信号，同时主进程可以继续处理新的客户端请求。<h2>云数据库Redis版</h2>云数据库 Redis 版用户指南用户指南使用购买 Redis 的账号登录 Redis 管理控制台。进入 Redis 实例列表界面，如下图所示。管理实例修改密码如果您忘记密码、需要修改旧密码，或者在创建实例时没有设置密码，您可以重新设置实例的密码。登录 Redis 管理控制台。定位到目标实例，点击实例ID或者管理进入实例信息页面。在修改密码窗口，输入旧密码和新密码，点击确认。注意：如果您忘记密码，在修改密码窗口点击忘记旧密码的链接，可以在重置密码的窗口设置新密码。云数据库 Redis 版支持按量付费模式，按量付费可以可执行变配操作。详细步骤请参考变配流程。阿里云数据库支持经典网络和专有网络两种网络类型。本章介绍两种网络类型的区别及设置方法。背景信息在阿里云平台上，经典网络和专有网络的区别如下：1.2.经典网络：经典网络中的云服务在网络上不进行隔离，只能依靠云服务自身的安全组或白名单策略来阻挡非法访问。专有网络（Virtual Private Cloud，简称 VPC）：专有网络帮助用户在阿里云上构建出一个隔离的网络环境。用户可以自定义专有网络里面的路由表、IP 地址范围和网关。此外用户可以通过专线或者VPN 的方式将自建机房与阿里云专有网络内的云资源组合成一个虚拟机房，实现应用平滑上云。注意：经典网络可以转换为专有网络，专有网络不支持更换为经典网络。 Redis 默认使用经典网络，如果您要使用专有网络（VPC），Redis 和 VPC 必须在同一地域，有以下两种方式：如果 Redis 还没有创建，您可以先建立 VPC，然后在 VPC 下创建 Redis，具体请参见下文新建Redis场景。如果 Redis 已经创建，您可以在 Redis 同一地域创建 VPC，然后将 Redis 加入 VPC，具体请参见下文已有 Redis场景。新建 Redis 场景创建 VPC, 具体请参见 VPC 快速入门。创建与 VPC 所在地域一致的 Redis 实例。在购买过程中，网络类型选择专有网络，选择对应的 VPC 即可。参见创建实例章节。已有 Redis 场景创建与 Redis实例所在地域一致的 VPC，具体请参见 VPC快速入门。登录 Redis 管理控制台，选择目标实例，单击管理。在实例信息页面，单击切换为专有网络。在切换为专有网络页面中选择 VPC 和虚拟交换机，单击确定，如下图所示。<h2>Redis开发常用规范</h2>Redis开发常用规范 1.冷热数据分离，不要将所有数据全部都放到Redis中虽然Redis支持持久化，但是Redis的数据存储全部都是在内存中的，成本昂贵。建议根据业务只将高频热数据存储到Redis中【QPS大于5000】，对于低频冷数据可以使用 MySQL/ElasticSearch/MongoDB等基于磁盘的存储方式，不仅节省内存成本，而且数据量小在操作时速度更快、效率更高！ 2.不同的业务数据要分开存储不要将不相关的业务数据都放到一个Redis实例中，建议新业务申请新的单独实例。因为Redis为单线程处理，独立存储会减少不同业务相互操作的影响，提高请求响应速度；同时也避免单个实例内存数据量膨胀过大，在出现异常情况时可以更快恢复服务！ 3.规范Key的格式合适的key，便于查看，统计，排错。 “平台缩写“+“:”+“项目名”+“:”+“业务含义” 例如：GW:TRADE:USERID GW是新网关，TRADE是交易项目，USERID为业务ID。 ":"-作为key分隔符，方便客户端工具作为目录分级 4.存储的Key一定要设置超时时间如果应用将Redis定位为缓存Cache使用，对于存放的Key一定要设置超时时间！因为若不设置，这些Key会一直占用内存不释放，造成极大的浪费，而且随着时间的推移会导致内存占用越来越大，直到达到服务器内存上限！另外Key的超时长短要根据业务综合评估，而不是越长越好！(某些业务要求key长期有效。可以在每次写入时，都设置超时时间，让超时时间顺延。) public Boolean set(final byte[] key, final byte[] value, final long liveTime) { return redisTemplate.execute(new RedisCallback<Boolean>() {<h2>Redis中5种数据结构的使用场景介绍</h2>一、redis 数据结构使用场景原来看过redisbook 这本书，对redis 的基本功能都已经熟悉了，从上周开始看redis 的源码。目前目标是吃透redis 的数据结构。我们都知道，在redis 中一共有5种数据结构，那每种数据结构的使用场景都是什么呢？ String——字符串 Hash——字典 List——列表 Set——集合 Sorted Set——有序集合下面我们就来简单说明一下它们各自的使用场景： 1. String——字符串 String 数据结构是简单的key-value 类型，value 不仅可以是String，也可以是数字（当数字类型用Long 可以表示的时候encoding 就是整型，其他都存储在sdshdr 当做字符串）。使用Strings 类型，可以完全实现目前Memcached 的功能，并且效率更高。还可以享受Redis 的定时持久化（可以选择RDB 模式或者AOF 模式），操作日志及Replication 等功能。除了提供与Memcached 一样的get、set、incr、decr 等操作外，Redis 还提供了下面一些操作：代码如下: 1.LEN niushuai：O(1)获取字符串长度 2.APPEND niushuai redis：往字符串append 内容，而且采用智能分配内存（每次2倍） 3.设置和获取字符串的某一段内容 4.设置及获取字符串的某一位（bit） 5.批量设置一系列字符串的内容 6.原子计数器 7.GETSET 命令的妙用，请于清空旧值的同时设置一个新值，配合原子计数器使用 2. Hash——字典在Memcached 中，我们经常将一些结构化的信息打包成hashmap，在客户端序列化后存储为一个字符串的值（一般是JSON 格式），比如用户的昵称、年龄、性别、积分等。这时候在需要修改其中某一项时，通常需要将字符串（JSON）取出来，然后进行反序列化，修改某一项的值，再序列化成字符串（JSON）存储回去。简单修改一个属性就干这么多事情，消耗必定是很大的，也不适用于一些可能并发操作的场合（比如两个并发的操作都需要修改积分）。而Redis 的Hash 结构可以使你像在数据库中Update 一个属性一样只修改某一项属性值。代码如下: 存储、读取、修改用户属性 3. List——列表 List 说白了就是链表（redis 使用双端链表实现的List），相信学过数据结构知识的人都应该能理解其结构。使用List 结构，我们可以轻松地实现最新消息排行等功能（比如新浪微博的TimeLine ）。List 的另一个应用就是消息队列，可以利用List 的*PUSH 操作，将任务存在List 中，然后工作线程再用POP 操作将任务取出进行执行。Redis 还提供了操作List 中某一段元素的API，你可以直接查询，删除List 中某一段的元素。代码如下:<h2>redis架构分析</h2>一、前言因为近期项目中开始使用Redis，为了更好的理解Redis并应用在适合的业务场景，需要对Redis设计与实现深入的理解。我分析流程是按照从main进入，逐步深入分析Redis的启动流程。同时根据Redis初始化的流程，理解Redis各个模块的功能及原理。二、redis启动流程 1.初始化server变量，设置redis相关的默认值 2.读入配置文件，同时接收命令行中传入的参数，替换服务器设置的默认值 3.初始化服务器功能模块。在这一步初始化了包括进程信号处理、客户端链表、共享对象、初始化数据、初始化网络连接等 4.从RDB或AOF重载数据 5.网络监听服务启动前的准备工作 6.开启事件监听，开始接受客户端的请求启动的部分过程通过查看下图，会更直观。下面是针对启动过程中，对各个模块的详细理解。（目前只分析了后台线程系统与慢查询日志系统）三、Redis数据持久化方案在使用redis时不少人都说一个问题，就是说redis宕机了怎么办？会不会数据丢失等等的问题。现在来看看Redis提供的数据持久化解决方案，并通过原理分析优缺点。最终能得出Redis 适合使用的应用场景。 1.RDB持久化方案在Redis运行时，RDB程序将当前内存中的数据库快照保存到磁盘中，当Redis需要重启时，RDB程序会通过重载RDB文件来还原数据库。从上述描述可以看出，RDB主要包括两个功能：关于rdb的实现可以见src/rdb.c a）保存(rdbSave) rdbSave负责将内存中的数据库数据以RDB格式保存到磁盘中，如果RDB文件已经存在将会替换已有的RDB文件。保存RDB文件期间会阻塞主进程，这段时间期间将不能处理新的客户端请求，直到保存完成为止。为避免主进程阻塞，Redis提供了rdbSaveBackground函数。在新建的子进程中调用rdbSave，保存完成后会向主进程发送信号，同时主进程可以继续处理新的客户端请求。 b）读取(rdbLoad) 当Redis启动时，会根据配置的持久化模式，决定是否读取RDB文件,并将其中的对象保存到内存中。载入RDB过程中，每载入1000个键就处理一次已经等待处理的客户端请求，但是目前仅处理订阅功能的命令(PUBLISH 、SUBSCRIBE 、PSUBSCRIBE 、UNSUBSCRIBE 、PUNSUBSCRIBE)，其他一律返回错误信息。因为发布订阅功能是不写入数据库的，也就是不保存在Redis数据库的。 RDB的缺点：再说RDB缺点时，需要提到的是RDB有保存点的概念。在默认的redis.conf中可以看到这样的默认配置： [plain]view plaincopy 1.#save <seconds> <changes> [plain]view plaincopy 1.save 900 1 #如果15分钟内，有1个键被修改 [plain]view plaincopy 1.save 300 10 #如果6分钟内，有10个键被修改 [plain]view plaincopy<h2>redis key-value设计</h2>1．我在项目中使用redis不会缓存对象，而是存储jso(Google Protocol Buffer)字符串。因为频繁的序列化和反序列化会占用cpu，所以我们这样使用可以降低redis服务对CPU的要求。一般部署redis的主机都是内存比较空闲的主机，而把解析json这部分工作移到应用内部，应用所在主机的CPU配置必然是高的。这样可以有效的利用主机资源。 2．KEY的设计就是字符串拼接的形式：比如[user]::[id]::[act]。 3． redis缓存服务器笔记 redis是一个高性能的key-value存储系统，能够作为缓存框架和队列但是由于他是一个内存内存系统，这些数据还是要存储到数据库中的 4．作为缓存框架： create/updae/delete---同时存到redis和数据库 query--先从redis查，没有记录才从数据库查，并把从数据库查的结果也放一份到redis 5．作为缓存队列：把对象Object存储到redis中，怎么存？memcache存取对象是序列化和反序列化使用通用的序列化、反序列化（频繁的会很消耗cpu，使用Google Protocol Buffer,将对象打成二进制流）或者使用json存储（阿里巴巴的fast-json） 6．java使用redis的客户端一般是：jedis jedis的原生接口只支持基本数据类型和String、byte[] 7．我对redis队列的理解：重要的数据：先存到数据库，然后存到redis 要求响应速度很高的的数据：先写缓存，然后通过消息队列再写入数据库因为Redis的value支持String、list、set、zset 那么就可以把redis的list当作队列来用入队：lpush mylist 'hello1' 出队：lpop mylist 8．其提供AOF（追加式操作记录文件）和DUMP（定期数据备份）两种持久化方式9．VM（虚拟内存机制）：如果有1万条数据保存到内存中，那么我就要配置能存储这么多数据的内存然后这1万条数据有9000条不是活跃数据，那就白白浪费了，可以这样做，当数据容量超过内存时，将部分value存储到文件中memcached是把数据完全存储<h2>Redis数据库的使用场景介绍(避免误用Redis)</h2>Redis 是目前NoSQL 领域的当红炸子鸡，它象一把瑞士军刀，小巧、锋利、实用，特别适合解决一些使用传统关系数据库难以解决的问题。但是Redis 不是银弹，有很多适合它解决的问题，但是也有很多并不适合它解决的问题。另外，Redis 作为内存数据库，如果用在不适合的场合，对内存的消耗是很可观的，甚至会让系统难以承受。我们可以对系统存储使用的数据以两种角度分类，一种是按数据的大小划分，分成大数据和小数据，另一种是按数据的冷热程度划分，分成冷数据和热数据，热数据是指读或写比较频繁的数据，反之则是冷数据。可以举一些具体的例子来说明数据的大小和冷热属性。比如网站总的注册用户数，这明显是一个小而热的数据，小是因为这个数据只有一个值，热是因为注册用户数随时间变化很频繁。再比如，用户最新访问时间数据，这是一个量比较大，冷热不均的数据，大是数据的粒度是用户级别，每一个用户都有数据，如果有一千万用户，就意味着有一千万的数据，冷热不均是因为活跃用户的最新访问时间变化很频繁，但是可能有很大一部非活跃用户访问时间长时间不会发生变化。大体而言，Redis 最适合处理的是小而热，而且是写频繁，或者读写都比较频繁的热数据。对于大而热的数据，如果其它方式很难解决问题，也可以考虑使用Redis 解决，但是一定要非常谨慎，防止数据无限膨胀。原因如下：首先，对于冷数据，无论大小，都不建议放在Redis 中。Redis 数据要全部放在内存中，资源宝贵，把冷数据放在其中实在是一种浪费，冷数据放在普通的存储比如关系数据库中就好了。其次，对于热数据，尤其是写频繁的热数据，如果量比较小，是最适合放到Redis 中的。比如上面提到的网站总的注册用户数，就是典型的Redis 用做计数器的例子。再比如论坛最新发表列表，最新报名列表，可以控制数量在几百到一千的规模，也是典型的redis 做最新列表的使用方式。另外，对于量比较大的热数据（或者冷热不均数据），使用Redis 时一定要比较谨慎。这种类型数据很容易引起数据膨胀，导致Redis 消耗内存巨大，让系统难以承受。薄荷的一个惨痛教训是把用户关注（以及被关注）数据放在Redis 中，这是一种数据量极大，冷热很不均衡的数据，在几百万的用户级别就占用了近10 GB左右内存，让Redis 变得难以应付。应对这种类型的数据，可以用普通存储+ 缓存的方式。如果用对了地方，比如在小而热的数据情形，Redis 表现很棒，如果用错了地方，Redis 也会带来昂贵的代价，所以使用时务必谨慎。更多信息请查看IT技术专栏<h2>分布式缓存Redis使用方法</h2>分布式缓存Redis使用方法作者：张小博，新炬网络技术专家。缓存在系统中的作用： 1、少量数据存储，高速读写访问。通过数据全部in-momery 的方式来保证高速访问，同时提供数据落地的功能，实际这正是Redis最主要的适用场景。 2、海量数据存储，分布式系统支持，数据一致性保证，方便的集群节点添加/删除。Redis3.0以后开始支持集群，实现了半自动化的数据分片，不过需要smart-client的支持。 Redis全角度介绍: 网络模型：Redis使用单线程的IO复用模型，自己封装了一个简单的AeEvent事件处理框架，主要实现了epoll、kqueue和select，对于单纯只有IO操作来说，单线程可以将速度优势发挥到最大，但是Redis也提供了一些简单的计算功能，比如排序、聚合等，对于这些操作，单线程模型实际会严重影响整体吞吐量，CPU计算过程中，整个IO调度都是被阻塞住的。内存管理：Redis使用现场申请内存的方式来存储数据，并且很少使用free-list 等方式来优化内存分配，会在一定程度上存在内存碎片，Redis跟据存储命令参数，会把带过期时间的数据单独存放在一起，并把它们称为临时数据，非临时数据是永远不会被剔除的，即便物理内存不够，导致swap也不会剔除任何非临时数据（但会尝试剔除部分临时数据），这点上Redis更适合作为存储而不是cache。数据一致性问题：在一致性问题上，个人感觉redis没有memcached实现的好，Memcached提供了cas命令，可以保证多个并发访问操作同一份数据的一致性问题。Redis没有提供cas 命令，并不能保证这点，不过Redis提供了事务的功能，可以保证一串命令的原子性，中间不会被任何操作打断。支持的KEY类型：Redis除key/value之外，还支持list,set,sorted set,hash等众多数据结构，提供了KEYS进行枚举操作，但不能在线上使用，如果需要枚举线上数据，Redis提供了工具可以直接扫描其dump文件，枚举出所有数据，Redis还同时提供<h2>Redis 笔记整理</h2>Redis资料整理第一节Redis介绍 1.1 什么是Redis Redis 是完全开源免费的，遵守BSD协议,是一个存储在内存中高性能的key-value数据库。Redis 与其他key - value 缓存产品有以下三个特点： 1、Redis支持数据的持久化，可以将内存中的数据保存在磁盘中，重启的时候可以再次加载进行使用。 2、Redis不仅仅支持简单的key-value类型的数据，同时还提供list，set，zset，hash等数据结构的存储。 3、Redis支持数据的备份，即master-slave模式的数据备份。、 1.2 Redis的优势 1、性能极高– Redis能读的速度是110000次/s,写的速度是81000次/s 。丰富的数据类型– Redis支持二进制案例的Strings, Lists, Hashes, Sets 及Ordered Sets 数据类型操作。 2、原子–Redis的所有操作都是原子性的，意思就是要么成功执行要么失败完全不执行。单个操作是原子性的。多个操作也支持事务，即原子性，通过MULTI和EXEC指令包起来。丰富的特性– Redis还支持publish/subscribe, 通知, key 过期等等特性。1.3 Redis key-value存储有什么不同？ 1、Redis有着更为复杂的数据结构并且提供对他们的原子性操作，这是一个不同于其他数据库的进化路径。Redis的数据类型都是基于基本数据结构的同时对程序员透明，无需进行额外的抽象。 2、Redis运行在内存中但是可以持久化到磁盘，所以在对不同数据集进行高速读写时需要权衡内存，因为数据量不能大于硬件内存。在内存数据库方面的另一个优点是，相比在磁盘上相同的复杂的数据结构，在内存中操作起来非常简单，这样Redis可以做很多内部复杂性很强的事情。同时，在磁盘格式方面他们是紧凑的以追加的方式产生的，因为他们并不需要进行随机访问。<h2>Redis数据库的安装配置方法</h2>redis 是一个高性能的key-value数据库。redis的出现，很大程度补偿了memcached这类keyvalue存储的不足，在部分场合可以对关系数据库起到很好的补充作用。它提供了Python，Ruby，Erlang，PHP客户端，使用很方便。问题是这个项目还很新，可能还不足够稳定，而且没有在实际的一些大型系统应用的实例。此外，缺乏mc中批量get也是比较大的问题，始终批量获取跟多次获取的网络开销是不一样的。性能测试结果： SET操作每秒钟110000 次，GET操作每秒钟81000 次，服务器配置如下： Linux 2.6, Xeon X3320 2.5Ghz. stackoverflow 网站使用Redis 做为缓存服务器。安装过程： Redis是一种高级key-value数据库。它跟memcached类似，不过数据可以持久化，而且支持的数据类型很丰富。有字符串，链表，集合和有序集合。支持在服务器端计算集合的并，交和补集(difference)等，还支持多种排序功能。所以Redis也可以被看成是一个数据结构服务器。 Redis的所有数据都是保存在内存中，然后不定期的通过异步方式保存到磁盘上(这称为“半持久化模式”)；也可以把每一次数据变化都写入到一个append only file(aof)里面(这称为“全持久化模式”)。一、下载最新版 wget 二、解压缩 tar redis-2.0.0-rc4.tar.gz 三、安装C/C++的编译组件（非必须） apt-get install build-essential 四、编译 cd redis-2.0.0-rc4 make make命令执行完成后，会在当前目录下生成本个可执行文件，分别是redis-server、redis-cli、redis-benchmark、redis-stat，它们的作用如下： redis-server：Redis服务器的daemon启动程序 redis-cli：Redis命令行操作工具。当然，你也可以用telnet根据其纯文本协议来操作redis-benchmark：Redis性能测试工具，测试Redis在你的系统及你的配置下的读写性能redis-stat：Redis状态检测工具，可以检测Redis当前状态参数及延迟状况在后面会有这几个命令的说明，当然是从网上抄的。。。五、修改配置文件 /etc/sysctl.conf 添加 vm.overcommit_memory=1 刷新配置使之生效 sysctl vm.overcommit_memory=1 补充介绍： **如果内存情况比较紧张的话，需要设定内核参数： echo 1 > /proc/sys/vm/overcommit_memory <div> <div>相关主题</div> <div class="relatedtopic"> <div id="tabs-section" class="tabs"> <ul class="tab-head"> <li id="9183529"><a href="/topic/9183529/" target="_blank">redis数据库</a></li> </ul> </div> </div> </div> <div class="container"> <div>文本预览</div> <div class="textcontent"> </div> </div> </div> <div class="category"> 相关文档 <ul class="lista"> <li><a href="/doc/8816337865.html" target="_blank">Redis</a></li> <li><a href="/doc/cd42492.html" target="_blank">Redis使用案例分析</a></li> <li><a href="/doc/dd13744064.html" target="_blank">分布式缓存Redis使用方法</a></li> <li><a href="/doc/2c15729894.html" target="_blank">redis中文手册</a></li> <li><a href="/doc/65810226.html" target="_blank">Redis数据库简介</a></li> <li><a href="/doc/9915386465.html" target="_blank">Redis开发常用规范</a></li> <li><a href="/doc/d92579264.html" target="_blank">Redis介绍与内部实现机制</a></li> <li><a href="/doc/f05977040.html" target="_blank">Redis 笔记整理</a></li> <li><a href="/doc/413217186.html" target="_blank">Redis基础知识及集群搭建课件</a></li> <li><a href="/doc/826145357.html" target="_blank">内存数据库之redis和voltDB学习研究计划</a></li> <li><a href="/doc/af18193180.html" target="_blank">redis架构分析</a></li> <li><a href="/doc/d913047597.html" target="_blank">Redis数据库的使用场景介绍(避免误用Redis)</a></li> <li><a href="/doc/001592589.html" target="_blank">redis讲解</a></li> <li><a href="/doc/4b17312650.html" target="_blank">Redis介绍与内部实现机制</a></li> <li><a href="/doc/954294880.html" target="_blank">云数据库Redis版</a></li> <li><a href="/doc/d7946836.html" target="_blank">redis简介精品PPT课件</a></li> <li><a href="/doc/e817024934.html" target="_blank">redis缓存解决方案</a></li> <li><a href="/doc/3b10176396.html" target="_blank">Redis数据库安装使用说明</a></li> <li><a href="/doc/7518116264.html" target="_blank">数据库7.3 键值对数据库-1 (2)</a></li> <li><a href="/doc/ae10618452.html" target="_blank">redis简要介绍</a></li> </ul> 最新文档 <ul class="lista"> <li><a href="/doc/0619509601.html" target="_blank">幼儿园小班科学《小动物过冬》PPT课件教案</a></li> <li><a href="/doc/0a19509602.html" target="_blank">2021年春新青岛版(五四制)科学四年级下册 20.《露和霜》教学课件</a></li> <li><a href="/doc/9619184372.html" target="_blank">自然教育课件</a></li> <li><a href="/doc/3319258759.html" target="_blank">小学语文优质课火烧云教材分析及课件</a></li> <li><a href="/doc/d719211938.html" target="_blank">(超详)高中语文知识点归纳汇总</a></li> <li><a href="/doc/a519240639.html" target="_blank">高中语文基础知识点总结(5篇)</a></li> <li><a href="/doc/9019184371.html" target="_blank">高中语文基础知识点总结(最新)</a></li> <li><a href="/doc/8819195909.html" target="_blank">高中语文知识点整理总结</a></li> <li><a href="/doc/8319195910.html" target="_blank">高中语文知识点归纳</a></li> <li><a href="/doc/7b19336998.html" target="_blank">高中语文基础知识点总结大全</a></li> <li><a href="/doc/7019336999.html" target="_blank">超详细的高中语文知识点归纳</a></li> <li><a href="/doc/6819035160.html" target="_blank">高考语文知识点总结高中</a></li> <li><a href="/doc/6819035161.html" target="_blank">高中语文知识点总结归纳</a></li> <li><a href="/doc/4219232289.html" target="_blank">高中语文知识点整理总结</a></li> <li><a href="/doc/3b19258758.html" target="_blank">高中语文知识点归纳</a></li> <li><a href="/doc/2a19396978.html" target="_blank">高中语文知识点归纳(大全)</a></li> <li><a href="/doc/2c19396979.html" target="_blank">高中语文知识点总结归纳(汇总8篇)</a></li> <li><a href="/doc/1619338136.html" target="_blank">高中语文基础知识点整理</a></li> <li><a href="/doc/e619066069.html" target="_blank">化工厂应急预案</a></li> <li><a href="/doc/b019159069.html" target="_blank">化工消防应急预案(精选8篇)</a></li> </ul> </div> </div> <script> var sdocid = "9de06b6f856a561253d36f4b"; </script> <script type="text/javascript">bdtj();</script> <footer class="footer"> <a href="/tousu.html" target="_blank">侵权投诉</a> © 2022 www.doczj.com <a href="/sitemap.html">网站地图</a> <a href="https://beian.miit.gov.cn" target="_blank">闽ICP备18022250号-1</a> 本站资源均为网友上传分享，本站仅负责分类整理，如有任何问题可通过上方投诉通道反馈 <script type="text/javascript">foot();</script> </footer> </body> </html>