下载文档原格式
mongo的分片原理MongoDB是一种流行的NoSQL数据库系统，具有分布式能力。
为了支持大规模数据存储和处理，MongoDB采用了分片原理，将数据划分为多个分片，并将这些分片分布在不同的物理服务器上。
本文将介绍MongoDB的分片原理及其实现方式。
1. 分片概述在传统的单节点数据库系统中，数据存储在一台服务器上。
随着数据量的增加，单节点数据库面临性能瓶颈和存储限制。
为了解决这些问题，MongoDB引入了分片机制。
分片是指将数据集水平划分为多个分片，每个分片存储数据的一个子集。
通过分片，可以将数据存储在多台服务器上，实现数据的分布式存储和处理，提高系统的性能和可扩展性。
2. 分片集群MongoDB的分片集群由多个分片服务器、路由器和配置服务器组成。
其中，分片服务器负责存储分片数据，路由器负责将客户端请求路由至正确的分片服务器，配置服务器负责存储分片集群的元数据。
3. 分片键分片键是MongoDB用于将数据划分到不同分片的依据。
分片键可以是任意字段，通常选择具有高选择性（即不同值数量较多）的字段作为分片键。
例如，在一个存储用户信息的集合中，可以选择用户ID作为分片键。
4. 范围分片范围分片是MongoDB中常用的分片策略之一。
在范围分片中，根据分片键的范围将数据划分到不同的分片上。
例如，可以根据用户ID的大小将数据划分到不同的分片上，如第一个分片存储用户ID 小于10000的数据，第二个分片存储用户ID在10000至20000之间的数据，以此类推。
5. 散列分片散列分片是另一种常用的分片策略。
在散列分片中，根据分片键的哈希值将数据均匀分布到不同的分片上。
散列分片可以避免热点数据集中在某个分片上的问题，提高系统的负载均衡性。
但是，散列分片会导致数据访问的不可预测性，不适用于需要按范围查询的场景。
6. 分片管理MongoDB提供了一些工具和命令，用于管理分片集群。
可以使用mongos命令行客户端连接到路由器，并执行一系列操作，如添加和删除分片、启动和关闭分片平衡等。
Mongodb分⽚操作实战由于⽣产环境中⼀般使⽤zoomkeeper做config节点的仲裁节点，zoomkeeper会在三个config节点中挑选出⼀台作为主config节点。
且mongos节点⼀般是两个节点，必须做⾼可⽤，可以⽤keepalived实现（任何具有负载均衡能⼒的服务器节点都可以使⽤keepalived做⾼可⽤）实际操作过程1：准备四个节点mongodb1(mongos)、mongodb2(config)、mongodb3(shard1)、mongodb4(shard2)且保证可以通过主机名访问，且时间同步2：配置mongodb2(config)节点，使得mongodb2为config节点，编辑配置⽂件/etc/mongod.conf添加：configsvr = true同时注释：#replSet=uplooking #replIndexPrefetch=_id_only #port=27017 这3个指令（因为副本集与config节点不能同时⼯作）4：启动config server，此时默认config server监听在27019端⼝systemctl start mongod.service5: 在mongodb1上操纵：mongodb1作为路由，使⽤mongos连接config server，先清空配置⽂件，再添加如下信息logpath=/var/log/mongodb/mongod.log # 指明⽇志路径pidfilepath=/var/run/mongodb/mongod.pid # 指明pid路径logappend=true # 指明⽇志累加fork=true # 指明运⾏于守护进程port=27017 # 指明端⼝configdb=192.168.43.11:27019 # 指明config server 的地址在哪⾥6：指定配置⽂件，启动mongos，也可以使⽤systemctl启动，但是需要修改下启动脚本/etc/rc.d/init.d/mongodmongos -f /etc/mongod.conf7：将mongodb3和mongodb4配置⽂件中关于副本集的指令注释，然后直接启动systemctl start mongod8：mongodb3、mongodb4启动之后，在mongodb1上，通过mongo登⼊到mongos，将mongodb3、mongodb4作为shard添加到mongos的路由策略中9：创建⽀持shard机制的数据库sh.enableSharding("uplookingdb")mongos> sh.status();--- Sharding Status ---sharding version: {"_id" : 1,"version" : 4,"minCompatibleVersion" : 4,"currentVersion" : 5,"clusterId" : ObjectId("59f6caf5c93e5ff2a637a0cd")}shards:{ "_id" : "shard0000", "host" : "192.168.43.13:27017" }{ "_id" : "shard0001", "host" : "192.168.43.12:27017" }databases: # 这⾥会显⽰⽀持shard的数据库，分⽚collection放置在各个shard，⽽没有分⽚的collection放置在主shard中{ "_id" : "admin", "partitioned" : false, "primary" : "config" }{ "_id" : "test", "partitioned" : false, "primary" : "shard0001" }{ "_id" : "uplookingdb", "partitioned" : true, "primary" : "shard0001" }10：在对应⽀持shard机制的数据库上创建⽀持shard的collection，{"age": 1}指明索引为age，升序排序，这样shard集群的功能就已经启动了，之后就可以调⽤mongodb1这个接⼝写数据了，但是写⼊mongodb1的数据不会保存在mongodb1，因为mongodb1是⼀个router节点，所有的数据都会保存⾄shard节点上。
Mongodb主从复制及副本集＋分⽚集群梳理介绍了Mongodb的安装使⽤，在 MongoDB 中,有两种数据冗余⽅式,⼀种是 Master-Slave 模式（主从复制）,⼀种是 Replica Sets 模式（副本集）。
12 3 4 5 6 7 8 9 10 11 12 13Mongodb⼀共有三种集群搭建的⽅式：Replica Set（副本集）、Sharding（切⽚）Master-Slaver（主从）【⽬前已不推荐使⽤了】其中，Sharding集群也是三种集群中最复杂的。
副本集⽐起主从可以实现故障转移！！⾮常使⽤！mongoDB⽬前已不推荐使⽤主从模式，取⽽代之的是副本集模式。
副本集其实⼀种互为主从的关系，可理解为主主。
副本集指将数据复制，多份保存，不同服务器保存同⼀份数据，在出现故障时⾃动切换。
对应的是数据冗余、备份、镜像、读写分离、⾼可⽤性等关键词；⽽分⽚则指为处理⼤量数据，将数据分开存储，不同服务器保存不同的数据，它们的数据总和即为整个数据集。
追求的是⾼性能。
在⽣产环境中，通常是这两种技术结合使⽤，分⽚+副本集。
⼀、先说说mongodb主从复制配置主从复制是最常⽤的复制⽅式,也是⼀个简单的同步备份的集群技术,这种⽅式很灵活.可⽤于备份,故障恢复,读扩展等.最基本的设置⽅式就是建⽴⼀个主节点和⼀个或多个从节点,每个从节点要知道主节点的地址。
采⽤双机备份后主节点挂掉了后从节点可以接替主机继续服务。
所以这种模式⽐单节点的⾼可⽤性要好很多。
配置主从复制的注意点1 2 31）在数据库集群中要明确的知道谁是主服务器,主服务器只有⼀台. 2）从服务器要知道⾃⼰的数据源也就是对应的主服务是谁.3）--master⽤来确定主服务器,--slave 和 --source来控制从服务器可以在mongodb.conf配置⽂件⾥指明主从关系，这样启动mongodb的时候只要跟上配置⽂件就⾏，就不需要通过--master和--slave来指明主从了。
MongoDB之分⽚集群与复制集分⽚集群1.1、概念分⽚集群是将数据存储在多台机器上的操作，主要由查询路由mongos、分⽚、配置服务器组成。
●查询路由根据配置服务器上的元数据将请求分发到相应的分⽚上，本⾝不存储集群的元数据，只是缓存在内存中。
●分⽚⽤来存储数据块。
数据集根据分⽚键将集合分割为数据块，存储在不同的分⽚上。
在⽣产环境下，通常⼀个分⽚由⼀个复制集组成。
●配置服务器存储集群的元数据，包括数据与分⽚的映射关系，配置服务器⼀旦挂掉，集群将⽆法⼯作。
注意：●当mongos重启时，会从配置服务器读取元数据更新⾃⼰缓存的元数据●当分割数据时或者在分⽚间移动数据时会写配置服务器。
●在分⽚集群中，配置服务器可以采⽤复制集的架构，但复制集中不允许有仲裁节点和延时节点，且buildindexes必须设为true。
●集合的数据分布在多个分⽚上，如果某个分⽚失效，查询会返回错误，可以通过为查询指定partial选项，允许接受不完整的数据作⽤单台机器⽆法满⾜存储需求，内存、磁盘空间不够，读写吞吐量不够。
1.2、如何维护数据均衡分布集群使⽤分割器和平衡器两个后台进程维护数据均匀分布。
分割器●分割器的作⽤是防⽌数据块变⼤，数据块⼤⼩默认是64MB，当超过64MB时，分割器会将其⼀分为⼆。
●分割的对象不是实际的数据，⽽是元数据，只是在逻辑上进⾏逻辑块的划分，不会影响到实际数据的分布●数据块太⼩会产⽣⼤量块，容易使集群不平衡，导致数据块频繁移动，降低集群性能，元数据增加，降低查询效率●数据块太⼤，会减⼩移动频率，元数据少，有利于数据查询，但⼀旦移动，会花费很长时间●并不是所有的集合都会分⽚，没有被分⽚的集合都存储在同⼀个主分⽚上●只有对数据库和集合开启分⽚后，数据才会在不同分⽚上分布，否则只存储在主分⽚上●插⼊和更新操作都有可能引发分割平衡器●平衡器的作⽤是管理数据块的移动。
●当集群中数据块的分布达到移动阈值时，平衡器会移动数据块。
mongodb 详解
MongoDB是一个开源、跨平台、文档型的 NoSQL 数据库管理系统。
它不是关系型数据库，而是面向文档的数据库。
MongoDB采用BSON （Binary JSON）格式来存储数据，支持复杂的数据类型和嵌套数据结构，以及灵活的查询语言。
MongoDB的主要特点包括：
1. 高性能：MongoDB是基于内存存储，支持水平扩展，能够支持高
吞吐量和大数据量的应用场景。
2. 灵活的数据模型：MongoDB支持复杂的数据类型和嵌套数据结构，使得数据的存储和查询更加方便和灵活。
3. 易扩展性：MongoDB支持水平扩展，能够通过添加更多的节点来
提高性能和可用性。
4. 高可用性：MongoDB支持自动故障转移、副本集和分片技术，提
高了系统的可用性和可靠性。
5. 开源：MongoDB是开源软件，社区活跃，有大量的文档和资源，
便于用户学习和使用。
6. 支持地理空间数据：MongoDB支持地理空间数据存储和查询，能
够处理空间相关的数据，如地图、GPS等。
总之，MongoDB是一个非常强大、灵活、高效的数据存储平台，适用
于各种应用场景和行业。
它将 NoSQL 数据库带入了新一代。
mongoDB分片操作指南-------by gongyong说明：每片只有一台mongod服务器，总共两片，一台配置服务器，一台mongos路由，事实在正式生产时，每一片应该是一个replica set其中红色部分要特别注意，不可遗漏紫色部分为命令一，mongodb分片模型图：图片解说：该图是mongodb的分片模型图，mongodb将大量的数据文件进行切割，将切割的数据块分别保存到不同的片上，其中每个片为一个副本集，而对外通过mongos提供统一接口，用户实际上感觉不到内部分片机制。
Replica Set（副本集），mongodb集群的一种实现方式，该副本集由一台活跃Mongodb服务器（节点）和两台非活跃Mongodb服务器（节点）组成，其中活跃节点会由Mongodb自动选举产生，数据插入在活跃节点，备份到非活跃节点，默认非活跃节点不可进行读写操作，可配置在非活跃节点进行读操作。
Mongos：mongo路由器，对外屏蔽内部数据存储，客户端只需要连接mongos，mongos会根据实际情况将操作分发到不同的片（Replica Set）注：mongos启动前需要启动配置服务器，有多少个片就有多少个配置服务器。
二，建立分片步骤如下：1.在一台机器上模拟两个shard，启动：[root@localhost mongodb]# ./bin/mongod --dbpath /opt/mongodb/data_tmp --logpath /opt/mongodb/log_tmp --port 27017 --fork --shardsvr[root@localhost mongodb]# ./bin/mongod --dbpath /opt/mongodb/data_tmp2 --logpath /opt/mongodb/log_tmp2 --port 27018 --fork --shardsvr2.启动配置服务器[root@localhost mongodb]# ./bin/mongod --dbpath /opt/mongodb/data_config/ --logpath /opt/mongodb/log_config --port 10000 --fork --configsvr3.启动mongos[root@localhost mongodb]# ./bin/mongos --port 20000 --configdb localhost:10000 --logpath /opt/mongodb/log_mongos --fork --chunkSize 54.连接上mongos，连接方式如下：[root@localhost mongodb]# ./bin/mongo localhost:20000/admin5.连接上mongos后，在mongos上添加片mongos> db.runCommand({addshard:"localhost:27017",allowLocal:true}) { "shardAdded" : "shard0000", "ok" : 1 }mongos> db.runCommand({addshard:"localhost:27018",allowLocal:true}) { "shardAdded" : "shard0001", "ok" : 1 }查看片信息mongos> db.runCommand({listshards:1}){"shards" : [{"_id" : "shard0000","host" : "localhost:27017"},{"_id" : "shard0001","host" : "localhost:27018"}],"ok" : 1}6.关键步骤，在mongos上连接上配置服务器，（疑问：连接上配置服务器后所有的操作时在mongos上操作还是在配置服务器上操作？客户端是连接的mongos吗？还是连接的配置服务器？）mongos> config=connect("localhost:10000")connecting to: localhost:10000localhost:10000> config=config.getSisterDB("config")config建立test数据库：> test=db.getSisterDB("test")test开启该数据库分片功能：> db.runCommand({enablesharding:"test"}){ "ok" : 1 }开启people集合的分片功能：> db.runCommand({shardcollection:"test.people",key:{name:1}}) { "collectionsharded" : "test.people", "ok" : 1 }7.准备工作完毕，分片功能搭建完成，下面就可以进行操作了查看分片信息：> db.printShardingStatus()--- Sharding Status ---sharding version: { "_id" : 1, "version" : 3 }shards:{ "_id" : "shard0000", "host" : "localhost:27017" }{ "_id" : "shard0001", "host" : "localhost:27018" }databases:{ "_id" : "admin", "partitioned" : false, "primary" : "config" }{ "_id" : "test", "partitioned" : true, "primary" : "shard0000" }test.people chunks:shard0000 1{ "name" : { $minKey : 1 } } -->> { "name" : { $maxKey : 1 } } on : shard0000 { "t" : 1000, "i" : 0 }可以看出，此处只有一个分片在使用中查看集合信息> show collectionspeoplesystem.indexes在people集合插入信息> db.people.insert({name:"sky_people",sex:"male",age:25});> db.people.find(){ "_id" : ObjectId("4efbaab954d27d6f8972cc71"), "name" : "sky_people", "sex" : "male", "age" : 25 }查看people集合信息> db.people.stats(){"sharded" : true,"flags" : 1,"ns" : "test.people","count" : 1,"numExtents" : 1,"size" : 72,"storageSize" : 8192,"totalIndexSize" : 16352,"indexSizes" : {"_id_" : 8176,"name_1" : 8176},"avgObjSize" : 72,"nindexes" : 2,"nchunks" : 1,"shards" : {"shard0000" : {"ns" : "test.people","count" : 1,"size" : 72,"avgObjSize" : 72,"storageSize" : 8192,"numExtents" : 1,"nindexes" : 2,"lastExtentSize" : 8192,"paddingFactor" : 1,"flags" : 1,"totalIndexSize" : 16352,"indexSizes" : {"_id_" : 8176,"name_1" : 8176},"ok" : 1}},"ok" : 1}查看分片信息，可以发现，由于插入的信息量小，故所有的信息都存储在一个片上> db.printShardingStatus()--- Sharding Status ---sharding version: { "_id" : 1, "version" : 3 }shards:{ "_id" : "shard0000", "host" : "localhost:27017" }{ "_id" : "shard0001", "host" : "localhost:27018" }databases:{ "_id" : "admin", "partitioned" : false, "primary" : "config" }{ "_id" : "test", "partitioned" : true, "primary" : "shard0000" }test.people chunks:shard0000 1{ "name" : { $minKey : 1 } } -->> { "name" : { $maxKey : 1 } } on : shard0000 { "t" : 1000, "i" : 0 }插入大量信息，然后查看信息，可以发现，信息已经存储在不同的片上了> for(i=0;i<10000;i++){... db.people.insert({name:"sky_people"+i,sex:"male",age:25+i});... }> db.printShardingStatus()--- Sharding Status ---sharding version: { "_id" : 1, "version" : 3 }shards:{ "_id" : "shard0000", "host" : "localhost:27017" }{ "_id" : "shard0001", "host" : "localhost:27018" }databases:{ "_id" : "admin", "partitioned" : false, "primary" : "config" }{ "_id" : "test", "partitioned" : true, "primary" : "shard0000" }test.people chunks:shard0000 2shard0001 1{ "name" : { $minKey : 1 } } -->> { "name" : "sky_people" } on : shard0000 { "t" : 2000, "i" : 1 }{ "name" : "sky_people" } -->> { "name" : "sky_people999" } on : shard0000 { "t" : 1000, "i" : 3 }{ "name" : "sky_people999" } -->> { "name" : { $maxKey : 1 } } on : shard0001 { "t" : 2000, "i" : 0 }删除片的命令db.runCommand( { removeshard : "localhost:27031"} )。
MongoDB分⽚技术原理和⾼可⽤集群配置⽅案⼀、Sharding分⽚技术1、分⽚概述当数据量⽐较⼤的时候，我们需要把数分⽚运⾏在不同的机器中，以降低CPU、内存和Io的压⼒，Sharding就是数据库分⽚技术。
MongoDB分⽚技术类似MySQL的⽔平切分和垂直切分，数据库主要由俩种⽅式做Sharding：垂直扩展和横向切分。
垂直扩展的⽅式就是进⾏集群扩展，添加更多的CPU，内存，磁盘空间等。
横向切分则是通过数据分⽚的⽅式，通过集群统⼀提供服务：⼆、MongoDB分⽚架构原理（1）MongoDB的Sharding架构其中，Router负责接受访问，然后去config服务器中查询元数据，将数据存储信息返回给Router，Router服务器根据元数据的存储信息在分⽚服务器上读取或者写⼊数据。
（2）MongoDB分⽚架构中的⾓⾊a、数据分⽚（Shards）⽤来保存数据，保证数据的⾼可⽤性和⼀致性。
可以是⼀个单独的mongod实例，也可以是⼀个副本集。
在⽣产环境下Shard⼀般是⼀个Replica Set，以防⽌该数据⽚的单点故障。
所有Shard中有⼀个PrimaryShard，⾥⾯包含未进⾏划分的数据集合：b、查询路由（Query Routers）路由就是mongos的实例，客户端直接连接mongos，由mongos把读写请求路由到指定的Shard上去。
⼀个Sharding集群，可以有⼀个mongos，也可以有多个mongos以减轻客户端请求的压⼒。
c、配置服务器（Config servers）保存集群的元数据（metadata），包含各个Shard的路由规则。
Sharding分⽚技术（混合模式）⾼可⽤⽅案的架构图如下：1）Sharding分⽚技术（混合模式）⾼可⽤架构下MongoDB数据写⼊流程第⼀步：客户端访问路由服务器（Mongos），路由服务器接收到请求。
第⼆步：路由服务器将客户端访问配置服务器，配置服务器（Config）根据根据请求信息将数据信息写⼊到元数据中。
mongodb大表清理数据后释放磁盘空间理论说明1. 引言1.1 概述本篇文章旨在探讨MongoDB大表清理数据后释放磁盘空间的理论说明。
在大数据时代，对于使用MongoDB进行数据存储和管理的系统，经常会面临磁盘空间占用过高的问题。
针对这一问题，我们将详细介绍MongoDB的数据存储机制以及清理数据的策略和方法。
1.2 文章结构本文共分五个部分进行阐述。
首先，我们将在引言部分给出文章的概述、目的以及文章结构安排。
接着，在第二部分中，我们将简要介绍MongoDB的数据存储机制，并深入分析大表导致磁盘空间占用过高的原因。
然后，在第三部分中，我们将详细解析数据存储与释放过程，并评估清理数据对数据库性能的影响。
接下来，在第四部分中，我们通过实际案例分析和经验总结，展示如何处理并释放大表占用的磁盘空间，并进行磁盘空间释放效果对比和评估。
最后，在第五部分中，我们将总结主要研究结果及其意义，并探讨存在问题及未来工作展望。
1.3 目的本文的目的在于全面阐述MongoDB大表清理数据后释放磁盘空间的理论说明。
我们将解释MongoDB的数据存储机制，分析大表导致磁盘空间占用过高的原因，并提供清理数据的策略和方法。
此外，我们还将通过实际案例分析和经验总结，展示如何处理并释放大表占用的磁盘空间，并评估清理数据对数据库性能的影响。
最终，我们将总结主要研究结果及其意义，并提出存在问题及未来工作展望。
以上是"1. 引言"部分的内容，请根据需要进行修改和完善。
2. MongoDB 大表清理数据后释放磁盘空间2.1 MongoDB 数据存储机制简介MongoDB是一种文档型数据库，它使用BSON（Binary JSON）格式来存储数据。
在MongoDB中，数据以集合的形式组织，并且每个集合可以包含多个文档。
每个文档都是一个键值对（key-value pairs）的无序集合，其中键是字符串而值可以是不同类型的数据。
mongodb 分片集群运维基本操作MongoDB是一种开源的NoSQL数据库，它的分片集群能够提供高可用性和可扩展性。
在运维分片集群时，需要掌握一些基本操作来保证集群的正常运行和性能优化。
1. 分片策略分片是将数据分散存储在多个机器上的过程。
在创建分片集群之前，需要制定分片策略，即确定数据如何划分和存储。
可以根据数据的某个字段进行范围划分，也可以使用哈希算法进行均匀分布。
2. 配置服务器分片集群需要使用配置服务器来存储集群的元数据信息。
配置服务器可以是单独的进程或者是一个副本集。
在启动配置服务器之前，需要指定配置服务器的地址和端口，并且保证配置服务器的高可用性。
3. 启动分片集群启动分片集群前，需要先启动配置服务器。
然后可以通过mongos进程连接到配置服务器，并启动mongos进程。
mongos进程作为路由器，将客户端的请求路由到正确的分片上。
启动mongos进程时，需要指定配置服务器的地址和端口。
4. 添加分片在启动分片集群后，需要将分片添加到集群中。
首先需要启动分片服务器进程，并指定分片服务器的地址和端口。
然后在mongos进程中执行addShard命令，将分片添加到集群中。
5. 数据迁移数据迁移是将数据从一个分片移动到另一个分片的过程。
可以通过命令行工具或者MongoDB提供的API来进行数据迁移。
在进行数据迁移之前，需要先选择目标分片，并确定数据迁移的策略。
6. 监控集群监控集群的运行状态是保证集群正常运行的重要环节。
可以使用MongoDB提供的监控工具来监控集群的性能指标，如吞吐量、延迟等。
还可以通过日志文件来查看集群的运行情况，以及发现和解决潜在的问题。
7. 故障处理在分片集群中，可能会出现各种故障，如分片服务器宕机、网络故障等。
当发生故障时，需要及时进行故障处理，以保证集群的可用性。
可以通过监控工具来发现故障，并采取相应的措施，如重新启动故障节点、替换故障节点等。
8. 性能优化性能优化是提高分片集群性能的关键。
