MongoDB技术架构介绍

mongodb原理和架构MongoDB是一个开源的文档数据库，使用JSON格式存储数据。

它采用了分布式架构，支持水平扩展，具有高可用性和高性能。

一、MongoDB的架构1.1 单节点架构MongoDB最基本的架构是单节点架构，即一个MongoDB实例只有一个进程在运行。

这种架构的好处是简单易用，适用于小规模的应用场景。

但是，单节点架构的缺点也很明显，它无法处理大量的数据和高并发的请求。

1.2 副本集架构为了解决单节点架构的问题，MongoDB引入了副本集架构。

副本集由多个MongoDB实例组成，其中一个是主节点，其他节点是从节点。

主节点负责处理所有的写操作和大部分的读操作，从节点负责复制主节点的数据并处理一部分读操作。

当主节点宕机或者网络故障时，从节点会自动选举出一个新的主节点。

副本集架构的优点是能够提供高可用性和数据冗余，同时也可以通过读写分离来提高性能。

但是，副本集架构也存在一些问题，比如需要协调节点之间的数据同步和选举过程，以及从节点可能会因为网络延迟导致数据滞后。

1.3 分片架构当数据量达到一定规模时，副本集架构也无法满足需求。

此时，MongoDB提供了分片架构。

分片架构由多个MongoDB实例组成，其中每个实例称为一个分片。

每个分片只负责一部分数据的存储和处理。

分片架构可以通过水平扩展来提高性能和容量。

分片架构的核心是分片键，它是用来将数据分配到不同分片的依据。

MongoDB支持两种分片键，一种是区间分片键，另一种是哈希分片键。

区间分片键将数据根据一定的范围划分到不同的分片中，而哈希分片键则是将数据根据哈希值分配到不同的分片中。

分片架构的优点是能够水平扩展，支持大规模的数据存储和处理。

但是，分片架构也存在一些问题，比如需要协调各个分片之间的数据同步和查询优化，以及需要处理跨分片的事务和索引。

二、MongoDB的原理2.1 存储引擎MongoDB支持多种存储引擎，其中最常用的是WiredTiger。

mongodb的体系结构MongoDB的体系结构MongoDB是一种开源的文档数据库，采用分布式文件存储方式，具有高性能、可扩展性和灵活性。

它的体系结构包括数据库、集合、文档和索引四个层级。

1. 数据库层级在MongoDB中，数据库是最高级别的容器，用于存储和管理相关的数据集合。

一个MongoDB服务器可以同时运行多个数据库，每个数据库都有自己的文件和内存缓存。

2. 集合层级集合是MongoDB中的一个概念，类似于关系型数据库中的表。

一个数据库可以包含多个集合，每个集合都由多个文档组成。

集合不需要预定义模式，可以动态地添加或删除字段。

3. 文档层级文档是MongoDB中最基本的数据单位，类似于关系型数据库中的行。

文档是一个键值对的集合，可以包含不同类型的字段，如字符串、整数、日期等。

文档使用BSON（二进制JSON）格式进行存储，支持嵌套和数组类型的数据结构。

4. 索引层级索引是MongoDB中提高查询性能的关键元素。

通过在一个或多个字段上创建索引，可以加快查询操作的速度。

MongoDB支持多种类型的索引，包括单字段索引、复合索引、全文索引等。

索引可以在集合级别创建，也可以在文档级别创建。

MongoDB的体系结构是基于分布式存储的，可以通过水平扩展来满足大规模数据存储和处理的需求。

在一个MongoDB集群中，可以将数据分布在多个节点上，实现数据的负载均衡和高可用性。

每个节点都可以独立地处理查询和写入操作，通过复制机制来保证数据的一致性。

为了提高性能，MongoDB使用了内存映射文件的方式进行数据访问。

它将数据文件映射到内存中，通过缓存机制来加速读取操作。

同时，MongoDB还支持写入操作的持久化，可以将数据写入磁盘，保证数据的安全性。

除了基本的CRUD操作，MongoDB还提供了丰富的功能和特性，如聚合框架、地理空间索引、数据分片等。

这些功能可以帮助开发人员更方便地进行数据分析和处理，提高应用程序的性能和可扩展性。

MongoDB（⼀）：关系型数据库和⾮关系型数据库⼀、关系型数据库1、概念关系型数据库：是指采⽤了关系模型来组织数据的数据库，是⽬前各类数据库中使⽤最为⼴泛的数据库系统。

简单的说，关系模型指的就是⼆维表格模型，⼀个关系型数据库就是由⼆维表及其之间的联系所组成的⼀个数据组织。

现在使⽤的主流数据库都是关系型数据库，⽐如SQL Server、Mysql、Oracle、DB2、Sybase等。

关系模型中常⽤的概念：关系：可以理解为⼀张⼆维表，每个关系都具有⼀个关系名，就是通常说的表名。

元组：可以理解为⼆维表中的⼀⾏，在数据库中经常被称为记录。

属性：可以理解为⼆维表中的⼀列，在数据库中经常被称为字段。

域：属性的取值范围，也就是数据库中某⼀列的取值限制。

关键字：⼀组可以唯⼀标识元组的属性，数据库中常称为主键，由⼀个或多个列组成。

关系模式：指对关系的描述。

其格式为：关系名(属性1、属性2......属性N)，在数据库中称为表结构。

2、关系型数据库的特点关系数据库是⽀持关系模型的数据库系统。

⽽关系模型是由⼆维表来表⽰实体和实体间联系的模型。

使⽤⼆维表存储数据，对使⽤者来说很直观，更容易理解。

使⽤关系数据库的优势主要表现在以下⼏个特性：(1)操作⽅便性。

通过开发应⽤程序和数据库连接，⽤户能⽅便的对数据库中数据进⾏操作，特别对没有数据库基础的⼈，也可以通过数据库管理系统，直接在数据库中操作。

(2)易于维护性。

关系数据库在完整性约束中提供了实体完整性、参照完整性和⽤户定义的完整性，通过完整性约束可以⼤⼤降低数据存储的冗余及数据不⼀致的概率。

(3)访问数据的灵活性。

关系数据库中提供了诸如视图、存储过程、触发器、索引等对象，使数据的访问更加灵活。

3、关系型数据库的瓶颈(1)对数据库⾼并发读写的需求Web2.0⽹站要根据⽤户个性化信息来实时⽣成动态页⾯和提供动态信息，⽆法使⽤动态页⾯静态化技术，因此数据库的并发负载⾮常⾼，往往要达到每秒上万次的读写请求，此时，服务器上的磁盘根本⽆法承受如此之多的读写请求。

mongodb原理和架构MongoDB是一个开源的、跨平台的文档型数据库。

它以C++语言编写，由于其华丽的性能和易用的特性而受到广泛的欢迎。

MongoDB的原理和架构主要涉及到以下几个方面：1.数据模型：MongoDB采用文档型数据库模型，将数据存储为类似于JSON的文档。

这些文档可以包含具有不同结构的数据，可以嵌套和索引。

文档以集合的形式组织，集合可以看作是一组相似文档的容器。

2.存储引擎：MongoDB支持多种存储引擎，如WiredTiger、MMAPv1等。

其中最常用的是WiredTiger引擎，它采用B树索引和前缀压缩技术，提供了高效的存储和查询性能。

3.分布式架构：MongoDB采用分布式架构来支持大规模的数据存储和处理。

它可以通过水平扩展来增加性能和容量，通过将数据分片存储在多个分片服务器上来实现横向扩展。

数据的分片和复制也提高了数据的可用性和容错性。

4.数据副本集：MongoDB通过数据副本集实现高可用性和故障恢复。

数据副本集是一组具有相同数据的副本，其中一个成员被选为主节点（Primary），其他成员为从节点（Secondary）。

主节点处理所有的写操作，从节点通过复制主节点的操作日志来保持数据的一致性。

5.查询优化：MongoDB支持丰富的查询语法和索引机制，可以高效地执行各种查询。

它支持主键索引、复合索引、全文索引等，通过选择合适的索引和使用合理的查询语法，可以提高查询性能。

6.分片策略：MongoDB通过分片策略将数据分布在多个节点上，以实现横向扩展和负载均衡。

分片策略控制了数据如何进行分片，可以按照范围、哈希等多种方式进行分片。

分片策略还可以根据数据的访问模式和负载情况进行动态调整。

7.安全性：MongoDB提供了多种安全机制来保护数据的安全性。

它支持SSL/TLS加密连接、访问控制、身份验证等。

管理员可以为每个用户分配不同的权限，限制其对数据库的访问和操作。

总结起来，MongoDB的原理和架构主要包括数据模型、存储引擎、分布式架构、数据副本集、查询优化、分片策略和安全性等。

mongodb内部原理MongoDB是一种非关系型数据库，它的内部原理主要包括数据存储、索引、查询优化和复制等方面。

本文将从这些方面来探讨MongoDB 的内部原理。

一、数据存储MongoDB使用B树数据结构来存储数据。

B树是一种多叉树，它具有平衡性和高效的查找性能。

在MongoDB中，每个集合都有一个对应的B树文件，用于存储该集合的数据。

B树文件由一个或多个数据块组成，每个数据块存储多个文档。

文档是MongoDB中的基本数据单元，类似于关系型数据库中的行。

MongoDB的数据存储采用了预分配空间的方式。

在写入数据时，MongoDB会预先分配一块连续的磁盘空间，并将数据写入其中。

当这块空间被写满时，MongoDB会继续预分配下一块空间。

这种方式可以减少频繁的磁盘扩容操作，提高写入性能。

二、索引索引在MongoDB中起到了重要的作用，它可以大大提高查询的效率。

MongoDB使用了B树索引来实现数据的快速查找。

B树索引由多个B 树组成，每个B树对应一个索引字段。

在查询时，MongoDB会根据索引字段的值在B树上进行查找，从而快速定位到需要的数据。

MongoDB支持多种类型的索引，包括单字段索引、复合索引、地理空间索引等。

单字段索引是指对一个字段进行索引，复合索引是指对多个字段进行索引，地理空间索引是指对地理位置进行索引。

索引的选择需要根据具体的业务场景和查询需求来决定。

三、查询优化MongoDB使用了查询优化器来优化查询的执行计划。

查询优化器会根据查询语句的条件和索引的选择性来选择合适的索引。

在执行查询时，MongoDB会根据查询条件和索引选择生成一个查询计划，然后通过执行计划来获取数据。

为了加快查询速度，MongoDB还支持查询结果的缓存。

当执行查询时，MongoDB会将查询结果缓存在内存中，下次执行相同的查询时可以直接从缓存中获取结果，从而提高查询的响应速度。

四、复制复制是MongoDB的一个重要特性，它可以提高数据库的可用性和可靠性。

MongoDB 简易使用测试特点高性能、易部署、易使用，存储数据非常方便。

主要功能特性有：∙面向集合存储，易存储对象类型的数据。

∙模式自由。

∙支持动态查询。

∙支持完全索引，包含内部对象。

∙支持查询。

∙支持复制和故障恢复。

∙使用高效的二进制数据存储，包括大型对象（如视频等）。

∙自动处理碎片，以支持云计算层次的扩展性∙支持Python，PHP，Ruby，Java，C，C#，Javascript，Perl及C++语言的驱动程序，社区中也提供了对Erlang及.NET等平台的驱动程序。

∙文件存储格式为BSON（一种JSON的扩展）。

∙可通过网络访问。

功能∙面向集合的存储：适合存储对象及JSON形式的数据。

∙动态查询：Mongo支持丰富的查询表达式。

查询指令使用JSON形式的标记，可轻易查询文档中内嵌的对象及数组。

∙完整的索引支持：包括文档内嵌对象及数组。

Mongo的查询优化器会分析查询表达式，并生成一个高效的查询计划。

∙查询监视：Mongo包含一个监视工具用于分析数据库操作的性能。

∙复制及自动故障转移：Mongo数据库支持服务器之间的数据复制，支持主-从模式及服务器之间的相互复制。

复制的主要目标是提供冗余及自动故障转移。

∙高效的传统存储方式：支持二进制数据及大型对象（如照片或图片）∙自动分片以支持云级别的伸缩性：自动分片功能支持水平的数据库集群，可动态添加额外的机器。

∙网站数据：Mongo非常适合实时的插入，更新与查询，并具备网站实时数据存储所需的复制及高度伸缩性。

∙缓存：由于性能很高，Mongo也适合作为信息基础设施的缓存层。

在系统重启之后，由Mongo搭建的持久化缓存层可以避免下层的数据源过载。

∙大尺寸，低价值的数据：使用传统的关系型数据库存储一些数据时可能会比较昂贵，在此之前，很多时候程序员往往会选择传统的文件进行存储。

∙高伸缩性的场景：Mongo非常适合由数十或数百台服务器组成的数据库。

Mongo的路线图中已经包含对MapReduce引擎的内置支持。

mongodb底层读写原理MongoDB是一种非常流行的NoSQL数据库，它以其高性能和可伸缩性而闻名。

在了解MongoDB底层的读写原理之前，我们先来了解一下它的一些基本概念。

MongoDB采用了一种称为BSON（Binary JSON）的二进制格式来存储数据。

BSON是一种轻量级、可扩展的数据表示格式，类似于JSON，但比JSON更高效。

它支持各种数据类型，包括字符串、数字、数组、嵌套文档等。

在MongoDB中，数据存储在一个称为集合（Collection）的概念中。

集合类似于关系型数据库中的表，但没有固定的模式。

这意味着可以在同一个集合中存储不同结构的文档。

读操作是MongoDB底层的一项重要功能。

当执行读操作时，MongoDB首先会在内存中查找数据。

如果数据在内存中找到了，MongoDB会直接返回结果，这是一种非常快速的方式。

如果数据不在内存中，MongoDB会从磁盘中读取数据，并将其加载到内存中，然后返回结果。

写操作是MongoDB底层的另一个关键功能。

当执行写操作时，MongoDB会将数据写入磁盘中的一个称为日志（Log）的文件中。

这个过程称为写入操作的预写日志（Write Ahead Log，简称WAL），它确保了数据的持久性和一致性。

在写入操作完成后，MongoDB会将数据更新到内存中的数据集（Data Set）中。

同时，MongoDB还会将数据异步地刷新到磁盘中的数据文件中。

这种异步刷新的方式可以提高写入操作的性能。

除了预写日志和内存数据集之外，MongoDB还使用了一种称为索引（Index）的结构来加速查询操作。

索引可以提供快速的数据定位和排序功能，以提高查询性能。

总的来说，MongoDB底层的读写原理是基于内存和磁盘的数据访问方式。

读操作首先在内存中查找数据，然后才是磁盘。

写操作首先将数据写入预写日志，然后更新内存数据集，并异步刷新到磁盘。

通过使用索引，MongoDB可以加速查询操作。

mongodb的存储原理MongoDB是一个开源文档型数据库，使用BSON（Binary JSON）作为存储格式。

它使用了一种称为“面向文档”的数据模型来存储数据。

在MongoDB中，文档是数据库中的基本数据单位。

一个文档可以是一个JSON对象，它可以具有多个属性，每个属性都包括一个值。

MongoDB将文档存储到集合中，集合是许多文档的容器。

下面是MongoDB的存储原理。

一、存储引擎MongoDB使用多种存储引擎，包括WiredTiger、MMAPv1和RockDB。

其中WiredTiger是MongoDB 3.2及其以上版本的默认存储引擎。

WiredTiger存储引擎使用了高级数据压缩技术，可以大大减少存储空间的使用。

此外，WiredTiger还支持以原子方式读写数据，能够提高数据库的并发性能。

二、数据分片MongoDB支持数据分片，这意味着可以将数据分布在多个服务器上，从而实现水平扩展。

当数据到达容量极限时，可以通过添加更多的服务器来扩展MongoDB集群。

这种水平扩展的方法增加了系统可扩展性和容错能力。

三、索引索引是MongoDB的重要组成部分。

MongoDB支持多种类型的索引，包括单键索引、复合索引、全文索引、地理空间索引等。

MongoDB使用B树作为索引数据结构。

B树的高度非常低，可以快速访问索引数据。

索引可以大大提高查询性能。

四、写入操作MongoDB提供了高效的写入操作。

其中最独特的是upsert操作，这种操作可以在一个操作中更新文档，并且如果文档不存在，则MongoDB会创建一个新文档。

这种操作可以大大提高操作效率。

五、读取操作MongoDB支持多种读取操作，包括查询、聚合、分组等。

MongoDB使用查询优化器来分析查询语句并找到最优执行方式。

在执行查询时，MongoDB会优先使用索引，从而提高查询性能。

总之，MongoDB通过使用高效的存储引擎、支持数据分片和索引、提供高效的写入/读取操作等方式来保证高效的数据存储和访问。

基于MongoDB的NoSQL数据库系统设计与实现一、引言在当今信息爆炸的时代，数据量呈指数级增长，传统的关系型数据库已经无法满足大规模数据存储和处理的需求。

因此，NoSQL数据库应运而生，成为了解决大数据存储和处理问题的利器。

MongoDB作为一种典型的NoSQL数据库，以其高性能、高可扩展性和灵活的数据模型而备受青睐。

本文将深入探讨基于MongoDB的NoSQL数据库系统设计与实现。

二、MongoDB简介MongoDB是一个面向文档的NoSQL数据库，采用BSON（Binary JSON）格式存储数据，具有高性能、高可用性和水平扩展能力。

MongoDB将数据存储为一个文档，数据结构非常灵活，可以存储不同结构和类型的数据。

同时，MongoDB支持复制集和分片集群，保证了数据的可靠性和可扩展性。

三、NoSQL数据库系统设计原则CAP定理：NoSQL数据库系统设计需要考虑CAP定理，即一致性（Consistency）、可用性（Availability）和分区容忍性（Partition Tolerance）之间的平衡。

数据模型设计：根据应用场景设计合适的数据模型，避免关系型数据库中复杂的表连接操作。

索引设计：合理设计索引可以提高查询效率，但过多的索引会增加写入操作的开销。

分片策略：根据数据量和访问模式设计合适的分片策略，实现数据在集群中的均衡分布。

四、MongoDB数据库系统架构MongoDB数据库系统由多个组件组成，包括路由器、配置服务器、数据节点等。

其中路由器负责接收客户端请求并将请求路由到对应的数据节点，配置服务器存储集群的元数据信息，数据节点负责存储实际的数据。

五、NoSQL数据库系统设计与实现步骤需求分析：明确系统需求和使用场景，确定数据存储和访问模式。

数据建模：根据需求设计合适的数据模型，包括文档结构、字段类型等。

索引设计：根据查询需求设计合适的索引，提高查询效率。

分片策略设计：根据数据量和访问模式设计合适的分片策略。

MongoDB数据库高性能、高可用架构设计随着企业服务窗口的不断增加，业务中断对很多企业意味着毁灭性的灾难，因此，跨多个数据中心的应用部署成为了当下最热门的话题之一。

如今，在跨多个数据中心的应用部署最佳实践中，数据库通常负责处理多个地理区域的读取和写入，对数据变更的复制，并提供尽可能高的可用性、一致性和持久性。

但是，并非所有的技术在选择上都是平等的。

例如，一种数据库技术可以提供更高的可用性保证，却同时只能提供比另一种技术更低的数据一致性和持久性保证。

本文先分析了在现代多数据中心中应用对于数据库架构的需求。

随后探讨了数据库架构的种类及优缺点，最后专门研究MongoDB如何适用于这些类别，并最终实现双活的应用架构。

双活的需求当组织考虑在多个跨数据中心（或区域云）部署应用时，他们通常会希望使用“双活”的架构，即所有数据中心的应用服务器同时处理所有的请求。

图1：“双活”应用架构如图1 所示，该架构可以实现如下目标：∙通过提供本地处理（延迟会比较低），为来自全球的请求提供服务。

∙即使出现整个区域性的宕机，也能始终保持高可用性。

∙通过对多个数据中心里服务器资源的并行使用，来处理各类应用请求，并达到最佳的平台资源利用率。

“双活”架构的替代方案是由一个主数据中心（区域）和多个灾备（DR）区域（如图2 所示）所组成的主-DR（也称为主-被）架构。

图2：主-DR 架构在正常运行条件下，主数据中心处理请求，而DR 站点处于空闲状态。

如果主数据中心发生故障，DR 站点立即开始处理请求（同时变为活动状态）。

一般情况下，数据会从主数据中心复制到DR 站点，以便在主数据中心出现故障时，能够迅速实施接管。

如今，对于双活架构的定义尚未得到业界的普遍认同，上述主-DR 的应用架构有时也被算作“双活”。

区别在于从主站到DR 站点的故障转移速度是否够快（通常为几秒），并且是否能够自动化（无需人为干预）。

在这样的解释中，双活体系架构意味着应用停机时间接近于零。

mongodb的索引原理
MongoDB的索引是为了提高查询性能而设计的，它使用了B树（B-tree）数据结构来实现。

B树是一种自平衡的树状结构，可以高效地支持按照键值进行查找、插入和删除操作。

MongoDB的索引原理如下：
1.索引结构：MongoDB使用B树作为索引结构。

B树是一种多路搜索树，它允许在具有大量数据的情况下快速查找和查询。

2.索引键：在MongoDB中，索引是基于一个或多个字段的值创建的。

这些字段被称为索引键。

索引键可以是单个字段，也可以是多个字段的组合。

3.索引类型：MongoDB支持多种类型的索引，包括单字段索引、复合索引、文本索引、地理空间索引等。

每种类型的索引都有不同的适用场景和查询性能。

4.索引创建和维护：当创建索引时，MongoDB会扫描集合中的每个文档，并根据指定的索引键值构建B树。

在数据插入、更新和删除时，MongoDB会自动更新索引以保持其有效性和一致性。

5.查询优化：当执行查询时，MongoDB会使用索引来加速查询过程。

它会根据查询条件和索引键的匹配情况，选择最合适的索引进行查询。

通过使用索引，可以减少查询的扫描范围，提高查询的性能。

需要注意的是，索引的创建和使用需要权衡空间占用和查询性能之间的关系。

索引会占用存储空间，并且在写入数据时会增加一定的开销。

因此，需要根据实际需求和数据访问模式来合理选择和使用索引。

总结起来，MongoDB使用B树作为索引结构，通过索引键来加速查询操作。

索引创建和维护是自动进行的。

通过合理选择和使用索引，可以提高查询性能和响应时间。

mongodb存储结构基本要素
1. 数据库：MongoDB是一种文档型数据库管理系统，具有高性能、可扩展性、高可用性等优点。

2. 集合：MongoDB中的集合类似于关系型数据库中的表，用于存储具有相同字段的文档，可以通过集合进行数据的增删改查等操作。

3. 文档：MongoDB中的文档类似于JSON格式的数据，具有自我描述性和自我包含性，可以包含键值对、数组等数据格式。

4. 字段：MongoDB中的字段是指文档中的属性，用于描述数据的具体信息，可以是数据类型、数据格式、数据长度等。

5. 索引：MongoDB中的索引类似于关系型数据库中建立的索引，用于提高查询数据的速度。

6. 存储引擎：MongoDB中的存储引擎用于控制数据的存储和检索，常见的存储引擎包括WiredTiger、In-Memory和MMAPv1等。

7. 分片：MongoDB中的分片用于水平划分数据，以应对数据量过大、访问压力过大等问题，提高系统的可扩展性。

mongodb 详解
MongoDB是一个开源、跨平台、文档型的 NoSQL 数据库管理系统。

它不是关系型数据库，而是面向文档的数据库。

MongoDB采用BSON （Binary JSON）格式来存储数据，支持复杂的数据类型和嵌套数据结构，以及灵活的查询语言。

MongoDB的主要特点包括：
1. 高性能：MongoDB是基于内存存储，支持水平扩展，能够支持高
吞吐量和大数据量的应用场景。

2. 灵活的数据模型：MongoDB支持复杂的数据类型和嵌套数据结构，使得数据的存储和查询更加方便和灵活。

3. 易扩展性：MongoDB支持水平扩展，能够通过添加更多的节点来
提高性能和可用性。

4. 高可用性：MongoDB支持自动故障转移、副本集和分片技术，提
高了系统的可用性和可靠性。

5. 开源：MongoDB是开源软件，社区活跃，有大量的文档和资源，
便于用户学习和使用。

6. 支持地理空间数据：MongoDB支持地理空间数据存储和查询，能
够处理空间相关的数据，如地图、GPS等。

总之，MongoDB是一个非常强大、灵活、高效的数据存储平台，适用
于各种应用场景和行业。

它将 NoSQL 数据库带入了新一代。

mongodb的索引的数据结构
MongoDB是一种基于文档的NoSQL数据库系统，它使用的索引数
据结构是B树或B树变体。

MongoDB的索引可以是单字段或多字段，也可以是嵌入式文档的字段。

每个索引都有一个唯一的名称，以便可以通过名称引用它。

B树是MongoDB中最常用的索引数据结构。

B树是一种常见的平衡树，它以树结构形式组织键值对，并且能够快速查找数据。

在MongoDB 中，B树需要满足下列三个要求：有序、不会出现重复键值、键值对可以进行范围查找。

B树的实现在MongoDB中经过优化，其高效性能确保了快速的索引
查找和排序。

除了B树，MongoDB还提供了其他类型的索引，例如，地理空间索引，用于处理地理位置相关的查询，以及全文索引，用于文本搜索。

在MongoDB中，索引的创建和删除都非常简单。

您可以使用createIndex()方法来创建索引，并使用dropIndex()方法来删除索引。

此外，MongoDB已经内置了一些预定义的索引类型，以方便并减少
手动索引的创建。

例如，当创建集合时，MongoDB会自动创建一个名为_id_的索引，该索引用于快速查找文档的ID。

总之，MongoDB的索引是一个非常重要的特性，可帮助优化数据库性能。

它使用的数据结构是经过优化的B树或B树变体，以及其他类型的索引，如地理空间索引和全文索引。

索引的创建和删除都非常简单，并且MongoDB还提供了一些预定义的索引类型，以方便和减少手动索引的创建。

mongodb存储原理MongoDB存储原理。

MongoDB是一种非关系型数据库，采用了文档存储的方式，它的存储原理与传统的关系型数据库有所不同。

在了解MongoDB的存储原理之前，我们先来了解一下MongoDB的一些基本概念。

1. 文档。

在MongoDB中，数据以文档的形式存储，文档是一种类似于JSON的数据结构，可以包含不同类型的数据。

每个文档都有一个唯一的_id字段来标识自己，文档之间可以嵌套存储，这种灵活的数据结构使得MongoDB非常适合存储半结构化数据。

2. 集合。

集合是一组文档的组合，类似于关系型数据库中的表。

不同于关系型数据库，集合中的文档可以是不同结构的，这意味着在同一个集合中可以存储各种不同类型的数据。

3. 数据库。

数据库是集合的容器，一个MongoDB实例可以包含多个数据库，每个数据库又可以包含多个集合。

理解了这些基本概念后，我们来看一下MongoDB的存储原理。

MongoDB的存储原理主要包括以下几个方面：1. 存储引擎。

MongoDB采用了多种存储引擎，其中最常用的是WiredTiger存储引擎。

WiredTiger是一种高性能的、支持事务的存储引擎，它采用了B树索引和LSM树（Log-Structured Merge Tree）的混合存储结构，能够提供高效的数据读写能力。

2. 数据存储格式。

在MongoDB中，文档以BSON（Binary JSON）的格式存储在磁盘上。

BSON是一种二进制的JSON表示形式，它比JSON更加高效，能够更好地支持数据的快速读写。

3. 数据存储布局。

MongoDB的数据存储布局采用了预分配的方式，即在文档插入时会预先分配一定大小的空间，这样可以减少频繁的磁盘分配操作，提高写入性能。

此外，MongoDB还采用了数据压缩和数据预填充等技术来进一步提升存储性能。

4. 索引。

索引在MongoDB中扮演着非常重要的角色，它能够大大提高数据的检索效率。

MongoDB数据库技术入门MongoDB是一款非关系型数据库，采用类似于Javascript的BSON格式存储数据，广泛应用于Web、移动应用、物联网等领域。

本文将为大家介绍MongoDB的基本概念和使用方法。

一、MongoDB概述MongoDB由10gen公司于2007年创建，目标是提供一种可扩展的高性能、易使用、可靠的数据库系统。

与传统关系型数据库相比，MongoDB具有更好的可扩展性和更加灵活的数据模型。

它支持丰富的查询语言，并具有高效的读写速度，在大数据处理方面有着很好的表现。

MongoDB的特点有：1. 高可扩展性：支持集群分布式部署，支持数据分片和自动负载均衡。

2. 易用性：MongoDB采用类似于Javascript的BSON格式存储数据，具有很好的可读性和易用性。

3. 数据模型灵活：MongoDB没有固定的模式，数据结构不需要使用预先定义的模式，可提供更加灵活的数据模型。

4. 高性能：MongoDB支持并发读写操作和索引，读取速度快。

5. 支持丰富的查询语言：MongoDB支持丰富的查询语言，包括聚合查询、地理空间查询、文本搜索等。

二、 MongoDB的安装MongoDB的安装非常简单，只需下载相应的安装包即可。

安装完毕后，在命令行界面键入mongo，即可进入MongoDB的交互式命令行环境。

安装完毕后，需要配置环境变量。

在Windows环境下，可将mongod.exe所在路径加入PATH中，使得mongod命令可直接在命令行中使用。

三、 MongoDB的基本操作1. 创建数据库和集合MongoDB中的数据都存储在集合（collection）中，集合相当于关系型数据库中的表。

要创建一个新的数据库和集合，只需在交互式命令行环境中输入：> use mydb> db.createCollection("user")这里，use mydb用于创建名为mydb的数据库，而db.createCollection("user")则用于创建名为user的集合。

MongoDB数据库和数据分析模块总结MongoDB数据库和数据分析模块总结scrapy的基础知识和MongoDB的简介⾮关系型数据库之MongoDBMongoDB⽤户权限爬取王者荣耀⽪肤思路pomongo模块ipython模块jupyter模块Anaconda软件数据分析numpy科学计算模块索引切⽚pandas模块简介DataFrame读取外部数据scrapy的基础知识和MongoDB的简介爬⾍框架Scrapy功能最为强⼤，使⽤频率⾼的⼀款异步爬⾍框架'''同步：提交完任务之后原地等待任务的返回结果期间不做任何事情异步：提交任务之后不等待任务的返回结果，可以去做其他事情，结果可以通过回调获取（主动获取）下载错误解决问题1:window系统可能出现问题 can not import Deque解决⽅法： 升级python版本系统问题2： vistual c++ 需要c++升级解决⽅法： 在mac系统下载不会出错，但windows系统可能出错如果windows电脑下载出错，且没有关键字提⽰报错需要进⾏格外配置1.pip3 install wheel2.下载对应系统的⽂件，cp36：python3.6版本，amd64表⽰64位操作系统，win32表⽰32为操作系统3.下载⽂件后的安装位置最好容易找到　可以通过报错信息查看⽂件的存放位置pip3 install ⽂件名4.pip3 install pywin325.pip3 install scrapyscrapy的基本使⽤和⽂件介绍创建⼀个项⽬语法：scrapy startproject 项⽬名⾸先进⼊D盘创建⽂件创建爬⾍⽂件语法：scrapy genspider 名称⽹址创建⽂件前，先进⼊⽬标⽂件夹算数符介绍"""add 加(add)sub 减(substract)div 除(divide)mul 乘(multiple)"""scrapy⽂件介绍spiders⽂件： 存放爬⾍项⽬⽂件setting.py: 需要进⾏相关配置，将“ROBOTSTXT_OBEY=True” 改为 “ROBOTSTXT_OBEY=None”middlewares.py: 中间件⽂件piplines.py: 数据存储相关的⽂件⾮关系型数据库之MongoDBMonogoDB的特点该数据库数据的量和处理时间较于关系型数据库快很多该数据库也是⼤数据⽣态圈⾥⾯常⽤的⼀款软件该数据是⼀款最像关系型数据库的⾮关系数据库（⽂本结构）MongoDB重要概念MySQL MongonDB名称database database库table 表collection集合row　⾏document⽂档colum field字段MongoDB⽂件介绍bin⽂件夹'''⾥⾯存放⼀堆启动⽂件'''mongod.exe 服务端mongo.exe 客户端data⽂件夹 存放数据相关⽂件log⽂件夹 存放⽇志相关⽂件启动MongoDB步骤配置环境变量进⼊环境变量配置对系统变量Path进⾏编辑MongoDB的相关⽂件设置查看mongodb⽂件夹内是否含有data和log⽂件夹如果没有需要你⾃⼰⼿动创建如果有则直接跳过在data⽂件内创建db⽂件夹(⽬的是为了管理⽂件资源)在MongoDB⽂件夹根⽬录下创建mongod.cfg⽂件，⽂件内代码为systemLog:destination: filepath: "D:\MongoDB\log\mongod.log"logAppend: truestorage:journal:enabled: truedbPath: "D:\MongoDB\data\db"net:bindIp: 0.0.0.0port: 27017setParameter:enableLocalhostAuthBypass: falseDOS界⾯设置输⼊代码mongod --bind_ip 0.0.0.0 --port 27017 --logpath D:\MongoDB\log\mongod.log --logappend --dbpath D:\MongoDB\data\db --serviceName "MongoDB" --serviceDisplayName "MongoDB" --install --auth '''auth即让服务端以校验⽤户⾝份的⽅式启动不加则不校验（刚开始不加）'''启动/关闭net start MongoDBnet stop MongoDB登录mongo基础命令'''mongodb语句不需要分号结束'''1.查看所有的数据库名词show dbs2.退出客户端exitquit()MongoDB的特性创建东西后，必须写⼊数据才会保存到硬盘，在此之前都是在内存中临时创建，⽤完就没了针对库的增删改查查看show dbs # 查看数据库增加use 库名删除语法：# db是关键字当前在哪个库下执⾏改命令就是删除哪个库>db.dropDatabase('库名')针对集合的增删改查'''要想操作collection集合必须先有database库'''增加语法：db.createCollection('表名')# 如果单纯的创建不插⼊数据那么也只是在内存临时创建db.collection表名查show tablesshow collections改忽略删语法：db.collection名字.drop()针对⽂档(记录)增删改查增语法：# 单条数据db.表名.insert（{}）# 多条数据db.表名.insertMany([{},{},{}])db.表名.insert([{},{},{}])查语法：db.表名.find()db.表名.find({' ':' '})改语法：# 修改db.表名.update({},{$set:{}})# 完全替换 (少⽤)db.表名.update({})⽂档操作补充'''涉及到数据的嵌套查找⽀持直接点键或者索引'''eg:db.db1.find({'ddd.fg':123})db.db1.find({'fgh.0':'iii'})MongoDB⽤户权限管理"""涉及到⽤户权限相关引号推荐全部使⽤双引号"""创建⽤户'''mongodb针对⽤户权限的创建，数据可以保存在不同的数据库下之后在登录的时候只需要⾃⼰指定账户数据来源于哪个数据库即可管理员⽤户数据⼀般情况下推荐保存到admin库下⽽普通⽤户任意库都可以'''创建管理员1.切换到admin数据库下use admin2.创建账户并且赋予权限# ⽤户名为：root# 密码：123# 权限：管理员，存储位置：admin库db.createUser({user: "root",pwd: "123",roles: [ { role: "root", db: "admin" } ]})其他⽤户在test数据库下创建1.切换到test数据库下use test2.创建账户并赋予权限针对test库⽤于读写的权限针对db1库只拥有读的权限db.createUser({# ⽤户名：jasonuser: "jason",# 密码：123pwd: "123",# 权限：读写，存储位置：testroles: [ { role: "readWrite", db: "test" },# 权限：读存储位置：db1{ role: "read", db: "db1" } ]})为了使设置⽣效，要进⾏下部操作停⽌服务net stop MongoDB再移除服务MongoDB --remove再次系统配置mongod --bind_ip 0.0.0.0 --port 27017 --logpath D:\MongoDB\log\mongod.log --logappend --dbpath D:\MongoDB\data --serviceName "MongoDB" --serviceDisplayName "MongoDB" --install --auth 再次启动net start MongoDB两种验⽅式1.直接登录验证2.进⼊之后再验证数据查询⽅法数据准备'''是输出结果形式好看'''db.表名.find().pretty查询指定字段# 查找id为3的名字与年龄er.find({'_id':3},{'_id':0,'name':1,'age':1})'''0表⽰不要 1表⽰要'''针对主键字段_id如果不指定默认是必拿的普通字段不写就表⽰不拿查询学习mongodb的查询语句只要对⽐着MySQL去学，⾮常的容易!并且在书写mongodb查询语句的时候，我们可以先使⽤MySQL的SQL语句然后参考SQL语句再书写mongodb语句(相当于将MySQL语句翻译成mongodb)⽐较运算符mongoDB符号意义$ne！=$gt>$lt<$gte>=$lte<={key:value}=逻辑运算符在SQL中：and，or，notNOSQL中：逗号分隔的多个条件是and关系“$or”的条件放在[]中“$not”取反成员运算在SQL中：in，not in在NoSQL中："$in","$nin"正则匹配⽤正则符号组合去⽂本中筛选出符合条件的数据# SQL：regexp 正则# MongoDB：/正则表达/i范围/模糊查询语法：find（{查询条件},{筛选字段}）"""MySQL关键字 like关键符号% 匹配任意个数的任意字符_ 匹配单个个数的任意字符MongoDB:通过句点符$all"""排序"""MySQL:关键字 order by升序降序 asc descMongoDB关键字 sort升序降序 1 -1"""排序:1代表升序，-1代表降序分页(限制查询条数)"""MySQL关键字 limit分页 5,5MongoDB关键字 limit分页 skip"""杂项补充获取数量eg：获取age⼤于30的user信息er.count({'age':{"$gt":30}})# 输出为2er.find({'age':{"$gt":30}}).count()# 同上，输出为2分组查询按照部门分组，输出部门名db.emp.aggregate({'$group':{'_id':'$post'}})求每个部门的平均年龄db.emp.aggregate({"$group":{'_id':'$post','avgage':{'$avg':'$age'}}})求每个部门的最⾼薪资与最低薪资db.emp.aggregate({'$group':{'_id':'$post','最⾼薪资':{'$max':'$salary'},'最低薪资':{'$min':'$salary'}}})爬取王者荣耀⽪肤思路1.进⼊官⽹查看每个详细页⾯的⽹址2.循环获取每个详细页⾯的⽹址，向详细⽹址发送请求3.进⼊详细页⾯，查看图⽚加载⽅式4.切换⼩图标时，背景图会变化，背景图为所要的数据5.打开⽹络源码，发现背景图所在位置，但只有⼀个地址，所以推测为js加载⽅式 5.打开⽹络源码，发现背景图所在位置，但只有⼀个地址，所以推测为js加载⽅式6.通过切换⼩图标，url地址在变化，发现得到的地址是图⽚地址7.所以可以识别，有多少个⼩图标就有多少个⼤图⽚，通过改变数字就可获取图⽚地址pomongo模块pymongo模块可以实现python和mongoDB实时交互pomongo的基本操作调⽤模块import pymongo创建数据库runoobdbmyclient = pymongo.MongoClient("mongodb://localhost:27017/")mydb = myclient["runoobdb"]创建集合sites(先创建库)mycol = mydb["sites"]插⼊数据mydict = { "name": "RUNOOB", "alexa": "10000", "url": "https://" }x = mycol.insert_one(mydict)查看数据y = mycol.find_one()print(y)数据分析数据分析应⽤领域 商品推荐： 量化交易： 应⽤：股票、期货等数据分析 短视频推送： 应⽤：抖⾳今⽇头条等短视频推荐需求分析 就是要分析什么数据，通过什么⽅式分析想要什么样的结果数据采集 数据的来源： 1.公司内部⾃带 直接调⽤即可 MySQL MongoDB 2.⽹络爬⾍获取 需要编写代码爬⾍相关技能 3.第三⽅服务 花钱直接购买钞能⼒数据清洗 将获取到的数进⾏效验是否符合分析条件 缺失数据异常数据...数据分析 选择对应的计算公司，算法模型分析数据⽣成数据分析报告 攥写分析报告并给出分析之后的规律及建议数据可视化 将复杂的数据⽤图形的形式展⽰出来，⽅便查看相应规律，数据可视化步骤⼀般是结合数据分析报告⼀起数据分析三剑客简介numpy模块 数学计算模块，他是所有计算机模块的底层模块pandas 主要⽤于excel表格mateplotlib 数据可视化模块ipython模块ipython模块下载pip3 install ipython -i https:///simple/打开cmd之后直接输⼊ipython进⼊全新的编程环境 1.代码有提⽰ 2.代码⾃动缩进 3.通篇颜⾊不单调jupyter模块模块的下载与使⽤在cmd窗⼝下载pip3 install jupyter -i ⽹络地址运⾏jupyter命令⾏输⼊命令，进⼊页⾯jupyter notebook# 打开的界⾯取决于终端输⼊jupyer notebook命令的左侧路径功能区域upload⽤于上传任意类型的⽂件new下拉框： python3⽤于创建notebook⽂件 Text File⽤于创建⽂本⽂件 Folder⽤于创建⽂件夹 Terminal⽤于模拟cmd终端notebook⽂件notebook⽂件的后缀名是.ipynb 该⽂件⽆法以正常的双击直接打开不在专门的notebook环境才可以打开会看到需要使⽤专门的notebook环境才可以打开并且查看内部的真实数据，以后看到该类型的⽂件就使⽤jupyter notebook打开该模块的缺陷"""其实该模块就可以进⾏数据分析相关的⼯作但是有⼀个⾮常⼤的缺陷就是数据分析过程中需要使⽤到的其他模块都需要⾃⼰下载并且跟数据分析相关的模块不下于200个"""Anaconda软件# 其内部集成了很多数据分析相关软件及功能并且⾃动下载了接近300个数据分析相关模块页⾯功能介绍Home：主要是⼀些已经准备好的软件有直接可以使⽤和下载即可使⽤Environments：⾥⾯主要包含数据分析相关的模块Learning：⾥⾯含有⼤量的技术教程Community：⾥⾯含有⼤量技术交流平台Jupyter Notebook详细操作错误排查"""主界⾯点击jupyter notebook之后⽆法呼起浏览器打开界⾯原因在于你的计算机名词含有中⽂"""基础单词了解单词意义cell 单元格cut 剪切copy 拷贝paste 粘贴above 在...上⾯below 在...下⾯replace 替换delete 删除undo 撤销split 切割merge 合并命令⾏模式与编辑模式'''蓝⾊对应的是命令⾏模式、绿⾊对应的是编辑模式'''快捷键1.运⾏当前单元格ctrl+enter2.运⾏当前单元格并选中下⽅的单元格shift+enter3.如何书写md格式的标题⽅式1: 命令⾏模式下按m键，后按照警号个数书写⼏级标题执⾏即可，之后要运⾏，shift+enter 编辑模式下先写⽂本，后进⼊命令⾏模式按M加数字来控制⼏级标题4.如何在当前单元格的下⽅新建⼀个单元格命令⾏模式，按b键5.如何在当前单元格的上⽅新建⼀个单元格命令⾏模式，按a键6.如何删除单元格命令⾏模式，连续按两下d键7.如何撤销删除命令⾏模式下按z键数据分析numpy科学计算模块科普'''很多编程语⾔对数字精确度不是很敏感 python亦是如此'''eg:a=524552524.532523b=str(a)print(b)# 输出可能为524552524.5numpy简介1. Numpy是⾼性能科学计算机和数据分析模块的基础包2. 也是pandas等其他数据分析⼯具的基础3. NumPy具有多维数组功能，运算更加⾼效快速结论 numpy模块使数据计算更⾼效多维数组# numpy中同⼀个数组内所有数据数据类型肯定是⼀致的⼀维数组np.array([1,2,3,4,.....])⼆维数组np.array([[1,2,3,4,.....],[9,8,7,6,.....]])数据类型布尔型bool_整型int_、int8、int16、int32、int64int32只能表⽰(-2**31，2**31-1),因为它只有32个位，只能表⽰2**32个数⽆符号整型uint8、uint16、uint32、uint64浮点型float_，float16，float32，float64复数型complex_，complex64，complex128常⽤属性数组的转置（对⾼维数组⽽⾔）T查看数组元素的数据类型dtype查看数组元素的个数查看数组的维数ndim查看数组的维度⼤⼩（以元组形式，输出为⼏⾏⼏列）shape如何查看某个⽅法的使⽤说明⽅式1:在⽅法后⾯跟问号执⾏即可⽅式2:写完⽅法名后先按shift不松开然后按tab即可(shift+tab) array()将列表转换为数组，可选择显⽰指定dtypearange()range的numpy版，⽀持浮点数linspace()平均等分zeros()根据指定形状和dtype创建全0数组ones()根据指定形状和dtype创建全1数组empty()根据指定形状和dtype创建空数组（随机值）eye()根据指定边长和dtype创建单位矩阵索引切⽚针对⼀维数组索引与切⽚操作跟python中的列表完全⼀致花式索引(间断索引)依照索引值布尔值索引(逻辑索引)针对⼆维数组索引与切⽚语法：res[⾏索引(切⽚),列索引(切⽚)]运算符数学运算符+：数组对应元素的加和-：数组对应元素的差*：数组对应元素的乘积/：数组对应元素的商//：数组对应元素商的余数**：数组对应元素的幂指数⽐较运算符>:等价np.greater(a,b)判断arr1的元素是否⼤于arr2的元素>=:等价np.greater_equal(,b) 判断a的元素是否⼤于等于b的元素<:等价np.less(a,b) 判断a的元素是否⼩于arr2的元素<=:等价np.less_equal(a,b) 判断a的元素是否⼩于等于b的元素==:等价np.equal(arr1,arr2) 判断a的元素是否等于b的元素!=:等价np.not_equal(arr1,arr2) 判断a的元素是否不等于b的元素常⽤数学函数np.round(arr)：对各元素四舍五⼊np.sqrt(arr):计算各元素的算术平⽅根np.square(arr):计算各元素的平⽅值np.exp(arr):计算以e为底的个元素为指数np.power(arr, α):计算各元素的指数np.log10(arr)：计算以10为底各元素的对数np.log(arr)：计算以e为底各元素的对数np.min(arr,axis) 按照轴的⽅向计算最⼩值np.max(arr,axis) 按照轴的⽅向计算最⼤值np.mean(arr,axis) 按照轴的⽅向计算平均值np.median(arr,axis ) 按照轴的⽅向计算中位数np.sum(arr,axis) 按照轴的⽅向计算和np.std(arr,axis) 按照轴的⽅向计算标准差np.var(arr,axis) 按照轴的⽅向计算⽅差随机数numpy中的random⼦模块以np.random为前缀rand给定形状产⽣随机数组（0到1之间的数）语法：# ⽣成X⾏Y列数据组变量=np.random.rand(X,Y)randint给定形状产⽣随机整数choice给定形状产⽣随机选择shuffle与random.shuffle相同uniform给定形状产⽣随机数组(随机均匀分布)normal随机正态分布pandas模块简介pandas的主要功能1.具备诸多功能的两⼤数据结构：　 Series和DataFrame都是基于Numpy构建出来的 公司中使⽤频繁的是DataFrame，⽽Series是构成DataFrame的基础,即⼀个DataFrame可能由多个Series构成2.集成时间序列功能3.提供丰富的数学运算和操作(基于Numpy)4.灵活处理缺失数据数据类型Series类似于⼀维数组对象，由数据和相关的标签(索引)组成缺失数据概念在数据处理中如果遇到NaN关键字那么意思就是缺失数据,并且NaN属于浮点型为什么会出现数据缺失因为新的索引标签，⽆法与旧的序偶印标签对应所以产⽣缺失相关⽅法dropna()：过滤掉值为NaN的⾏fillna()：填充缺失数据notnull()：判断为不缺失数据，返回布尔数组isnull()：判断为缺失数据，返回布尔数组数据修改规则如何判断当前数据是否改变 1.如果执⾏操作之后有结果说明原数据没有变 2.如果执⾏操作之后没有结果说明原数据改变布尔值索引布尔值索引的本质就是按照对应关系筛选出True对应的数据⾏索引取值f.iloc[0]标签取值f.loc['a']Series数据操作增加数据res['a']=88查数据res.loc['a']删数据del res[0]算数符介绍"""add 加(add)sub 减(substract)div 除(divide)mul 乘(multiple)"""DataFrame性质表格型数据结构，相当于⼀个⼆维数组，含有⼀组有序的列也可以看作是由Series组成的共⽤⼀个索引的字典构造：pd.DataFrame({'one':[1,2,3,4],'boc':[5,6,7,8]})"""以上创建⽅式都仅仅做⼀个了解即可因为⼯作中dataframe的数据⼀般都是来⾃于读取外部⽂件数据，⽽不是⾃⼰⼿动去创建"""常见属性⾏索引fh.index列索引fh.columns转置fh.T值索引fh.values快速索引fh.describe读取外部数据pd.read_csv() # 可以读取⽂本⽂件和.csv结尾的⽂件数据pd.read_excel() # 可以读取excel表格⽂件数据pd.read_sql() # 可以读取MySQL表格数据pd.read_html() # 可以读取页⾯上table标签内所有的数据⽂本⽂件读取语法：pd.read_csv(filepath_or_buffer, sep=',', header='infer', names=None, usecols=None, skiprows=None, skipfooter=None, converters=None, encoding=None)参数介绍filepath:指定txt⽂件或csv⽂件所在的具体路径sep:指定原数据集中各字段之间的分隔符，默认为逗号”,”id name income1 jj 10header:是否需要将原数据集中的第⼀⾏作为表头，默认将第⼀⾏⽤作字段名称如果原始数据没有表头需要将该参数设置为Nonenames:如果原数据集中没有字段，可以通过该参数在数据读取时给数据框添加具体的表头usecols:指定需要读取原数据集中的哪些变量名skiprows:数据读取时，指定需要跳过原数据集开头的⾏数有⼀些表格开头是有⼏⾏⽂字说明的，读取的时候应该跳过skipfooter:数据读取时，指定需要跳过原数据集末尾的⾏数converters:⽤于数据类型的转换(以字典的形式指定)encoding:如果⽂件中含有中⽂，有时需要指定字符编码excel表格读取语法：pd.read_excel(io, sheetname=0, header=0, skiprows=None, skip_footer=0, index_col=None, names=None,na_values=None, thousands=None, convert_float=True)参数介绍：io:指定电⼦表格的具体路径sheet—name:指定需要读取电⼦表格中的第⼏个Sheet，既可以传递整数也可以传递具体的Sheet名称header:是否需要将数据集的第⼀⾏⽤作表头，默认为是需要的skiprows:读取数据时，指定跳过的开始⾏数skip_footer:读取数据时，指定跳过的末尾⾏数index_col:指定哪些列⽤作数据框的⾏索引(标签)na_values:指定原始数据中哪些特殊值代表了缺失值thousands:指定原始数据集中的千分位符convert_float:默认将所有的数值型字段转换为浮点型字段converters:通过字典的形式，指定某些列需要转换的形式数据库数据读取# 在anaconda环境下，要安装pymysql模块语法：conn = pymysql.connect(host,port,user,password, database, charset)参数介绍：host:指定需要访问的MySQL服务器port:指定访问MySQL数据库的端⼝号 charset:指定读取MySQL数据库的字符集，如果数据库表中含有中⽂，⼀般可以尝试将该参数设置为 “utf8”或“gbk”user:指定访问MySQL数据库的⽤户名password:指定访问MySQL数据库的密码database:指定访问MySQL数据库的具体库名⽹页表数据读取语法：获取⽹页中的第⼀个列表pd.read_html(r'https:///item/NBA%E6%80%BB%E5%86%A0%E5%86%9B/2173192?fr=aladdin')[0]DataFrame参数介绍.columns # 查看列.index # 查看⾏.shape # ⾏列.dtypes # 数据类型.head() # 取头部多条数据.tail() # 取尾部多条数据⾏列操作获取指定列对应的数据语法：df['列字段名词']列名修改语法：df.rename(columns={'旧列名称':'新列名称'})创建列语法：df['新列名称']=内容定义位置语法：df.insert(位置值,'新列名称',新数据)添加⾏语法：表1=表2.append(df3)数据筛选获取指定列数据# 单列数据fg['ID']# 多列数据fg[['ID','name']]获取指定⾏数据eg：# 获取有电梯的总价⼩于750的，只显⽰房屋名称，总价，朝向lig.loc[(lig['配备电梯']=='有')&(lig['总价'] < 750),['房屋名称','总价','房屋朝向']]数据处理更改时间格式语法：变量.属性= pd.to_datetime(变量.属性, format = '%Y年%m⽉')更改数字类型语法：变量.属性 = 变量.属性.str[:-1].astype(float)。