Memcached 原理剖析

memcached原理Memcached是一种分布式内存对象缓存系统，常常被用于动态Web 应用中减轻数据库负载。

它将数据存储在内存中，并通过哈希算法对其进行管理，应用程序可以直接从内存中读取缓存数据，达到加速访问的目的。

Memcached的运行原理：它使用一个客户端-服务端的架构模型，其中客户端与服务器之间通过TCP/IP协议进行通信。

使用者需要将需要存储的key-value对发送到Memcached服务器，然后服务器将这些数据存储在内存中，当调用者需要获取相应的数据时，直接从内存中读取。

如果数据不存在，Memcached将返回一个空响应。

Memcached的特点：1.高速缓存：Memcached是内存中的缓存系统，访问速度非常快；2.内存管理：Memcached使用LRU算法释放内存中不在使用的数据；3.可扩展：Memcached可以非常容易的扩展。

为什么要使用Memcached?1.加速访问：Memcached非常适合访问频繁但数据变化不步的情况，通过加速访问可以提高网站的响应速度。

2.降低数据库压力：将一部分数据放入Memcached缓存中，当这些数据正在使用时，可以减轻数据库的负载，提高数据库的性能。

3.可扩展性：通过横向扩展，可以使Memcached轻松适应大量数据的存储要求，同时保持高速缓存的性能。

如何使用Memcached？1.安装配置：将Memcached服务器安装在适当的机器上，并根据需要进行相应的配置。

2.使用客户端：可以使用各种语言的客户端库来使用Memcached，包括PHP，Python，Java等。

3.使用API调用：通过API直接从客户端调用Memcached提供的方法来获取需要的数据。

总之，Memcached是一个非常实用的高速缓存系统，可以用于加速Web应用程序的访问，并降低数据库的负载。

它的运行原理简单易懂，安装和配置也非常容易，是一个非常值得使用的缓存系统。

Memcached源码剖析笔记XguruMemcached是一个自由、源码开放、高性能、分布式内存对象缓存系统，目的在于通过减轻数据库负载来使动态Web应用程序提速。

目录1.背景 (3)2.memcached的安装 (4)3.memcached的配置 (5)4.memcached的使用 (6)4.1.存储命令 (7)4.2.读取命令 (8)4.3.删除命令 (8)4.4.高级命令 (9)4.5.其他命令 (10)5.Memcached内部工作机制 (11)5.1.Memcached基本的数据结构 (11)5.2.基本设计概念和处理流程 (12)5.3.内部Hash机制 (15)5.3.1.Hash函数及冲突解决 (15)5.3.2.HashTable主要函数 (15)5.4.slab内存处理机制 (17)5.4.1.slab主要函数 (17)5.4.2.slab机制中所采用的LRU算法 (19)5.5.控制item各种函数 (20)5.6.守护进程机制 (22)5.7.Socket处理机制 (23)15.7.1.Unix域协议 (23)5.7.2.TCP/UDP协议 (24)5.8.多线程处理机制 (25)5.9.事件处理机制 (25)6.未完善之处 (27)7.参考文献 (28)21.背景Memcached 是一个高性能的分布式内存对象缓存系统，用于动态Web应用以减轻数据库负载。

它通过在内存中缓存数据和对象来减少读取数据库的次数，从而提供动态、数据库驱动网站的速度。

Memcached基于一个存储键/值对的hashmap。

Memcached是一个自由、源码开放、高性能、分布式内存对象缓存系统，目的在于通过减轻数据库负载来使动态Web应用程序提速。

Memcached是一个在内存中对任意的数据（比如字符串，对象等）所使用的key-value 存储。

数据可以来自数据库调用，API调用，或者页面渲染的结果。

MemCache详细解读MemCache是什么MemCache是⼀个⾃由、源码开放、⾼性能、分布式的分布式内存对象缓存系统，⽤于动态Web应⽤以减轻数据库的负载。

它通过在内存中缓存数据和对象来减少读取数据库的次数，从⽽提⾼了⽹站访问的速度。

MemCaChe是⼀个存储键值对的HashMap，在内存中对任意的数据（⽐如字符串、对象等）所使⽤的key-value存储，数据可以来⾃数据库调⽤、API调⽤，或者页⾯渲染的结果。

MemCache设计理念就是⼩⽽强⼤，它简单的设计促进了快速部署、易于开发并解决⾯对⼤规模的数据缓存的许多难题，⽽所开放的API使得MemCache能⽤于Java、C/C++/C#、Perl、Python、PHP、Ruby等⼤部分流⾏的程序语⾔。

另外，说⼀下MemCache和MemCached的区别：1、MemCache是项⽬的名称2、MemCached是MemCache服务器端可以执⾏⽂件的名称MemCache访问模型为了加深理解，我模仿着原阿⾥技术专家李智慧⽼师《⼤型⽹站技术架构核⼼原理与案例分析》⼀书MemCache部分，⾃⼰画了⼀张图：特别澄清⼀个问题，MemCache虽然被称为"分布式缓存"，但是MemCache本⾝完全不具备分布式的功能，MemCache集群之间不会相互通信（与之形成对⽐的，⽐如JBoss Cache，某台服务器有缓存数据更新时，会通知集群中其他机器更新缓存或清除缓存数据），所谓的"分布式"，完全依赖于客户端程序的实现，就像上⾯这张图的流程⼀样。

同时基于这张图，理⼀下MemCache⼀次写缓存的流程：1、应⽤程序输⼊需要写缓存的数据2、API将Key输⼊路由算法模块，路由算法根据Key和MemCache集群服务器列表得到⼀台服务器编号3、由服务器编号得到MemCache及其的ip地址和端⼝号4、API调⽤通信模块和指定编号的服务器通信，将数据写⼊该服务器，完成⼀次分布式缓存的写操作读缓存和写缓存⼀样，只要使⽤相同的路由算法和服务器列表，只要应⽤程序查询的是相同的Key，MemCache客户端总是访问相同的客户端去读取数据，只要服务器中还缓存着该数据，就能保证缓存命中。

一.什么是MemcachedMemcached 是一个高性能的分布式内存对象缓存系统，用于动态Web应用以减轻数据库负载。

它通过在内存中缓存数据和对象来减少读取数据库的次数，从而提供动态、数据库驱动网站的速度。

相信很多人都用过缓存，在.net 中也有内置的缓存机制，还有很多第三方工具如apache，nginx等可以做静态资源的缓存，同时我们也可以制定自己的缓存机制，缓存数据库查询的数据以减少对数据库的频繁操作。

但是很多时候我们总是感觉这些缓存总不尽人意，Memcached可以解决你不少的烦恼问题。

最少在我的学习中解决了我不少问题，所以决定记录下来分享。

Memcached基于一个存储键/值对的hashmap。

其守护进程是用C写的，但是客户端可以用任何语言来编写(本文使用C#作为例子)，并通过memcached协议与守护进程通信。

可能这些东西都太高深了，我们暂不做研究。

二.分布式缓存其实 Memcached作为一个分布式缓存数据服务，但是每个服务之间根本没有进行相互通信，这里可能与我理解的分布式有点区别，可能是我才疏学浅，也可能是每个人思考问题的角度不同。

Memcached 客户端就是通过一种分布式算法将数据保存到不同的Memcached服务器上，将数据进行缓存。

分布式缓存，可以而知memcached可以进行大数据量的缓存。

这点可以弥补我们之前很多人都遇到的将数据缓存到应用服务器上，而且只能缓存少量数据，否则对应用服务器的影响非常大。

Memcached应用机制图:这个图是有点简陋了，但是问题还是能够描述的清楚的，缓存机制的基本原理就是先查询数据保存到memcached中，地址在此请求就直接从Memcached缓存中取数据，这样就可以减少对服务器请求压力。

三.Memcached 特征(1)协议简单: 不使用复杂的xml格式，而是使用文本格式(2)基于libevent的事件处理机制 (不懂)(3)内置内存存储方式: 数据存在在内存中，所以重启机器会导致数据丢失（4）Memcached相互不通信的分布式: Memcached 服务器之间不会进行通信，数据都是通过客户端的分布式算法存储到各个服务器中四.Memcached的安装首先这里是在windows系统上做测试，Memcached在linux等非windows平台上性能会更高。

memcached内存管理与删除机制及服务器实现-回复memcached是一款高性能的分布式内存对象缓存系统，常用于动态网站的加速和负载均衡。

作为一种缓存系统，它的内存管理和删除机制对于系统的性能和稳定性非常重要。

本文将一步一步回答有关memcached的内存管理与删除机制及服务器实现的内容。

一、memcached的内存管理机制1. 内存分配memcached使用一个内存池来管理内存，即在启动时分配一块可用于缓存的大内存块，然后根据需要将其划分为多个固定大小的内存块，这样可以提高内存使用效率。

在内存分配时，memcached使用slab分配器来实现。

slab分配器将内存块按照不同大小的chunk（或者称为slab class）分成多个组，每个组里的chunk大小都会是这个组的最小chunk大小的倍数。

这种分配方式可以降低内存碎片，提高内存利用率。

2. 内存回收memcached使用了简单的LRU算法（最近最少使用算法）来进行内存回收。

当内存达到上限时，会根据数据的使用频率来决定哪些数据应该被淘汰。

LRU算法会在内存不足时，将最近最少被访问的数据从缓存中删除，以腾出内存供新数据使用。

3. LRU算法和内存回收LRU算法是一种常用的缓存淘汰算法，它根据数据的访问时间来判断哪些数据是冷数据（很久没有被访问的数据），从而可以将这些冷数据淘汰出缓存。

在memcached中，LRU算法的具体实现是通过维护一个LRU队列来实现的，最前面的元素代表最近最少访问的数据，最后面的元素代表最近最频繁访问的数据。

当内存不足时，memcached会从LRU队列末尾开始淘汰数据，直到满足内存需求为止。

二、memcached的删除机制1. 手动删除memcached提供了delete命令来手动删除指定的键值对。

使用delete 命令可以通过键来删除对应的缓存数据。

2. 过期删除memcached支持设置键值对的过期时间，当数据的过期时间到达时，memcached会自动删除对应的数据。

Memcached数据库缓存Memcached⼀、Memcached简介Memcached是⼀个开源的，⽀持⾼性能，⾼并发的分布式内存缓存系统，由C语⾔编写，总共2000多⾏代码。

从软件名称上看，前3个字符“Mem”就是内存的意思，⽽接下来的后⾯5个字符“cache”就是缓存的意思，最后⼀个字符d，是daemon的意思，代表是服务器端守护进程模式服务。

Memcached服务分为服务器端和客户端两部分，其中，服务器端软件的名字形如Memcached-1.4.24.tar.gz，客户端软件的名字形如Memcache-2.25.tar.gz Memcached的作⽤传统场景中，多数Web应⽤都将数据保存到关系型数据库中（例如：MySQL），Web服务器从中读取数据并在浏览器中显⽰。

但随着数据量的增⼤，访问的集中，关系型数据库的负担就会出现加重，响应缓慢，导致⽹站打开延迟等问题，影响⽤户体验。

这时就需要Memcached软件出马了。

使⽤Memcached的主要⽬的是，通过在⾃⾝内存中缓存关系型数据库的查询结果，减少数据库被访问的次数，以提⾼动态Web应⽤的速度，提⾼⽹站架构的并发能⼒和可扩展性。

Memcached服务的运⾏原理是通过在事先规划好的系统内存空间中临时缓存数据库中的各类数据，以达到减少前端业务服务对数据库的直接⾼并发访问，从⽽提升⼤规模⽹站集群中动态服务的并发访问能⼒。

-⽣产场景的Memcached服务⼀般被⽤来保存⽹站中经常被读取的对象或数据，就像我们的客户端浏览器也会把经常访问的⽹页缓存起来⼀样，通过内存缓存来存取对象或数据要⽐磁盘存取快很多，因为磁盘是机械的，因此，在当今的IT企业中，Memcached的应⽤范围很⼴泛。

互联⽹常见内存缓存服务软件⼆、Memcached的⽤户与应⽤场景 1、Memcached常见⽤途⼯作流程Memcached是⼀种内存缓存软件，在⼯作中经常⽤来缓存数据库的查询数据，数据被缓存在事先与分配的Memcached管理的内存中，可以通过API或命令的⽅式存取内存中缓存的这些数据，Memcached服务内存中缓存的数据就像⼀张巨⼤的hash表，每条数据都是以key-value对的形式存在。

memcached工作原理
memcached是一款高性能的分布式内存缓存系统，主要用于减轻数据库负载，提高应用程序的性能。

其工作原理如下：
1. 客户端向memcached服务器发送请求，请求可以是获取或设置缓存数据。

2. 如果请求是获取缓存数据，memcached服务器首先检查是否有该数据的缓存副本，如果有，则返回该数据给客户端。

3. 如果请求是设置缓存数据，memcached服务器将数据存储到其内存中，并设置相应的索引。

4. 当memcached服务器的内存空间不足时，会采用LRU（最近最少使用）算法将一些旧的缓存数据删除，以腾出更多的内存空间。

5. 当多个memcached服务器组成一个分布式缓存集群时，客户端需要通过一致性哈希算法来选择具体的服务器，以保证缓存数据的一致性。

6. 当客户端对缓存数据进行修改时，需要同时更新所有memcached服务器上的缓存数据，以保证数据一致性。

总之，memcached工作原理简单、高效，可以提高应用程序的响应速度和吞吐
量，同时减少数据库的负载。

详解MemCached原理memcached是⼀个⾼性能的分布式内存缓存服务器，memcached在Linux上可以通过yum命令安装，这样⽅便很多，在⽣产环境下建议⽤Linux系统，memcached使⽤libevent这个库在Linux系统上才能发挥它的⾼性能。

它的分布式其实在服务端是不具有分布式的特征的，是依靠客户端的分布式算法进⾏了分布式，memcached是⼀个纯内存型的数据库，这样在读写速度上相对来说⽐较快。

memcached的内存分配是预先分配内存，常规的程序使⽤内存⽆⾮是两种，⼀种是预先分配，⼀种是动态分配。

动态分配从效率的⾓度来讲相对来说要慢点，因为它需要实时的去分配内存使⽤，但是这种⽅式的好处就是可以节约内存使⽤空间；memcached采⽤的是预先分配的原则，这种⽅式是拿空间换时间的⽅式来提⾼它的速度，这种⽅式会造成不能很⾼效的利⽤内存空间，但是memcached采⽤了Slab Allocation机制来解决内存碎⽚的问题，Slab Allocation的基本原理就是按照预先规定的⼤⼩，将分配的内存分割成特定长度的块，并把尺⼨相同的块分成组（chunk的集合），借⽤⼀下⽹上的图：memcached会针对客户端发送的数据选择slab并缓存到chunk中，这样就有⼀个弊端那就是⽐如要缓存的数据⼤⼩是50个字节，如果被分配到如上图88字节的chunk中的时候就造成了33个字节的浪费，虽然在内存中不会存在碎⽚，但是也造成了内存的浪费，这也是我上⾯说的拿空间换时间的原因，不过memcached对于分配到的内存不会释放，⽽是重复利⽤。

默认情况下如下图chunk是1.25倍的增加的，当然也可以⾃⼰通过-f设置，这种内部的分割算法可以参看源码下的slabs.c⽂件。

memcached本⾝内部不会监视记录是否过期，⽽是当get时依靠记录的过期时间检查是否过期，这也是memcached的⼀种惰性过期机制。

memc 原理Memcached是一种常用的内存缓存系统，其原理主要包括数据存储、缓存失效和并发控制三个方面。

一、数据存储Memcached将数据存储在内存中，以提高数据访问速度。

具体而言，它通过将数据分散存储在多个服务器节点上，实现了数据的分布式存储。

每个节点都有唯一的标识符，称为key，用于标识存储的数据。

当客户端需要获取数据时，它会向Memcached发送一个请求，包含所需数据的key。

Memcached根据这个key计算出数据所在的节点，并将数据从该节点返回给客户端。

这种分布式存储方式使得数据可以被高效地存储和访问。

二、缓存失效为了保证缓存数据的有效性，Memcached引入了缓存失效机制。

当数据发生变化时，应用程序负责通知Memcached进行缓存失效操作。

具体而言，应用程序在数据发生变化时，将相应的key发送给Memcached，告知其相应的缓存数据已过时。

Memcached接收到该信息后，会将相应的数据从缓存中删除，以保证下一次访问时能够获取到最新的数据。

这种缓存失效机制能够确保缓存数据与后端数据的一致性。

三、并发控制由于多个客户端可能同时对同一个数据进行读写操作，为了保证数据的一致性和并发性，Memcached引入了并发控制机制。

具体而言，当多个客户端同时请求同一份数据时，Memcached会使用一种称为CAS（Compare and Swap）的机制来实现并发控制。

CAS机制通过比较数据的版本号来判断数据是否被修改过，在修改数据时，如果版本号与当前版本号一致，则可以进行修改操作，否则需要重新获取最新的数据。

这样可以避免多个客户端同时修改同一份数据造成的冲突问题。

Memcached通过数据存储、缓存失效和并发控制三个方面的原理，实现了高效的内存缓存系统。

它将数据存储在内存中，以提高数据访问速度，并通过分布式存储的方式实现数据的高效存储和访问；通过缓存失效机制保证缓存数据的有效性，与后端数据的一致性；通过并发控制机制保证多个客户端对同一份数据的一致性和并发性。