Memcached源码剖析笔记

Memcache基础教程Memcache是什么Memcache是的⼀个项⽬，最早是为 LiveJournal 服务的，⽬前全世界不少⼈使⽤这个缓存项⽬来构建⾃⼰⼤负载的⽹站，来分担数据库的压⼒。

它可以应对任意多个连接，使⽤⾮阻塞的⽹络IO。

由于它的⼯作机制是在内存中开辟⼀块空间，然后建⽴⼀个HashTable，Memcached⾃管理这些HashTable。

Memcache官⽅⽹站：/memcached，更多详细的信息可以来这⾥了解 :)为什么会有Memcache和memcached两种名称？其实Memcache是这个项⽬的名称，⽽memcached是它服务器端的主程序⽂件名，知道我的意思了把~~~~。

⼀个是项⽬名称，⼀个是主程序⽂件名，在⽹上看到了很多⼈不明⽩，于是混⽤了。

Memcache的安装分为两个过程：memcache服务器端的安装和memcached客户端的安装。

所谓服务器端的安装就是在服务器（⼀般都是linux系统）上安装Memcache实现数据的存储所谓客户端的安装就是指php（或者其他程序，Memcache还有其他不错的api接⼝提供）去使⽤服务器端的Memcache提供的函数，需要php添加扩展。

具体的配置⼤家可以参考：：/257.html：/258.html：/259.html：/261.html：/306.html：/395.htmlPHP的Memcache1 < ?php2//连接3$mem = new Memcache;4$mem->connect("192.168.0.200", 12000);56//保存数据7$mem->set('key1', 'This is first value', 0, 60);8$val = $mem->get('key1');9echo "Get key1 value: " . $val ."<br />";1011//替换数据12$mem->replace('key1', 'This is replace value', 0, 60);13$val = $mem->get('key1');14echo "Get key1 value: " . $val . "<br />";1516//保存数组17$arr = array('aaa', 'bbb', 'ccc', 'ddd');18$mem->set('key2', $arr, 0, 60);19$val2 = $mem->get('key2');20echo "Get key2 value: ";21print_r($val2);22echo "<br />";2324//删除数据25$mem->delete('key1');26$val = $mem->get('key1');27echo "Get key1 value: " . $val . "<br />";2829//清除所有数据30$mem->flush();31$val2 = $mem->get('key2');32echo "Get key2 value: ";33print_r($val2);34echo "<br />";3536//关闭连接37$mem->close();38 ?>如果正常的话，浏览器将输出：Get key1 value: This is first valueGet key1 value: This is replace valueGet key2 value: Array ( [0] => aaa [1] => bbb [2] => ccc [3] => ddd )Get key1 value:Get key2 value:程序代码分析初始化⼀个Memcache的对象：$mem = new Memcache;连接到我们的Memcache服务器端，第⼀个参数是服务器的IP地址，也可以是主机名，第⼆个参数是Memcache的开放的端⼝：$mem->connect("192.168.0.200", 12000);保存⼀个数据到Memcache服务器上，第⼀个参数是数据的key，⽤来定位⼀个数据，第⼆个参数是需要保存的数据内容，这⾥是⼀个字符串，第三个参数是⼀个标记，⼀般设置为0或者MEMCACHE_COMPRESSED就⾏了，第四个参数是数据的有效期，就是说数据在这个时间内是有效的，如果过去这个时间，那么会被Memcache服务器端清除掉这个数据，单位是秒，如果设置为0，则是永远有效，我们这⾥设置了60，就是⼀分钟有效时间：$mem->set('key1', 'This is first value', 0, 60);从Memcache服务器端获取⼀条数据，它只有⼀个参数，就是需要获取数据的key，我们这⾥是上⼀步设置的key1，现在获取这个数据后输出输出：$val = $mem->get('key1');echo "Get key1 value: " . $val;现在是使⽤replace⽅法来替换掉上⾯key1的值，replace⽅法的参数跟set是⼀样的，不过第⼀个参数key1是必须是要替换数据内容的key，最后输出了：$mem->replace('key1', 'This is replace value', 0, 60);$val = $mem->get('key1');echo "Get key1 value: " . $val;同样的，Memcache也是可以保存数组的，下⾯是在Memcache上⾯保存了⼀个数组，然后获取回来并输出$arr = array('aaa','bbb','ccc', 'ddd');$mem->set('key2', $arr, 0, 60);$val2 = $mem->get('key2');print_r($val2);现在删除⼀个数据，使⽤delte接⼝，参数就是⼀个key，然后就能够把Memcache服务器这个key的数据删除，最后输出的时候没有结果$mem->delete('key1');$val = $mem->get('key1');echo "Get key1 value: " . $val . "<br>";最后我们把所有的保存在Memcache服务器上的数据都清除，会发现数据都没有了，最后输出key2的数据为空，最后关闭连接$mem->flush();$val2 = $mem->get('key2');echo "Get key2 value: ";print_r($val2);echo "<br>";Memcache的使⽤使⽤Memcache的⽹站⼀般流量都是⽐较⼤的，为了缓解数据库的压⼒，让Memcache作为⼀个缓存区域，把部分信息保存在内存中，在前端能够迅速的进⾏存取。

memcached协议解析协议memcached 的客户端使⽤TCP链接与服务器通讯。

（UDP接⼝也同样有效，参考后⽂的 “UDP协议” ）⼀个运⾏中的memcached服务器监视⼀些（可设置）端⼝。

客户端连接这些端⼝，发送命令到服务器，读取回应，最后关闭连接。

结束会话不需要发送任何命令。

当不再需memcached服务时，要客户端可以在任何时候关闭连接。

需要注意的是，⿎励客户端缓存这些连接，⽽不是每次需要存取数据时都重新打开连接。

这是因为memcached 被特意设计成及时开启很多连接也能够⾼效的⼯作（数百个，上千个如果需要的话）。

缓存这些连接，可以消除建⽴连接所带来的开销（/*/相对⽽⾔，在服务器端建⽴⼀个新连接的准备⼯作所带来的开销，可以忽略不计。

）。

在memcache协议中发送的数据分两种：⽂本⾏和⾃由数据。

⽂本⾏被⽤于来⾃客户端的命令和服务器的回应。

⾃由数据⽤于客户端从服务器端存取数据时。

同样服务器会以字节流的⽅式传回⾃由数据。

/*/服务器不⽤关⼼⾃由数据的字节顺序。

⾃由数据的特征没有任何限制；但是通过前⽂提到的⽂本⾏，这项数据的接受者（服务器或客户端），便能够精确地获知所发送的数据库的长度。

⽂本⾏固定以“\r\n”(回车符紧跟⼀个换⾏符)结束。

⾃由数据也是同样会以“\r\n”结束，但是 \r(回车符)、\n(换⾏符)，以及任何其他8位字符，均可出现在数据中。

因此，当客户端从服务器取回数据时，必须使⽤数据区块的长度来确定数据区块的结束位置，⽽不要依据数据区块末尾的“\r\n”，即使它们固定存在于此。

键值存储在memcached中的数据通过键值来标识。

键值是⼀个⽂本字符串，对于需要存取这项数据的客户端⽽⾔，它必须是唯⼀的。

键值当前的长度限制设定为250字符（当然，客户端通常不会⽤到这么长的键）；键值中不能使⽤制表符和其他空⽩字符（例如空格，换⾏等）。

命令所有命令分为3种类型：存储命令（有3项：’set’、’add’、’repalce’）指⽰服务器储存⼀些由键值标识的数据。

memcached源码分析⼀-slabSlab作为⼀种内存管理⽅案，其作⽤主要有以下2点：a) 避免频繁的内存分配释放造成的内存碎⽚b) 减少内存分配操作产⽣的性能开销Linux内核数据结构中也有slab的设计，Linux提供了⼀套接⼝，使⽤这套接⼝可以动态创建与释放⼀个slab结构，该slab的chunk⼤⼩通过接⼝指定，创建成功后就可以从该slab中动态申请与释放chunk⼤⼩的内存⽤于存储⽬标数据，例如内核中⽤于表⽰进程的结构体task_struc 就是使⽤的slab⽅式进⾏管理。

memcached与linux内核不同，memcached中在程序启动时即初始化⼀个slabclass_t的全局数组，每⼀个slabclass_t结构的chunk⼤⼩不同，构成⼀个全局slab池。

memcached中的slab相关操作源码主要集中在源⽂件slabs.c中，下⾯对它进⾏分析。

1. 结构体slabclass_t以下是memcached中对slabclass_t的定义，typedef struct {unsigned int size; /* sizes of items */unsigned int perslab; /* how many items per slab */void *slots; /* list of item ptrs */unsigned int sl_curr; /* total free items in list */unsigned int slabs; /* how many slabs were allocated for this class */void **slab_list; /* array of slab pointers */unsigned int list_size; /* size of prev array */size_t requested; /* The number of requested bytes */} slabclass_t;slabclass_t对内存的组织可以粗略的⽤图1-1表⽰，图1-1 slabclass_t内存组织⽅式slab_list是⼀个可以动态分配的数组，数组⼤⼩以list_size表⽰，数组中已存储元素数⽬以slabs表⽰，数组中每⼀个元素都表⽰⼀个page ⼤⼩的可⽤内存(page也称为slab)。

MemCache详细解读MemCache是什么MemCache是⼀个⾃由、源码开放、⾼性能、分布式的分布式内存对象缓存系统，⽤于动态Web应⽤以减轻数据库的负载。

它通过在内存中缓存数据和对象来减少读取数据库的次数，从⽽提⾼了⽹站访问的速度。

MemCaChe是⼀个存储键值对的HashMap，在内存中对任意的数据（⽐如字符串、对象等）所使⽤的key-value存储，数据可以来⾃数据库调⽤、API调⽤，或者页⾯渲染的结果。

MemCache设计理念就是⼩⽽强⼤，它简单的设计促进了快速部署、易于开发并解决⾯对⼤规模的数据缓存的许多难题，⽽所开放的API使得MemCache能⽤于Java、C/C++/C#、Perl、Python、PHP、Ruby等⼤部分流⾏的程序语⾔。

另外，说⼀下MemCache和MemCached的区别：1、MemCache是项⽬的名称2、MemCached是MemCache服务器端可以执⾏⽂件的名称MemCache访问模型为了加深理解，我模仿着原阿⾥技术专家李智慧⽼师《⼤型⽹站技术架构核⼼原理与案例分析》⼀书MemCache部分，⾃⼰画了⼀张图：特别澄清⼀个问题，MemCache虽然被称为"分布式缓存"，但是MemCache本⾝完全不具备分布式的功能，MemCache集群之间不会相互通信（与之形成对⽐的，⽐如JBoss Cache，某台服务器有缓存数据更新时，会通知集群中其他机器更新缓存或清除缓存数据），所谓的"分布式"，完全依赖于客户端程序的实现，就像上⾯这张图的流程⼀样。

同时基于这张图，理⼀下MemCache⼀次写缓存的流程：1、应⽤程序输⼊需要写缓存的数据2、API将Key输⼊路由算法模块，路由算法根据Key和MemCache集群服务器列表得到⼀台服务器编号3、由服务器编号得到MemCache及其的ip地址和端⼝号4、API调⽤通信模块和指定编号的服务器通信，将数据写⼊该服务器，完成⼀次分布式缓存的写操作读缓存和写缓存⼀样，只要使⽤相同的路由算法和服务器列表，只要应⽤程序查询的是相同的Key，MemCache客户端总是访问相同的客户端去读取数据，只要服务器中还缓存着该数据，就能保证缓存命中。

Python中的Memcached缓存Memcached是一款高性能的分布式内存对象缓存系统。

它的主要功能是将数据存储在内存中，从而提高数据访问速度。

作为一款大型网站所必不可少的缓存工具，Memcached在Python 中的应用极度广泛。

在这篇论文中，我们将深入探讨Memcached在Python中的应用，分析其优点和缺点，并提出一些最佳实践，以帮助开发人员更好地利用Memcached提升应用的性能和用户体验。

一、Memcached的优点1.高速缓存Memcached是一款基于内存的缓存系统，它可以实现非常快速的缓存访问速度。

由于数据存储在内存中，所以它的响应速度相当快，甚至可以达到微秒级别。

在大型网站前端中，常使用Memcached来缓存一些静态或不怎么变化的数据，如网站配置信息、静态页面等。

通过缓存这些数据，可以减少对数据库等后端系统的请求，从而提高网站的性能。

2.可扩展性Memcached是一款分布式缓存系统，它可以将缓存数据分散存储在多台机器的内存中，从而实现更大的存储容量和更高的并发处理能力。

在高并发的情况下，系统可以简单地通过增加或减少服务器数量来扩展缓存能力。

此外，Memcached还具有自动数据平衡和故障转移等功能，可以实现高可用性和灵活性。

3.支持多种语言Memcached支持多种语言，包括Python、Java、PHP等，可以方便地嵌入到各种应用程序中，快速提高应用程序的性能。

在Python中，Memcached是一种常见的缓存解决方案，可以通过安装对应的Python模块，轻松地集成到应用程序中。

二、Memcached的缺点1.容量限制由于Memcached是一款基于内存的缓存系统，所以它的缓存容量是有限的。

在实际应用中，需要根据业务需求和服务器硬件条件等因素综合考虑，设置合适的缓存容量，避免因容量不足而导致缓存失效。

2.数据不持久化Memcached只是一款内存缓存系统，它并不支持数据持久化。

Memcached 源码分析--命令流程分析一、执行命令首先是启动memcached 自带参数如下：[plain] view plain copy print?在CODE上查看代码片派生到我的代码片<span style="font-size:18px;">-p <num> 设置TCP端口号(默认设置为: 11211)-U <num> UDP监听端口(默认: 11211, 0 时关闭)-l <ip_addr> 绑定地址(默认:所有都允许,无论内外网或者本机更换IP，有安全隐患，若设置为127.0.0.1就只能本机访问)-c <num> max simultaneous connections (default: 1024)-d 以daemon方式运行-u <username> 绑定使用指定用于运行进程<username>-m <num> 允许最大内存用量，单位M (默认: 64 MB)-P <file> 将PID写入文件<file>，这样可以使得后边进行快速进程终止, 需要与-d 一起使用</span>#$: ./usr/local/bin/memcached -d -u root -l 192.168.10.156 -m 2048 -p 12121客户端通过网络方式连接:telnet 192.168.10.156 12121然后就可以操作命令、常见命令如下：[plain] view plain copy print?在CODE上查看代码片派生到我的代码片<span style="font-size:18px;">setaddreplacegetdelete</span>格式如下：[plain] view plain copy print?在CODE上查看代码片派生到我的代码片<span style="font-size:18px;">command <key> <flags> <expiration time> <bytes><value>参数说明如下：command set/add/replacekey key 用于查找缓存值flags 可以包括键值对的整型参数，客户机使用它存储关于键值对的额外信息expiration time 在缓存中保存键值对的时间长度（以秒为单位，0 表示永远）bytes 在缓存中存储的字节点value 存储的值（始终位于第二行）</span>二、命令执行流程代码分析首先看一下工作线程中的命令数据结构：/*** The structure representing a connection into memcached.*/typedef struct conn conn;非常重要的几个参数：char * rbuf：用于存储客户端数据报文中的命令。

Memcached内存管理源码阅读meache能举行迅速地查找和良好的内存管理,得益于良好的hash查找和内存管理技巧.这两项功能主要由assoc.c和slab.c这两个文件来实现. 下面具体地分析一下每行代码实现slab.cdefine POWER_SMALLEST1 //slabclass数组的最小下标(slabclass 主要是来保存分配好的内存)define POWER_LARGEST 200 //slabclass数组的最大下标define POWER_BLOCK 1048576 //每一个chunk的最大值defineCHUNK_ALIGN_BYTES 8 //内存对其define DONT_PREALLOC_SLABS //不采纳事前分配内存/* powers-of-N alloion suctures *//*管理内存的主要数据结构, 搞清晰这个数据结构对囫囵内存的用法,分配,释放都很重要*/typef struct { unsigned int size; /* sizes of items */ //该结构保存的item的size大小,即最多能保存多大的数据 unsigned int perslab; /* how many items per slab */ //分配好一个slab 后,该slab可以存储多少个大小size的 vo **slots; /* list of item ptrs */ //回收回归后,内存的数组 unsigned int sl_total; /* size of previous array */ //目前总共有多少个空余的内存块 unsigned int sl_curr; /* first slot */ //目前已经用法到了多少个内存块void *end_page_ptr; /* pointer to nt free item at end of page, or 0 */ //每个slab中,可用法的地址 unsigned int end_page_free; /* number of items remaining at end of last alloced page */ //该slab中,可用法的内存块大小 unsigned int slabs; /* how many slabs were ald for this class */ //已经用法slab void **slab_list; /* array of slab pointers */ //保存每个slab的起始地址unsigned int list_size; /* size of prev array */ //总共有多少个slab unsigned int ing; /* index+1 of dying slab, or zero if none */} slabclass_t;ic slabclass_t slabclass[POWER_LARGEST + 1]; //核心的slabclass变量, 保存全部的内存static size_tmem_limit = 0; //限制memcache内存的用法的大小static size_t第1页共2页。

Memcache所有⽅法及参数详解memcache函数所有的⽅法列表如下：参考/manual/zh/function.Memcache-add.phpMemcache::add - 添加⼀个值，如果已经存在，则返回falseMemcache::addServer - 添加⼀个可供使⽤的服务器地址Memcache::close - 关闭⼀个Memcache对象Memcache::connect - 创建⼀个Memcache对象memcache_debug - 控制调试功能Memcache::decrement - 对保存的某个key中的值进⾏减法操作Memcache::delete - 删除⼀个key值Memcache::flush - 清除所有缓存的数据Memcache::get - 获取⼀个key值Memcache::getExtendedStats - 获取进程池中所有进程的运⾏系统统计Memcache::getServerStatus - 获取运⾏服务器的参数Memcache::getStats - 返回服务器的⼀些运⾏统计信息Memcache::getVersion - 返回运⾏的Memcache的版本信息Memcache::increment - 对保存的某个key中的值进⾏加法操作Memcache::pconnect - 创建⼀个Memcache的持久连接对象Memcache::replace -对⼀个已有的key进⾏覆写操作Memcache::set - 添加⼀个值，如果已经存在，则覆写Memcache::setCompressThreshold - 对⼤于某⼀⼤⼩的数据进⾏压缩Memcache::setServerParams - 在运⾏时修改服务器的参数Memcache::add⽤法bool Memcache::add ( string $key , mixed $var [, int $flag [, int $expire ]] )说明：如果key不存在的时候，使⽤这个函数来存储var的值。