当前位置：文档之家 › Buffer Cache 原理

Buffer Cache 原理

  • 格式：doc
  • 大小：146.00 KB
  • 文档页数：12

Buffer Cache 原理我们在监控等待事件，查看AWR，ASH报表的时候经常会看到latch: cache buffers chains，有可能还会看到latch: cache buffers lru chain这些等待事件，对于cache buffers chains这个等待事件，相信是大家最为头疼的，如果对Buffer Cache 理解不深，那么你就遇到这些等待事件就会束手无策。

本文的目的就是通过讲解Buffer Cache原理，使大家得心应手的处理这些latch争用。

Buffer Cache概述Buffer Cache是SGA的一部分，Oracle利用Buffer Cache来管理data block，Buffer Cache的最终目的就是尽可能的减少磁盘I/O。

Buffer Cache中主要有3大结构用来管理Buffer Cache。

Hash Bucket & Hash Chain List ：Hash Bucket与Hash Chain List用来实现data block的快速定位。

LRU List ：挂载有指向具体的free buffer, pinned buffer以及还没有被移动到write list的dirty buffer 等信息。

所谓的free buffer就是指没有包含任何数据的buffer，所谓的pinned buffer，就是指当前正在被访问的buffer。

Write(Dirty)List ：挂载有指向具体的dirty block的信息。

所谓的dirty block，就是指在buffer cache中被修改过但是还没有被写入到磁盘的block。

Hash Bucket与Hash Chain ListOracle将buffer cache中所有的buffer通过一个内部的Hash算法运算之后，将这些buffer放到不同的Hash Bucket中。

每一个Hash Bucket中都有一个Hash Chain List，通过这个list，将这个Bucket中的block串联起来。

下面举个简单的例子来介绍一下Hash 算法，Oracle的Hash 算法肯定没这么简单，具体算法只有Oracle公司知道。

•一个简单的mod函数，我们去mod 41 mod 4 = 12 mod 4 = 23 mod4 = 34 mod 4 = 05 mod 4 = 16 mod 4 = 27 mod 4 = 38 mod 4 = 0……………省略…………………..那么这里就相当于创建了4个Hash Bucket如果有如下block：blcok :DBA(1,1) ------> (1+1) mod 4 =2block :DBA(1,2) ------> (1+2) mod 4 =3block :DBA(1,3) ------> (1+3) mod 4 =0block :DBA(1,4) ------> (1+4) mod 4 =1block :DBA(1,5) ------> (1+5) mod 5 =2………........省略…………………....比如我要访问block(1,5)，那么我对它进行Hash运算，然后到Hash Bucket 为2的这个Bucket里面去寻找，Hash Bucket 为2的这个Bucket 现在有2个block，这2个block是挂在Hash Chain List上面的Hash Chain List到底是怎么组成的呢？这里我们就要提到x$bh这个基表了SQL> desc x$bhName Null? Type----------------------- - ----------------ADDR RAW(8) ---block在buffer cache中的address INDX NUMBERINST_ID NUMBERHLADDR RAW(8) --latch:cache buffers chains 的addressBLSIZ NUMBERNXT_HASH RAW(8) ---指向同一个Hash Chain List的下一个blockPRV_HASH RAW(8) ---指向同一个Hash Chain List的上一个blockNXT_REPL RAW(8)---指向LRU list中的下一个block PRV_REPL RAW(8)---指向LRU list中的上一个block ………………省略…………………………Hash Chain List就是由x$bh中的NXT_HASH，PRV_HASH 这2个指针构成了一个双向链表，其示意图如下：通过NXT_HASH，PRV_HASH这2个指针，那么在同一个Hash Chain List 的block就串联起来了。

理解了Hash Bucket 和Hash Chain List，我们现在来看看Hash Bucket与Hash Chain List管理Buffer Cache 的结构示意图从图中我们可以看到，一个latch:cache buffers chains(x$bh.hladdr) 可以保护多个Hash Bucket，也就是说，如果我要访问某个block，我首先要获得这个latch，一个Hash Bucket对应一个Hash Chain List，而这个Hash Chain List挂载了一个或者多个Buffer Header。

Hash Bucket的数量受隐含参数_db_block_hash_buckets的影响，Latch:cache buffers chains的数量受隐含参数_db_block_hash_latches的影响该隐含参数可以通过如下查询查看：SQL> select * from v$version;BANNER------------------------------------------------------------------Oracle Database 10g Enterprise Edition Release 10.2.0.3.0 - 64biSQL> SELECT x.ksppinm NAME, y.ksppstvl VALUE, x.ksppdesc describ2 FROM x$ksppi x, x$ksppcv y3 WHERE x.inst_id = USERENV ('Instance')4 AND y.inst_id = USERENV ('Instance')5 AND x.indx = y.indx6 AND x.ksppinm LIKE '%_db_block_hash%'7 /NAME VALUE DESCRIB------------------------- --------------- --------------------------------------_db_block_hash_buckets 524288 Number of database block hash buckets_db_block_hash_latches 16384 Number of database block hash latches_db_block_hash_buckets 该隐含参数在8i以前等于db_block_buffers/4的下一个素数到了8i 该参数等于db_block_buffers*2 ，到了9i 以后,该参数取的是小于且最接近db_block_buffers*2 的一个素数_db_block_hash_latches 该隐含参数表示的是cache buffers chains latch的数量，它怎么计算的我们不用深究可以看到，从8i以后Hash Bucket数量比以前提升了8倍。

可以用下面查询计算cache buffers chains latch的数量SQL> select count(*) from v$latch_children a,v$latchname b where tch#=tch# and ='cache buffers chains';COUNT(*)----------16384还可以用下面查询计算cache buffers chains latch的数量SQL> select count(distinct hladdr) from x$bh ;COUNT(DISTINCTHLADDR)---------------------16384根据我们的查询，那么一个cache buffers chains latch 平均下来要管理32个Hash Bucket，那么现在我们随意的找一个latch，来验证一下前面提到的结构图。

SQL> select * from (select hladdr,count(*) from x$bh group by hladdr) where rownum<=5;HLADDR COUNT(*)---------------- ----------C000000469F08828 15C000000469F088F0 14C000000469F089B8 15C000000469F08A80 24C000000469F08B48 17我们查询latch address 为C000000469F08828 所保护的data blockSQL> select hladdr,obj,dbarfil,dbablk, nxt_hash,prv_hash from x$bh where hladdr='C000000469F08828' order by obj;HLADDR OBJ DBARFIL DBABLK NXT_HASH PRV_HASH---------------- ---------- ---------- ---------- ---------------- ----------------C000000469F08828 2 388 322034 C0000004686ECBD0 C00000017EF8D658C000000469F08828 2 388 396246 C0000004686ECA60 C0000004686ECA60C000000469F08828 18 411 674831 C0000004686ECC00 C0000004686ECC00C000000469F08828 216 411 438948 C0000004686ECBB0 C0000004686ECBB0C000000469F08828 216 220 100217 C0000004686ECAA0 C0000004686ECAA0C000000469F08828 216 220 60942 C000000151FB5DD8 C0000004686ECBD0C000000469F08828 569 411 67655 C00000011FF81668 C0000001E8FB7AC0C000000469F08828 569 280 1294 C0000004686ECB60 C000000177F9F078C000000469F08828 58744570 210 332639 C000000177F9F078 C0000004686ECB60C000000469F08828 65178270 254 408901 C0000004686ECBF0 C0000004686ECBF0C000000469F08828 65347592 84 615093 C0000004686ECB90 C0000004686ECB90C000000469F08828 65349200 765 1259399 C0000004686ECA70 C0000004686ECA70请观察DBA(388,396246)，它的NXT_HASH与PRV_HASH相同，也就是说DBA(388,396246)挂载在只包含有1个data block的Hash Chain上。

合集下载

cache的工作原理

cache的工作原理

cache的工作原理
缓存是一种用于提高计算机系统性能的技术，其工作原理是将经常被访问的数据存储在一个更快速但容量较小的存储器中，以此提供更快的数据访问速度。

具体来说，计算机的存储体系可以分为多级，通常包括主存储器（RAM）、辅助存储器（硬盘、固态硬盘）以及处理器内
部的高速缓存。

在这个层次结构中，缓存位于处理器和主存之间。

当处理器需要访问某个数据时，首先会检查高速缓存中是否存在该数据。

如果数据在高速缓存中被命中（即存在），则处理器可以直接从缓存中获取，从而大大缩短了访问时间。

如果数据不在缓存中，则称为缓存未命中。

当发生缓存未命中时，处理器会通过一种称为缓存替换策略的算法从主存中将相应的数据加载到缓存中。

常用的替换策略有最近最少使用（LRU）和先进先出（FIFO）等。

缓存替换策
略的目标是尽可能地提高缓存的命中率，以减少对主存的访问。

此外，缓存还采用了一种称为缓存一致性协议的机制来保持数据的一致性。

由于多核处理器的普及，每个核心都可能有自己的缓存，因此需要确保各级缓存之间的数据一致，避免出现存储器访问的时序问题。

总的来说，缓存通过存储经常访问的数据并提供高速访问，可以大大加快计算机系统的运行速度。

但缓存的容量和缓存替换
策略选择等也是需要权衡的问题，因为过小的缓存容量或选择不当的替换策略可能导致频繁的缓存未命中，反而降低系统性能。

Linux查看哪些进程占用的系统buffercache较高（hcache，lsof）命令

Linux查看哪些进程占用的系统buffercache较高（hcache，lsof）命令

Linux查看哪些进程占⽤的系统buffercache较⾼（hcache，lsof）命令本篇主要说明以下问题：1、服务器 buffer/cache 的产⽣原因和释放buffer/cache 的两种⽅式（⾃动 & ⼿动）2、⽣产环境遇到服务 buffer/cache 过⾼如何排查是由那⼏个进程引起的（hcache ，lsof 的使⽤⽅式）服务器 buffer/cache 的产⽣原因和释放buffer/cache 的两种⽅式（⾃动 & ⼿动）1、什么是buffer/cache ？buffer/cache 其实是作为服务器系统的⽂件数据缓存使⽤的，尤其是针对进程对⽂件存在 read/write 操作的时候，所以当你的服务进程在对⽂件进⾏读写的时候，Linux内核为了提⾼服务的读写速度，则将会把⽂件放在此处的 buffer/cache 中进⾏缓存使⽤，由于 Linux服务的特点便是任何事物都会以⽂件的形式进⾏存在，所以你会发现不管你是否对⽂件做了⼤规模的读写，机器的 buffer/cache 是⼀直都存在的，并且持续的增⾼不下，这是因为服务器所产⽣的⽹络连接也好，⽤户协议的（UDP）套接字也好，这部分的数据系统都会为应⽤程序创建对应的⽂件描述符，⽽这些⽂件描述符的使⽤，则⼜都会重新进⼊ buffer/cache 中做读写使⽤，所以这也是你的机器始终都会存在较⾼buffer/cache 的原因，（因为所有的⽂件读写都会⽤到 buffer/cache，在内存合理的情况下）2、buffer/cache 需要注意的⼀些特点在服务内存够⽤的情况下，Linux内核为了加快对⽂件的读写效率会将⽂件放⼊之 buffer/cache 中以保证读写效率，但其实，尽管当你的应⽤程序对⽂件的读写运⾏结束后，buffer/cache 也不会⾃动释放该部分内存，⽽是作为缓冲进⾏保留，等到你的服务进程在下⼀次进⾏相同⽂件的读写时就可以直接使⽤，省去了各种重新进⾏内存初始化的操作；所以这将会导致，当你的应⽤进程频繁对不同的⽂件进⾏读写时，你会发现服务所可以直接使⽤的free内存将会越来越少的⼀个重要原因；难道 buffer/cache 在这样⽆休⽌的缓存当中就不会⾃动释放？当然不是，当服务器在内存压⼒较⼤的情况下时，则将会⾃动进⾏内存的回收，作为free空间分给其它进程使⽤，这其中主要回收的⼀个内存则是 buffer/cache 的缓冲区内存块；3、如何进⾏⼿动 buffer/cache 回收？除了在系统进程内存使⽤较⼤压⼒的情况下进⾏内存的回收外，我们也可以进⾏⼿动的buffer/cache回收，但由于buffer/cache主要是⽤于⽂件的读写使⽤，所以进⾏⽂件回收时，⼀般常伴随系统的IO彪⾼，因为系统内核也对⽐cache中的数据与硬盘中的数据是否⼀致，如果不⼀致需要写会，然后才能进⾏内存的回收；将内存中数据强制先刷新到磁盘中sync;清理Buffer缓存区域echo 3 > /proc/sys/vm/drop_caches 表⽰清除pagecache和slab分配器中的缓存对象echo 1 > /proc/sys/vm/drop_caches:表⽰清除pagecache。

cache工作原理

cache工作原理

cache工作原理缓存（Cache）是计算机系统中常用的一种优化技术，它通过暂时存储数据来提高数据访问速度，减少对慢速存储器（如硬盘）的访问次数。

缓存的工作原理是将最常用的数据存储在快速访问的存储介质中，以便快速检索和访问。

1. 缓存的作用缓存的主要作用是提高数据访问速度和系统性能。

当计算机需要数据时，它首先检查缓存中是否存在所需的数据。

如果数据在缓存中，计算机可以直接从缓存中获取数据，而不必访问慢速存储器。

这样可以大大减少数据访问的延迟时间，提高系统的响应速度。

2. 缓存的层次结构缓存通常按照层次结构进行组织，以便根据数据的使用频率和访问时间来管理数据。

常见的缓存层次结构包括L1、L2、L3缓存等。

L1缓存位于处理器内部，速度最快，但容量较小。

L2缓存位于处理器和内存之间，速度较快，容量较大。

L3缓存位于处理器和主存之间，速度较慢，容量最大。

缓存层次结构的设计旨在根据数据的使用模式和访问时间来提供最佳的性能。

3. 缓存的替换策略由于缓存的容量有限，当缓存已满时，需要替换掉一部份数据来腾出空间存储新的数据。

常见的缓存替换策略有以下几种：- 最近至少使用（Least Recently Used, LRU）：替换最长期没有被使用的数据。

- 先进先出（First In First Out, FIFO）：替换最早进入缓存的数据。

- 随机替换（Random）：随机选择一个数据进行替换。

4. 缓存的命中率缓存的命中率是衡量缓存性能的重要指标之一。

命中率指的是在数据访问中，所需数据在缓存中的比例。

高命中率意味着大部份数据都能从缓存中获取，系统性能较好。

低命中率则意味着大部份数据都需要从慢速存储器中获取，系统性能较差。

提高缓存的命中率可以通过优化缓存的设计和替换策略来实现。

5. 缓存一致性缓存一致性是指多个缓存之间数据的一致性。

当多个缓存同时访问同一块数据时，需要保证数据的一致性，即每一个缓存中的数据都是最新的。

OCP知识点讲解 之 什么是Buffer Cache？

OCP知识点讲解 之 什么是Buffer Cache？

一、Buffer cache作用：Buffer cache是Oracle建立的数据文件的缓冲区。

Oracle中所有Select、DML、DDL等命令，凡是需要所有对数据文件进行读、写操作的，基本上都是对Buffer cache 进行读、写操作。

如果需要读或写的块没有包括在Buffer cache，Oracle会先把它读进Buffer cache中，再进行读、写。

通常，如果要读的块已经在Buffer cache中了，Oracle将不必再访问磁盘数据文件，这个读操作被称为逻辑读。

也就是没有真正读写磁盘的意思。

如果要读的块不在Buffer cache，那么Oracle必须到磁盘上将其调入Buffer cache 中，这个操作被称为物理读。

再将块物理读进Buffer cache后，Oracle再从Buffer cache中逻辑读取需要的数据。

二、Buffer cache大小的设置：在Oracle 10g中，非常简单，我们不必设置Buffer cache的大小，只需设置一个sga_target参数，SGA目标值，10g将会根据你的数据库的情况，自动调整共享池、Buffer cache池等等所有SGA中内存组件的大小。

db_cache_size参数是设置Buffer cache大小的，和共享池一样，在Oracle 10g中，它也只是个下限值。

Buffer cache是磁盘数据文件的缓存，数据文件的基本读写单位是Oracle数据块，最常的块大小是4KB、8KB、16KB等等，在我们的实例库，数据库块大小是8KB。

也就是说Oracle一次读写将从数据文件中读写8KB字节。

Buffer cache既然是数据文件的直接缓存，Buffer cache的内存块大小当然也是8KB了。

Oracle从9i之后开始支持多重块大小，你在创建数据库时设置的块大小被称为标准块大小，除了标准块大小外，我们还可以使用多个非标准的块大小。