linux 内存调优
欢迎进入Linux社区论坛，与200万技术人员互动交流 >>进入
内存调优
1 查看
less /proc/PID/status
less /proc/PID/statm
pmap PID（进程号）
memusage 命令（yum install glibc-utils -y）
ipcs （各种内存使用情况）
sar -R 1 20 （-：消耗 +：回收）
sar -W 1 20 （swap）
sar -B 1 20 （I/O）
sar -r 1 20 （内存）
vmstat -n 1 20 （内存）
valgrind --tool=memcheck 命令（查看命令内存状况）
2 限制内存
vim /etc/security/limits.conf
user1 hard as 1000 （用户user1所有累加起来，内存不超过1000kiB）user1 soft as 800 （用户user1一次运行，内存不超过800kiB）
普通用户查询自己的限制
ulimit -a
…（-v） 4500
…（-u） 16384
…（-t） unlimited
调节soft限制
ulimit -v 4000
ulimit -u 16000
ulimit -t 10000
3查询TLB
x86info -c
dmesg
getconf -a
4提升TLB命中率
（有大量连续数据）使用大页hugepages
查询大页的chunk size（默认为4MB）
x86info
dmesg
less /proc/meminfo
调整大页
vim /etc/sysctl.conf
vm.nr_hugepage=20（则TLB空间为20*4MB（chunk size）=80MB）（针对应用程序）文件系统大页
mkdir /my-hugepages
mount -t hugetlbfs none /my-hugepages （要写入/etc/fstab）5 跟踪程序使用系统调用及运行资源
yum install strace -y
strace -fc 命令
6最小保留内存空间（如果常有大内存程序，建议调大）
sysctl -a | grepvm.min_free
（默认3831kiB）
7调节内存过量使用
vm.overcommit_memory = 0（有申请时会尽量满足，但会检查内存是否足够）
1（永远满足申请，不检查内存是否够用）
2
vm.overcommit_radio = 50（先用swap与内存的%50）
8查看申请内存量
cat /proc/meminfo | grepcommitted_AS
9 cache
查看slab cache （存放内核中的对象）
less /proc/slabinfo
slaptop
vmstat -m
查看ARP cache
ip neighbor list
arp -a
cat /proc/net/arp
清空网卡arp ：ipneighboor flush dev eth0
调节arp大小：软限制 net.ipv4.neigh.default.gc_thresh2 = 512（条记录）硬限制 net.ipv4.neigh.default.gc_thresh3 = 1024（条记录）
缓存记录net.ipv4.neigh.default.gc_thresh1 = 128（条记录）
每隔多少秒清空一次 net.ipv4.neigh.default.gc_interval = 30 （秒）
查看page cache
less /proc/meminfo
调节page cache（大量一样的请求调大page cache）
vm.lowmem_reserve_ratio = 256 256 32 （保留多少内存作为pagecache 当前最大最小）
vm.vfs_cache_pressure=100 （大于100，回收pagecache）
vm.page.cluster=3（一次性从swap写入内存的量为2的3次方页）
vm.zone_reclaim_mode=0
1（当内存危机时，是否尽量回收内存 0:尽量回收 1:尽量不回收）
查看anon page（匿名页，用来存放一些其他数据，可用于swap）
less /proc/meminfo
less /proc/PID/statm
10 查看内存空闲值
free -ltm
使用=used-buffer-cached
空闲=free+buffer+cached
11将内存，文件系统，磁盘信息进行同步
ps aux | greppdflush （查看同步进程pdflush）
vm.nr_pdflush_threads=2（此为pdflush进程数量，不写则默认会根据I/O自动调整）
（当内存较小，调大pdflush数量可更快同步，但由于内存信息被清空，下次访问相同数据会变慢）
12 脏页
vm.dirty_background_radio=10 （当脏页占内存10%，pdflush工作）
vm.dirty_radio=40 （当进程自身脏页占内存40%，进程自己处理脏页，将其写入磁盘）
vm.dirty_expire_centisecs=3000 （脏页老化时间为30秒 3000/100=30秒）
vm.dirty_writeback_centisecs=500 （每隔5秒，pdflush监控一次内存数量500/100=5秒）
13 sync 将所有缓存，脏页同步到磁盘，一般敲三次
echo 3 > /proc/sys/vm/drop_caches 回收buffers （可用free -m 查看）
14内存溢出自动杀死进程（SELINUX关）
vm.panic_on_oom=0（计算机自动处理）
1（自行配置处理）（子进程会继承父进程此值）
/proc/PID/oom_adj （-19不可被杀死~15可被杀死）
/proc/PID/oom_score （0~2588672）（2的n次方，与上值对应变化，只需改一处）
（pidofvsftpd（查看进程号））
15 swap优化
swap尽量放在多个设备，这样多个I/O可同时运作
vm.swappiness=60 （0优先使用cache~100优先使用swap）
swap大小内存 swap
1~2G 1.5倍
2~8G 1倍
>8G 0.75倍
vm.swap_token_timeout = 300 （秒）
（多久往swap里写一次）
swapon -s 查看
swapoff -a 关闭
swapon -a 开启
Linux性能监控、调优(CPU篇) 前言: 网上其实有很多关于这方面的文章,那为什么还会有此篇呢,有这么几个原因,是我翻 译的动力,第一,概念和内容虽然老套,但都讲得很透彻,而且还很全面.第二,理论结合实际,其中案例分析都不错.第三,不花哨,采用的工具及命令都是最基本的,有助于实际操作.但本人才疏学浅,译文大多数都是立足于自己对原文的理解,大家也可以自己去OSCAN上找原文,如果有什么较大出入,还望留言回复,甚是感激! 1.0 性能监控介绍 性能优化就是找到系统处理中的瓶颈以及去除这些的过程,多数管理员相信看一些相关的"cook book"就可以实现性能优化,通常通过对内核的一些配置是可以简单的解决问题,但并不适合每个环境,性能优化其实是对OS 各子系统达到一种平衡的定义,这些子系统包括了: CPU Memory IO Network 这些子系统之间关系是相互彼此依赖的,任何一个高负载都会导致其他子系统出现问题.比如: 大量的页调入请求导致内存队列的拥塞 网卡的大吞吐量可能导致更多的CPU开销 大量的CPU开销又会尝试更多的内存使用请求 大量来自内存的磁盘写请求可能导致更多的CPU 以及IO问题 所以要对一个系统进行优化,查找瓶颈来自哪个方面是关键,虽然看似是某一个子系统 出现问题,其实有可能是别的子系统导致的. 1.1 确定应用类型 基于需要理解该从什么地方来入手优化瓶颈,首先重要的一点,就是理解并分析当前系 统的特点,多数系统所跑的应用类型,主要为2种: IO Bound(译注:IO 范畴): 在这个范畴中的应用,一般都是高负荷的内存使用以及存储系统,这实际上表示IO 范畴的应用,就是一个大量数据处理的过程.IO 范畴的应用不对CPU 以及网络发起更多请求(除非类似NAS这样的网络存储硬件).IO 范畴的应用通常使用CPU 资源都是为了产生IO 请求以及进入到内核调度的sleep 状态.通常数据库软件(译 注:mysql,oracle等)被认为是IO 范畴的应用类型.
Linux内核之内存管理 作者：harvey wang 邮箱：harvey.perfect@https://www.doczj.com/doc/7e15048344.html, 新浪博客地址：https://www.doczj.com/doc/7e15048344.html,/harveyperfect，有关于减肥和学习英语相关的博文，欢迎交流 把linux内存管理分为下面四个层面 （一）硬件辅助的虚实地址转换 （二）内核管理的内存相关 （三）单个进程的内存管理 （四）malloc软件 （一）处理器硬件辅助的虚实地址转换（以x86为例） 在x86中虚实地址转换分为段式转换和页转换。段转换过程是由逻辑地址（或称为虚拟地址）转换为线性地址；页转换过程则是将线性地址转换为物理地址。段转换示意图如下 X86支持两种段，gdt和ldt（全局描述段表和局部描述符段表），在linux中只使用了4个全局描述符表，内核空间和用户空间分别两个gdt，分别对应各自的代码段和数据段。也可以认为在linux中变相地disable了x86的段式转换功能。 页转换示意图如下
在linux中x86 的cr3寄存器（页表基地址寄存器）保存在进程的上下文中，在进程切换时会保存或回复该寄存器的内容，这样每个进程都有自己的转换页表，从而保证了每个进程有自己的虚拟空间。 （二）内核管理的内存相关 从几个概念展开内存管理：node、zone、buddy、slab 1、Node SGI Altix3000系统的两个结点 如上图，NUMA系统的结点通常是由一组CPU（如，SGI Altix 3000是2个Itanium2 CPU）和本地内存组成。由于每个结点都有自己的本地内存，因此全系统的内存在物理上是分布的，每个结点访问本地内存和访问其它结点的远地内存的延迟是不同的，为了优化对NUMA 系统的支持，引进了Node 来将NUMA 物理内存进行划分为不同的Node。而操作系统也必须能感知硬件的拓扑结构，优化系统的访存。
按照传统，Linux不同的发行版本和不同的内核对各项参数及设置均做了改动，从而使得系统能够获得更好的性能。下边将分四部分介绍在Red Hat Enterprise Linux AS和SUSE LINUX Enterprise Server系统下，如何用以下几种技巧进行性能的优化： 1、Disabling daemons （关闭daemons) 2、Shutting down the GUI (关闭GUI) 3、C hanging kernel parameters (改变内核参数） 4、Kernel parameters （内核参数） 5、Tuning the processor subsystem（处理器子系统调优） 6、Tuning the memory subsystem （内存子系统调优） 7、Tuning the file system（文件系统子系统调优） 8、Tuning the network subsystem（网络子系统调优） 1 关闭daemons 有些运行在服务器中的daemons (后台服务)，并不是完全必要的。关闭这些daemons可释放更多的内存、减少启动时间并减少C PU处理的进程数。减少daemons数量的同时也增强了服务器的安全性。缺省情况下，多数服务器都可以安全地停掉几个daemons。 Table 10-1列出了Red Hat Enterprise Linux AS下的可调整进程. Table 10-2列出了SUSE LINUX Enterprise Server下的可调整进程
注意：关闭xfs daemon将导致不能启动X，因此只有在不需要启动GUI图形的时候才可以关闭xfs daemon。使用startx 命令前，开启xfs daemon，恢复正常启动X。 可以根据需要停止某个进程，如要停止sendmail 进程，输入如下命令： Red Hat: /sbin/service sendmail stop SUSE LINUX: /etc/init.d/sendmail stop 也可以配置在下次启动的时候不自动启动某个进程，还是send mail： Red Hat: /sbin/chkconfig sendmail off SUSE LINUX: /sbin/chkconfig -s sendmail off 除此之外，LINUX还提供了图形方式下的进程管理功能。对于Red Hat，启动GUI，使用如下命令：/usr/bin/redhat-config-serv ices 或者鼠标点击M ain M enu -> System Settings -> Serv er Settings -> Serv ices.
Linux的缓存机制：Linux会针对dentry（用于VFS，加速文件路径名到inode的转换）、Buffer Cache（针对磁盘块的读写）和Page Cache（针对文件inode的读写）进行缓存操作。 操作步骤： 1、查询当前内存使用情况和释放缓存的参数 #free -m #cat /proc/sys/vm/drop_caches 2、使用sync命令，将系统缓存区中的脏数据写入磁盘中，包括已修改的i-node、已延迟的块I/O和读写映射文件。 #sync 3、配置文件/proc/sys/vm/drop_caches中记录了缓存释放的参数，含义：默认0—不释放，1—释放pagecache，2—释放dentries和inodes，3—释放所有缓存 #echo 3 > /proc/sys/vm/drop_caches echo 3 > /proc/sys/vm/drop_caches total——总物理内存 used——已使用内存，一般情况这个值会比较大，因为这个值包括了cache+应用程序使用的内存 free——完全未被使用的内存 shared——应用程序共享内存 buffers——缓存，主要用于目录方面,inode值等（ls大目录可看到这个值增加）cached——缓存，用于已打开的文件 note: Tasks: 150 total 进程总数 2 running 正在运行的进程数 148 sleeping 睡眠的进程数 0 stopped 停止的进程数 0 zombie 僵尸进程数 Cpu0: 67.4% us 用户空间占用CPU百分比 2.0% sy 内核空间占用CPU百分比 0.0% ni 用户进程空间内改变过优先级的进程占用CPU百分比 30.2% id 空闲CPU百分比 0.0% wa 等待输入输出的CPU时间百分比 0.0% hi 0.0% si 0.0% st cpu 统计信息区域的下方显示了各个进程的详细信息。首先来认识一下各列的含义。 序号列名含义 a PID 进程id
4-4 linux内存管理子系统 4-4-1 linux内存管理（参考课件） 物理地址：cpu地址总线上寻址物理内存的地址信号，是地址变换的最终结果 逻辑地址：程序代码经过编译后，出现在汇编程序中的地址（程序设计时使用的地址） 线性地址：又名虚拟地址，32位cpu架构下4G地址空间 CPU要将一个逻辑地址转换为物理地址，需要两步： 1、首先CPU利用段式内存管理单元，将逻辑地址转换成线性地址； 2、再利用页式内存管理单元，把线性地址最终转换为物理地址 相关公式： 逻辑地址=段基地址+段内偏移量(段基地址寄存器+段偏移寄存器)（通用的） 16位CPU：逻辑地址=段基地址+段内偏移量(段基地址寄存器+段偏移寄存器) 线性地址=段寄存器的值×16+逻辑地址的偏移部分 物理地址=线性地址（没有页式管理） 32位CPU：逻辑地址=段基地址+段内偏移量(段基地址寄存器+段偏移寄存器) 线性地址=段寄存器的值+逻辑地址的偏移部分 物理地址<——>线性地址（mapping转换） ARM32位：逻辑地址=段基地址+段内偏移量(段基地址寄存器+段偏移寄存器) 逻辑地址=段内偏移量（段基地址为0） 线性地址=逻辑地址=段内偏移量（32位不用乘以32） 物理地址<——>线性地址（mapping转换） ************************!!以下都是x86模式下!!********************************* 一、段式管理 1.1、16位CPU：（没有页式管理） 1.1.1、段式管理的由来： 16位CPU内部有20位地址总线，可寻址2的20次方即1M的内存空间，但16位CPU 只有16位的寄存器，因此只能访问2的16次方即64K。因此就采用了内存分段的管理模式，在CPU内部加入了段寄存器，这样1M被分成若干个逻辑段，每个逻辑段的要求如下： 1、逻辑段的起始地址（段地址）必须是16的整数倍，即最后4个二进制位须全是0 (因此不必保存)。 2、逻辑段的最大容量为64K。 1.1.2、物理地址的形成方式： 段地址：将段寄存器中的数值左移4位补4个0（乘以16），得到实际的段地址。 段偏移：在段偏移寄存器中。 1）逻辑地址=段基地址+段内偏移量(段基地址寄存器+段偏移寄存器) 2）由逻辑地址得到物理地址的公式为：（因为没有页式管理，所以这一步就得到了物理地址）物理地址PA=段寄存器的值×16+逻辑地址的偏移部分(注意!!)(段与段可能会重叠)
LINUX性能调优方法总结 大多数 Linux 发布版都定义了适当的缓冲区和其他 Transmission Control Protocol（TCP）参数。可以修改这些参数来分配更多的内存，从而改进网络 性能。设置内核参数的方法是通过 proc 接口，也就是通过读写 /proc 中的值。幸运的是，sysctl 可以读取 /etc/sysctl.conf 中的值并根据需要填充 /proc，这样就能够更轻松地管理这些参数。清单 2 展示在互联网服务器上应用于 Internet 服务器的一些比较激进的网络设置。 # Use TCP syncookies when needed net.ipv4.tcp_syncookies = 1 # Enable TCP window scaling net.ipv4.tcp_window_scaling: = 1 # Increase TCP max buffer size net.core.rmem_max = 16777216 net.core.wmem_max = 16777216 # Increase Linux autotuning TCP buffer limits net.ipv4.tcp_rmem = 4096 87380 16777216 net.ipv4.tcp_wmem = 4096 65536 16777216 # Increase number of ports available net.ipv4.ip_local_port_range = 1024 65000 将这些设置添加到 /etc/sysctl.conf 的现有内容中。第一个设置启用TCP SYN cookie。当从客户机发来新的 TCP 连接时，数据包设置了 SYN 位，服务 器就为这个半开的连接创建一个条目，并用一个 SYN-ACK 数据包进行响应。在正常操作中，远程客户机用一个 ACK 数据包进行响应，这会使半开的连接 转换为全开的。有一种称为 SYN 泛滥（SYN flood）的网络攻击，它使 ACK 数据包无法返回，导致服务器用光内存空间，无法处理到来的连接。SYN cookie 特性可以识别出这种情况，并使用一种优雅的方法保留队列中的空间（细节参见参考资料一节）。大多数系统都默认启用这个特性，但是确保配 置这个特性更可靠。 启用 TCP 窗口伸缩使客户机能够以更高的速度下载数据。TCP 允许在未从远程端收到确认的情况下发送多个数据包，默认设置是最多 64 KB，在与延迟比 较大的远程客户机进行通信时这个设置可能不够。窗口伸缩会在头中启用更多的位，从而增加窗口大小。 后面四个配置项增加 TCP 发送和接收缓冲区。这使应用程序可以更快地丢掉它的数据，从而为另一个请求服务。还可以强化远程客户机在服务器繁忙时发
linux如何查看CPU，内存，机器型号，网卡信息 查看CPU信息（型号） # cat /proc/cpuinfo | grep name | cut -f2 -d: | uniq -c 8 Intel(R) Xeon(R) CPU E5410 @ 2.33GHz (看到有8个逻辑CPU, 也知道了CPU型号) # cat /proc/cpuinfo | grep physical | uniq -c 4 physical id : 0 4 physical id : 1 (说明实际上是两颗4核的CPU) PS：Jay added on 10th, May, 2011 # 其实是可能有超线程HT技术，不一定是有4核，也可能是2核4线程；当时还理解不清楚 # getconf LONG_BIT 32 (说明当前CPU运行在32bit模式下, 但不代表CPU不支持64bit) # cat /proc/cpuinfo | grep flags | grep ' lm ' | wc -l 8 (结果大于0, 说明支持64bit计算. lm指long mode, 支持lm则是64bit) 再完整看cpu详细信息, 不过大部分我们都不关心而已. # dmidecode | grep -A81 'Processor Information' 查看主板型号： # dmidecode |grep -A16 "System Information$" 内存槽及内存条： # dmidecode |grep -A16 "Memory Device$" 查看内存信息 # cat /proc/meminfo # uname -a Linux euis1 2.6.9-55.ELsmp #1 SMP Fri Apr 20 17:03:35 EDT 2007 i686 i686 i386 GNU/Linux (查看当前操作系统内核信息) # cat /etc/issue | grep Linux Red Hat Enterprise Linux AS release 4 (Nahant Update 5) (查看当前操作系统发行版信息)
Linux 查看CPU 和内存使用情况 在系统维护的过程中，随时可能有需要查看CPU 使用率，并根据相应信息分析系统状况的需要。在CentOS 中 可以通过top 命令来查看CPU 使用状况。运行top 命令后，CPU 使用状态会以全屏的方式显示，并且会处在对话的模式-- 用基于top 的命令，可以控制显示方式等等。退出 top 的命令为q （在top 运行中敲q 键一次）。 top 命令是Linux 下常用的性能分析工具，能够实时显示系统中各个进程的资源占用状况，类似于Windows 的任务管理器 可以直接使用top 命令后，查看%MEM 的内容。可以选 择按进程查看或者按用户查看，如想查看oracle 用户的进程内存使用情况的话可以使用如下的命令： $ top -u oracle 内容解释： PID ：进程的ID USER :进程所有者 PR:进程的优先级别，越小越优先被执行 NInice ：值 VIRT :进程占用的虚拟内存 RES:进程占用的物理内存
SHR :进程使用的共享内存 僵死状态， N 表示该进程优先值为负数 %CPU :进程占用CPU 的使用率 %MEM :进程使用的物理内存和总内存的百分比 TIME+ :该进程启动后占用的总的 CPU 时间，即占用 CPU 使用时间的累加值。 COMMAND :进程启动命令名称 操作实例 : 即可启动 top top 的全屏对话模式可分为 3 部分:系统信息栏、命令 输入栏、进程列表栏。 第一部分 -- 最上部的 系统信息栏 第一行（ top ）: 00:11:04”为系统当前时刻； 3:35”为系统启动后到现在的运作时间； “2 users ”为当前登录到系统的用户，更确切的说 是登录到用户的终端数 -- 同一个用户同一时间对系统多个 终端的连接将被视为多个用户连接到系统，这里的用户数也 将表现为终端的数目； S :进程的状态。 S 表示休眠， R 表示正在运行， Z 表示 在命令行中输入 “- ” top ”
引子 为什么要写这个笔记： 1，这本书的中文版翻译了太垃圾，没法阅读。阅读英文原版，可以很好的理解作者的思路。作此笔记备忘 2，一直以来学习LINUX kernel的知识缺乏系统化，借对这本书的学习，系统化的学习一下LINUX kernel。 3，自己一直在做一个too small，too simple的单进程，特权模式，64bit保护模式的称不上OS的ＯＳ，已经做完了bootloader, 构思kernel的实现的时候，困惑在内存管理的实现上，阅读这本书，希望能有利于自己的OS的编写。 4，克服惰性，多读书，希望一天能阅读5页，争取半年内阅读完这本原版700多页的巨著。 不足： 我不可能完全理解LINUX 内存管理的精髓，肯定有很多地方理解错误。希望大家能够指正，以便提高，谢谢。 学习方法： 可能您第一次阅读的时候很多地方都不理解，不用担心。那您可能需要阅读一些文件系统的知识。 或者阅读全部笔记后，再回头阅读，有些地方您就理解了。 言归正传： 一、概要 可用工具 CodeViz: 生成代码调用关系图的工具，这个工具我现在还没有去使用，有兴趣的可以自己试试去建立调用关系图。 http://www.csn.ul.ie/~mel/projects/codeviz/ Linux cross reference (LXR): 以web的方式阅读和查找LINUX内核源代码的工具。这个工具安装相当麻烦，我建议直接到它的官方网站直接读代码。 http://lxr.linux.no/linux+v2.6.24/ 模块 LINUX内存管理代码模块主要分为4个部分： 1.Out of memory 代码在mm/oom_kill.c 貌似用于杀进程的时候对内存的操作 2.虚拟内存的分配代码在mm/vmalloc.c
Linux中的Weblogic性能测试调整 一．操作系统参数调整 1.linux TCP连接数调整 通过命令：ulimit –n 查看当前最大TCP连接数，这表示当前用户的每个 进程最多允许同时打开多少个文件。一般系统默认为1024，在并发量大 的情况下肯定不够用。 修改此限制的最简单办法：ulimit –n
Linux查看CPU和内存使用情况 在系统维护的过程中，随时可能有需要查看CPU 使用率，并根据相应信息分析系统状况的需要。在Ce ntOS 中，可以通过top 命令来查看CPU 使用状况。运行top 命令后，CPU 使用状态会以全屏的方式显示，并且会处在对话的模式-- 用基于top 的命令，可以控制显示方式等等。退出top 的命令为q （在top 运行中敲q 键一次）。 操作实例: 在命令行中输入“top” 即可启动top top 的全屏对话模式可分为3部分：系统信息栏、命令输入栏、进程列表栏。 第一部分-- 最上部的系统信息栏： 第一行（top）： “00:11:04”为系统当前时刻； “3:35”为系统启动后到现在的运作时间； “2 users”为当前登录到系统的用户，更确切的说是登录到用户的终端数-- 同一个用户同一时间对系统多个终端的连接将被视为多个用户连接到系统，这里的用户数也将表现为终端的数目； “load average”为当前系统负载的平均值，后面的三个值分别为1分钟前、5分钟前、15分钟前进程的平均数，一般的可以认为这个数值超过CPU 数目时，CPU 将比较吃力的负载当前系统所包含的进程； 第二行（Tasks）： “59 total”为当前系统进程总数； “1 running”为当前运行中的进程数； “58 sleeping”为当前处于等待状态中的进程数； “0 stoped”为被停止的系统进程数； “0 zombie”为被复原的进程数； 第三行（Cpus）： 分别表示了CPU 当前的使用率； 第四行（Mem）： 分别表示了内存总量、当前使用量、空闲内存量、以及缓冲使用中的内存量； 第五行（Swap）： 表示类别同第四行（Mem），但此处反映着交换分区（Swap）的使用情况。通常，交换分区（S wap）被频繁使用的情况，将被视作物理内存不足而造成的。 第二部分-- 中间部分的内部命令提示栏： top 运行中可以通过top 的内部命令对进程的显示方式进行控制。内部命令如下表： s - 改变画面更新频率 l - 关闭或开启第一部分第一行top 信息的表示
Linux 2.6.31内核优化指南 作者：Ken Wu Email: ken.wug@https://www.doczj.com/doc/7e15048344.html, 介绍 本文档是一篇关于Linux Kernel 2.6.31的最简优化指南。作者旨在编译一份性 能最佳且适合普通Application/Server开发用的内核。(非生产环境) 本文提及的内核调优，主要是通过选择最佳编译选项，删除无用驱动，减少内核尺寸，关闭部分安全特性等方式来进行的。 优化后的效果，主要体现在OS启动时间，启动后的内存占用以及应用程序运行性能。 由于作者水平有限，如果描述错误，还请不吝指教。 运行环境 虚拟机Virtualbox 3.1.4 CPU Core 2 Duo P9500 2.53G双核开启vt-x, APIC 磁盘 虚拟10G的SATA磁盘 内存 分了1G物理内存 网卡 虚拟AMD PCNet32 100M 其他USB，串口，显卡，声卡全关 作者是在虚拟机中编译的内核，如果你与作者的运行环境不同，则本文档中的部分描述可能会与你的实际情况有一定出入。 不过，相信大部分用户在看到选项释义时，能做出适合自己的选择。 说明 下列选项中，通过"// "注释的行，代表金国步写的内核选项简介中未提及的选项释义。 通过红色"<==="注释的行，代表内核默认开启，本文档推荐关闭的选项，释
义部分会给出关闭的理由。 参考资料 金国步写的内核选项简介 Linux Kernel Database Linuxsir BBS 优化前后性能对比 项目优化前优化后 内核尺寸 4.1M 1.6M 启动时间（含dhcp+默认init service）22s14s 启动后的内存占用25M22M APP SPEC测试成绩待测待测 General setup ---> [ ] Prompt for development and/or incomplete code/drivers <===显示尚在开发中或尚未完成的代码和驱动.我不是内核或驱动开发人员。 () Local version - append to kernel release [ ] Automatically append version information to the version string Kernel compression mode (Bzip2) ---> <===对比默认的Gzip，Bzip2拥有更高的压缩比 [*] Support for paging of anonymous memory (swap) [*] System V IPC [*] BSD Process Accounting
Linux 性能测试与分析 Linux 性能测试与分析 Revision History 1 性能测试简介 l 性能测试的过程就是找到系统瓶颈的过程。 l 性能测试(包括分析和调优)的过程就是在操作系统的各个子系统之间取得平衡的过程。l 操作系统的各个子系统包括： ?CPU
?Memory ?IO ?Network 他们之间高度依赖，互相影响。比如： 1. 频繁的磁盘读写会增加对存的使用 2. 大量的网络吞吐，一定意味着非常可观的CPU利用率 3. 可用存的减少可能增加大量的swapping，从而使系统负载上升甚至崩溃 2 应用程序类型 性能测试之前，你首先需要判断你的应用程序是属于那种类型的，这可以帮助你判断哪个子系统可能会成为瓶颈。 通常可分为如下两种： CPU bound –这类程序，cpu往往会处于很高的负载，当系统压力上升时，相对于磁盘和存，往往CPU首先到达瓶颈。Web server，mail server以及大部分服务类程序都属于这一类。 I/O bound –这类程序，往往会频繁的访问磁盘，从而发送大量的IO请求。IO类应用程序往往利用cpu发送IO请求之后，便进入sleep状态，从而造成很高的IOWAIT。数据库类程序，cache服务器往往属于这种类型。 3 CPU
3.1 性能瓶颈 3.1.1 运算性能瓶颈 作为计算机的计算单元，其运算能力方面，可能出现如下瓶颈： 1. 用户态进程CPU占用率很高 2. 系统态(核态)CPU占用率很高 测试CPU的运算性能，通常是通过计算圆周率来测试CPU的浮点运算能力和稳定性。据说Pentium CPU的一个运算bug就是通过计算圆周率来发现的。圆周率的计算方法，通常是计算小数点后104万位，通过比较运算时间来评测CPU的运算能力。 常用工具： 1. SUPER PI(π) 2. Wprime 与SuperPI不同的是，可以支持多核CPU的运算速度测试 3. FritzChess 一款国际象棋测试软件，测试每秒钟可运算的步数 突破CPU的运算瓶颈，一般只能靠花钱。比如提高时钟频率，提高L1,L2 cache容量或不断追求新一代的CPU架构： Core -> Nehalem(E55x，如r710，dsc1100) -> Westmere –> Sandy Bridge 3.1.2 调度性能瓶颈 CPU除了负责计算之外，另一个非常重要的功能就是调度。在调度方面，CPU可能会出现如下性能瓶颈： 1. Load平均值超过了系统可承受的程度 2. IOWait占比过高，导致Load上升或是引入新的磁盘瓶颈 3. Context Switch过高，导致CPU就像个搬运工一样，频繁在寄存器(CPU Register)和运行队列(run queue)之间奔波 4. 硬中断CPU占比接近于100% 5. 软中断CPU占比接近于100% 超线程 超线程芯片可以使得当前线程在访问存的间隙，处理器可以使用它的机器周期去执行另外一个线程。一个超线程的物理CPU可以被kernel看作是两个独立的CPU。 3.2 典型监控参数 图1：top
linux系统性能优化及瓶颈分析 一，用vmstat分析系统I/O情况 [root@localhost ~]# vmstat -n 3 (每个3秒刷新一次） procs-----------memory--------------------swap--- ---io---- --system---- ------cpu-------- r b swpd free buff cache si so bi bo in cs us sy id wa 1 0 144 186164 105252 2386848 0 0 18 166 83 2 48 21 31 0 2 0 144 189620 105252 2386848 0 0 0 177 1039 1210 34 10 56 0 0 0 144 214324 105252 2386848 0 0 0 10 1071 670 32 5 63 0 0 0 144 202212 105252 2386848 0 0 0 189 1035 558 20 3 77 0 2 0 144 158772 105252 2386848 0 0 0 203 1065 2832 70 14 15 0 IO -bi:从块设备读入的数据总量（读磁盘）（KB/S） -bo:写入到块设备的数据总量（写磁盘）（KB/S） 随机磁盘读写的时候，这2个值越大（如超出1M),能看到CPU在IO等待的值也会越大 二，用iostat分析I/O子系统情况 如果你的系统没有iostat，sar，mpstat等命令，安装sysstat- 7.0.2-1.el5.i386.rpm包，iostat工具将对系统的磁盘操作活动进行监视。它的特点是汇报磁盘活动统计情况，同时也会汇报出CPU 使用情况。同vmstat
1 《unix 操作系统教程》课程实验报告 实验名称 Linux 内存管理实验 实验序号 5 姓 名 系院专业 班 级 学 号 实验日期 2012.11.28 指导教师 成 绩 一、实验目的 1. 通过在Linux 环境下对内存管理的基本操作，感性认识Linux 如何对内存进行管理。 2. 利用readelf 和objdump 观测 linux 下的内存地址映射过程以及进程的虚拟地址空间。 二、实验内容与要求 (1)按照实验内容完成实验操作步骤，学习内存管理中的一些常用命令 (2)理解linux 中逻辑地址、线性地址的概念。 (3)提交实验报告。 三、实验设备 地点： 实验实训中心A4-2 设备：计算机一台 linux 操作系统
2 四、实验步骤与测试 实验一 free 命令显示显示内存的使用情况(使用的和空闲的)，包括物理内存、交换区内存、内核缓冲区内存。不包括共享内存。free 命令默认选项为-k 语法: free [-bkmotV] [-s <间隔秒数>]选项介绍: -b: 以Byte 为单位显示内存使用情况; -k: 以KB 为单位显示内存使用情况; -m: 以MB 为单位显示内存使用情况; -o: 不显示缓冲区调节列; -s<间隔秒数>: 每间隔指定时间执行一次free 命令; -t: 显示内存总和列; -V: 显示版本信息; （1）free -k: 以KB 为单位显示内存使用情况; 解释：total: 内存总量: 3355508(k) used: 已经使用的内存量: 490664(k) free: 空闲的内存量: 2864844(k) shared: 当前已经废弃不用，总量是0(k) buffers: 25164（k) Buffer Cache 内存量: 263480(k) cached: Page Cache 内存量: 21436(k) （2）free –m -s 5:以M 为单位，5秒显示以下内存信息 解释：以上为每隔5秒显示内存信息，由以上图可知：两次内存使用情况没有变化。 （3）free -o: 不显示缓冲区调节列; 解释：由以上可知Buffer Cache 这一列没有显示出来。 （4）free -t: 显示内存总和列;
Linux 性能调优的几种方法 按照传统，Linux不同的发行版本和不同的内核对各项参数及设置均做了改动，从而使得系统能够获得更好的性能。下边将分四部分介绍在Red Hat Enterprise Linux AS和SUSE LINUX Enterprise Server系统下，如何用以下几种技巧进行性能的优化： 1、Disabling daemons （关闭daemons) 2、Shutting down the GUI (关闭GUI) 3、Changing kernel parameters (改变内核参数） 4、Kernel parameters （内核参数） 5、Tuning the processor subsystem（处理器子系统调优） 6、Tuning the memory subsystem （内存子系统调优） 7、Tuning the file system（文件系统子系统调优） 8、Tuning the network subsystem（网络子系统调优） 1 关闭daemons 有些运行在服务器中的daemons (后台服务)，并不是完全必要的。关闭这些daemons可释放更多的内存、减少启动时间并减少CPU处理的进程数。减少daemons数量的同时也增强了服务器的安全性。缺省情况下，多数服务器都可以安全地停掉几个daemons。 Table 10-1列出了Red Hat Enterprise Linux AS下的可调整进程. Table 10-2列出了SUSE LINUX Enterprise Server下的可调整进程
注意：关闭xfs daemon将导致不能启动X，因此只有在不需要启动GUI图形的时候才可以关闭xfs daemon。使用startx命令前，开启xfs daemon，恢复正常启动X。
Linux 性能调优 1.Profiling几种工具 profiling 包括几种：cpu profiling，即提到的性能分析。memory profiling，即分析程序性能。network profiling，即网络流量的分析。 另外，profiling又分两种：1, sampling。即采样方式。2, instruments，即插装代码技术。（包含: 编译期间，链接期间，运行期间）。 oprofile ---- 属于sampling 方式，即不影响程序行为，也不需要重启程序，它是对cpu进行采样分析。 gprof ---- 属于插装技术，需在编译期间增加-pg 选项，属于GNU 部分，不需安装，随着gcc附带。 valgrind--- 属于插装技术，需要在运行期间增加valgrind选项。（其中massif工具用于内存分析，callgrind用于性能分析） google-perftools ---- 属于插装技术，需要在链接期间增加-L/usr/lib -lprofiler 选项。 2.gprof 分析linux程序性能瓶颈 gcc -pg -o test test.c test运行的时候会把搜集的信息保存在gmoun.out中 fedora 不能使用-lc_p选项的问题 一般gprof只能查看用户函数信息。如果想查看库函数的信息，需要在编译是再加入“-lc_p”编译参数代替“-lc”编译参数，这样程序会链接libc_p.a库，才可以产生库函数的profiling信息。 需要安装glibc-profile,下载地址 http://ftp.riken.jp/Linux/fedora/core/updates/2/i386/glibc-profile-2.3.3-27.1.i386.rp。 gprof hello gmon.out -p 得到每个函数占用的执行时间 gprof hello gmon.out -q 得到call graph，包含了每个函数的调用关系，调用次数，执行时间等信息。 gprof hello gmon.out -A 得到一个带注释的“源代码清单”，它会注释源码，指出每个函数的执行次数。这需要在编译的时候增加-g选项。 3.Oprofile性能调优 https://www.doczj.com/doc/7e15048344.html,/news/ 要使用oprofile 首先得采用打开oprofile支持的内核启动。 Oprofile需要重新编译内核，请确认： .config 文件中设置： CONFIG_PROFILING=y CONFIG_OPROFILE=y 另外，还要在Processor type and features 菜单中启用Local APIC 和IO-APIC： CONFIG_X86_LOCAL_APIC=y CONFIG_X86_IO_APIC=y 查看处理起本身没有集成APIC oprofile.ko内核模块已经被集成到linux 2.6内核中，所以只需要安装前端工具，可以从
Linux操作系统内存管理 摘要： Linux支持虚拟内存, 就是使用磁盘作为RAM的扩展，使可用内存相应地有效扩大。核心把当前不用的内存块存到硬盘，腾出内存给其他目的。当原来的内容又要使用时，再读回内存。这对用户全透明：运行于Linux的程序只看到大量的可用内存而不甘心哪部分在磁盘上。当然，读写硬盘比真的内存慢(慢千倍)，所以程序运行较慢。用做虚拟内存的这部分硬盘叫对换空间。 Linux可以使用文件系统中的普通文件或单独的分区作为对换空间。对换分区更快，但对换文件更易于改变大小(无须对硬盘重分区)。如果知道要多少对换空间，应该用对换分区；如果不能确认，可以先用对换文件，用一段时间后再根据所需空间建立对换分区。 Linux允许同时使用多个对换分区和/或对换文件。即如果偶尔需要更多的对换空间，可以随时建立一个额外的对换文件。 Linux是一个遵循POSIX（Portable Operating System Interface）标准的操作系统，它继承了UNIX系统优秀的设计思想，拥有简练、容错强、高效而且稳定的内核。此外Linux还具备其他操作系统所不能比拟的优点。①：完全免费； ②：内核源代码完全公开。 Linux内核拥有一个功能完备的内存管理子系统,它增加了对NUMA（非均匀存储结构）体系结构的支持并且使用了基于区(ZONE)的物理内存管理方法,从而保持了物理上连续分布、而逻辑上统一的内存模式和传统的共享内存编程模型,使得系统的性能得以极大的扩展。这样Linux不仅能够满足传统的桌面应用,而且还能满足高端服务器市场的需要。目前，Linux不仅在Internet服务器上表现出色，而且还可以胜任大型数据库系统的服务器。 关键字：虚拟内存，物理内存管理，虚拟内存管理 一、Linux存储管理的基本框架 Linux内核采用虚拟页式存储管理，采用三次映射机制实现从线性地址到物理地址的映射。其中PGD为页面目录，PMD为中间目录，PT为页面表。具体的映射过程为： ⑴从CR3寄存器中找到PGD基地址； ⑵以线性地址的最高位段为下标，在PGD中找到指向PMD的指针；
嵌入式linux内存使用与性能优化 https://www.doczj.com/doc/7e15048344.html,/bird67/article/details/199686592014本文摘自： https://www.doczj.com/doc/7e15048344.html,/liuchao1986105/article/details/66776631、内核分配物理内存的最小单位为一个物理页面，一个物理页面为4kb。无论虚拟内存分配了多少字节，比如malloc(400)，内核仍然分配4kb物理内存页面。 2、malloc语句执行时，只是给进程分配了虚拟内存，虚拟内存此时不占用物理内存。当使用此处内存时，比如变量赋值*p = ??或memcpy或strcpy时，内核会产生一个页故障，从而为进程分配一个物理页面。 3、进程状态可以在/proc中根据pid值找到进程的目录。 目录中statm信息（cat statm）中的7个数，以页为单位。 从左至右依次为size：任务虚拟地址空间大小。 resident：应用程序正在使用的物理内存大小。shared：共享页数。 trs：程序所拥有的可执行虚拟内存大小。lrs：被映像到任务的虚拟内存空间的库的大小。drs：程序数据段和用户态的栈的大小。dt：脏页数量。 4、目录中maps信息（cat maps）中，表示进程使用的虚拟地址（栈，堆，代码等）。内存使用权限信息r=读，
w=写，x=执行，s=共享，p=私有。r-xp通常表示代码段，只读，可执行。Rw-p通常表示数据段，可读写，不能执行。rwxp通常表示栈段，读写，可执行。栈不仅可以保存数据，也可以保存代码。 5、32位操作系统中，进程虚拟内存为4g，分为两部分，内核空间（高1g），用户空间（低3g）。 6、堆段：每个进程有一个，不论是主进程、动态库还是不同的线程里申请的堆内存，都反映在进程的堆段。栈段：每个线程有一个，如果进程中有多个线程，则包含多个栈段。代码段：由于其只读，不会被修改，故其在整个系统中共享。比如说一个执行文件，在系统中同时存在多个进程，那么这些进程将共享其代码段所占用的内存。 数据段：由于它是可写的，其内容与其所在的进程高度相关，所以在程序运行时会为每个进程创建一个数据段副本，故每个进程有一个数据段。 7、p = malloc(xxx); 分配给p的大小存放于*(p - 4)位置。 8、readelf、size、strip命令的使用。Nm ???.out检查???.out 执行文件的符号表。 9、检查当前内核配置的进程栈大小，使用ulimit -a命令查看stack size:。如需设置栈大小，使用ulimit -s 16384，栈大小为16k。 10、线程栈空间未设置时，通常为2m。2m的栈空间略微显