一、Linux优化（安全+性能=32条）
https://www.doczj.com/doc/de14116623.html,/5264172/1308977
linux系统的基本优化（做参考）
老男孩
网络状态说明及优化命令和优化细节请看：
https://www.doczj.com/doc/de14116623.html,/6945369/1321594
linux内核参数注释与优化
1.禁止root通过SSH远程登录并更改SSH端口
1.更改ssh服务端远程登录的配置
1.windows服务器的默认远程管理端口是3389，管理员用户是administrator，普通用户是guest。
2.Linux的管理用户是root，普通用户很多，远程连接默认端口是22。
这些是搞IT的和黑客都知道的。为了系统安全，我们要隐藏或者更改默认的配置。
3. Ssh服务端的配置文件/etc/ssh/sshd_config
sshd_config → sshd server （ssh服务端配置文件）
sshd_config → ssh client （ssh客户端配置文件）
（比对和恢复）
[root@yvonne ssh]# ls
moduli ssh_host_dsa_key ssh_host_rsa_key
ssh_config ssh_host_dsa_key.pub ssh_host_rsa_key.pub
sshd_config ssh_host_key
sshd_config.yvonne.20150521 ssh_host_key.pub
[root@yvonne ssh]# vim sshd_config 修改服务端的配置文件
13 #Port 22 → 13 Port 52113(自己定) 修改端口默认为22
15 #ListenAddress 0.0.0.0 修改IP为内网ip →企业仅指定监听本机内网地址21 Protocol 2 协议2
42 #PermitRootLogin yes-→ 42 #PermitRootLogin no 不允许root远程登陆
65 #PermitEmptyPasswords no 不允许空密码（有些版本需要注意）
122 #UseDNS yes→122 #UseDNS no 不需要DNS解析，可以快速连接
80 GSSAPIAuthentication no 连接慢时改为no
掌握之后可以直接将命令写到配置文件中（更快速、更高效）：
Port 52113
PermitRootLogin no
PermitEmptyPasswords no
UseDNS no
GSSAPIAuthentication no
ListenAddress 192.168.36.129
[root@yvonne ssh]# diff sshd_config sshd_config.yvonne.20150521 修改完后对比文件
13c13
< Port 52113
---
> #Port 22
15c15
< #ListenAddress 192.168.10.100
---
> #ListenAddress 0.0.0.0
42c42
< PermitRootLogin no
---
> #PermitRootLogin yes
122c122
< UseDNS no
---
> #UseDNS yes
Linux中内存比磁盘快，Linux中都是将文件加载到内存中向外提供访问，所以需要重启服务，此时还能登陆.
注意：在重启sshd服务后，当前的CRT仍然可以连接服务器，直到退出重新登陆为止。
改正在连接的用户没有影响。类似银行关门之前会为所有已在银行的客户提供服务，而不是将客户撵出去。
排错：/etc/init.d/sshd配置都没问题，一般是防火墙没关闭（2015年6月8日10:58:19）。
以后在管理服务器时，用普通用户登陆，需要root权限的时候再用sudo切过去。
批量操作修改参数：
Linux优化理念：
安全：隐藏目标；让别人看不到你
防护：VPN（lan）、IP、port、username、password。内部人员可以走正门，对外只开放80web 端口。
2.更改字符集（非必须）
修改Linux字符集，使支持中文显示。此项为可选项。
1.字符集就是一套文字符号及其编码。
2.常用的字符集有：
UTF8 ：非定长，1-4字节，兼容性好，广泛支持，mysql也是用utf-8.
GBK：定长，双字节，不是国际标准，支持的系统也不少，相对而言中文更好用一些
编码。中国大陆几乎所有的中文系统和国际化的软件都支持GB 2312。（来自百度百科）
4更改字符集
服务端字符集（/etc/sysconfig/i18n）
客户端字符集（CRT）
[root@yvonne ~]# cd /etc/sysconfig/
[root@yvonne sysconfig]# cp i18n i18n.yvonne.20150522 改之前先备份
[root@yvonne sysconfig]# ls
i18n.yvonne.20150522 i18n
[root@yvonne ~]# vi /etc/sysconfig/i18n
#LANG="en_US.UTF-8" 将默认的英文字符集注释掉LANG="zh_CN.UTF-8" 添加中文字符集SYSFONT="latarcyrheb-sun16"
[root@yvonne ~]# diff /etc/sysconfig/i18n /etc/sysconfig/i18n.yvonne.20150522 操作完比对1,2c1
< #LANG="en_US.UTF-8"
< LANG="zh_CN.UTF-8"
---
> LANG="en_US.UTF-8"
[root@yvonne ~]# source /etc/sysconfig/i18n 对比确定操作无误，用source或者“.”生效[root@yvonne ~]# echo $LANG 操作后查看是否生效
zh_CN.UTF-8
[root@yvonne ~]# echo "今日事今日毕">hxy.txt
[root@yvonne ~]# cat hxy.txt
今日事今日毕改完客户端配置后，验证输入中文字符能识别
改完服务器的字符集后，要把客户端（CRT）改为一一致的字符集。“外观”- ”字符集”
注意：没有特殊需求，不要让你的配置文件中带中文，Linux对中文的支持并不太友好。
思考：用sed替换
3.配置sudo对普通用户权限精细控制.
3.1用sudo控制用户对系统命令的使用权限
1. man sudo NAME: sudo, sudoedit - execute a command as another user
2.sudo的作用让一个用户可以执行原本它没有权限的命令，这个权限需要其他用户授权。
3. visudo - edit the sudoers file(管理sudo配置文件的)
visudo ==vi /etc/sudoers
更改用户权限
验证普通用户huang
验证提权用户hxy
（1）
[root@yvonne ~]# su - hxy
[hxy@yvonne ~]$ whoami
hxy
[hxy@yvonne ~]$ pwd
/home/hxy
[hxy@yvonne ~]$ sudo useradd xiaoyun
[hxy@yvonne ~]$ sudo tail -l /etc/passwd
xiaoyun:x:505:505::/home/xiaoyun:/bin/bash
（2）
[hxy@yvonne ~]$ cd /data/
[hxy@yvonne data]$ ls
huang.txt oldboy oldboy.txt younggirl younggirl.txt
[hxy@yvonne data]$ sudo touch hxy.txt
[hxy@yvonne data]$ ls
huang.txt hxy.txt oldboy oldboy.txt younggirl younggirl.txt
（3）
[hxy@yvonne /]$ sudo cat /etc/sudoers
## Sudoers allows particular users to run various commands as
## the root user, without needing the root password.(后面的文件内容省略) [hxy@yvonne /]$ sudo visudo 拥有root的所有权限
98 root ALL=(ALL) ALL
99 #huang ALL=(ALL) /bin/touch
100 hxy ALL=(ALL) ALL
101 #oldboy ALL=(ALL) NOPASSWD: /usr/sbin/useradd
（4）
[hxy@yvonne ~]$ sudo ls /root/ 验证ls成功[sudo] password for hxy:
anaconda-ks.cfg install.log install.log.syslog
[hxy@yvonne ~]$ sudo mkdir /data/hxy 验证mkdir成功
[hxy@yvonne ~]$ ls /data/
huang.txt hxy hxy.txt oldboy oldboy.txt younggirl younggirl.txt
[hxy@yvonne ~]$ sudo rm -rf /data/oldboy 验证rm成功
[hxy@yvonne ~]$ ls /data/
huang.txt hxy hxy.txt oldboy.txt younggirl younggirl.txt
（5）
[hxy@yvonne /]$ sudo cd /root/ 即使拥有了All权限，也不能到root目录里[sudo] password for hxy:
sudo: cd: command not found
[hxy@yvonne /]$ sudo cd /root/
[sudo] password for hxy:
sudo: cd: command not found
百度资料：
sudo 是一种程序，用于提升用户的权限，在linux中输入sodu就是调用这个程序提升权限，shell是一个命令解析器，sudo cd是错误的，因为cd是shell内置的，不是系统里面的，sudo 可以运行系统带的命令，但无法用系统中一个软件中的命令。
3.2 Sudo授权与su切换原理示意图如下：
（1）sudo
[hxy@yvonne ~]$ whoami
hxy
[hxy@yvonne ~]$ pwd
/home/hxy
[hxy@yvonne ~]$ sudo su – root 不需要root密码
[root@yvonne ~]# whoami
root
[root@yvonne ~]# pwd
/root
（2）su
[hxy@yvonne ~]$ whoami
hxy
[hxy@yvonne ~]$ pwd
/home/hxy
[hxy@yvonne ~]$ su - root
Password: 需要输入root密码
[root@yvonne ~]# whoami
root
[root@yvonne ~]# pwd
/root
3.3查看可以登陆的用户，可以将nologin的用户注释,创建用户注意安全。
3.4查看当前系统中的（可以登陆的）用户的命令：
4.配置服务器和互联网时间同步.
4.1 windows时间同步
Windows 的时间非常准。“更改日期和时间”→”internet时间”→”更改设置”→可以看到“与internet时间服务器同步（https://www.doczj.com/doc/de14116623.html,）”,定时与服务器上的时间同步。
中国国家授时中心的时间服务器IP地址及时间同步方法（2009）：
https://www.doczj.com/doc/de14116623.html,/newsInfo.aspx?pkId=4900
4.2 Linux时间同步
/usr/sbin/ntpdate 需要全路径，不同的版本路径不一样，which查一下临时更改时间
同步互联网时间
定时任务同步时间（时间同步永久性的）：
/del/null 空设备黑洞
下面3中是等价的：
把正确的和错误的都重定向到黑洞。
1、1>/dev/null 2>/dev/null
2、1>/dev/null 2>&1
3、&>/dev/null
大规模时间同步NTP服务（以后自己搭）
时间同步（节省带宽，更高效）：自己画图（待补充）作业：搭建NTP服务
5.linux系统登录用户的超时时间
控制linux系统登录用户的超时时间参数：TMOUT
6.控制历史记录数量
历史记录越少，相对来说越安全
[root@yvonne ~]# cp /etc/profile /etc/profile.yvonne.20150524 操作前先备份
profile.yvonne.20150524 profile
[root@yvonne ~]# export HISTSIZE=5 命令行历史记录只保留最后5行
[root@yvonne ~]# history
94 vim /etc/profile
95 cat /etc/profile
96 history
97 export HISTSIZE=5
98 history
[root@yvonne ~]# export HISTFILESIZE=10 命令行文件只保留最后10行记录
[root@yvonne ~]# cat ~/.bash_history 查看命令行文件（家目录）
ping https://www.doczj.com/doc/de14116623.html,
ping 192.168.1.102
ping 192.168.1.103
service iptables status
ip add
ifconfig
cat /etc/sysconfig/network-scripts/ifcfg-eth0
cat /etc/profile
ifconfig
history
希望永久生效，追加到/etc/profile下
[root@yvonne ~]# echo "export HISTSIZE=5" >>/etc/profile 命令行历史记录只保留最后5行（永久有效）[root@yvonne ~]# source /etc/profile 使命令生效
[root@yvonne ~]# history
[root@yvonne ~]# reboot
[root@yvonne ~]# history 重启之后查看历史记录，仍然有效
2 echo "export HISTSIZE=5" >>/etc/profile
解决过程：用VMware workstations克隆一台服务器，然后scp 问题再现图示：
（暂且忽略应用程序不同），分析一下NAT模式与桥接模式。
https://www.doczj.com/doc/de14116623.html,/link?url=Zctl9I3ojtfwtVSuzFNQvsKQj5OYGW1AGLG3EkG3G4Fa8fJooZDa bsBtpW2tUm9iHY5NHRM-C-HkGvyH0-bRBz3m38e5vAty41wkqWV_IJa
VMware中Bridged、NAT、host-only三种网络连接模式的原理及其区别
https://www.doczj.com/doc/de14116623.html,/LINUXjishu/70474.html Linux中cp和scp命令的使用方法
配置IP地址：
[root@yvonne ~]# cp /etc/sysconfig/network-scripts/ifcfg-eth0 /etc/sysconfig/network-scripts/ifcfg-eth0
操作前先备份配置文件[root@yvonne ~]# ls /etc/sysconfig/network-scripts/ 查看是否备份成功[root@yvonne ~]#vim /etc/sysconfig/network-scripts/ifcfg-eth0编辑配置文件DEVICE=eth0
HWADDR=08:00:27:85:4E:D3
TYPE=Ethernet
UUID=8de80cdb-6507-4cb3-88ef-bf1c46e6a5c9
ONBOOT=yes
NM_CONTROLLED=yes
BOOTPROTO=dhcp --------dhcp的配置文件
https://www.doczj.com/doc/de14116623.html,/xd502djj/archive/2011/03/01/1967800.html linux配置IP的方法[root@yvonne ~]# diff /etc/sysconfig/network-scripts/ifcfg-eth0 /etc/sysconfig/network-scripts/ifcfg-eth0.yvonne20150608 操作完对比
5,8c5
< BOOTPROTO=static
< IPADDR=192.168.10.100
< NETMASK=255.255.255.0
< GATEWAY=192.168.10.1
---
> BOOTPROTO=dhcp
[root@yvonne ~]# service network restart 重启服务使配置生效[root@yvonne ~]# ip add 查看ip地址
7.防火墙
[root@yvonne ~]# /etc/init.d/iptables stop 关闭防火墙（临时生效，重启失效）iptables: Setting chains to policy ACCEPT: filter [ OK ]
iptables: Flushing firewall rules: [ OK ]
iptables: Unloading modules: [ OK ]
关闭防火墙，重启后生效
[root@yvonne ~]# chkconfig iptables off 关闭防火墙，重启后生效
[root@yvonne ~]# reboot
[root@yvonne ~]# service iptables status
iptables: Firewall is not running.
[root@yvonne ~]# /sbin/chkconfig --level 2345 iptables off 关闭防火墙，重启后生效[root@yvonne ~]# reboot
[root@yvonne ~]# service iptables status
iptables: Firewall is not running.
开启防火墙（临时生效，重启失效）：
[root@yvonne ~]# /etc/init.d/iptables restart 重启iptables防火墙（重启失效）
iptables: Applying firewall rules: [ OK ]
[root@yvonne ~]# service iptables start 开启iptables防火墙（重启失效）
iptables: Applying firewall rules: [ OK ]
开启防火墙，重启后生效
[root@yvonne ~]# chkconfig iptables on 开启防火墙，重启后生效
[root@yvonne ~]# reboot
[root@yvonne ~]# service iptables status
Table: filter
Chain INPUT (policy ACCEPT)
num target prot opt source destination
1 ACCEPT all -- 0.0.0.0/0 0.0.0.0/0 state RELATED,ESTABLISHED
2 ACCEPT icmp -- 0.0.0.0/0 0.0.0.0/0
3 ACCEPT all -- 0.0.0.0/0 0.0.0.0/0
4 ACCEPT tcp -- 0.0.0.0/0 0.0.0.0/0 state NEW tcp dpt:22
5 REJECT all -- 0.0.0.0/0 0.0.0.0/0 reject-with icmp-host-prohibited
Chain FORWARD (policy ACCEPT)
num target prot opt source destination
1 REJECT all -- 0.0.0.0/0 0.0.0.0/0 reject-with icmp-host-prohibited
Chain OUTPUT (policy ACCEPT)
num target prot opt source destination
[root@yvonne ~]# /sbin/chkconfig --level 2345 iptables on 开启防火墙，重启后生效[root@yvonne ~]# reboot
[root@yvonne ~]# service iptables status
Table: filter
Chain INPUT (policy ACCEPT)
num target prot opt source destination
1 ACCEPT all -- 0.0.0.0/0 0.0.0.0/0 state RELATED,ESTABLISHED
2 ACCEPT icmp -- 0.0.0.0/0 0.0.0.0/0
3 ACCEPT all -- 0.0.0.0/0 0.0.0.0/0
4 ACCEPT tcp -- 0.0.0.0/0 0.0.0.0/0 state NEW tcp dpt:22
5 REJECT all -- 0.0.0.0/0 0.0.0.0/0 reject-with icmp-host-prohibited
Chain FORWARD (policy ACCEPT)
num target prot opt source destination
1 REJECT all -- 0.0.0.0/0 0.0.0.0/0 reject-with icmp-host-prohibited
Chain OUTPUT (policy ACCEPT)
num target prot opt source destination
8.加大服务器文件描述符
1.概念
（1）表示形式为整数数字，一般使用（0--65535）的范围。
（2）进程使用的时候会占用文件描述符（使用它来打开标识的文件）
（3）Linux是一个基于POSIX和Unix的多用户、多任务、支持多线程和多CPU的操作系统。
默认的文件描述符是1024个，这在高并发环境下肯定是不够用的
硬件充裕的情况下，文件描述符不足，进程无法生成，服务就会受阻。
2.调整文件描述符
（1）方法一：
查看进程中最大打开文件描述符数：
[root@yvonne ~]# ulimit –n 查看进程中最大打开文件描述符数（默认查看的是soft limit）
1024 系统默认是1024
[root@yvonne ~]# ulimit –Hn 查看进程中最大打开文件描述符的hard limit
4096
[root@yvonne ~]# ulimit –Sn 查看进程中最大打开文件描述符的soft limit
1024
临时设置进程中最大打开文件描述符数
（注销重启后就失效了，而且不能增大hard limit，只能在hard limit范围内修改soft limit）：https://www.doczj.com/doc/de14116623.html,/superchanon/article/details/13303705
[root@yvonne ~]# ulimit -Hn 5024 临时设置hard limit为5024
[root@yvonne ~]# ulimit -Hn
5024
[root@yvonne ~]# ulimit -Sn 2048 临时设置soft limit为2048
[root@yvonne ~]# ulimit -Sn
2048
修改永久有效（需要root权限或sudo），设置后重新登陆：
[root@yvonne ~]# cp /etc/security/limits.conf /etc/security/limits.conf.yvonne.20150524
操作前先备份[root@yvonne ~]# ls /etc/security/
limits.conf.yvonne.20150524 limits.conf
[root@yvonne ~]# echo '* - nofile 65535 ' >>/etc/security/limits.conf 设置进程中最大打开文件描述符数为65535 [root@yvonne ~]# tail -l /etc/security/limits.conf
#* soft core 0
#* hard rss 10000
#@student hard nproc 20
#@faculty soft nproc 20
#@faculty hard nproc 50
#ftp hard nproc 0
#@student - maxlogins 4
* - nofile 65535
[root@yvonne ~]# diff /etc/security/limits.conf /etc/security/limits.conf.yvonne20150608
49c49
< * - nofile 65535
---
>
# End of file [root@yvonne ~]# logout (或Ctrl+D) 退出登录（Ctrl+D = logout）
[root@yvonne ~]# ulimit -n
65535
[root@yvonne ~]# ulimit –a 查看所有限制，以及设定参数
core file size (blocks, -c) 0
data seg size (kbytes, -d) unlimited
scheduling priority (-e) 0
file size (blocks, -f) unlimited
pending signals (-i) 3624
max locked memory (kbytes, -l) 64
max memory size (kbytes, -m) unlimited
open files (-n) 1024
pipe size (512 bytes, -p) 8
POSIX message queues (bytes, -q) 819200
real-time priority (-r) 0
stack size (kbytes, -s) 10240
cpu time (seconds, -t) unlimited
max user processes (-u) 3624
virtual memory (kbytes, -v) unlimited
file locks (-x) unlimited
[root@yvonne ~]# man limits.conf
limits.conf - configuration file for the pam_limits module (后面的省略)
[root@yvonne ~]# help ulimit
Modify（修改）shell resource（资源）limits.
Provides（规定）control（控制）over the resources available（可用的）to the shell and processes
it creates, on systems that allow such control.
[root@oldboy ~]# echo '* - nofile 65535 ' >>/etc/security/limits.conf
[root@oldboy ~]# tail -1 /etc/security/limits.conf
* - nofile
65535
设置成开机自启动，将配置文件放到/etc/rc.local下，下面是老师网课视频截图
按照传统，Linux不同的发行版本和不同的内核对各项参数及设置均做了改动，从而使得系统能够获得更好的性能。下边将分四部分介绍在Red Hat Enterprise Linux AS和SUSE LINUX Enterprise Server系统下，如何用以下几种技巧进行性能的优化： 1、Disabling daemons （关闭daemons) 2、Shutting down the GUI (关闭GUI) 3、C hanging kernel parameters (改变内核参数） 4、Kernel parameters （内核参数） 5、Tuning the processor subsystem（处理器子系统调优） 6、Tuning the memory subsystem （内存子系统调优） 7、Tuning the file system（文件系统子系统调优） 8、Tuning the network subsystem（网络子系统调优） 1 关闭daemons 有些运行在服务器中的daemons (后台服务)，并不是完全必要的。关闭这些daemons可释放更多的内存、减少启动时间并减少C PU处理的进程数。减少daemons数量的同时也增强了服务器的安全性。缺省情况下，多数服务器都可以安全地停掉几个daemons。 Table 10-1列出了Red Hat Enterprise Linux AS下的可调整进程. Table 10-2列出了SUSE LINUX Enterprise Server下的可调整进程
注意：关闭xfs daemon将导致不能启动X，因此只有在不需要启动GUI图形的时候才可以关闭xfs daemon。使用startx 命令前，开启xfs daemon，恢复正常启动X。 可以根据需要停止某个进程，如要停止sendmail 进程，输入如下命令： Red Hat: /sbin/service sendmail stop SUSE LINUX: /etc/init.d/sendmail stop 也可以配置在下次启动的时候不自动启动某个进程，还是send mail： Red Hat: /sbin/chkconfig sendmail off SUSE LINUX: /sbin/chkconfig -s sendmail off 除此之外，LINUX还提供了图形方式下的进程管理功能。对于Red Hat，启动GUI，使用如下命令：/usr/bin/redhat-config-serv ices 或者鼠标点击M ain M enu -> System Settings -> Serv er Settings -> Serv ices.
第一部分修改注册表 1.桌面显示ie8主图标 不要把快捷方式当成主图标啊 将以下代码储存为reg格式，双击导入注册表即可。请注意，如果你的系统不是安装在c盘下，请把里面所有的c盘盘符改为你的安装盘符。 Windows Registry Editor Version 5.00 [HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Windows\CurrentVersion\Explorer\Desk top\NameSpace\{00000000-0000-0000-0000-100000000001}] @="Internet Explorer" [HKEY_CLASSES_ROOT\CLSID\{00000000-0000-0000-0000-100000000001}] @="Internet Explorer" [HKEY_CLASSES_ROOT\CLSID\{00000000-0000-0000-0000-100000000001}\DefaultIcon] @="C:\\Windows\\System32\\ieframe.dll,-190" [HKEY_CLASSES_ROOT\CLSID\{00000000-0000-0000-0000-100000000001}\shell] @="" [HKEY_CLASSES_ROOT\CLSID\{00000000-0000-0000-0000-100000000001}\shell\NoAdd Ons] @="无加载项(&N)" [HKEY_CLASSES_ROOT\CLSID\{00000000-0000-0000-0000-100000000001}\shell\NoAdd Ons\Command] @="\"C:\\Program Files\\Internet Explorer\\iexplore.exe\" -extoff" [HKEY_CLASSES_ROOT\CLSID\{00000000-0000-0000-0000-100000000001}\shell\Open] @="打开主页(&H)" [HKEY_CLASSES_ROOT\CLSID\{00000000-0000-0000-0000-100000000001}\shell\Open\ Command] @="\"C:\\Program Files\\Internet Explorer\\iexplore.exe\"" [HKEY_CLASSES_ROOT\CLSID\{00000000-0000-0000-0000-100000000001}\shell\Set] @="属性(&R)" [HKEY_CLASSES_ROOT\CLSID\{00000000-0000-0000-0000-100000000001}\shell\Set\C ommand] @="\"C:\\Windows\\System32\\rundll32.exe\"
W eb网站大数据量的性能解决方案 随着中国大型IT企业信息化速度的加快，大部分应用的数据量和访问量都急剧增加，大型企业网站正面临性能和高数据访问量的压力，而且对存储、安全以及信息检索等等方面都提出了更高的要求…… 本文中，我想通过几个国外大型IT企业及网站的成功案例，从Web技术人员角度探讨如何积极地应对国内大型网站即将面临的扩展（主要是技术方面，而较少涉及管理及营销等方面）矛盾。 一、国外大型IT网站的成功之道 (一)MySpace 今天，MySpace已经成为全球众口皆碑的社区网站之王。尽管一流和营销和管理经验自然是每个IT企业取得成功的首要因素，但是本节中我们却抛弃这一点，而主要着眼于探讨在数次面临系统扩张的紧急关头MySpace是如何从技术方面采取应对策略的。 第一代架构—添置更多的Web服务器 MySpace最初的系统很小，只有两台Web服务器（分担处理用户请求的工作量）和一个数据库服务器（所有数据都存储在这一个地方）。那时使用的是Dell双CPU、4G内存的系统。在早期阶段，MySpace基本是通过添置更多Web服务器来对付用户暴增问题的。但到在2004年早期，在MySpace用户数增长到五十万后，其数据库服务器已经开始疲于奔命了。 第二代架构—增加数据库服务器 与增加Web服务器不同，增加数据库并没那么简单。如果一个站点由多个数据库支持，设计者必须考虑的是，如何在保证数据一致性的前提下让多个数据库分担压力。MySpace 运行在三个SQL Server数据库服务器上—一个为主，所有的新数据都向它提交，然后由它复制到其它两个；另两个数据库服务器全力向用户供给数据，用以在博客和个人资料栏显示。这种方式在一段时间内效果很好——只要增加数据库服务器，加大硬盘，就可以应对用户数和访问量的增加。 这一次的数据库架构按照垂直分割模式设计，不同的数据库服务于站点的不同功能，如登录、用户资料和博客。垂直分割策略利于多个数据库分担访问压力，当用户要求增加新功能时，MySpace只需要投入新的数据库加以支持。在账户到达二百万后，MySpace还从存储设备与数据库服务器直接交互的方式切换到SAN（存储区域网络）—用高带宽、专门设计的网络将大量磁盘存储设备连接在一起，而数据库连接到SAN。这项措施极大提升了系统性能、正常运行时间和可靠性。然而，当用户继续增加到三百万后，垂直分割策略也变得难以维持下去。 第三代架构—转到分布式计算架构 几经折腾，最终，MySpace将目光移到分布式计算架构——它在物理上分布的众多服务器，整体必须逻辑上等同于单台机器。拿数据库来说，就不能再像过去那样将应用拆分，再以不同数据库分别支持，而必须将整个站点看作一个应用。现在，数据库模型里只有一个用
LINUX性能调优方法总结 大多数 Linux 发布版都定义了适当的缓冲区和其他 Transmission Control Protocol（TCP）参数。可以修改这些参数来分配更多的内存，从而改进网络 性能。设置内核参数的方法是通过 proc 接口，也就是通过读写 /proc 中的值。幸运的是，sysctl 可以读取 /etc/sysctl.conf 中的值并根据需要填充 /proc，这样就能够更轻松地管理这些参数。清单 2 展示在互联网服务器上应用于 Internet 服务器的一些比较激进的网络设置。 # Use TCP syncookies when needed net.ipv4.tcp_syncookies = 1 # Enable TCP window scaling net.ipv4.tcp_window_scaling: = 1 # Increase TCP max buffer size net.core.rmem_max = 16777216 net.core.wmem_max = 16777216 # Increase Linux autotuning TCP buffer limits net.ipv4.tcp_rmem = 4096 87380 16777216 net.ipv4.tcp_wmem = 4096 65536 16777216 # Increase number of ports available net.ipv4.ip_local_port_range = 1024 65000 将这些设置添加到 /etc/sysctl.conf 的现有内容中。第一个设置启用TCP SYN cookie。当从客户机发来新的 TCP 连接时，数据包设置了 SYN 位，服务 器就为这个半开的连接创建一个条目，并用一个 SYN-ACK 数据包进行响应。在正常操作中，远程客户机用一个 ACK 数据包进行响应，这会使半开的连接 转换为全开的。有一种称为 SYN 泛滥（SYN flood）的网络攻击，它使 ACK 数据包无法返回，导致服务器用光内存空间，无法处理到来的连接。SYN cookie 特性可以识别出这种情况，并使用一种优雅的方法保留队列中的空间（细节参见参考资料一节）。大多数系统都默认启用这个特性，但是确保配 置这个特性更可靠。 启用 TCP 窗口伸缩使客户机能够以更高的速度下载数据。TCP 允许在未从远程端收到确认的情况下发送多个数据包，默认设置是最多 64 KB，在与延迟比 较大的远程客户机进行通信时这个设置可能不够。窗口伸缩会在头中启用更多的位，从而增加窗口大小。 后面四个配置项增加 TCP 发送和接收缓冲区。这使应用程序可以更快地丢掉它的数据，从而为另一个请求服务。还可以强化远程客户机在服务器繁忙时发
Win7优化 1、通过关闭特效，有效提高windows7的运行速度右键单击我的电脑-->属性-->高级系统设置-->性能-->设置-->视觉效果,留下五项"平滑屏幕字体边缘"、"启用透明玻璃"、"启用桌面组合"、"在窗口和按钮启用视觉样式"、"在桌面上为图标标签使用阴影"，其余的把勾全拿了，可以马上感觉到速度快了不少，而视觉上几乎感觉不到变化。另外还可以勾选上“显示缩略图，而不是显示图标” 2、据说可提高文件打开速度10倍的设置控制面板-->硬件和声音-->显示【显示或缩小文本及其他项目】-->设置自定义文本大小（DPI）去掉“使用Windows XP 风格DPI 缩放比例”的勾选，确定。【按照提示，注销计算机】 3、轻松访问控制面板-->轻松访问-->轻松访问中心-->使计算机易于查看-->勾选“关闭所有不必要的动画（如果可能）” 4、更改“Windows资源管理器”的默认打开的文件夹启动参数的命令格式为：%SystemRoot%explorer.exe /e,〈对象〉/root, 〈对象〉/select, 〈对象〉开始-->所有程序-->附件-->Windows资源管理器-->右击-->属性-->“快捷方式”选项卡-->目标修改为“%windir%\explorer.exe /e, D:\Downloads”，确定。然后右击“Windows资源管理器”-->锁定到任务栏 5、修改“我的文档”、“桌面”、“收藏夹”、“我的音乐”、“我的视频”、“我的图片”、“下载”等文件夹的默认位置方法一：CMD-->regedit，修改
“[HKEY_CURRENT_USER\Software\Microsoft\Windows\CurrentVers ion\Explorer\User Shell Folders]”方法二：系统盘-->用户-->“当前用户名”，分别右击上述文件夹-->属性-->位置-->移动 6、更改临时文件夹位置(%USERPROFILE%\AppData\Local\Temp) 右击“计算机”-->属性-->高级系统设置-->“高级”选项卡-->“环境变量”按钮-->X用户环境变量 7、更改“IE临时文件夹”位置IE-->Internet选项-->“常规”选项卡-->“设置”按钮-->“移动文件夹”按钮-->选择 8、系统自动登录cmd-->“control userpasswords2”-->去掉“要使用本机，用户必须输入用户名和密码”复选勾 9、关闭系统休眠 cmd-->“powercfg -h off” 10、去除历史纪录cmd-->“gpedit.msc”-->打开“本地组策略编辑器” (1)计算机配置-管理模板-系统-关机选项-关闭会阻止或取消关机（启动） (2)用户配置-->管理模板-->"开始"菜单和任务栏-->不保留最近打开的历史(启用) (3)用户配置-->管理模板-->"开始"菜单和任务栏-->退出系统时清除最近打开的文档的历史(启用) (4)用户配置→管理模板→Windows组件→Windows资源管理器→在Windows资源管理器搜索框中关闭最近搜索条目的显示（启用） 11、在任务栏同时显示“星期几”控制面板→时钟、语言和区域→区域和语言→更改日期、时间或数字格式，点击弹出窗口中的“更改
大数据报表优化问题 方法一、优化设计器的配置，方法如下：在reportconfig.xml里面，您可以修改一下信息优化，单元格数，并发数等。 D:\润前报表\webapps\demo\WEB-INF 这个路径下的reportconfig.xml。 1）maxCellNum 当前报表系统能运算的最大单元格数，能够动态控制并发数。该数值的大小取决于硬件的配置，一般来说内存越大，这些数值可以设得越大，但最多建议不要超过2000000。 设置为-1 ，表示为无限大。 2）maxConcurrentForReport表示报表WEB应用中服务器可以同时计算的报表的个数，以便有效控制服务器的内存使用量。该数值的大小取决于硬件的配置，一般来说内存越大，这些数值可以设得越大，但最多建议不要超过100。 3）maxWaitForReport表示报表WEB应用中服务器可以等待计算的报表的个数，以便有效控制服务器的内存使用量。该数值的大小取决于硬件的配置，一般来说内存越大，这个数值可以设得越大，但最多建议不要超过100。 maxWaitTimeForReport表示内存溢出后，最长等待多久才允许新任务访问，以秒为单位，一般建议为30。 4）另外在D:\润前报表\bin 下startup.bat 里面可以修改设计器使用内存，可以根据计算机性能配置。Xms512m -Xmx1024m 这里一般改成1024 1024 startdemo.bat是设置ie浏览时的内存。 方法二、利用tag标签对报表进行分页运算和输出，您可以参考下《应用开发教程》--》2.6.3 autobig分页。 在一页一页计算报表的基础上，然后一页一页输出到文件。即在输出到文件时判断一下该文件是否有内容，如果有，则追加到后面。 实现方法：1）调API接口按常规的办法计算报表，获得结果报表iReport 2）调用ReportUtils.exportToText( OutputStream os, IReport report )方法即可实现流式输出到txt 文件 方法二需要将jar包更新，否则会提示autobig标签未定义错误。
Linux 操作系统发展现状 Linux操作系统发展迅速，全球Top500超级计算发布数据显示89.2%的超级计算机运行在Linux操作系统之上；桌面操作系统市场份额虽然不高，但也在逐年扩大；国际大公司Intel、Google、IBM等都在Linux操作系统上加大研发投入，为Linux 操作系统长远发展带来充足后劲。国内操作系统研发组织机构、厂商也都相应加大投入，以缩小与国际Linux 厂商技术之间的差距。 但是Linux 的发展仍然面临着兼容性差，软件缺乏，以及面临版本众多导致Linux 操作系统分裂等问题。掌握核心技术，解决Linux 当前面临的关键发展问题是当务之急。 一国内Linux 操作系统发展现状 国内目前涉足Linux操作系统研发除学校、研发机构外，主要Linux 发行版包括红旗、中标、共创、新华、拓林思等，均有桌面和服务器两个版本； 国内各发行版均基于国际社区版本发展而来，基于国际社区成果，在界面定制上做了一些工作，并没有掌握核心技术，且与国际Linux 操作系统发行版之间存在一定的技术差距，缺少技术积累，面临Linux发展后劲不足等问题。 二国外Linux 操作系统发展现状 国外主要发行版包括redhat、ubuntu、Suse 等，均提供桌面
和服务器两个不同版本。服务器领域Linux 操作系统发展比较成熟，桌面发展比较缓慢,嵌入式领域发展较快。 Redhat RHEL是目前Linux服务器产品的标杆，在国内和国际上都占据着主要的Linux 服务器市场份额。RHEL 产品功能全面，产品认证齐全，用户的接受度比较高。RHEL 主要依靠技术服务和产品维护获取盈利。Redhat自9.0以后，不再发布桌面版，而是把这个项目与开源社区合作，于是就有了Fedora这个Linux发行版。目前Fedora对于Redhat的作用主要是为RHEL提供开发的基础。Fedora 的界面与操作系统与RHEL 非常相似、用户会感觉非常熟悉；另外对于新技术，fedora一直快速引入；并且fedora 一直坚持绝对开源的原则。而因为Redhat 在Linux的地位和影响力，拥有很多坚定的爱好者使用。 Suse SLES被Novell收购以后，产品的竞争力获得了很大的提升。SLES最大的优势在于应用解决方案比较丰富。SLES同样依靠技术服务和产品维护获取盈利。SUSE的yast2配置工具一直是业内公认的非常完善的安装及系统工具，能够进行系统大多数的配置功能；另外，SUSE 与 67 微软的合作，也使得SUSE在与Windows的互操作性方面具
Hive性能优化 1.概述 本人在工作中总结Hive的常用优化手段和在工作中使用Hive出现的问题。下面开始本篇文章的优化介绍。 2.介绍 首先，我们来看看hadoop的计算框架特性，在此特性下会衍生哪些问题？ ?数据量大不是问题，数据倾斜是个问题。 ? jobs数比较多的作业运行效率相对比较低，比如即使有几百行的表，如果多次关联多次汇总，产生十几个jobs，耗时很长。原因是map reduce作业初始化的时间是比较长的。 ? sum,count,max,min等UDAF，不怕数据倾斜问题,hadoop在map 端的汇总合并优化，使数据倾斜不成问题。 ? count(distinct ),在数据量大的情况下，效率较低，如果是多count(distinct )效率更低，因为count(distinct)是按group by 字段分组，按distinct字段排序，一般这种分布方式是很倾斜的。举个例子：比如男uv,女uv，像淘宝一天30亿的pv，如果按性别分组，分配2个reduce,每个reduce处理15亿数据。
面对这些问题，我们能有哪些有效的优化手段呢？下面列出一些在工作有效可行的优化手段： ?好的模型设计事半功倍。 ?解决数据倾斜问题。 ?减少job数。 ?设置合理的map reduce的task数，能有效提升性能。(比如，10w+级别的计算，用160个reduce，那是相当的浪费，1个足够)。 ?了解数据分布，自己动手解决数据倾斜问题是个不错的选择。 set hive.groupby.skewindata=true;这是通用的算法优化，但算法优化有时不能适应特定业务背景，开发人员了解业务，了解数据，可以通过业务逻辑精确有效的解决数据倾斜问题。 ?数据量较大的情况下，慎用count(distinct)，count(distinct)容易产生倾斜问题。 ?对小文件进行合并，是行至有效的提高调度效率的方法，假如所有的作业设置合理的文件数，对云梯的整体调度效率也会产生积极的正向影响。 ?优化时把握整体，单个作业最优不如整体最优。 而接下来，我们心中应该会有一些疑问，影响性能的根源是什么？ 3.性能低下的根源
Linux中的Weblogic性能测试调整 一．操作系统参数调整 1.linux TCP连接数调整 通过命令：ulimit –n 查看当前最大TCP连接数，这表示当前用户的每个 进程最多允许同时打开多少个文件。一般系统默认为1024，在并发量大 的情况下肯定不够用。 修改此限制的最简单办法：ulimit –n
最近一段时间参与的项目要操作百万级数据量的数据，普通SQL查询效率呈直线下降，而且如果where中的查询条件较多时，其查询速度简直无法容忍。之前数据量小的时候，查询语句的好坏不会对执行时间有什么明显的影响，所以忽略了许多细节性的问题。 经测试对一个包含400多万条记录的表执行一条件查询，其查询时间竟然高达40几秒，相信这么高的查询延时，任何用户都会抓狂。因此如何提高sql语句查询效率，显得十分重要。以下是结合网上流传比较广泛的几个查询语句优化方法： 基本原则：数据量大的时候，应尽量避免全表扫描，应考虑在where 及order by 涉及的列上建立索引，建索引可以大大加快数据的检索速度。但是，有些情况索引是不会起效的，因此，需要下面的做法进行优化： 1、应尽量避免在where 子句中使用!=或<>操作符，否则将引擎放弃使用索引而进行全表扫描。 2、应尽量避免在where 子句中对字段进行null 值判断，否则将导致引擎放弃使用索引而进行全表扫描，如： select id from t where num is null 可以在num上设置默认值0，确保表中num列没有null值，然后这样查询： select id from t where num=0 3、尽量避免在where 子句中使用or 来连接条件，否则将导致引擎放弃使用索引而进行全表扫描，如： select id from t where num=10 or num=20 可以这样查询： select id from t where num=10 union all select id from t where num=20 4、下面的查询也将导致全表扫描：
linux系统性能优化及瓶颈分析 一，用vmstat分析系统I/O情况 [root@localhost ~]# vmstat -n 3 (每个3秒刷新一次） procs-----------memory--------------------swap--- ---io---- --system---- ------cpu-------- r b swpd free buff cache si so bi bo in cs us sy id wa 1 0 144 186164 105252 2386848 0 0 18 166 83 2 48 21 31 0 2 0 144 189620 105252 2386848 0 0 0 177 1039 1210 34 10 56 0 0 0 144 214324 105252 2386848 0 0 0 10 1071 670 32 5 63 0 0 0 144 202212 105252 2386848 0 0 0 189 1035 558 20 3 77 0 2 0 144 158772 105252 2386848 0 0 0 203 1065 2832 70 14 15 0 IO -bi:从块设备读入的数据总量（读磁盘）（KB/S） -bo:写入到块设备的数据总量（写磁盘）（KB/S） 随机磁盘读写的时候，这2个值越大（如超出1M),能看到CPU在IO等待的值也会越大 二，用iostat分析I/O子系统情况 如果你的系统没有iostat，sar，mpstat等命令，安装sysstat- 7.0.2-1.el5.i386.rpm包，iostat工具将对系统的磁盘操作活动进行监视。它的特点是汇报磁盘活动统计情况，同时也会汇报出CPU 使用情况。同vmstat
作用： ①仿真的过程也是实验的过程，而且还是系统地收集和积累信息的过程。尤其是对一些复杂的随机问题，应用仿真技术是提供所需信息的唯一令人满意的方法。 ②仿真技术有可能对一些难以建立物理模型或数学模型的对象系统，通过仿真模型来顺利地解决预测、分析和评价等系统问题。 ③通过系统仿真，可以把一个复杂的系统化降阶成若干子系统以便于分析，并能指出各子系统之间的各种逻辑关系。 ④通过系统仿真，还能启发新的策略或新思想的产生，或能暴露出在系统中隐藏着的实质性问题。同时，当有新的要素增加到系统中时，仿真可以预先指出系统状态中可能会出现的瓶颈现象或其它的问题。 2.简述两个Wardrop 均衡原理及其适用范围。 答： Wardrop提出的第一原理定义是：在道路的利用者都确切知道网络的交通状态并试图选择最短径路时，网络将会达到平衡状态。在考虑拥挤对行驶时间影响的网络中，当网络达到平衡状态时，每个 OD 对的各条被使用的径路具有相等而且最小的行驶时间；没有被使用的径路的行驶时间大于或等于最小行 驶时间。 Wardrop提出的第二原理是：系统平衡条件下，拥挤的路网上交通流应该按照平均或总的出行成本 最小为依据来分配。 第一原理对应的行为原则是网络出行者各自寻求最小的个人出行成本，而第二原理对应的行为原则是网络的总出行成本最小。 3.系统协调的特点。 答： （1）各子系统之间既涉及合作行为，又涉及到竞争行为。 （2）各子系统之间相互作用构成一个反馈控制系统，通过信息作为“中介”而构成整体 （3）整体系统往往具有多个决策人，构成竞争决策模式。 （4）系统可能存在第三方介入进行协调的可能。 6．对已经建立了概念模型的系统处理方式及其特点、适用范围。答：对系统概念模型有三种解决方式。 1.建立解析模型方式 对简单系统问题，如物流系统库存、城市公交离线调度方案的确定、交通量不大的城市交叉口交通控制等问题，可以运用专业知识建立系统的量化模型（如解析数学模型），然后采用优化方法确定系统解决方案，以满足决策者决策的需要，有关该方面的内容见第四、五章。 在三种方式中，解析模型是最科学的，但仅限于简单交通运输系统问题，或仅是在实际工程中一定的情况下（仅以一定的概率）符合。所以在教科书上很多漂亮的解析模型，无法应用于工程实际中。 2.建立模拟仿真模型方式 对一般复杂系统，如城市轨道交通调度系统、机场调度系统、城市整个交通控制系统等问题，可以对系统概念模型中各个部件等采用变量予以量化表示，并通过系统辨识的方式建立这些变量之间关系的动力学方程组，采用一定的编程语言、仿真技术使其转化为系统仿真模型，通过模拟仿真寻找较满意的优化方案，包括离线和在线均可以，有关该方面的内容见第七章。 模拟仿真模型比解析模型更能反映系统的实际，所以在交通运输系统中被更高层次的所使用，包括
Linux 性能调优的几种方法 按照传统，Linux不同的发行版本和不同的内核对各项参数及设置均做了改动，从而使得系统能够获得更好的性能。下边将分四部分介绍在Red Hat Enterprise Linux AS和SUSE LINUX Enterprise Server系统下，如何用以下几种技巧进行性能的优化： 1、Disabling daemons （关闭daemons) 2、Shutting down the GUI (关闭GUI) 3、Changing kernel parameters (改变内核参数） 4、Kernel parameters （内核参数） 5、Tuning the processor subsystem（处理器子系统调优） 6、Tuning the memory subsystem （内存子系统调优） 7、Tuning the file system（文件系统子系统调优） 8、Tuning the network subsystem（网络子系统调优） 1 关闭daemons 有些运行在服务器中的daemons (后台服务)，并不是完全必要的。关闭这些daemons可释放更多的内存、减少启动时间并减少CPU处理的进程数。减少daemons数量的同时也增强了服务器的安全性。缺省情况下，多数服务器都可以安全地停掉几个daemons。 Table 10-1列出了Red Hat Enterprise Linux AS下的可调整进程. Table 10-2列出了SUSE LINUX Enterprise Server下的可调整进程
注意：关闭xfs daemon将导致不能启动X，因此只有在不需要启动GUI图形的时候才可以关闭xfs daemon。使用startx命令前，开启xfs daemon，恢复正常启动X。
（1）首先是对Linux启动过程的跟踪和分析，生成详细的启动时间报告。 较为简单可行的方式是通过PrintkTime功能为启动过程的所有内核信息增加时间戳，便于汇总分析。PrintkTime最早为CELF所提供的一个内核补丁，在后来的Kernel 2.6.11版本中正式纳入标准内核。所以大家可能在新版本的内核中直接启用该功能。如果你的Linux 内核因为某些原因不能更新为2.6.11之后的版本，那么可以参考CELF提供的方法修改或直接下载它们提供的补丁：https://www.doczj.com/doc/de14116623.html,/CelfPubWiki/PrintkTimes 开启PrintkTime功能的方法很简单，只需在内核启动参数中增加“time”即可。当然，你也可以选择在编译内核时直接指定“Kernel hacking”中的“Show timing information on printks”来强制每次启动均为内核信息增加时间戳。这一种方式还有另一个好处：你可以得到内核在解析启动参数前所有信息的时间。因此，我选择后一种方式。 当完成上述配置后，重新启动Linux，然后通过以下命令将内核启动信息输出到文件： dmesg -s 131072 > ktime 然后利用一个脚本“show_delta”（位于Linux源码的scripts文件夹下）将上述输出的文件转换为时间增量显示格式： /usr/src/linux-x.xx.xx/scripts/show_delta ktime > dtime 这样，你就得到了一份关于Linux启动时间消耗的详细报告。 （2）然后，我们就来通过这份报告，找出启动中相对耗时的过程。 必须明确一点：报告中的时间增量和内核信息之间没有必然的对应关系，真正的时间消耗必须从内核源码入手分析。 这一点对于稍微熟悉编程的朋友来说都不难理解，因为时间增量只是两次调用printk 之间的时间差值。通常来说，内核启动过程中在完成一些耗时的任务，如创建hash索引、probe硬件设备等操作后会通过printk将结果打印出来，这种情况下，时间增量往往反映的是信息对应过程的耗时；但有些时候，内核是在调用printk输出信息后才开始相应的过程，那么报告中内核信息相应过程的时间消耗对应的是其下一行的时间增量；还有一些时候，时间消耗在了两次内核信息输出之间的某个不确定的时段，这样时间增量可能就完全无法通过内核信息反应出来了。 所以，为了准确判断真正的时间消耗，我们需要结合内核源码进行分析。必要的时候，例如上述第三种情形下，还得自己在源码中插入printk打印，以进一步确定实际的时间消耗过程。 以下是我上次裁减后Linux内核的启动分析：
大数据分析应用最多的9个关键领域 随着企业开始利用大数据，我们每天都会看到大数据新的奇妙的应用，帮助人们真正从中获益。大多数企业和社会都会受到大数据分析的影响，但大数据是究竟是如何帮助增加价值呢? 下面让我们来看看9个高价值大数据应用，这些都是大数据分析应用的关键领域： 1. 理解、定位客户，以及为客户提供服务 这是现在最大的最广为人知的大数据应用领域之一。这里的重点是使用大数据来更好地了解客户以及他们的行为和喜好。企业都热衷于收集社交媒体数据、浏览器日志、文本分析和传感器数据，来更全面地了解他们的客户。在大多数情况下，这里的总的目标是创建预测模型。例如美国零售商Target通过利用大数据分析，他们现在可以非常准确地预测他们的客户什么时候想要小孩。另外，通过使用大数据，电信公司现在可以更好地预测客户流失，沃尔玛可以更好地预测哪些产品将会热卖，汽车保险公司能够了解其客户的驾驶水平，而政府则能够了解选民的偏好。 2. 理解和优化业务流程 大数据也越来越多地用于优化业务流程。通过利用从社交媒体数据、网络搜索趋势以及天气预报挖掘出的预测信息，零售商能够优化其库存。其中广泛应用大数据分析的业务流程是供应链或配送路线优化。在这方面，地理定位或无线电频率识别传感器被用来追踪货物或送货车，并通过整合实时交通数据来优化路线。人力资源业务流程也能够通过使用大数据分析来改进。这包括优化人才招聘，以及使用大数据工具衡量公司文化和人员参与度。 3. 大数据改善每个人的生活 大数据不仅适用于企业和政府，也适用于我们每一个人。我们现在可以利用从可穿戴设备(例如智能手表或智能手链)生成的数据，这让我们可以追踪我们的热量消耗、睡眠模式等。我们还可以利用大数据分析来寻找爱情，大多数网上交友网站都使用大数据工具和算法来帮助我们寻找最合适的对象。 4. 提高医疗和研发 大数据分析的计算能力使我们能够在几分钟内解码整个DNA，并让我们可以找到新的治疗方法，同时更好地理解和预测疾病模式。就像所有人能够受益于智能手表和可穿戴设备产生的数据一样，大数据同样可以帮助病人更好地治病。未
嵌入式linux内存使用与性能优化 https://www.doczj.com/doc/de14116623.html,/bird67/article/details/199686592014本文摘自： https://www.doczj.com/doc/de14116623.html,/liuchao1986105/article/details/66776631、内核分配物理内存的最小单位为一个物理页面，一个物理页面为4kb。无论虚拟内存分配了多少字节，比如malloc(400)，内核仍然分配4kb物理内存页面。 2、malloc语句执行时，只是给进程分配了虚拟内存，虚拟内存此时不占用物理内存。当使用此处内存时，比如变量赋值*p = ??或memcpy或strcpy时，内核会产生一个页故障，从而为进程分配一个物理页面。 3、进程状态可以在/proc中根据pid值找到进程的目录。 目录中statm信息（cat statm）中的7个数，以页为单位。 从左至右依次为size：任务虚拟地址空间大小。 resident：应用程序正在使用的物理内存大小。shared：共享页数。 trs：程序所拥有的可执行虚拟内存大小。lrs：被映像到任务的虚拟内存空间的库的大小。drs：程序数据段和用户态的栈的大小。dt：脏页数量。 4、目录中maps信息（cat maps）中，表示进程使用的虚拟地址（栈，堆，代码等）。内存使用权限信息r=读，
w=写，x=执行，s=共享，p=私有。r-xp通常表示代码段，只读，可执行。Rw-p通常表示数据段，可读写，不能执行。rwxp通常表示栈段，读写，可执行。栈不仅可以保存数据，也可以保存代码。 5、32位操作系统中，进程虚拟内存为4g，分为两部分，内核空间（高1g），用户空间（低3g）。 6、堆段：每个进程有一个，不论是主进程、动态库还是不同的线程里申请的堆内存，都反映在进程的堆段。栈段：每个线程有一个，如果进程中有多个线程，则包含多个栈段。代码段：由于其只读，不会被修改，故其在整个系统中共享。比如说一个执行文件，在系统中同时存在多个进程，那么这些进程将共享其代码段所占用的内存。 数据段：由于它是可写的，其内容与其所在的进程高度相关，所以在程序运行时会为每个进程创建一个数据段副本，故每个进程有一个数据段。 7、p = malloc(xxx); 分配给p的大小存放于*(p - 4)位置。 8、readelf、size、strip命令的使用。Nm ???.out检查???.out 执行文件的符号表。 9、检查当前内核配置的进程栈大小，使用ulimit -a命令查看stack size:。如需设置栈大小，使用ulimit -s 16384，栈大小为16k。 10、线程栈空间未设置时，通常为2m。2m的栈空间略微显
RHCA-RH442总结 UNIT2 COLLECTING,GRAPHING AND INTERPRETING DATA Units and Unit Conversions How much is how much? international System of Units (SI)prefixes are decimal: kilo-(K)=10^3 mega-(M)=10^6 giga-(G)=10^9 tera-(T)=10^12 peta-(P)=10^15 exa-(E)=10^18 The International Electrotechnical Commission(IEC)prefixes are binary: kibi-(Ki)=2^10 mebi-(Mi)=2^20 gibi-(Gi)=2^30 tebi-(Ti)=2^40 pebi-(Pi)=2^50 exbi-(Ei)=2^60 Profiling Tools vmstat:虚拟内存统计 语法：vmstat [-V] [-n] [delay [count]] -V 表示打印出版本信息 -n 表示在周期性循环输出时，输出的头部信息仅显示一次 delay 表示两次输出之间的间隔时间 count 表示按照delay指定的时间间隔统计的次数，默认为1 procs： r：运行和等待cpu时间片的进程数，这个值如果长期大于系统CPU的个数，表示CPU不足，需增加CPU b:处于不可打扰睡眠中的进程数（等待资源的进程数），比如正在等待I/O 或内存交换。 memory： swpd:表示切换到内存交换区的内存大小。如果swpd的值不为0或比较大，只要si，so的值长期为0，一般不会影响系统性能。（KB） free：当前空闲的物理内存。（KB） buff：用作buffers cache的内存数量，一般对块设备的读写才需要缓冲。 cache：用作page cached的内存数量，一般作为文件系统进行缓存，频繁访问的文件都会被缓存。如果cache值较大，说明缓存的文件数较多，如果此时io 中的bi比较小，说明文件系统效率比较好。 swap si：表示由磁盘调入内存，也就是由内存进入内存交换区的内存大小。 so：表示有内存调入磁盘，也就是由内存交换区进入内存的内存大小。
Linux操作系统的发展历史及趋势 内容摘要：Linux操作系统的诞生，Linux 的发展，Linux的特性决定其迅猛发展，Linux 的应用领域与发展前景 关键词：Linux的发展前景 Linux是一种可以免费使用和自由传播的操作系统。Linux操作系统是由全球许多程序员设计实现的。Linux的目的是创建不受商品化软件的版权制约，所有人都能自由使用、复制、修改、发行。Linux是一个日渐成熟的操作系统，由于其安全、高效、免费等特点，使得Linux 被越来越多人了解和使用。 1.Linux操作系统的诞生 在1981年到1991年十年间，微软公司的MS-DOS系统一直主宰操作系统的市场，其价格十分昂贵，另一个操作系统UNIX的经销商为了高利润，也把价格抬得很高。曾经一段时间，市面上一直没有廉价的操作系统，而且UNIX的源代码一直被小心地守卫着不公开，许多程序和爱好者想要研究却无从下手。正在此时，出现了MINIX操作系统，并有一本详细的书本描述它的设计实现原理。由于AST的书写的非常详细，并且叙述有条有理，几乎全世界的计算机爱好者都在看这本书以理解操作系统的工作原理。其中也包括Linux系统的创始者Linus Benedict Torvalds（图a）。但是MINIX只是很简单的操作系统，功能有限不是很实用。到1991 年，GNU 计划已经开发出了许多工具软件。最受期盼的Gnu C 编译器已经出现，但还没有开发出免费的GNU 操作系统。即使是MINIX 也开始有了版权，需要购买才能得到源代码。而GNU 的操作系统HURD 一直在开发之中，但并不能在几年内完成。对于Linus 来说，已经不能等待了。从1991 年4 月份起，他开始酝酿并着手编制自己的操作系统。1991 年 9 月，Linus发布了 Linux 0.01。来自各地的力量开始在 Linux 附近聚集，大家下载、测试代码，并将反馈和改进的代码发回，Linus则根据反馈进一步改进系统。很快，10 月 5 日 0.02 就出现了，0.03 也在几周内出现，12 月发布了 0.10。这时的 Linux 还像是一个雏形，仅仅支持 AT 硬盘，无法登录（直接启动到 bash）。Linux 0.11 带来了多语言键盘、软驱、VGA 等等一系列更新，接下来版本号从 0.12 直接跳到了 0.95、0.96。接下来，代码通过芬兰的 FTP 站点传播到世界各地，世界各地的开发者下载使用并建立 FTP 镜像，这一切进行得几近梦幻。〔1〕 2. Linux 的发展 工作在继续进行，很快上百人加入了 Linux 阵营。然后是上千人。接下来是几十万人。无数黑客们仅仅通过调制解调器联系在一起，在世界各地贡献代码和补丁，形成巨大的力量。看似一团散沙的分布式开发模式写出了优质的代码和稳定的内核。在此之前，从没有这样一个软件项目由如此多而又不在同一地点的人同时参加，Linux 缔造了奇迹。在考虑良久之后，Linus使用 GNU 通用公共许可证将 Linux 重新授权，这保证了可以完全自由地复制、学习和修改源代码。在微软崇尚的代码专有时代，一个程序员如果修改、发布专有的代码，可能将面临长时间的监禁。而 Linux 的到来则标志着自由——Linux 和GNU 的世界鼓励人们自由修改代码、分享程序，这就像是一片美好的新大陆，完全颠覆了人们曾经对计算机世界的认识。此时的 GNU 计划尚缺一个可用的开源内核，而几近完成的 Linux 内核刚好补足了这个空缺。Linux 与 GNU 的外界应用程序一起构成了完整的 GNU 系统（由此可见，一个完整的 Linux系统是由 Linux 内核和 GNU 系统共同组成的，因此一些人认为应该称作GNU/Linux）。在 1992 年和 1993 年中，Linux 开始支持包括 TCP/IP 网络、图形窗口系统（X Windows 系统）在内的许多重要功能，已足以替代 Unix 工作站。1994 年 3 月，Linux 里程碑版本 1.0 发布，标志这 Linux 的真正成熟。〔2〕