Linux实用运维脚本分享

#查看僵尸进程ps -al | gawk '{print $2,$4}' | grep Z# 匹配电子邮件的地址cat index.html | egrep -o "[A-Za-z0-9._] @[A-Za-z0-9.] .[a-zA-Z]{2,4}" > ans.txt#匹配http URLcat index.html | egrep -o "http://[A-Za-z0-9.] .[a-zA-Z]{2,3}" > ans.txt #纯文本形式下载网页lynx -dump www.rumenz.com > plain.txt#只打印HTTP头部信息，无须远程下载文件curl --head www.rumenz.com#使用POST提交数据curl -d "param2=nickwolfe¶m2=12345" http://www.rumenz.com/login.cgi#显示分组途经的网关traceroute www.rumenz.com#列出系统中的开放端口以及运行在端口上的服务lsof -i #nc命令建立socket连接#设置监听 nc -l 5555#连接到套接字 nc 192.0.0.1 5555#快速文件传输#接收端 nc -l 5555 > destination_filename#发送端 nc 192.0.0.1 5555 < source_filename#找出指定目录最大的n个文件du -ak target_dir | sort -nrk 1 | head -n 4# du中a为递归,k为kb；sort中n为数字,r为降序,k指定列#向终端中的所有登陆用户发送广播信息cat message.txt | wall#创建新的screen窗口screen#打印所有的.txt和.pdf文件find . ( -name "*.txt" -o -name "*.pdf" ) -print# -exec command {} ;是连用的，所有符合的都会放置在{}中，去执行command #将文件分割成多个大小为10kB的文件split -b 10k data.file #打印两个文件的交集comm A.txt B.txt -3 | sed 's/^t//'#sed移除空白行sed '/^$/d' file

mysql备份

#!/BIN/bashset -eUSER="backup"PASSWORD="backup"# 数据库数据目录 #DATA_DIR="/data/mysql"BIN_INDEX=$DATA_DIR"/mysql-bin.index"# 备份目录 #BACKUP_DIR="/data/backup/mysql"BACKUP_LOG="/var/log/mysql/backup.log"DATE=`date "%Y%m%d"`TIME=`date "%Y%m%d%H"`LOG_TIME=`date "%Y-%m-%d %H:%M:%S"`DELETE_BINLOG_TIME="7 day"INCREMENT_INTERVAL="3 hour"note() { printf "[$LOG_TIME] note: $*n" >> $BACKUP_LOG;}warning() { printf "[$LOG_TIME] warning: $*n" >> $BACKUP_LOG;}error() { printf "[$LOG_TIME] error: $*n" >> $BACKUP_LOG; exit 1;}full_backup() { local dbs=`ls -l $DATA_DIR | grep "^d" | awk -F " " '{print $9}'` for db in $dbs do local backup_dir=$BACKUP_DIR"/full/"$db local filename=$db"."$DATE local backup_file=$backup_dir"/"$filename".sql" if [ ! -d $backup_dir ] then mkdir -p $backup_dir || { error "创建数据库 $db 全量备份目录 $backup_dir 失败"; continue; } note "数据库 $db 全量备份目录 $backup_dir 不存在，创建完成"; fi note "full backup $db start ..." mysqldump --user=${USER} --password=${PASSWORD} --flush-logs --skip-lock-tables --quick $db > $backup_file || { warning "数据库 $db 备份失败"; continue; } cd $backup_dir tar -cPzf $filename".tar.gz" $filename".sql" rm -f $backup_file chown -fR mysql:mysql $backup_dir note "数据库 $db 备份成功"; note "full backup $db end." done}increment_backup() { local StartTime=`date "-d $INCREMENT_INTERVAL ago" "%Y-%m-%d %H:%M:%S"` local DELETE_BINLOG_END_TIME=`date "-d $DELETE_BINLOG_TIME ago" "%Y-%m-%d %H:%M:%S"` local dbs=`ls -l $DATA_DIR | grep "^d" | awk -F " " '{print $9}'` mysql -u$USER -p$PASSWORD -e "purge master logs before '$DELETE_BINLOG_END_TIME'" && note "delete $DELETE_BINLOG_TIME days before log"; filename=`cat $BIN_INDEX | awk -F "/" '{print $2}'` for i in $filename do for db in $dbs do local backup_dir=$BACKUP_DIR"/increment/"$db local filename=$db"."$TIME local backup_file=$backup_dir"/"$filename".sql" if [ ! -d $backup_dir ] then mkdir -p $backup_dir || { error "创建数据库 $db 增量备份目录 $backup_dir 失败"; continue; } note "数据库 $db 增量备份目录 $backup_dir 不存在，创建完成"; fi note "increment backup $db form time $StartTime start ..." mysqlbinlog -d $db --start-datetime="$StartTime" $DATA_DIR/$i >> $backup_file || { warning "数据库 $db 备份失败"; continue; } note "increment backup $db end." done done for db in $dbs do local backup_dir=$BACKUP_DIR"/increment/"$db local filename=$db"."$TIME local backup_file=$backup_dir"/"$filename".sql" cd $backup_dir tar -cPzf $filename".tar.gz" $filename".sql" rm -f $backup_file note "数据库 $db 备份成功"; done}case "$1" in full) full_backup ;; increment) increment_backup ;; *) exit 2 ;;esacexit 1

目录备份

#!/bin/bash### 时间DATE=$(date ' %Y-%m-%d_%H_%M_%S')# 备份目录 BACKUPDIR="/home/backups"# 需要备份的目录SORFILE=/opt# 目标文件名DESFILE=/home/backups/$SORFILE.$(date ' %Y-%m-%d_%H_%M_%S').zip[ ! -d $BACKUPDIR ] && mkdir -p $BACKUPDIRcd $BACKUPDIRecho "start backup $SORFILE ..."sleep 3#echo "$DESFILE"#tar cvf $DESFILE $SORFILE#gzip -f .zip $DESFILEzip -r $DESFILE $SORFILE &>/dev/nullif [ "$?" == "0" ]then echo $(date %Y-%m-%d)" zip sucess">>backup.logelse echo $(date %Y-%m-%d)" zip failed">>backup.log exit 0fi# 删除3天前的备份find $BACKUPDIR -type f -ctime 3 | xargs rm -rf

PING查询

#!/bin/bash#用途：根据网络配置对网络地址192.168.0进行修改，检查是否是活动状态#{start..end}shell扩展生成一组地址for ip in 192.168.0.{1..255}do ( ping $ip -c 2 &> /dev/null # > 标准输出重定向，和1>一致 # 2>&1 将标准错误输出重定向到标准输出 # &>file 将标准输出和标准错误输出都重定向到文件filename中 if [ $? -eq 0 ];then echo $ip is alive fi )&donewait#并行ping,加速

磁盘IO检查

##iostat是查看磁盘活动统计情况##显示所有设备负载情况 r/s: 每秒完成的读 I/O 设备次数。即 rio/s；w/s: 每秒完成的写 I/O 设备次数。即 wio/s等iostat ##每隔2秒刷新磁盘IO信息，并且每次显示3次iostat 2 3#显示某个磁盘的IO信息iostat -d sda1##显示tty和cpu信息IOstat -t##以M为单位显示磁盘IO信息iostat -m##查看TPS和吞吐量信息 kB_read/s：每秒从设备（drive expressed）读取的数据量；kB_wrtn/s：每秒向设备（drive expressed）写入的数据量；kB_read：读取的总数据量；kB_wrtn：写入的总数量数据量；iostat -d -k 1 1#查看设备使用率（%util）、响应时间（await）iostat -d -x -k 1 1#查看CPU状态iostat -c 1 3#统计进程(PID)的stat,进程的stat自然包括进程的IO状况pidstat#只显示IOpidstat -d 1 #-d IO 信息,-r 缺页及内存信息-u CPU使用率-t 以线程为统计单位1 1秒统计一次pidstat -u -r -d -t 1#文件级IO分析,查看当前文件由哪些进程打开lsof ls /proc/pid/fd#利用 sar 报告磁盘 I/O 信息DEV 正在监视的块设备 tps 每秒钟物理设备的 I/O 传输总量 rd_sec/s 每秒从设备读取的扇区数量 wr_sec/s 每秒向设备写入的扇区数量 avgrq-sz I/O 请求的平均扇区数#avgqu-sz I/O 请求的平均队列长度 await I/O 请求的平均等待时间，单位为毫秒 svctm I/O 请求的平均服务时间，单位为毫秒 %util I/O 请求所占用的时间的百分比，即设备利用率sar -pd 10 3 #iotop top的io版iotop#查看页面缓存信息其中的Cached 指用于pagecache的内存大小（diskcache-SwapCache）。随着写入缓存页，Dirty 的值会增加一旦开始把缓存页写入硬盘,Writeback的值会增加直到写入结束。cat /proc/meminfo #查看有多少个pdflush进程 Linux 用pdflush进程把数据从缓存页写入硬盘#pdflush的行为受/proc/sys/vm中的参数的控制/proc/sys/vm/dirty_writeback_centisecs (default 500): 1/100秒, 多长时间唤醒pdflush将缓存页数据写入硬盘。默认5秒唤醒2个（更多个）线程。如果wrteback的时间长于dirty_writeback_centisecs的时间，可能会出问题cat /proc/sys/vm/nr_pdflush_threads#查看I/O 调度器#调度算法#noop anticipatory deadline [cfq] #deadline : deadline 算法保证对既定的IO请求以最小的延迟时间。#anticipatory：有个IO发生后，如果又有进程请求IO，则产生一个默认6ms猜测时间，猜测下一个进程请求IO是干什么。这对于随机读取会造成较大的延时。对数据库应用很糟糕，而对于Web Server等则会表现不错。#cfq: 对每个进程维护一个IO队列，各个进程发来的IO请求会被cfq以轮循方式处理，对每一个IO请求都是公平。适合离散读的应用。#noop: 对所有IO请求都用FIFO队列形式处理。默认IO不会存在性能问题。cat /sys/block/[disk]/queue/scheduler#改变IO调度器$ echo deadline > /sys/block/sdX/queue/scheduler#提高调度器请求队列的$ echo 4096 > /sys/block/sdX/queue/nr_requests

性能相关

#查看当前系统loaduptime#查看系统状态和每个进程的系统资源使用状况top#可视化显示CPU的使用状况htop#查看每个CPU的负载信息mpstat -P ALL 1#每隔1秒查看磁盘IO的统计信息iostat -xkdz 1#每隔一秒查看虚拟内存的使用信息vmstat 1#查看内存使用统计信息free#查看网络使用信息nicstat -z 1#类似vmstat的显示优化的工具dstat 1#查看系统活动状态，比如系统分页统计，块设备IO统计等sar#网络连接状态查看netstat -s#进程资源使用信息查看pidstat 1pidstat -d 1#查看某个进程的系统调用信息 -p后面是进程id，-tttT 进程系统后的系统调用时间strace -tttT -p 12670#统计IO设备输入输出的系统调用信息strace -c dd if=/dev/zero of=/dev/null bs=512 count=1024k#tcpdump 查看网络数据包tcpdump -nr /tmp/out.tcpdump#块设备的读写事件信息统计btrace /dev/sdb #iotop查看某个进程的IO操作统计信息iotop -bod5#slabtop 查看内核 slab内存分配器的使用信息slabtop -sc#系统参数设置sysctl -a#系统性能指标统计信息perf stat gzip file1#系统cpu活动状态查看perf record -a -g -F 997 sleep 10

进程相关

## processes 进程管理##ps查看当前系统执行的线程列表，进行瞬间状态，不是连续状态，连续状态需要使用top名称查看更多常用参数请使用 man ps查看ps##显示所有进程详细信息ps aux##-u 显示某个用户的进程列表ps -f -u www-data ## -C 通过名字或者命令搜索进程ps -C apache2## --sort 根据进程cpu使用率降序排列，查看前5个进程 -pcpu表示降序 pcpu升序ps aux --sort=-pcpu | head -5 ##-f 用树结构显示进程的层次关系，父子进程情况下ps -f --forest -C apache2 ##显示一个父进程的所有子进程ps -o pid,uname,comm -C apache2ps --ppid 2359 ##显示一个进程的所有线程 -L 参数ps -p 3150 -L ##显示进程的执行时间 -o参数ps -e -o pid,comm,etime ##watch命令可以用来实时捕捉ps显示进程watch -n 1 'ps -e -o pid,uname,cmd,pmem,pcpu --sort=-pmem,-pcpu | head -15' ##jobs 查看后台运行的进程 jobs命令执行的结果，＋表示是一个当前的作业，减号表是是一个当前作业之后的一个作业，jobs -l选项可显示所有任务的PID,jobs的状态可以是running, stopped, Terminated,但是如果任务被终止了（kill），shell 从当前的shell环境已知的列表中删除任务的进程标识；也就是说，jobs命令显示的是当前shell环境中所起的后台正在运行或者被挂起的任务信息jobs##查看后台运营的进程号jobs -p##查看现在被终止或者退出的进程号jobs -n##kill命令终止一个前台进程可以使用Ctrl C键 kill 通过top或者ps获取进程id号 kill [-s 信号 | -p ] [ -a ] 进程号 ...##发送指定的信号到相应进程。不指定型号将发送SIGTERM（15）终止指定进程。关闭进程号12的进程kill 12##等同于在前台运行PID为123的进程时按下Ctrl C键kill -2 123##如果任无法终止该程序可用“-KILL” 参数，其发送的信号为SIGKILL(9) ，将强制结束进程 kill -9 123##列出所有信号名称##HUP 1 终端断线##INT 2 中断（同 Ctrl C）##QUIT 3 退出（同 Ctrl ）##TERM 15 终止##KILL 9 强制终止##CONT 18 继续（与STOP相反， fg/bg命令）##STOP 19 暂停（同 Ctrl Z）kill -l##得到指定信号的数值kill -l KILL##杀死指定用户所有进程kill -u peidalinuxkill -9 $(ps -ef | grep peidalinux) ##将后台中的命令调至前台继续运行将进程123调至前台执行fg 123##将一个在后台暂停的命令，变成继续执行bg 123##该命令可以在你退出帐户/关闭终端之后继续运行相应的进程。nohup就是不挂起的意思下面输出被重定向到myout.file文件中nohup command > myout.file 2>&1 &##at：计划任务，在特定的时间执行某项工作，在特定的时间执行一次。## 格式：at HH:MM YYYY-MM-DD //HH（小时）:MM（分钟） YYYY（年）-MM（月份）-DD（日）##HH[am pm] D(天) days //HH（小时）[am（上午）pm（下午）] days（天）at 12:00（时间） //at命令设定12:00执行一项操作#at>useradd aaa //在at命令里设定添加用户aaa#ctrl d //退出at命令#tail -f /etc/passwd //查看/etc/passwd文件后十行是否增加了一个用户aaa##计划任务设定后，在没有执行之前我们可以用atq命令来查看系统没有执行工作任务。atq##启动计划任务后，如果不想启动设定好的计划任务可以使用atrm命令删除。atrm 1 //删除计划任务1##pstree命令：列出当前的进程，以及它们的树状结构格式：pstree [选项] [pid|user]pstree##nice命令：改变程序执行的优先权等级应用程序优先权值的范围从-20～19，数字越小，优先权就越高。一般情况下，普通应用程序的优先权值（CPU使用权值）都是0，如果让常用程序拥有较高的优先权等级，自然启动和运行速度都会快些。需要注意的是普通用户只能在0～19之间调整应用程序的优先权值，只有超级用户有权调整更高的优先权值（从-20～19）。nice [-n <优先等级>][--help][--version][命令]nice -n 5 ls##sleep命令：使进程暂停执行一段时间date;sleep 1m;date##renice命令 renice命令允许用户修改一个正在运行进程的优先权。利用renice命令可以在命令执行时调整其优先权。##其中，参数number与nice命令的number意义相同。（1）用户只能对自己所有的进程使用renice命令。（2） root用户可以在任何进程上使用renice命令。（3）只有root用户才能提高进程的优先权renice -5 -p 5200 #PID为5200的进程nice设为-5 ##pmap命令用于显示一个或多个进程的内存状态。其报告进程的地址空间和内存状态信息 #pmap PID pmap 20367

javadump.sh

#!/bin/shDUMP_PIDS=`ps --no-heading -C java -f --width 1000 |awk '{print $2}'`if [ -z "$DUMP_PIDS" ]; then echo "The server $HOST_NAME is not started!" exit 1;fiDUMP_ROOT=~/dumpif [ ! -d $DUMP_ROOT ]; then mkdir $DUMP_ROOTfiDUMP_DATE=`date %Y%m%d%H%M%S`DUMP_DIR=$DUMP_ROOT/dump-$DUMP_DATEif [ ! -d $DUMP_DIR ]; then mkdir $DUMP_DIRfifor PID in $DUMP_PIDS ; do#Full thread dump 用来查线程占用，死锁等问题 $JAVA_HOME/bin/jstack $PID > $DUMP_DIR/jstack-$PID.dump 2>&1 echo -e ".c"#打印出一个给定的Java进程、Java core文件或远程Debug服务器的Java配置信息，具体包括Java系统属性和JVM命令行参数。 $JAVA_HOME/bin/jinfo $PID > $DUMP_DIR/jinfo-$PID.dump 2>&1 echo -e ".c"#jstat能够动态打印jvm(Java Virtual Machine Statistics Monitoring Tool)的相关统计信息。如young gc执行的次数、full gc执行的次数，各个内存分区的空间大小和可使用量等信息。 $JAVA_HOME/bin/jstat -gcutil $PID > $DUMP_DIR/jstat-gcutil-$PID.dump 2>&1 echo -e ".c" $JAVA_HOME/bin/jstat -gccapacity $PID > $DUMP_DIR/jstat-gccapacity-$PID.dump 2>&1 echo -e ".c"#未指定选项时，jmap打印共享对象的映射。对每个目标VM加载的共享对象，其起始地址、映射大小及共享对象文件的完整路径将被打印出来， $JAVA_HOME/bin/jmap $PID > $DUMP_DIR/jmap-$PID.dump 2>&1 echo -e ".c"#-heap打印堆情况的概要信息，包括堆配置，各堆空间的容量、已使用和空闲情况 $JAVA_HOME/bin/jmap -heap $PID > $DUMP_DIR/jmap-heap-$PID.dump 2>&1 echo -e ".c"#-dump将jvm的堆中内存信息输出到一个文件中,然后可以通过eclipse memory analyzer进行分析#注意：这个jmap使用的时候jvm是处在假死状态的，只能在服务瘫痪的时候为了解决问题来使用，否则会造成服务中断。 $JAVA_HOME/bin/jmap -dump:format=b,file=$DUMP_DIR/jmap-dump-$PID.dump $PID 2>&1 echo -e ".c"#显示被进程打开的文件信息if [ -r /usr/sbin/lsof ]; then /usr/sbin/lsof -p $PID > $DUMP_DIR/lsof-$PID.dump echo -e ".c" fidone#主要负责收集、汇报与存储系统运行信息的。if [ -r /usr/bin/sar ]; then /usr/bin/sar > $DUMP_DIR/sar.dumpecho -e ".c"fi#主要负责收集、汇报与存储系统运行信息的。if [ -r /usr/bin/uptime ]; then /usr/bin/uptime > $DUMP_DIR/uptime.dumpecho -e ".c"fi#内存查看if [ -r /usr/bin/free ]; then /usr/bin/free -t > $DUMP_DIR/free.dumpecho -e ".c"fi#可以得到关于进程、内存、内存分页、堵塞IO、traps及CPU活动的信息。if [ -r /usr/bin/vmstat ]; then /usr/bin/vmstat > $DUMP_DIR/vmstat.dumpecho -e ".c"fi#报告与CPU相关的一些统计信息if [ -r /usr/bin/mpstat ]; then /usr/bin/mpstat > $DUMP_DIR/mpstat.dumpecho -e ".c"fi#报告与IO相关的一些统计信息if [ -r /usr/bin/iostat ]; then /usr/bin/iostat > $DUMP_DIR/iostat.dumpecho -e ".c"fi#报告与网络相关的一些统计信息if [ -r /bin/netstat ]; then /bin/netstat > $DUMP_DIR/netstat.dumpecho -e ".c"fiecho "OK!"

常用工具安装

#!/usr/bin/env bash# ---------------------------------------------------------------------------------# 控制台颜色BLACK="033[1;30m"RED="033[1;31m"GREEN="033[1;32m"YELLOW="033[1;33m"BLUE="033[1;34m"PURPLE="033[1;35m"CYAN="033[1;36m"RESET="$(tput sgr0)"# ---------------------------------------------------------------------------------printf "${BLUE}n"cat << EOF#################################################################################### 安装常用命令工具# 命令工具清单如下：# 核心工具：df、du、chkconfig# 网络工具：ifconfig、netstat、route、iptables# IP工具：ip、ss、ping、tracepath、traceroute# DNS工具：dig、host、nslookup、whois# 端口工具：lsof、nc、telnet# 下载工具：curl、wget# 编辑工具：emacs、vim# 流量工具：iftop、nethogs# 抓包工具：tcpdump# 压缩工具：unzip、zip# 版本控制工具：git、subversion####################################################################################EOFprintf "${RESET}n"printf "n${GREEN}>>>>>>>>> 安装常用命令工具开始${RESET}n"# 核心工具printf "n${CYAN}>>>> install coreutils(df、du)${RESET}n"yum install -y coreutilsprintf "n${CYAN}>>>> install chkconfig${RESET}n"yum install -y chkconfig# 网络工具printf "n${CYAN}>>>> install net-tools(ifconfig、netstat、route)${RESET}n"yum install -y net-toolsprintf "n${CYAN}>>>> install iptables${RESET}n"yum install -y iptables# IP工具printf "n${CYAN}>>>> install iputils(ping、tracepath)${RESET}n"yum install -y iputilsprintf "n${CYAN}>>>> install traceroute${RESET}n"yum install -y tracerouteprintf "n${CYAN}>>>> install iproute(ip、ss)${RESET}n"yum install -y iproute# 端口工具printf "n${CYAN}>>>> install lsof${RESET}n"yum install -y lsofprintf "n${CYAN}>>>> install nc${RESET}n"yum install -y ncprintf "n${CYAN}>>>> install netstat${RESET}n"yum install -y netstat# DNS工具printf "n${CYAN}>>>> install bind-utils(dig、host、nslookup)${RESET}n"yum install -y bind-utilsprintf "n${CYAN}>>>> install whois${RESET}n"yum install -y whois# 下载工具printf "n${CYAN}>>>> install curl${RESET}n"yum install -y curlprintf "n${CYAN}>>>> install wget${RESET}n"yum install -y wget# 编辑工具printf "n${CYAN}>>>> install emacs${RESET}n"yum install -y emacsprintf "n${CYAN}>>>> install vim${RESET}n"yum install -y vim# 流量工具printf "n${CYAN}>>>> install iftop${RESET}n"yum install -y iftopprintf "n${CYAN}>>>> install nethogs${RESET}n"yum install -y nethogs# 抓包工具printf "n${CYAN}>>>> install tcpdump${RESET}n"yum install -y tcpdump# 压缩工具printf "n${CYAN}>>>> install unzip${RESET}n"yum install -y unzip# 版本控制工具printf "n${CYAN}>>>> install git${RESET}n"yum install -y gitprintf "n${CYAN}>>>> install subversion${RESET}n"yum install -y subversionprintf "n${GREEN}<<<<<<<< 安装常用命令工具结束${RESET}n"

常用lib库安装

系统检查脚本

#!/usr/bin/env bash############################################################################### console colorC_RESET="$(tput sgr0)"C_BLACK="033[1;30m"C_RED="033[1;31m"C_GREEN="033[1;32m"C_YELLOW="033[1;33m"C_BLUE="033[1;34m"C_PURPLE="033[1;35m"C_CYAN="033[1;36m"C_WHITE="033[1;37m"##############################################################################printf "${C_PURPLE}"cat << EOF#################################################################################### 系统信息检查脚本###################################################################################EOFprintf "${C_RESET}"[[ $(id -u) -gt 0 ]] && echo "请用root用户执行此脚本！" && exit 1sysversion=$(rpm -q centos-release | cut -d- -f3)double_line="==============================================================="line="----------------------------------------------"# 打印头部信息printHeadInfo() { cat << EOF --------------------------------------------------------------------------------- | 欢迎使用【系统信息检查脚本】 | --------------------------------------------------------------------------------- EOF}# 打印尾部信息printFootInfo() { cat << EOF --------------------------------------------------------------------------------- | 脚本执行结束，感谢使用！| --------------------------------------------------------------------------------- EOF}options=( "获取系统信息" "获取服务信息" "获取CPU信息" "获取系统网络信息" "获取系统内存信息" "获取系统磁盘信息" "获取CPU/内存占用TOP10" "获取系统用户信息" "输出所有信息" "退出" )printMenu() { printf "${C_BLUE}" printf "主菜单：n" for i in "${!options[@]}"; do index=`expr ${i} 1` val=`expr ${index} % 2` printf "t(d) %-30s" "${index}" "${options[$i]}" if [[ ${val} -eq 0 ]]; then printf "n" fi done printf "${C_BLUE}请输入需要执行的指令：n" printf "${C_RESET}"}# 获取系统信息get_systatus_info() { sys_os=$(uname -o) sys_release=$(cat /etc/redhat-release) sys_kernel=$(uname -r) sys_hostname=$(hostname) sys_selinux=$(getenforce) sys_lang=$(echo $LANG) sys_lastreboot=$(who -b | awk '{print $3,$4}') sys_runtime=$(uptime | awk '{print $3,$4}' | cut -d, -f1) sys_time=$(date) sys_load=$(uptime | cut -d: -f5) cat << EOF【系统信息】系统: ${sys_os}发行版本: ${sys_release}系统内核: ${sys_kernel}主机名: ${sys_hostname}selinux状态: ${sys_selinux}系统语言: ${sys_lang}系统当前时间: ${sys_time}系统最后重启时间: ${sys_lastreboot}系统运行时间: ${sys_runtime}系统负载: ${sys_load}EOF}# 获取CPU信息get_cpu_info() { Physical_CPUs=$(grep "physical id" /proc/cpuinfo | sort | uniq | wc -l) Virt_CPUs=$(grep "processor" /proc/cpuinfo | wc -l) CPU_Kernels=$(grep "cores" /proc/cpuinfo | uniq | awk -F ': ' '{print $2}') CPU_Type=$(grep "model name" /proc/cpuinfo | awk -F ': ' '{print $2}' | sort | uniq) CPU_Arch=$(uname -m) cat << EOF【CPU信息】物理CPU个数:$Physical_CPUs逻辑CPU个数:$Virt_CPUs每CPU核心数:$CPU_KernelsCPU型号:$CPU_TypeCPU架构:$CPU_ArchEOF}# 获取服务信息get_service_info() { port_listen=$(netstat -lntup | grep -v "Active Internet") kernel_config=$(sysctl -p 2> /dev/null) if [[ ${sysversion} -gt 6 ]]; then service_config=$(systemctl list-unit-files --type=service --state=enabled | grep "enabled") run_service=$(systemctl list-units --type=service --state=running | grep ".service") else service_config=$(/sbin/chkconfig | grep -E ":on|:启用" | column -t) run_service=$(/sbin/service --status-all | grep -E "running") fi cat << EOF【服务信息】${service_config} ${line}运行的服务:${run_service} ${line}监听端口:${port_listen} ${line}内核参考配置:${kernel_config}EOF}# 获取系统内存信息get_mem_info() { check_mem=$(free -m) MemTotal=$(grep MemTotal /proc/meminfo | awk '{print $2}') #KB MemFree=$(grep MemFree /proc/meminfo | awk '{print $2}') #KB let MemUsed=MemTotal-MemFree MemPercent=$(awk "BEGIN {if($MemTotal==0){printf 100}else{printf "%.2f",$MemUsed*100/$MemTotal}}") report_MemTotal="$((MemTotal/1024))" "MB" #内存总容量(MB) report_MemFree="$((MemFree/1024))" "MB" #内存剩余(MB) report_MemUsedPercent=$(free | sed -n '2p' | gawk 'x = int(( $3 / $2 ) * 100) {print x}' | sed 's/$/%/') cat << EOF【内存信息】内存总容量(MB): ${report_MemTotal}内存剩余量(MB):${report_MemFree}内存使用率: ${report_MemUsedPercent}EOF}# 获取系统网络信息get_net_info() { pri_ipadd=$(ip addr | awk '/^[0-9] : / {}; /inet.*global/ {print gensub(/(.*)/(.*)/, "1", "g", $2)}') pub_ipadd=$(curl ifconfig.me -s) gateway=$(ip route | grep default | awk '{print $3}') mac_info=$(ip link | egrep -v "lo" | grep link | awk '{print $2}') dns_config=$(egrep -v "^$|^#" /etc/resolv.conf) route_info=$(route -n) cat << EOF【网络信息】系统公网地址:${pub_ipadd}系统私网地址:${pri_ipadd}网关地址:${gateway}MAC地址:${mac_info}路由信息:${route_info}DNS 信息:${dns_config}EOF}# 获取系统磁盘信息get_disk_info() { disk_info=$(fdisk -l | grep "Disk /dev" | cut -d, -f1) disk_use=$(df -hTP | awk '$2!="tmpfs"{print}') disk_percent=$(free | sed -n '2p' | gawk 'x = int(( $3 / $2 ) * 100) {print x}' | sed 's/$/%/') disk_inode=$(df -hiP | awk '$1!="tmpfs"{print}') cat << EOF【磁盘信息】${disk_info}磁盘使用: ${disk_use}磁盘使用百分比: ${disk_percent}inode信息: ${disk_inode}EOF}# 获取系统用户信息get_sys_user() { login_user=$(awk -F: '{if ($NF=="/bin/bash") print $0}' /etc/passwd) ssh_config=$(egrep -v "^#|^$" /etc/ssh/sshd_config) sudo_config=$(egrep -v "^#|^$" /etc/sudoers | grep -v "^Defaults") host_config=$(egrep -v "^#|^$" /etc/hosts) crond_config=$(for cronuser in /var/spool/cron/*; do ls ${cronuser} 2> /dev/null | cut -d/ -f5; egrep -v "^$|^#" ${cronuser} 2> /dev/null; echo ""; done) cat << EOF【用户信息】系统登录用户:${login_user} ${line}ssh 配置信息:${ssh_config} ${line}sudo 配置用户:${sudo_config} ${line}定时任务配置:${crond_config} ${line}hosts 信息:${host_config}EOF}# 获取CPU/内存占用TOP10get_process_top_info() { top_title=$(top -b n1 | head -7 | tail -1) cpu_top10=$(top -b n1 | head -17 | tail -11) mem_top10=$(top -b n1 | head -17 | tail -10 | sort -k10 -r) cat << EOF【TOP10】CPU占用TOP10:${cpu_top10}内存占用TOP10:${top_title} ${mem_top10}EOF}show_dead_process() { printf "僵尸进程：n" ps -al | gawk '{print $2,$4}' | grep Z}get_all_info() { get_systatus_info echo ${double_line} get_service_info echo ${double_line} get_cpu_info echo ${double_line} get_net_info echo ${double_line} get_mem_info echo ${double_line} get_disk_info echo ${double_line} get_process_top_info echo ${double_line} get_sys_user}main() { while [[ 1 ]] do printMenu read option local index=$[ ${option} - 1 ] case ${options[${index}]} in "获取系统信息") get_systatus_info ;; "获取服务信息") get_service_info ;; "获取CPU信息") get_cpu_info ;; "获取系统网络信息") get_net_info ;; "获取系统内存信息") get_mem_info ;; "获取系统磁盘信息") get_disk_info ;; "获取CPU/内存占用TOP10") get_process_top_info ;; "获取系统用户信息") get_sys_user ;; "输出所有信息") get_all_info > sys.log printf "${C_GREEN}信息已经输出到 sys.log 中。${C_RESET}nn" ;; "退出") exit ;; *) clear echo "抱歉，不支持此选项" ;; esac done}######################################## MAIN ########################################printHeadInfomainprintFootInfoprintf "${C_RESET}"

sed进阶

#!/bin/bash#多个空格只保留一个#sed '/./,/^$/!d' test#删除开头的空白行#sed '/./,$!d' test#删除结尾的空白行sed '{:start /^n*$/{$d; N; b start}}' test#删除html标签#有问题#s/<.*>//g#sed 's/<[^>]*>//g' test1#sed 's/<[^>]*>//g;/^$/d' test1#and符号，代表替换命令中的匹配模式，不管预定义模式是什么文本，都可以用and符号替换，and符号会提取匹配替换命令中指定替换模式中的所有字符串echo "The cat sleeps in his hat" | sed 's/.at/"&"/g'#替换单独的单词echo "The System Administrator manual" | sed 's/(System) Administrator/1 user/'#在长数字中插入逗号echo "1234567" | sed '{:start; s/(.*[0-9])([0-9]{3})/1,2/; t start}'#给文件中的行编号sed '=' test | sed 'N; s/n/ /'

Linux CPU的上下文切换

我们都知道 Linux 是一个多任务操作系统，它支持的任务同时运行的数量远远大于 CPU 的数量。当然，这些任务实际上并不是同时运行的（Single CPU），而是因为系统在短时间内将 CPU 轮流分配给任务，造成了多个任务同时运行的假象。

CPU 上下文（CPU Context）

在每个任务运行之前，CPU 需要知道在哪里加载和启动任务。这意味着系统需要提前帮助设置 CPU 寄存器和程序计数器。

CPU 寄存器是内置于 CPU 中的小型但速度极快的内存。程序计数器用于存储 CPU 正在执行的或下一条要执行指令的位置。

它们都是 CPU 在运行任何任务之前必须依赖的依赖环境，因此也被称为 “CPU 上下文”。如下图所示：

Linux合集之Linux实用运维脚本分享及Linux CPU的上下文切换（linux wed）

图片

知道了 CPU 上下文是什么，我想你理解 CPU 上下文切换就很容易了。“CPU上下文切换”指的是先保存上一个任务的 CPU 上下文（CPU寄存器和程序计数器），然后将新任务的上下文加载到这些寄存器和程序计数器中，最后跳转到程序计数器。

这些保存的上下文存储在系统内核中，并在重新安排任务执行时再次加载。这确保了任务的原始状态不受影响，并且任务似乎在持续运行。

CPU 上下文切换的类型

你可能会说 CPU 上下文切换无非就是更新 CPU 寄存器和程序计数器值，而这些寄存器是为了快速运行任务而设计的，那为什么会影响 CPU 性能呢？

在回答这个问题之前，请问，你有没有想过这些“任务”是什么？你可能会说一个任务就是一个进程或者一个线程。是的，进程和线程正是最常见的任务，但除此之外，还有其他类型的任务。

别忘了硬件中断也是一个常见的任务，硬件触发信号，会引起中断处理程序的调用。

因此，CPU 上下文切换至少有三种不同的类型：

进程上下文切换
线程上下文切换
中断上下文切换

让我们一一来看看。

进程上下文切换

Linux 按照特权级别将进程的运行空间划分为内核空间和用户空间，分别对应下图中 Ring 0 和 Ring 3 的 CPU 特权级别的。

内核空间（Ring 0）拥有最高权限，可以直接访问所有资源
用户空间（Ring 3）只能访问受限资源，不能直接访问内存等硬件设备。它必须通过系统调用被陷入（trapped）内核中才能访问这些特权资源。

Linux合集之Linux实用运维脚本分享及Linux CPU的上下文切换（linux wed）

图片

从另一个角度看，一个进程既可以在用户空间也可以在内核空间运行。当一个进程在用户空间运行时，称为该进程的用户态，当它落入内核空间时，称为该进程的内核态。

从用户态到内核态的转换需要通过系统调用来完成。例如，当我们查看一个文件的内容时，我们需要以下系统调用：

open()：打开文件
read()：读取文件的内容
write()：将文件的内容写入到输出文件（包括标准输出）
close()：关闭文件

那么在上述系统调用过程中是否会发生 CPU 上下文切换呢？当然是的。

这需要先保存 CPU 寄存器中原来的用户态指令的位置。接下来，为了执行内核态的代码，需要将 CPU 寄存器更新到内核态指令的新位置。最后是跳转到内核态运行内核任务。

那么系统调用结束后，CPU 寄存器需要恢复原来保存的用户状态，然后切换到用户空间继续运行进程。

因此，在一次系统调用的过程中，实际上有两次 CPU 上下文切换。

但需要指出的是，系统调用进程不会涉及进程切换，也不会涉及虚拟内存等系统资源切换。这与我们通常所说的“进程上下文切换”不同。进程上下文切换是指从一个进程切换到另一个进程，而系统调用期间始终运行同一个进程

系统调用过程通常被称为特权模式切换，而不是上下文切换。但实际上，在系统调用过程中，CPU 的上下文切换也是不可避免的。

进程上下文切换 vs 系统调用

那么进程上下文切换和系统调用有什么区别呢？首先，进程是由内核管理的，进程切换只能发生在内核态。因此，进程上下文不仅包括虚拟内存、栈和全局变量等用户空间资源，还包括内核栈和寄存器等内核空间的状态。

所以进程上下文切换比系统调用要多出一步：

在保存当前进程的内核状态和 CPU 寄存器之前，需要保存进程的虚拟内存、栈等；并加载下一个进程的内核状态。

根据 Tsuna 的测试报告，每次上下文切换需要几十纳秒至微秒的 CPU 时间。这个时间是相当可观的，尤其是在大量进程上下文切换的情况下，很容易导致 CPU 花费大量时间来保存和恢复寄存器、内核栈、虚拟内存等资源。这正是我们在上一篇文章中谈到的，一个导致平均负载上升的重要因素。

那么，该进程何时会被调度/切换到在 CPU 上运行？其实有很多场景，下面我为大家总结一下：

当一个进程的 CPU 时间片用完时，它会被系统挂起，并切换到其他等待 CPU 运行的进程。
当系统资源不足（如内存不足）时，直到资源充足之前，进程无法运行。此时进程也会被挂起，系统会调度其他进程运行。
当一个进程通过 sleep 函数自动挂起自己时，自然会被重新调度。
当优先级较高的进程运行时，为了保证高优先级进程的运行，当前进程会被高优先级进程挂起运行。
当发生硬件中断时，CPU 上的进程会被中断挂起，转而执行内核中的中断服务程序。

了解这些场景是非常有必要的，因为一旦上下文切换出现性能问题，它们就是幕后杀手。

线程上下文切换

线程和进程最大的区别在于，线程是任务调度的基本单位，而进程是资源获取的基本单位。

说白了，内核中所谓的任务调度，实际的调度对象是线程；而进程只为线程提供虚拟内存和全局变量等资源。所以，对于线程和进程，我们可以这样理解：

当一个进程只有一个线程时，可以认为一个进程等于一个线程
当一个进程有多个线程时，这些线程共享相同的资源，例如虚拟内存和全局变量。
此外，线程也有自己的私有数据，比如栈和寄存器，在上下文切换时也需要保存。

这样，线程的上下文切换其实可以分为两种情况：

首先，前后两个线程属于不同的进程。此时，由于资源不共享，切换过程与进程上下文切换相同。
其次，前后两个线程属于同一个进程。此时，由于虚拟内存是共享的，所以切换时虚拟内存的资源保持不变，只需要切换线程的私有数据、寄存器等未共享的数据。

显然，同一个进程内的线程切换比切换多个进程消耗的资源要少。这也是多线程替代多进程的优势。

中断上下文切换

除了前面两种上下文切换之外，还有另外一种场景也输出 CPU 上下文切换的，那就是中断。

为了快速响应事件，硬件中断会中断正常的调度和执行过程，进而调用中断处理程序。

在中断其他进程时，需要保存进程的当前状态，以便中断后进程仍能从原始状态恢复。

与进程上下文不同，中断上下文切换不涉及进程的用户态。因此，即使中断进程中断了处于用户态的进程，也不需要保存和恢复进程的虚拟内存、全局变量等用户态资源。

另外，和进程上下文切换一样，中断上下文切换也会消耗 CPU。过多的切换次数会消耗大量的 CPU 资源，甚至严重降低系统的整体性能。因此，当您发现中断过多时，需要注意排查它是否会对您的系统造成严重的性能问题。

结论

综上所述，无论哪种场景导致上下文切换，你都应该知道：

CPU 上下文切换是保证 Linux 系统正常运行的核心功能之一，一般不需要我们特别关注。

但是过多的上下文切换会消耗 CPU 的时间来保存和恢复寄存器、内核栈、虚拟内存等数据，从而缩短进程的实际运行时间，导致系统整体性能显着下降。

Linux合集之Linux实用运维脚本分享及Linux CPU的上下文切换（linux wed）

Linux实用运维脚本分享

mysql备份

目录备份

PING查询

磁盘IO检查

性能相关

进程相关

javadump.sh

常用工具安装

常用lib库安装

系统检查脚本

sed进阶

Linux CPU的上下文切换

CPU 上下文（CPU Context）

CPU 上下文切换的类型

进程上下文切换

进程上下文切换 vs 系统调用

线程上下文切换

中断上下文切换

结论

相关新闻