Linux指令之文本处理

如何使用 Linux 系统中的文本编辑工具 Vim 以及文本处理命令。

文本编辑工具 Vim

vim 的三种操作模式：

• 命令模式（Command mode）
• 输入模式（Insert mode）
• 底线命令模式（Last line mode）

三种模式切换快捷键：

命令模式

在命令模式中控制光标移动和输入命令，可对文本进行复制、粘贴、删除和查找等工作。

使用命令 vim filename 后进入编辑器视图后，默认模式就是命令模式，此时敲击键盘字母会被识别为一个命令，例如在键盘上连续敲击两次 d，就会删除光标所在行。

以下是在命令模式中常用的快捷操作：

输入模式

在命令模式下按 i 或 a 键就进入了输入模式，在输入模式下，您可以正常的使用键盘按键对文本进行插入和删除等操作。

底线命令模式

在命令模式下按: 键就进入了底线命令模式，在底线命令模式中可以输入单个或多个字符的命令。

以下是底线命令模式中常用的快捷操作：

文本文件查看命令

Cat ：查看内容较少的纯文本文件

命令描述：cat 命令用于查看内容较少的纯文本文件。

命令格式：cat [选项] [文件]

命令参数说明：

More ：从前向后分页显示文件内容

命令描述：more 命令从前向后分页显示文件内容。

常用操作命令：

Less ：对文件或其它输出进行分页显示

命令描述：less 命令可以对文件或其它输出进行分页显示，与 moe 命令相似，但使用 less 可以随意浏览文件，而 more 仅能向前移动，却不能向后移动。

命令格式：less [参数] 文件

命令参数说明：

命令常用操作：

命令使用示例：

查看命令历史使用记录并通过less 分页显示。

1

history | less

Head ：查看文件开头指定行数的内容

命令描述：head 命令用于查看文件开头指定行数的内容。

命令格式：head [参数] [文件]

命令参数说明：

命令使用示例：

查看/etc/passwd 文件的前 5 行内容。

1

head -5 /etc/passwd

Tail ：查看文档的后 N 行或持续刷新内容

命令描述：tail 命令用于查看文档的后 N 行或持续刷新内容。

命令格式：tail [参数] [文件]

命令参数说明：

命令使用示例：

查看/var/log/messages 系统日志文件的最新 10 行，并保持实时刷新。

1

tail -f -n 10 /var/log/messages

Stat ：显示文件的详细信息

命令描述：用来显示文件的详细信息，包括 inode、atime、mtime、ctime 等。

命令使用示例：

查看/etc/passwd 文件的详细信息。

1

stat /etc/passwd

Wc ：统计指定文本的行数、字数、字节数

命令描述：wc 命令用于统计指定文本的行数、字数、字节数。

命令格式：wc [参数] [文件]

命令参数说明：

命令使用示例：

统计/etc/passwd 文件的行数。

1

wc -l /etc/passwd

File ：辨识文件类型

命令描述： file 命令用于辨识文件类型。

命令格式：file [参数] [文件]

命令参数说明：

命令使用示例：

查看/var/log/messages 文件的文件类型。

1

file /var/log/messages

Diff ：比较文件的差异

命令描述：diff 命令用于比较文件的差异。

命令格式：diff [文件] [文件]

文本处理命令

Grep ：查找文件里符合条件的字符串

命令描述：grep 命令用于查找文件里符合条件的字符串。

grep 全称是 Global Regular Expression Print，表示全局正则表达式版本，它能使用正则表达式搜索文本，并把匹配的行打印出来。

在 Shell 脚本中，grep 通过返回一个状态值来表示搜索的状态：

• 0：匹配成功。
• 1：匹配失败。
• 2：搜索的文件不存在。

命令格式：grep [参数] [正则表达式] [文件]

命令常用参数说明：

命令使用示例：

查看 sshd 服务配置文件中监听端口配置所在行编号。

1

grep -n Port /etc/ssh/ssh_config

查询字符串在文本中出现的行数。

1

grep -c localhost /etc/hosts

反向查找，不显示符合条件的行。

1
2

ps -ef | grep sshd
ps -ef | grep -v grep | grep sshd

以递归的方式查找目录下含有关键字的文件。

1

grep -r *.sh /etc

使用正则表达式匹配 httpd 配置文件中异常状态码响应的相关配置。

1

grep 'ntp[0-9].aliyun.com' /etc/ntp.conf

Sed ：文本处理

命令描述：sed 是一种流编辑器，它是文本处理中非常中的工具，能够完美的配合正则表达式使用。

1. 处理时，把当前处理的行存储在临时缓冲区中，称为模式空间（pattern space）。
2. 接着用 sed 命令处理缓冲区中的内容，处理完成后，把缓冲区的内容送往屏幕。
3. 接着处理下一行，这样不断重复，直到文件末尾。

注意：

sed 命令不会修改原文件，例如删除命令只表示某些行不打印输出，而不是从原文件中删去。

如果要改变源文件，需要使用 -i 选项。
命令格式：sed [参数] [动作] [文件]

参数说明：

动作说明：

命令使用示例：

删除第 3 行到最后一行内容。

1

sed '3,$d' /etc/passwd

在最后一行新增行。

1

sed '$a admin:x:1000:1000:admin:/home/admin:/bin/bash' /etc/passwd

替换内容。

1

sed 's/SELINUX=disabled/SELINUX=enforcing/' /etc/selinux/config

替换行。

1

sed '1c abcdefg' /etc/passwd

Awk ：文本处理

命令描述：和 sed 命令类似，awk 命令也是逐行扫描文件（从第 1 行到最后一行），寻找含有目标文本的行，如果匹配成功，则会在该行上执行用户想要的操作；反之，则不对行做任何处理。

命令格式：awk [参数] [脚本] [文件]

参数说明：

内置变量：

awk 中还可以指定脚本命令的运行时机。默认情况下，awk 会从输入中读取一行文本，然后针对该行的数据执行程序脚本，但有时可能需要在处理数据前运行一些脚本命令，这就需要使用 BEGIN 关键字，BEGIN 会在 awsk 读取数据前强制执行该关键字后指定的脚本命令。

和 BEGIN 关键字相对应，END 关键字允许我们指定一些脚本命令，awk 会在读完数据后执行它们。

命令使用示例：

查看本机 IP 地址。

1

ifconfig eth0 |awk '/inet/{print $2}'

查看本机剩余磁盘容量。

1

df -h |awk '/\/$/{print $4}'

统计系统用户个数。

1

awk -F: '$3<1000{x++} END{print x}' /etc/passwd

输出其中登录 Shell 不以 nologin 结尾（对第 7 个字段做!~反向匹配）的用户名、登录 Shell 信息。

1

awk -F: '$7!~/nologin$/{print $1,$7}' /etc/passwd

输出/etc/passwd 文件中前三行记录的用户名和用户 uid。

1

head -3 /etc/passwd | awk  'BEGIN{FS=":";print "name\tuid"}{print $1,"\t"$3}END{print "sum lines "NR}'

查看 tcp 连接数。

1

netstat -na | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}'

关闭指定服务的所有的进程。

1

ps -ef | grep httpd | awk {'print $2'} | xargs kill -9

Cut ：切割字符串

命令描述：cut 命令主要用来切割字符串，可以对输入的数据进行切割然后输出。

命令格式：cut [参数] [文件]

参数说明：

Tr ：对来自标准输入的字符进行替换、压缩和删除

命令描述：tr 命令用于对来自标准输入的字符进行替换、压缩和删除。

命令格式：tr [参数] [文本]

参数说明：

命令使用示例：

将输入字符由大写转换为小写。

1

echo "HELLO WORLD" | tr 'A-Z' 'a-z'

删除字符。

1

echo "hello 123 world 456" | tr -d '0-9'

压缩字符。

1

echo "thissss is      a text linnnnnnne." | tr -s ' sn'

产生随机密码。

1

cat /dev/urandom | tr -dc a-zA-Z0-9 | head -c 13