linux常用文本处理命令笔记整理之grep和awk

linux常用文本处理的命令的使用率很高, 所以整理了一些之前的笔记,用markdown来记录备忘。
首先抛出问题, 带着问题来学记忆知识更有动力:

  • 如何通过一条命令取得eth0的IP4地址 :

    1
    ifconfig eth0 | grep -w 'inet' | awk '{print $2}' | awk -F: '{print $2}'
  • 如何通过一条命令替换当前路径下所有文件中的所有“xxx”为“yyy“ :

    1
    ls -alF | grep '^-' | awk '{print $NF}' |  xargs sed -i 's/xxx/yyy/g'
  • 如何通过一条命令杀掉占用端口34600的进程 :

    1
    sudo lsof -i:34600 | grep -v 'PID' | awk '{print $2}' | xargs kill -9

这些命令它们分别具体是什么意思呢?为何能达到上述效果?

. . .

grep

grep(global search regular expression(RE) and print out the line,全面搜索正则表达式并把行打印出来)是一种强大的文本搜索工具,它能使用正则表达式搜索文本,并把匹配的行打印出来。

  • -a 不要忽略二进制数据。
  • -A<显示列数> 除了显示符合范本样式的那一行之外,并显示该行之后的内容。
  • -b 在显示符合范本样式的那一行之外,并显示该行之前的内容。
  • -c 计算符合范本样式的列数。
  • -C<显示列数>或-<显示列数> 除了显示符合范本样式的那一列之外,并显示该列之前后的内容。
  • -d<进行动作> 当指定要查找的是目录而非文件时,必须使用这项参数,否则grep命令将回报信息并停止动作。
  • -e<范本样式> 指定字符串作为查找文件内容的范本样式。
  • -E 将范本样式为延伸的普通表示法来使用,意味着使用能使用扩展正则表达式。
  • -f<范本文件> 指定范本文件,其内容有一个或多个范本样式,让grep查找符合范本条件的文件内容,格式为每一列的范本样式。
  • -F 将范本样式视为固定字符串的列表。
  • -G 将范本样式视为普通的表示法来使用。
  • -h 在显示符合范本样式的那一列之前,不标示该列所属的文件名称。
  • -H 在显示符合范本样式的那一列之前,标示该列的文件名称。
  • -i 忽略字符大小写的差别。
  • -l 列出文件内容符合指定的范本样式的文件名称。
  • -L 列出文件内容不符合指定的范本样式的文件名称。
  • -n 在显示符合范本样式的那一列之前,标示出该列的编号。
  • -q 不显示任何信息。
  • -R/-r 此参数的效果和指定“-d recurse”参数相同。
  • -s 不显示错误信息。
  • -v 反转查找。
  • -w 只显示全字符合的列。
  • -x 只显示全列符合的列。
  • -y 此参数效果跟“-i”相同。
  • -o 只输出文件中匹配到的部分。

awk

awk是一种编程语言,用于在linux/unix下对文本和数据进行处理。数据可以来自标准输入(stdin)、一个或多个文件,或其它命令的输出。它支持用户自定义函数和动态正则表达式等先进功能,是linux/unix下的一个强大编程工具。它在命令行中使用,但更多是作为脚本来使用。awk有很多内建的功能,比如数组、函数等,这是它和C语言的相同之处,灵活性是awk最大的优势。

常用命令选项

  • -F fs fs指定输入分隔符(awk默认的分隔符是空格),fs可以是字符串或正则表达式,如-F:
  • -v var=value 赋值一个用户定义变量,将外部变量传递给awk

常用用法

1
2
3
4
5
6
b@b-VirtualBox:~/my_temp_test/abc$ cat abc3
klj;k uu
&& ss&
b@b-VirtualBox:~/my_temp_test/abc$ cat abc3 | awk '{print $NF}'
uu
ss&

cat abc3 | awk ‘{print $NF}’的含义是:输出abc3文件的每一行的最后一列

1
2
b@b-VirtualBox:~/my_temp_test/abc$ cat abc3 | grep k | awk -F\; '{print $1}'
klj

cat abc3 | grep k | awk -F\; ‘{print $1}’的含义是:
先输入含有k的那一行(即klj;k), 然后对那一行以;(\;, 这个分号需要转义)分隔,打印出分隔后的第一列(即klj)