日本免费高清视频-国产福利视频导航-黄色在线播放国产-天天操天天操天天操天天操|www.shdianci.com

學(xué)無先后，達(dá)者為師

網(wǎng)站首頁 編程語言 正文

Centos7?Shell編程之正則表達(dá)式、文本處理工具詳解_正則表達(dá)式

作者：Bulut0907 ? 更新時(shí)間： 2022-09-30 編程語言

1. 正則表達(dá)式

正則表達(dá)式可以很靈活的提供各種模糊匹配的篩選規(guī)則。常被用來檢索、替換那些符合某個(gè)模式的文本。grep、sed、awk等文本處理工具都支持通過正則表達(dá)式進(jìn)行模式匹配

1.1 常規(guī)匹配

一串不包含特殊字符的正則表達(dá)式，匹配包含它自己的字符，例如：

[root@bigdata001 ~]# cat /etc/passwd | grep root
root:x:0:0:root:/root:/bin/bash
operator:x:11:0:operator:/root:/sbin/nologin
[root@bigdata001 ~]#

1.2 常用特殊字符

特殊字符：^：匹配一行的開頭，例如：

[root@bigdata001 ~]# cat /etc/passwd | grep ^root
root:x:0:0:root:/root:/bin/bash
[root@bigdata001 ~]#

特殊字符：$：匹配一行的結(jié)束，例如：

[root@bigdata001 ~]# cat /etc/passwd | grep bash$
root:x:0:0:root:/root:/bin/bash
[root@bigdata001 ~]#

特殊字符：.：匹配一個(gè)任意的字符，例如：

[root@bigdata001 ~]# cat /etc/passwd | grep r..t
root:x:0:0:root:/root:/bin/bash
operator:x:11:0:operator:/root:/sbin/nologin
ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin
[root@bigdata001 ~]#

特殊字符：*：不單獨(dú)使用，和上一個(gè)字符連用，表示匹配上一個(gè)字符0次或多次，例如

[root@bigdata001 ~]# cat /etc/passwd | grep ro*t
root:x:0:0:root:/root:/bin/bash
operator:x:11:0:operator:/root:/sbin/nologin
[root@bigdata001 ~]#

字符區(qū)間：[ ]：表示匹配某個(gè)范圍內(nèi)的一個(gè)字符

  • [68]：匹配6或者8
  • [0-9]：匹配一個(gè)0-9的數(shù)字
  • [0-9]*：匹配任意長度的數(shù)字字符串
  • [a-z]：匹配一個(gè)a-z之間的字符
  • [a-c, e-f]-匹配a-c或者e-f之間的任意一個(gè)字符
[root@bigdata001 ~]# echo 12345 | grep "[0-9]*"
12345
[root@bigdata001 ~]#

**特殊字符：**：表示轉(zhuǎn)義，并不會單獨(dú)使用。由于所有特殊字符都有其特定匹配模式，當(dāng)我們想匹配某一特殊字符本身時(shí)(例如我想找出所有包含’$'的行)，就會碰到困難。此時(shí)我們就要將轉(zhuǎn)義字符和特殊字符連用，來表示特殊字符本身，例如：

[root@bigdata001 ~]# echo -e 'abc$def'"\n123456" | grep '\$'
abc$def
[root@bigdata001 ~]#

實(shí)戰(zhàn)練習(xí)：

[root@bigdata001 ~]# echo 13667894536 | grep -E ^1[34578][0-9]{9}$
13667894536
[root@bigdata001 ~]#

grep默認(rèn)是不支持正則特殊字符{}的，需要開啟拓展正則表達(dá)式功能

2. 文本處理工具

2.1 cut

cut可以將文件中內(nèi)容(也可以通過管道符傳輸)，按照指定分隔符將每一行進(jìn)行切割，然后取指定字節(jié)、字符、字段進(jìn)行輸出

基本語法： cut [選項(xiàng)參數(shù)] filename

選項(xiàng)參數(shù)如下：

-d 分隔符：按照指定分隔符分割每行數(shù)據(jù)，默認(rèn)是制表符\t

-f 列號：取第幾列。可以使用3,5表示取第三列和第五列，-3、3-5、5-分布表示取前三列、第三列到第五列、第五列和后面所有列

-c 字符號：表示取第個(gè)字符。不能指定分隔符

-b 字節(jié)號：表示取第個(gè)字節(jié)。不能指定分隔符

示例：

[root@bigdata001 ~]# cat /etc/passwd | grep bash$ | cut -d ":" -f 1
root
bigdata
[root@bigdata001 ~]# 
[root@bigdata001 ~]# cat /etc/passwd | grep bash$ | cut -d ":" -f 6-
/root:/bin/bash
/home/bigdata:/bin/bash
[root@bigdata001 ~]#
[root@bigdata001 ~]# cat /etc/passwd | grep bash$ | cut -c 1
r
g
[root@bigdata001 ~]#

實(shí)戰(zhàn)示例：

[root@bigdata001 ~]# ifconfig ens33 | grep netmask | cut -d " " -f 10
192.168.8.111
[root@bigdata001 ~]#

2.2 awk

awk把文件逐行的讀入(文件名或通過管道符傳輸)，以空格為默認(rèn)分隔符將每行切片，切開的部分再進(jìn)行分析處理

基本語法：awk [選項(xiàng)參數(shù)] ‘/pattern1/{action1} /pattern2/{action2} …’ filename

  • pattern：表示awk在數(shù)據(jù)中查找的內(nèi)容，就是正則表達(dá)式匹配
  • action：在找到匹配內(nèi)容時(shí)所執(zhí)行的一系列命令

選項(xiàng)參數(shù)說明

  • -F 分隔符：指定輸入文件每行分隔符
  • -v 變量名=變量值：賦值一個(gè)用戶定義變量

awk的內(nèi)置變量

FILENAME：文件名NR：數(shù)據(jù)所在的行號NF：每行切割后的列數(shù)

示例1：

[root@bigdata001 ~]# cat /etc/passwd | grep bash$
root:x:0:0:root:/root:/bin/bash
bigdata:x:996:1000::/home/bigdata:/bin/bash
[root@bigdata001 ~]# 
[root@bigdata001 ~]# awk -F ":" -v my_var=1 'BEGIN{print "begin line"} /bash$/{print $3+my_var", "$1", 文件名: "FILENAME", 行號: "NR",  列數(shù): "NF} END{print "end line"}' /etc/passwd
begin line
1, root, 文件名: /etc/passwd, 行號: 1, 列數(shù): 7
997, gpadmin, 文件名: /etc/passwd, 行號: 22, 列數(shù): 7
end line
[root@bigdata001 ~]#
  • BEGIN和END都是可選的，表示在所有數(shù)據(jù)行讀取之前或之后執(zhí)行的操作
  • 可以不定義pattern，只定義action
  • print是awk內(nèi)部的命令
  • $1表示第一列，$2表示第二列，依次類推

示例2：

[root@bigdata001 ~]# ifconfig | awk '/netmask/{print $2}'
192.168.8.111
127.0.0.1
[root@bigdata001 ~]#

前面的多個(gè)空格會當(dāng)作一個(gè)空格，且只統(tǒng)計(jì)有內(nèi)容的列所在的位置

示例3：

[root@bigdata001 ~]# cat test.awk
#!/bin/awk -f
# 在所有數(shù)據(jù)行讀取之前的操作
BEGIN {
    # 定義變量
    math = 0
    english = 0
 
    printf "name         math   english   total\n"
}

# 對每行數(shù)據(jù)進(jìn)行的操作
{
    math+=$2
    english+=$3
    printf "%-10s %6d %9d %7d\n", $1, $2, $3, $2+$3
}
# 在所有數(shù)據(jù)行讀取之后的操作
END {
    printf "total:     %6d %9d\n", math, english
    printf "average:   %6.2f %9.2f\n", math/NR, english/NR
}
[root@bigdata001 ~]# 
[root@bigdata001 ~]# echo -e "zhang_san 60 80\nli_si 70 90" | awk -f test.awk
name         math   english   total
zhang_san      60        80     140
li_si          70        90     160
total:        130       170
average:    65.00     85.00
[root@bigdata001 ~]#
  • printf是wak內(nèi)置命令
  • printf中-表示左對齊，默認(rèn)右對齊。數(shù)字表示寬度。s表示字符串，d表示數(shù)字，f表示浮點(diǎn)數(shù)(數(shù)字1.數(shù)字2：數(shù)字1表示寬度，數(shù)字2表示小數(shù)點(diǎn)位數(shù))

原文鏈接：https://blog.csdn.net/yy8623977/article/details/125953688

欄目分類
最近更新