Linux常用命令之文本處理

來源：文萃谷 2.41W

　　Linux常用命令之文本處理

uniq [選項] 文件

説明：這個命令讀取輸入文件，並比較相鄰的行。在正常情況下，第二個及以後更多個重複行將被刪去，行比較是根據所用字符集的排序序列進行的。該命令加工後的結果寫到輸出文件中。輸入文件和輸出文件必須不同。如果輸入文件用“- ”表示，則從標準輸入讀取。

該命令各選項含義如下：、

– c 顯示輸出中，在每行行首加上本行在文件中出現的`次數。它可取代- u和- d選項。

– d 只顯示重複行。

– u 只顯示文件中不重複的各行。

– n 前n個字段與每個字段前的空白一起被忽略。一個字段是一個非空格、非製表符的字符串，彼此由製表符和空格隔開(字段從0開始編號)。

+n 前n個字符被忽略，之前的字符被跳過(字符從0開始編號)。

– f n 與- n相同，這裏n是字段數。

– s n 與+n相同，這裏n是字符數。

接下來通過實踐實例説明：

代碼如下:

[root@stu100 ~]# cat test

boy took bat home

girl took bat home

boy took bat home

dog brought hat home

看test文件的內容

代碼如下:

[root@stu100 ~]# uniq test

boy took bat home

girl took bat home

boy took bat home

dog brought hat home

uniq命令不加任何參數，僅顯示連續重複的行一次

代碼如下:

[root@stu100 ~]# uniq -c test

2 boy took bat home

1 girl took bat home

2 boy took bat home

3 dog brought hat home

-c 參數顯示文件中每行連續出現的次數。

代碼如下:

[root@stu100 ~]# cat test |sort | uniq -c

4 boy took bat home

3 dog brought hat home

1 girl took bat home

排序後再顯示

代碼如下:

[root@stu100 ~]# uniq -d test

boy took bat home

dog brought hat home

-d選項僅顯示文件中連續重複出現的行。

代碼如下:

[root@stu100 ~]# uniq -u test

girl took bat home

-u選項顯示文件中沒有連續出現的行。

代碼如下:

[root@stu100 ~]# uniq -f 2 -s 2 test

boy took bat home

忽略每行的前2個字段，忽略第二個空白字符和第三個字段的首字符，結果at home

代碼如下:

[root@stu100 ~]# uniq -f 1 test

boy took bat home

dog brought hat home

忽略每行的第一個字段，這樣boy ，girl開頭的行看起來是連續重複的行。

代碼如下:

[root@stu100 ~]# uniq -D test

boy took bat home

dog brought hat home

顯示所有重複的行，每個重複的行都顯示

當你有一個包含相同條目的僱員(employee)的文件，你可以以如下方式來刪除相同的條目

代碼如下:

$ sort | uniq

$ sort –u

如果你想知道有多少行是相同的，可以像下面這個做。以下例子中的第一列顯示該行的重複數量。在本例中，以Alex和Emma開頭的行，在文件中有兩個重複行。

代碼如下:

$ sort | uniq –c

2 Alex Jason:200:Sales

2 Emma Thomas:100:Marketing

1 Madison Randy:300:Product Development

1 Nisha Singh:500:Sales

1 Sanjay Gupta:400:Support

3. 以下命令僅僅列出了相同的條目

代碼如下:

$ sort | uniq –cd

2 Alex Jason:200:Sales

2 Emma Thomas:100:Marketing