shell腳本學(xué)習(xí)指南[二](Arnold Robbins & Nelson H.F. Beebe著)

該進(jìn)入第四章了，剛才看到一個(gè)帖子標(biāo)題：我空有一身泡妞的好本領(lǐng)，但可惜自己是個(gè)妞。汗～這個(gè)。。。音樂(lè)無(wú)國(guó)界嘛，這個(gè)不應(yīng)該也沒(méi)性別界么？

第四章文本處理工具

書中先說(shuō)明了以下排序的規(guī)則，數(shù)值的就不用說(shuō)了，該大就大該小就小，但是字符型很多時(shí)候是區(qū)分聲調(diào)或者重音的。在命令行中輸入locale查看自己系統(tǒng)的編碼配置。默認(rèn)的是系統(tǒng)配置里的，但是可以自己設(shè)置排序的編碼。如：

下邊介紹以下排序命令sort：
語(yǔ)法： sort [ options ] [ file(s} ]
主要選項(xiàng)： -b 忽略開(kāi)頭的空白
-c 檢查輸入是否已正確地排序。如果未排序，則退出碼為非零值，不會(huì)有任何輸出
-d 字典順序，僅文字?jǐn)?shù)字和空白才有意義。
-g 一般數(shù)值：以浮點(diǎn)數(shù)字類型比較字段。僅GNU版本提供此選項(xiàng)功能
-f 將混用的字母都看作相同大小寫，即忽略大小寫。
-i 忽略無(wú)法打印的字符。
-k 定義排序鍵值字段
-m 將已排序的輸入文件，合并為一個(gè)排序后的輸出數(shù)據(jù)流
-n 以整數(shù)類型比較字段
-o outfile 將輸出寫到指定文件
-r 倒置排序由大到小，默認(rèn)由小到大
-t char 使用單個(gè)字符char作為默認(rèn)的字段分隔符取代空白字符
-u 只有唯一記錄，丟棄所有具有相同鍵值的記錄只留第一條。
另外排序鍵值字段類型標(biāo)識(shí)，即-k一個(gè)字段之后的修飾符字母：
b 忽略開(kāi)頭的空白
d 字典順序
f 不區(qū)分大小寫
g 以一般的浮點(diǎn)數(shù)進(jìn)行比較，只適用GNU版本
i 忽略無(wú)法打印的字符
n 以整數(shù)數(shù)字比較
r 倒置排序順序
字段以及字段里的字符是由1開(kāi)始編號(hào)的。如果僅指定一個(gè)字段編號(hào)，則排序鍵值會(huì)自該字段的起始處開(kāi)始，一直繼續(xù)到記錄的結(jié)尾（而非字段結(jié)尾）。
如果給的是一對(duì)用逗號(hào)隔開(kāi)的字段數(shù)字，則排序鍵值將由第一個(gè)字段值起開(kāi)始，到第二個(gè)指定字段結(jié)尾結(jié)束?？赡艹霈F(xiàn)多個(gè)-k，會(huì)從第一個(gè)開(kāi)始。

例子：

有時(shí)候我們還十分關(guān)心排序的穩(wěn)定性，默認(rèn)情況下是不穩(wěn)定的，但是GNU實(shí)現(xiàn)了coreutils包彌補(bǔ)了不足，可以通過(guò)--stable選項(xiàng)來(lái)解決穩(wěn)定性問(wèn)題。（不懂穩(wěn)定性的簡(jiǎn)單說(shuō)一下：意思就是排序鍵值等同的時(shí)候需要以輸入順序來(lái)輸出，即排序不打亂輸入順序）

有時(shí)候我們還需要解決輸入數(shù)據(jù)的重復(fù)問(wèn)題，sort -u能夠解決一些，但是它消除的操作依據(jù)的是匹配的鍵值，而非匹配的記錄。uniq命令提供另一種過(guò)濾數(shù)據(jù)的方式：它常用于管道中，用來(lái)刪除已適用sort排序完成的重復(fù)記錄。uniq有3個(gè)好用的選項(xiàng)：-c 可在每個(gè)輸出行之前加上該行的重復(fù)次數(shù)。 -d選項(xiàng)則用于僅顯示重復(fù)的行。 -u僅顯示未重復(fù)的行。這里需要注意一點(diǎn)，uniq處理數(shù)據(jù)前是需要sort對(duì)數(shù)據(jù)進(jìn)行排序的！

另外我們處理大量這樣的數(shù)據(jù)的時(shí)候，我們需要重新格式化段落以方便我們使用或閱讀。這時(shí)候可以使用fmt命令，有兩個(gè)常用的選項(xiàng)：-s 僅切割較長(zhǎng)的行，短行不會(huì)合并 ; -w n 則設(shè)置輸出行寬度為n個(gè)字符（默認(rèn)75個(gè)左右）。要考慮fmt移植性的請(qǐng)另行查詢文檔。

這里對(duì)可能使用到的統(tǒng)計(jì)行數(shù)、字?jǐn)?shù)、字符數(shù)的wc命令做一個(gè)介紹，選項(xiàng)有-c 字節(jié)數(shù) -l行數(shù) -w 字?jǐn)?shù) 。默認(rèn)情況下給出行數(shù) 字?jǐn)?shù) 字節(jié)數(shù)。

好了，處理了那么多文本，我們可能要打印出來(lái)看看，unix里支持的打印功能包括兩類不同的命令，但擁有相同的功能，商用的unix系統(tǒng)與GNU/linux通常兩種都支持，不過(guò)BSD系統(tǒng)僅支持Berkeley風(fēng)格，POSIX則只定義了lp命令。

兩套命令的例子：

然后是System V風(fēng)格的：

有時(shí)需打印數(shù)據(jù)需要加上頁(yè)碼或者時(shí)間戳，可以使用pr預(yù)處理要打印的數(shù)據(jù)。
語(yǔ)法：pr [ options ] [ file(s) ]
主要選項(xiàng)：
-cn 產(chǎn)生n欄的輸出，可以簡(jiǎn)化成-n
-f 在首頁(yè)之后的每一頁(yè)標(biāo)題前置一個(gè)ASCII分頁(yè)字符標(biāo)題，（有的環(huán)境下是-F）
-h althdr 將頁(yè)標(biāo)題內(nèi)的文件名稱，改用字符串a(chǎn)lthdr取代。
-ln 產(chǎn)生n行的頁(yè)面
-on 輸出位移n個(gè)空白
-t 不顯示標(biāo)題
-wn 每行至多n個(gè)字符。以單欄輸出而言，如有需要會(huì)將較長(zhǎng)的行切分繞回至另外一行;否則，在多欄輸出的情況下，會(huì)截去長(zhǎng)的行以符合指定。樣例：
pr -f -l60 -o10 -w65 file(s) | lp 。

還有其他打印工具，這里說(shuō)的比較簡(jiǎn)單，有這方面需求可以再搜些文檔看看。

第五章管道的神奇魔力
在linux下的管理性文件，大部分都是文本文件，可以直接編輯閱讀的，這些文件大部分放在標(biāo)準(zhǔn)目錄：/etc下。我們寫shell腳本的時(shí)候大部分時(shí)候都是在處理文本信息，而管道是可以一直順序著連著使用的 如 .... | ... | ... 這樣，書中舉了個(gè)連著使用5個(gè)管道的處理passwd文件的例子說(shuō)很厲害，大致就是這樣。然后又寫了一個(gè)腳本把文本轉(zhuǎn)化成HTML文件。然后又弄了一個(gè)根據(jù)正則匹配的腳本來(lái)幫助玩文字解密游戲。再然后通過(guò)管道計(jì)算出了各種莎士比亞基本的單詞出現(xiàn)頻率等。管道的神奇就不羅嗦了。

第六章變量、判斷、重復(fù)動(dòng)作
有兩個(gè)相似命令提供變量的管理，一個(gè)是readonly，可以將變量設(shè)置為只讀模式，就是成為符號(hào)常量。export用于修改或者打印環(huán)境變量。他們都由一個(gè)-p選項(xiàng)，意思是打印命令的名稱以及所有被導(dǎo)出（只讀）變量的名稱和值，這種方式可使得shell重新讀取輸出以便重新建立環(huán)境（只讀設(shè)置）。

export -p可以顯示所有當(dāng)前的環(huán)境變量，如果要從程序的環(huán)境中刪除變量，則要用env命令，也可以臨時(shí)的改變環(huán)境變量值：
env -i PATH=$PATH HOME=$HOME LC_ALL=C .....
-i選項(xiàng)用來(lái)初始化（initializes）環(huán)境變量的，也就是丟棄任何的繼承值，僅傳遞命令行上指定的變量給程序使用。

unset命令從執(zhí)行中的shell中刪除變量和函數(shù)，默認(rèn)情況下，它會(huì)解除變量設(shè)置，也可以加上-v完成：
unset full_name #刪除full_name變量
unset -v firest middle last #刪除多個(gè)變量
unset -f full_function #刪除函數(shù)
這里我嘗試用unset刪除readonly變量，發(fā)現(xiàn)無(wú)法刪除。然后查詢了以下，發(fā)現(xiàn)常量聲明之后就無(wú)法更改包括刪除，只有注銷當(dāng)前shell。

有時(shí)候輸出某個(gè)變量時(shí)，希望連接別的字符，可以在變量名左右添加花括號(hào)如：
echo _${myvar}_ #這樣會(huì)輸出myvar變量并在前后增加下劃線。
這樣叫做參數(shù)的展開(kāi)。如果變量未定義，展開(kāi)后是null。

還有一種替換運(yùn)算符：
${varname:-word} #如果varname存在且非null，則返回其值，否則返回word。
${varname:=word} #如果varname存在且非null，則返回其值，否則設(shè)置它為word然后再返回其值。
${varname:?message} #如果varname存在且非null，則返回它的值，否則顯示varname：message，并退出當(dāng)前的命令或腳本，如果省略message會(huì)出現(xiàn)默認(rèn)信息parameter null or net set。
${varname:+word} #如果varname存在且非null，則返回word，否則返回null。

以上每個(gè)運(yùn)算符內(nèi)的冒號(hào)（：）都是可選的。如果省略冒號(hào)，則將每個(gè)定義中的“存在且非null”部分改為“存在”，也就是說(shuō)，運(yùn)算符僅用于測(cè)試變量是否存在。

還有模式匹配運(yùn)算符#：
${variable#pattern} #如果模式匹配于變量值的開(kāi)頭處，則刪除匹配的最短部分，并返回剩下的部分。
${variable##pattern} #如果模式匹配于變量值的開(kāi)頭處，則刪除匹配的最長(zhǎng)部分，并返回剩下的部分。
${variable%pattern} #如果模式匹配于變量的結(jié)尾處，則刪除匹配的最短部分，并返回剩下的部分。
${variable%%pattern} #如果模式匹配于變量值的結(jié)尾處，則刪除匹配的最長(zhǎng)部分，并返回剩下的部分。
最后，POSIX標(biāo)準(zhǔn)化字符串長(zhǎng)度運(yùn)算符：${#variable}返回$variable值的字符長(zhǎng)度。

學(xué)到這里我們就可以結(jié)合之前用到的位置參數(shù)來(lái)進(jìn)行一些腳本程序的容錯(cuò)處理了，比如：filename=${1:-/dev/tty} #如果參數(shù)1為空則返回/dev/tty
之前我們沒(méi)有介紹如何訪問(wèn)傳遞的參數(shù)的總數(shù)，這里說(shuō)明一下，用的是 $# 符合。比如：

另外還有$* ，$@ ，它們一次表示所有的命令行參數(shù)。這兩個(gè)參數(shù)可用來(lái)把命令行參數(shù)傳遞給腳本或函數(shù)所執(zhí)行的程序。
"$*" 表示將所有命令行參數(shù)視為單個(gè)字符串，等同于”$1 $2 ..."。$IFS的第一個(gè)字符用來(lái)作為分隔字符，以分隔不同的值來(lái)建立字符串。
“$@" 將所有命令行參數(shù)視為單獨(dú)的個(gè)體，也就是單獨(dú)字符串。等同于"$1" "$2" ...。這是將參數(shù)傳遞給其他程序的最佳方式，因?yàn)樗鼤?huì)保留所有內(nèi)嵌在每個(gè)參數(shù)里的任何空白。

shift命令是用來(lái)“截去（lops off）”來(lái)自列表的位置參數(shù)，由左開(kāi)始。一旦執(zhí)行shift，$1的初始值會(huì)永遠(yuǎn)消失，取而代之的是$2的舊值。$2的值變成$3的舊值，以此類推。$#值則會(huì)逐次減一。以上幾個(gè)要多實(shí)驗(yàn)，不再贅述。

類似的還有很多特殊變量：（所有引用特殊變量前邊加$符號(hào)）
# 目前進(jìn)程的參數(shù)個(gè)數(shù)
@傳遞給當(dāng)前進(jìn)程的命令行參數(shù)。置于雙引號(hào)內(nèi)，會(huì)展開(kāi)為個(gè)別的參數(shù)。
* 當(dāng)前進(jìn)程的命令行參數(shù)。置于雙引號(hào)內(nèi)，則展開(kāi)為一單獨(dú)參數(shù)。
- 在引用時(shí)給予shell的選項(xiàng)。
？ 前一個(gè)命令的退出狀態(tài)
$ shell進(jìn)程的進(jìn)程編號(hào) process ID
0（零） shell程序的名稱
！ 最近一個(gè)后臺(tái)命令的進(jìn)程編號(hào)
ENV 一旦引用，則僅用于交互式shell中。$ENV的值是可展開(kāi)的參數(shù)。
HOME 根目錄
IFS 內(nèi)部的字段分隔器，想想awk吧。
LANG 當(dāng)前l(fā)ocale的默認(rèn)名稱;其他的LC_*變量會(huì)覆蓋其值
LC_ALL 當(dāng)前l(fā)ocale的名稱，會(huì)覆蓋LANG與其他LC_*變量
LC_COLLATE 用來(lái)排序字符的當(dāng)前l(fā)ocale名稱
LC_CTYPE 再模式匹配期間，用來(lái)確定字符類別的當(dāng)前l(fā)ocale的名稱
LC_MESSAGES 輸出信息的當(dāng)前語(yǔ)言的名稱
LINENO 剛執(zhí)行過(guò)的行再腳本或函數(shù)內(nèi)的行編號(hào)
NLSPATH 再$LC_MESSAGES(XSI)所給定的信息語(yǔ)言里信息目錄位置。
PATH 命令的查找路徑
PPID 父進(jìn)程的進(jìn)程編號(hào)
PS1 主要的命令提示字符串，默認(rèn)為“$”
PS2 行繼續(xù)的提示字符串，默認(rèn)為"> "
PS4 以set -x設(shè)置的執(zhí)行跟蹤的提示字符串。默認(rèn)為“+ ”。
PWD 當(dāng)前工作目錄。

shell的算數(shù)運(yùn)算符基本跟C語(yǔ)言一樣，想直接在命令行測(cè)試算數(shù)運(yùn)算符的需要這樣加雙括號(hào)：echo $(( 34 )) 之類的。

有一個(gè)要知道的地方，每一條命令，不管是內(nèi)置的、shell函數(shù)，還是外部的，當(dāng)它退出時(shí)，都會(huì)返回一個(gè)小的整數(shù)值給引用它的程序，這就是大家所熟悉的程序的退出狀態(tài)（exit statu）。在shell下執(zhí)行進(jìn)程時(shí)，有許多方式可取用程序的退出狀態(tài)。慣例來(lái)講，退出狀態(tài)為0表示成功執(zhí)行完成，其他狀態(tài)都是失敗的?？梢杂胠s命令執(zhí)行對(duì)一次錯(cuò)一次分別看看返回狀態(tài)是多少（上邊有講特殊變量 $? 可查看上一條命令的返回狀態(tài)）。

POSIX的結(jié)束狀態(tài)：
0 命令成功地退出
>0 在重定向或單詞展開(kāi)期間(~,變量，命令，算符展開(kāi)，單詞切割)失敗。
1-125 命令不成功地退出，具體含義由各個(gè)單獨(dú)的命令定義。
126 命令找到了，但文件無(wú)法執(zhí)行。
127 命令找不到。
>128 命令因收到信號(hào)而死亡。

令人好奇的是，POSIX留下退出狀態(tài)128未定義，僅要求它表示某種失敗。因?yàn)橹挥械臀坏?個(gè)位會(huì)返回給父進(jìn)程，所以大于255的退出狀態(tài)都會(huì)替換成該值除以256之后的余數(shù)。返回值命令：exit value_number 。

關(guān)于判斷語(yǔ)句 if-then-elif-else-fi 語(yǔ)句給個(gè)語(yǔ)法不再贅述：

if判斷力你可以使用 ！、、|| 等C語(yǔ)言里的這些邏輯判斷符號(hào)。
這里介紹一個(gè)test命令，它為了測(cè)試shell腳本里的條件，通過(guò)退出狀態(tài)返回其結(jié)果，它有第二種形式即 [...] ，單要注意的是方括號(hào)根據(jù)字面意義逐字地輸入，且必須與括號(hào)起來(lái)的expression以空白隔開(kāi)。如：test "$str1" = "$str2" 等同于 [ "$str1" = "$str2" ] 。test有好多參數(shù)啊，好多。。。自己man吧（敢不敢把26個(gè)字母都用完？?。?！ TT）。這里給出之前的finduser腳本的改良版：

關(guān)于case語(yǔ)句，給出例子不再贅述，都十分雷同C語(yǔ)言的。

這個(gè)循環(huán)將每個(gè)原始文件備份為副文件名為.old的文件，之后再使用sed處理文件建立新文件。同時(shí)有輸出文件名，作為進(jìn)度的一種提示。另外for循環(huán)里的in列表（list）是可選的，如果省略則遍歷整個(gè)命令行參數(shù)，就好像輸入了 for i in "$@" 。

while和until循環(huán)也都類似，語(yǔ)法為：

兩者不同之處在于如何對(duì)待condition的退出狀態(tài)，只要condition成功，while就繼續(xù)循環(huán)。只要condition不成功，until則一直循環(huán)。
在以上循環(huán)里，你仍然可以使用break和continue，功能同C語(yǔ)言一樣。

shift之前提到過(guò)，它還可以接受一個(gè)可選參數(shù)，也就是要移動(dòng)幾位。

針對(duì)參數(shù)的處理有一個(gè)getopts命令簡(jiǎn)化了選項(xiàng)處理，它能理解POSIX選項(xiàng)中將多個(gè)選項(xiàng)字母組織到一起的用法，也可以用來(lái)遍歷整個(gè)命令行參數(shù)，一次一個(gè)參數(shù)。該命令會(huì)自動(dòng)過(guò)濾掉參數(shù)里的-，--等符號(hào)。如果得到不合法選項(xiàng)字母，該命令會(huì)返回一個(gè)？符號(hào)。

shell腳本里的函數(shù)，一般可以定義在程序的最前部，也可以放在另一個(gè)獨(dú)立文件里，并且以點(diǎn)號(hào)（.）命令來(lái)取用（source）它們。給出一個(gè)簡(jiǎn)單實(shí)例：

調(diào)用直接 wait_for_user admin ，還可以接受第二個(gè)等待時(shí)間參數(shù)。在shell函數(shù)里，return與exit工作方式相同，可返回一個(gè)值，但是需要注意的是在shell函數(shù)里使用exit會(huì)終止整個(gè)shell命令。