建站
咨詢
售后
建站咨詢
新聞中心
Linux下常用文本處理命令
Linux下常用文本處理命令大全
創(chuàng)新互聯(lián)專注于西鄉(xiāng)塘網(wǎng)站建設(shè)服務(wù)及定制，我們擁有豐富的企業(yè)做網(wǎng)站經(jīng)驗。 熱誠為您提供西鄉(xiāng)塘營銷型網(wǎng)站建設(shè)，西鄉(xiāng)塘網(wǎng)站制作、西鄉(xiāng)塘網(wǎng)頁設(shè)計、西鄉(xiāng)塘網(wǎng)站官網(wǎng)定制、小程序定制開發(fā)服務(wù)，打造西鄉(xiāng)塘網(wǎng)絡(luò)公司原創(chuàng)品牌,更為您提供西鄉(xiāng)塘網(wǎng)站排名全網(wǎng)營銷落地服務(wù)。
Linux下面有很多經(jīng)典的非常有用的命令，其中處理文本的命令就有很多。下面就讓我們一起看看這些經(jīng)典的Linux文本處理命令有哪些吧。
一. sort
文件排序, 通常用在管道中當過濾器來使用. 這個命令可以依據(jù)指定的關(guān)鍵字或指定的字符位置, 對文件行進行排序. 使用-m選項, 它將會合并預排序的輸入文件. 想了解這個命令的全部參數(shù)請參考這個命令的info頁.
二. tsort
拓撲排序, 讀取以空格分隔的有序?qū)? 并且依靠輸入模式進行排序.
三. uniq
這個過濾器將會刪除一個已排序文件中的重復行. 這個命令經(jīng)常出現(xiàn)在sort命令的管道后邊.
四. expand, unexpand
expand命令將會把每個tab轉(zhuǎn)化為一個空格. 這個命令經(jīng)常用在管道中.
unexpand命令將會把每個空格轉(zhuǎn)化為一個tab. 效果與expand命令相反.
五. cut
一個從文件中提取特定域的工具. 這個命令與awk中使用的print $N命令很相似, 但是更受限. 在腳本中使用cut命令會比使用awk命令來得容易一些. 最重要的選項就是-d(字段定界符)和-f(域分隔符)選項.
六. paste
將多個文件, 以每個文件一列的形式合并到一個文件中, 合并后文件中的每一列就是原來的一個文件. 與cut結(jié)合使用, 經(jīng)常用于創(chuàng)建系統(tǒng)log文件.
七. join
這個命令與paste命令屬于同類命令. 但是它能夠完成某些特殊的目地. 這個強力工具能夠以一種特殊的形式來合并兩個文件, 這種特殊的形式本質(zhì)上就是一個關(guān)聯(lián)數(shù)據(jù)庫的簡單版本.
join命令只能夠操作兩個文件. 它可以將那些具有特定標記域(通常是一個數(shù)字標簽)的行合并起來, 并且將結(jié)果輸出到stdout. 被加入的文件應(yīng)該事先根據(jù)標記域進行排序以便于能夠正確的匹配.
八. head
把文件的頭部內(nèi)容打印到stdout上(默認為10行, 可以自己修改). 這個命令有一些比較有趣的選項.
九. tail
將一個文件結(jié)尾部分的內(nèi)容輸出到stdout中(默認為10行). 通常用來跟蹤一個系統(tǒng)logfile的.修改情況, 如果使用-f選項的話, 這個命令將會繼續(xù)顯示添加到文件中的行.
十. wc
wc可以統(tǒng)計文件或I/O流中的”單詞數(shù)量”:
十一. fold
將輸入按照指定寬度進行折行. 這里有一個非常有用的選項-s, 這個選項可以使用空格進行斷行(譯者: 事實上只有外文才需要使用空格斷行, 中文是不需要的)(請參考例子 12-23和例子 A-1).
十二. fmt
一個簡單的文件格式器, 通常用在管道中, 將一個比較長的文本行輸出進行”折行”.
十三. col
這個命令用來濾除標準輸入的反向換行符號. 這個工具還可以將空白用等價的tab來替換. col工具最主要的應(yīng)用還是從特定的文本處理工具中過濾輸出, 比如groff和tbl. (譯者: 主要用來將man頁轉(zhuǎn)化為文本.)
十四. column
列格式化工具. 通過在合適的位置插入tab, 這個過濾工具會將列類型的文本轉(zhuǎn)化為”易于打印”的表格式進行輸出.
十五. colrm
列刪除過濾器. 這個工具將會從文件中刪除指定的列(列中的字符串)并且寫到文件中, 如果指定的列不存在, 那么就回到stdout. colrm 2 4 filename將會刪除filename文件中每行的第2到第4列之間的所有字符. p="" /filename將會刪除filename文件中每行的第2到第4列之間的所有字符.
Caution: 如果這個文件包含tab和不可打印字符, 那將會引起不可預期的行為. 在這種情況下, 應(yīng)該通過管道的手段使用expand和unexpand來預處理colrm.
十六. nl
計算行號過濾器. nl filename將會把filename文件的所有內(nèi)容都輸出到stdout上, 但是會在每個非空行的前面加上連續(xù)的行號. 如果沒有filename參數(shù), 那么就操作stdin.
nl命令的輸出與cat -n非常相似, 然而, 默認情況下nl不會列出空行.
十七. pr
格式化打印過濾器. 這個命令會將文件(或stdout)分頁, 將它們分成合適的小塊以便于硬拷貝打印或者在屏幕上瀏覽. 使用這個命令的不同的參數(shù)可以完成好多任務(wù), 比如對行和列的操作, 加入行, 設(shè)置頁邊, 計算行號, 添加頁眉, 合并文件等等. pr命令集合了許多命令的功能, 比如nl, paste, fold, column, 和expand.
pr -o 5 –width=65 fileZZZ | more 這個命令對fileZZZ進行了比較好的分頁, 并且打印到屏幕上. 文件的縮進被設(shè)置為5, 總寬度設(shè)置為65.
一個非常有用的選項-d, 強制隔行打印(與sed -G效果相同).
十八. gettext
GNU gettext包是專門用來將程序的輸出翻譯或者本地化為不同國家語言的工具集. 在最開始的時候僅僅支持C語言, 現(xiàn)在已經(jīng)支持了相當數(shù)量的其它程序語言和腳本語言.
想要查看gettext程序如何在shell腳本中使用. 請參考info頁.
十九. msgfmt
一個產(chǎn)生二進制消息目錄的程序. 這個命令主要用來本地化.
二十. iconv
一個可以將文件轉(zhuǎn)化為不同編碼格式(字符集)的工具. 這個命令主要用來本地化.
二十一. recode
可以認為這個命令是上邊iconv命令的專業(yè)版本. 這個非常靈活的并可以把整個文件都轉(zhuǎn)換為不同編碼格式的工具并不是Linux標準安裝的一部分.
二十二. TeX, gs
TeX和Postscript都是文本標記語言, 用來對打印和格式化的視頻顯示進行預拷貝.
TeX是Donald Knuth精心制作的排版系統(tǒng). 通常情況下, 通過編寫腳本的手段來把所有的選項和參數(shù)封裝起來一起傳到標記語言中是一件很方便的事情.
Linux下如何對目錄中的文件進行統(tǒng)計
在本文中，將展示幾種查找 Linux 目錄中的文件數(shù)量的不同方法。
統(tǒng)計目錄中的文件數(shù)量
統(tǒng)計目錄中文件的最簡單方法是使用ls每行列出一個文件，并將輸出通過管道符傳遞給wc計算數(shù)量：
[root@localhost ~]# ls -1U /etc |wc -l
執(zhí)行上面的 命令 將顯示所有文件的總和，包括目錄和符號鏈接。-1選項表示每行列出一個文件，-U告訴ls不對輸出進行排序，這使 命令 的執(zhí)行速度更快。ls -1U命令不計算隱藏文件。如果只想計算文件而不包括目錄，請使用以下命令：
[root@localhost ~]# ls -1Up /etc |grep -v /|wc -l
-p選項強制ls將斜杠（/）指示符附加到目錄。輸出結(jié)果通過管道符傳遞到grep -v命令，排除包含斜杠的行，并計算數(shù)量。
為了更好地控制列出的文件，使用find命令而不是ls:
[root@localhost ~]# find /etc -maxdepth 1 -type f |wc -l
-type f選項告訴find僅列出文件（包括隱藏文件），-maxdepth 1將搜索限制到第一級目錄。
遞歸統(tǒng)計目錄中的文件
如果想要統(tǒng)計目錄中的文件數(shù)量，并包括子目錄中的，可以使用find命令：
[root@localhost ~]# find /etc -type f|wc -l
用來統(tǒng)計文件的另一個命令是tree，它以樹狀格式列出目錄的內(nèi)容：
[root@localhost ~]# yum -y install tree
[root@localhost ~]# tree /root
輸出的內(nèi)容底部會顯示有多少目錄，和多少文件。
總結(jié)
在本文中，將展示幾種查找Linux目錄中的文件數(shù)量的不同方法。
Linux文本操作常用命令
在Linux系統(tǒng)里常用于文本查看、操作、統(tǒng)計的命令：
通過多敲鍵盤，形成手感 肌肉記憶 ，熟練掌握這些命令，在以后生信分析中游刃有余。以下是每個命令的詳細的介紹（主要是跟著 生信技能樹小郭老師 學習做的筆記）
接下來通過示例把10個命令的常用參數(shù)和用法展示出來：
參數(shù)的用法介紹：
注意事項：
用 cat 命令可以 查看文本 ，也可以 編輯文本 ，編輯文本要加 符號，退出時，另起一行，按 control C 退出
zcat可以查看壓縮的文本文件，tac逆向查看
結(jié)合 管道符| 使用
head / tail -n :查看文件的前 / 后 n 行，默認 10 行 （在R語言里head和tail默認是前6行）。
less命令用得最多 ，more命令用得比較少
3.1 less命令
less [參數(shù)] 文件名
less命令重要的補充用法1 ：
需要注意 退出 ：只要使用less命令， 按q鍵
less命令重要的補充用法2 ：
參數(shù)用法：
less命令 不加參數(shù) 查看文件：
less命令加 -N參數(shù) 查看文件：顯示行號
less命令加 -S參數(shù) 查看文件：單行顯示，非常規(guī)整
對比：less和cat命令顯示文本行號的用法：less -N，cat -n
3.2 more命令
**more ** 逐頁查看，按空格翻頁，按回車換行 ，more命令一般很少用，熟練掌握less命令就好
查看壓縮文件
wc 統(tǒng)計字符是也把換行符統(tǒng)計進去，但是別的命令不一定會把換行符算進去，。
常見參數(shù):
切記：用less命令，按q退出
cut命令是按關(guān)鍵詞來切的
常見參數(shù):
排列前：
排列后：
解釋：1和0比，1大；7和0比，7大…在sort字典排序里，100816比1737小，所以100816排在前面。
命令行查看一個表格結(jié)構(gòu)時，因為制表符對齊的原因，出現(xiàn)一個錯位的現(xiàn)象。還有 字典排序 可能和我們平時的認知不一樣，所以 加上-n參數(shù) ， 讓數(shù)值有數(shù)學意義上的大小來排序 。
uniq命令去重，只有兩行出現(xiàn)重復，而且是相鄰的兩行，如果不相鄰，即使出現(xiàn)兩行一模一樣，不會去重。
uniq命令通常和sort命令搭配使用
換其它文件試試
總之，uniq命令使用時經(jīng)常和sort一起
常見參數(shù):
常見用法1：
paste file1 file2
-s :按行合并 演示
常見用法2 : paste - -
常見參數(shù):
要養(yǎng)成一個好習慣，原始數(shù)據(jù)不要輕易修改，修改的東西另外保存，文本保存用 (重定向)或是 (追加)
1. 用 less 查看 example.gtf ，然后管道符傳遞給 wc
2. 截取 example.gtf 第 9 列的內(nèi)容
3. 在第2步的基礎(chǔ)上截取分號分割的第1列
4. 在第3步的基礎(chǔ)上排序、去重復并統(tǒng)計
5. 在第4步的基礎(chǔ)上，將空格替換成制表符
補充小知識 ：
清屏 ：control L
查看歷史（輸入過的）命令 ：history
Linux 文件行數(shù)統(tǒng)計
一、行數(shù)統(tǒng)計方法
1、系統(tǒng)命令：wc -l filename
2、grep方法：grep -c "" filename
3、sed方法：sed -n '$=' filename
4、awk方法：awk 'END{print NR}' filename
參考文件
本文名稱：linux文本統(tǒng)計命令 linux統(tǒng)計文本字符串個數(shù)
文章分享：http://ef60e0e.cn/article/dogosdc.html
