小奥的学习笔记

  • Home
  • Learning & Working
    • Speech Enhancement Notes
    • Programming language
    • Computer & DL
    • MOOC
  • Life
    • Life Time
    • Thinking & Comprehension
    • Volunteer
    • Plan
    • Travel
  • Footprints
  • GuestBook
  • About
    • About Me
    • 个人履历
    • 隐私策略
  1. 首页
  2. Study-notes
  3. Computer & DL
  4. Linux
  5. 正文

《鸟哥的Linux私房菜》(基础篇)笔记整理(第11章)

2019年1月7日 1234点热度 0人点赞 0条评论

一、什么是正则表达式

正则表达式就是处理字符串的方法,它是以行为单位来进行字符串的处理行为,正则表达式通过一些特殊符号的帮助,可以让用户轻松达到“搜索/删除/替换”某特定字符串的处理程序。

正则表达式的字符串表示方法依照严谨程度的不同分为基础正则表达式和扩展正则表达式。

正则表达式和通配符是完全不一样的。通配符代表的是bash界面的功能,而正则表达式表示的是一种字符串的表示方式。

二、基础的正则表达式

正则表达式是处理字符串的一种表达式,对字符排序有影响的语系数据就会对正则表达式的结果有影响。正则表达式也需要支持工具程序来辅助才可以。

1.语系对正则表达式的影响

实际是我们看到的字符文字和数字都是编码表转换来的,由于不同语系编码数据不同,所以会造成数据选取的结果差别。

使用正则表达式的时候,需要特别留意语系环境是什么,否则可能会出现不符合自己需求的结果。

一些特殊的符号了解一下。

特殊符号 代表意义
[:alnum:] 代表英文大小写字符及数字,亦即0-9,A-Z,a-z
[:alpha:] 代表任何英文大小写字符,亦即A-Z,a-z
[:blank:] 代表空格键与[Tab]按键两者
[:cntrl:] 代表键盘上面的控制按键,亦即包括CR,LF,Tab,Del..等等
[:digit:] 代表数字而已,亦即0-9
[:graph:] 除了空格符(空格键与[Tab]按键)外的其他所有按键
[:lower:] 代表小写字符,亦即a-z
[:print:] 代表任何可以被打印出来的字符
[:punct:] 代表标点符号(punctuationsymbol),亦即:"'?!;:#$...
[:upper:] 代表大写字符,亦即A-Z
[:space:] 任何会产生空白的字符,包括空格键,[Tab],CR等等
[:xdigit:] 代表16进位的数字类型,因此包括:0-9,A-F,a-f的数字与字符

(1)grep的一些高级参数

[dmtsai@study ~]$ grep [-A] [-B] [--color=auto] '搜尋字串' filename

选项与参数:

-A:后面可加数字,为after的意思,除了列出该行外,后续的n行也列出来;

-B:后面可加数字,为befer的意思,除了列出该行外,前面的n行也列出来;

--color=auto可将正确的那个撷取数据列出颜色。

(2)基础正则表达式字符(characters)

RE字符 意义与范例
^word 意义:待搜寻的字符串(word)在行首!
:行首为#开始的那一行,并列出行号grep-n'^#'regular_express.txt
word$ 意义:待搜寻的字符串(word)在行尾!
范例:将行尾为!的那一行打印出来,并列出行号

grep-n'!$'regular_express.txt

. 意义:代表『一定有一个任意字符』的字符!
范例:搜寻的字符串可以是(eve)(eae)(eee)(ee),但不能仅有(ee)!亦即e与e中间『一定』仅有一个字符,而空格符也是字符!

grep-n'e.e'regular_express.txt

\ 意义:转义字符,将特殊符号的特殊意义去除!
范例:搜寻含有单引号'的那一行!

grep-n\'regular_express.txt

* 意义:重复零个到无穷多个的前一个RE字符
范例:找出含有(es)(ess)(esss)等等的字符串,注意,因为*可以是0个,所以es也是符合带搜寻字符串。另外,因为*为重复『前一个RE字符』的符号,因此,在*之前必须要紧接着一个RE字符喔!例如任意字符则为『.*』!

grep-n'ess*'regular_express.txt

[list] 意义:字符集合的RE字符,里面列出想要撷取的字符!
范例:搜寻含有(gl)或(gd)的那一行,需要特别留意的是,在[]当中『谨代表一个待搜寻的字符』,例如『a[afl]y』代表搜寻的字符串可以是aay,afy,aly即[afl]代表a或f或l的意思!

grep-n'g[ld]'regular_express.txt

[n1-n2] 意义:字符集合的RE字符,里面列出想要撷取的字符范围!
范例:搜寻含有任意数字的那一行!需特别留意,在字符集合[]中的减号-是有特殊意义的,他代表两个字符之间的所有连续字符!但这个连续与否与ASCII编码有关,因此,你的编码需要设定正确(在bash当中,需要确定LANG与LANGUAGE的变量是否正确!)例如所有大写字符则为[A-Z]

grep-n'[A-Z]'regular_express.txt

[^list] 意义:字符集合的RE字符,里面列出不要的字符串或范围!
范例:搜寻的字符串可以是(oog)(ood)但不能是(oot),那个^在[]内时,代表的意义是『反向选择』的意思。例如,我不要大写字符,则为[^A-Z]。但是,需要特别注意的是,如果以grep-n[^A-Z]regular_express.txt来搜寻,却发现该文件内的所有行都被列出,为什么?因为这个[^A-Z]是『非大写字符』的意思,因为每一行均有非大写字符,例如第一行的"OpenSource"就有p,e,n,o....等等的小写字

grep-n'oo[^t]'regular_express.txt

\{n,m\} 意义:连续n到m个的『前一个RE字符』
意义:若为\{n\}则是连续n个的前一个RE字符,
意义:若是\{n,\}则是连续n个以上的前一个RE字符!范例:在g与g之间有2个到3个的o存在的字符串,亦即(goog)(gooog)

grep-n'go\{2,3\}g'regular_express.txt

(2)sed工具

sed 本身也是一个管道命令,可以分析standard input的啦!而且sed还可以将数据进行替换、删除、新增、选取特定行等等的功能。

其使用方式如下:

[dmtsai@study ~]$ sed [-nefr] [動作]

选项与参数:

-n:安静(silent)模式。在一般sed用法中,所有STDIN的数据一般都会被输出到屏幕上。但如果加上-n参数后,则只有经过sed特殊处理的那一行(或者动作)才会被列出来。

-e:直接在命令行模式上进行sed的动作编辑;

-f:直接将sed的动作写在一个文件内,-ffilename则可以执行filename内的sed动作;

-r:sed的动作支持的是延伸型正规表示法的语法。(预设是基础正规表示法语法)

-i:直接修改读取的文件内容,而不是由屏幕输出。

动作说明:[n1[,n2]]function

n1,n2:不见得会存在,一般代表『选择进行动作的行数』,举例来说,如果我的动作

是需要在10到20行之间进行的,则『10,20[动作行为]』。

function有底下这些命令:

a:新增,a的后面可以接字符串,而这些字符串会在新的一行出现(目前的下一行);

c:取代,c的后面可以接字符串,这些字符串可以取代n1,n2之间的行;

d:删除,因为是删除啊,所以d后面通常不接任何;

i:插入,i的后面可以接字符串,而这些字符串会在新的一行出现(目前的上一行);

p:打印,亦即将某个选择的数据印出。通常p会与参数sed-n一起运作;

s:取代,可以直接进行取代的工作哩!通常这个s的动作可以搭配正规表示法。

 

三、扩展的正则表达式法

RE字符 意义与范例
+ 意义:重复『一个或一个以上』的前一个RE字符
范例:搜寻(god)(good)(goood)...等等的字符串。那个o+代表『一个以上的o』所以,底下的执行成果会将第1,9,13行列出来。

egrep-n'go+d'regular_express.txt

? 意义:『零个或一个』的前一个RE字符
范例:搜寻(gd)(god)这两个字符串。那个o?代表『空的或1个o』所以,上面的执行成果会将第13,14行列出来。有没有发现到,这两个案例('go+d'与'go?d')的结果集合与'go*d'相同?想想看,这是为什么喔!^_^

egrep-n'go?d'regular_express.txt

| 意义:用或(or)的方式找出数个字符串
范例:搜寻gd或good这两个字符串,注意,是『或』!所以,第1,9,14这三行都可以被打印出来喔!那如果还想要找出dog呢?

egrep-n'gd|good'regular_express.txt
egrep-n'gd|good|dog'regular_express.txt

() 意义:找出『群组』字符串
范例:搜寻(glad)或(good)这两个字符串,因为g与d是重复的,所以,我就可以将la与oo列于()当中,并以|来分隔开来,就可以啦!

egrep-n'g(la|oo)d'regular_express.txt

()+ 意义:多个重复群组的判别
范例:将『AxyzxyzxyzxyzC』用echo叫出,然后再使用如下的方法搜寻一下!

echo'AxyzxyzxyzxyzC'|egrep'A(xyz)+C'

 

四、文件格式化与相关处理

1.格式化打印:printf

使用方法如下:

[dmtsai@study ~]$ printf '打印格式' 实际内容

选项与参数:

\a:警告声音输出

\b:退格键(backspace)

\f:清除屏幕(formfeed)

\n:输出新的一行

\r:亦即Enter按键

\t:水平的[tab]按键

\v:垂直的[tab]按键

\xNN:NN为两位数的数字,可以转换数字成为字符。

关于C程序语言内,常见的变数格式

%ns:那个n是数字,s代表string,亦即多少个字符;

%ni:那个n是数字,i代表integer,亦即多少整数字数;

%N.nf:那个n与N都是数字,f代表floating(浮点)

使用实例如下:

范例一:将刚刚上头数据的文件 (printf.txt) 内容仅列出姓名与成绩:(用 [tab] 分隔)

[dmtsai@study ~]$ printf '%s\t %s\t %s\t %s\t %s\t \n' $(cat printf.txt)

Name     Chinese         English         Math    Average

DmTsai   80      60      92      77.33

VBird    75      55      80      70.00

Ken      60      90      70      73.33

 

2.awk:好用的数据处理工具

使用方式如下:

[dmtsai@study ~]$ awk '条件类型1{动作1} 条件类型2{动作2} ...' filename

awk后面接两个但银行和大括号来设置下要对资料进行的操作。awk可以处理后续接的文件,也可以读取来自前面指令的标准输出。awk主要是处理每一行的字段内的数据,而默认的字段的分隔符为空格键或者TAB键。

每一行的每个字段都是有变量名称的,那就是 $1, $2... 等变量名称。

$0代表一整列资料。

awk怎样知道这个数据有几行几列呢?需要内置变量来帮忙。

变量名称 代表意义
NF 每一行 ($0) 拥有的字段总数
NR 目前 awk 所处理的是『第几行』数据
FS 目前的分隔字符,默认是空格键

awk的运算符号如下:

运算单元 代表意义
> 大于
< 小于
>= 大于或等于
<= 小于或等于
== 等于
!= 不等于

 

3.文件比较工具

(1)diff

diff就是用在比对两个文件之间的差异的,并且是以行为单位来比对的!一般是用在ASCII纯文本档的比对上。由于是以行为比对的单位,因此diff通常是用在同一的文件(或软件)的新旧版本差异上。

其使用方法如下所示:

[dmtsai@study ~]$ diff [-bBi] from-file to-file

选项与参数:

from-file:一个文件名,作为原始比对文件的文件名;

to-file:一个文件名,作为目的比对文件的文件名;

注意,from-file或to-file可以-取代,那个-代表『Standard input』之意。

-b:忽略一行当中,仅有多个空白的差异(例如"about me"与"about    me"视为相同

-B:忽略空白行的差异。

-i:忽略大小写的不同。

(2)cmp

cmp主要也是在比对两个文件,他主要利用“字节”单位去比对,因此,当然也可以比对binary file。

使用方法如下:

[dmtsai@study ~]$ cmp [-l] file1 file2

选项与参数:

-l:将所有的不同点的字节处都列出来。因为cmp预设仅会输出第一个发现的不同点。

(3)patch

如果将旧的文件更新为新的文件,应该如何去做呢?就要先比较新旧文件的版本差异,然后将差异制作成补丁文件,再由补丁文件更新旧文件即可。

[dmtsai@study ~]$ patch -pN < patch_file    <==更新

[dmtsai@study ~]$ patch -R -pN < patch_file <==还原

选项与参数:

-p  :后面可以接『取消几层目录』的意思。

-R  :代表还原,将新的文件还原成原来旧的版本。

 

4.文件打印准备

如果你曾经使用过一些图形接口的文字处理软件的话,那么很容易发现,当我们在打印的时候,可以同时选择与设定每一页打印时的标头吧!也可以设定页码。那么,如果我是在Linux底下打印纯文本档呢可不可以具有标题啊?可不可以加入页码啊?呵呵!当然可以啊!使用pr就能够达到这个功能了。不过,pr的参数实在太多了。举例来说,如果想要打印/etc/man_db.conf呢?

[dmtsai@study ~]$ pr /etc/man_db.conf

2014-06-10 05:35                 /etc/man_db.conf                 Page 1

#

#

# This file is used by the man-db package to configure the man and cat paths.

# It is also used to provide a manpath for those without one by examining

# configure script.

上面特殊字体那一行呢,其实就是使用pr处理后所造成的标题啦!标题中会有『文件时间』、『文件名』及『页码』三大项目。更多的pr使用,请参考pr的说明。

 

本作品采用 知识共享署名 4.0 国际许可协议 进行许可
标签: linux 鸟哥的linux私房菜
最后更新:2019年1月7日

davidcheung

这个人很懒,什么都没留下

打赏 点赞
< 上一篇
下一篇 >

文章评论

razz evil exclaim smile redface biggrin eek confused idea lol mad twisted rolleyes wink cool arrow neutral cry mrgreen drooling persevering
取消回复

搜索
欢迎关注我的个人公众号
最新 热点 随机
最新 热点 随机
DEEPFILTERNET:一种基于深度滤波的全频带音频低复杂度语音增强框架 奥地利匈牙利九日游旅程 论文阅读之Study of the General Kalman Filter for Echo Cancellation 小奥看房之鸿荣源珈誉府 杭州往返旅途及西溪喜来登和万怡的体验报告 2022年的第一篇碎碎念
奥地利匈牙利九日游旅程论文阅读之Study of the General Kalman Filter for Echo CancellationDEEPFILTERNET:一种基于深度滤波的全频带音频低复杂度语音增强框架
《新少林寺》观后感 编程知识点学习(1):字符串知识点 再评“哈韩族”! ULTRAMAN XERO将做部分修改 《鸟哥的Linux私房菜》(基础篇)笔记整理(第7章)Part.1 已修:宇宙中心的英语听说课【清华大学】[2015-07-25]
标签聚合
生活 leetcode Java Python 算法 鸟哥的linux私房菜 linux 学习 python学习 高中
最近评论
davidcheung 发布于 5 个月前(02月09日) The problem has been fixed. May I ask if you can s...
tk88 发布于 5 个月前(02月07日) Hmm is anyone else having problems with the pictur...
cuicui 发布于 9 个月前(10月20日) :wink:
niming 发布于 10 个月前(09月19日) 同级校友,能刷到太巧了
davidcheung 发布于 2 年前(08月16日) 我得找一下我之前整理的word文档看一下,如果找到了我就更新一下这篇文章。
Nolan 发布于 2 年前(07月25日) 您的笔记非常有帮助。贴图不显示了,可以更新一下吗?
davidcheung 发布于 3 年前(06月19日) 到没有看webrtc的代码。现在主要在看我们公司的代码了。。。只是偶尔看一看webrtc的东西。。。
aobai 发布于 3 年前(03月13日) gain_change_hangover_ 应该是每三个block 只能够调整一次,这样保证每帧...
匿名 发布于 5 年前(12月30日) 烫
小奥 发布于 5 年前(12月12日) webRTC里面的NS本身我记得就是在C++里面呀

COPYRIGHT © 2025 小奥的学习笔记. ALL RIGHTS RESERVED.

Theme Kratos Made By Seaton Jiang

陕ICP备19003234号-1

鲁公网安备37120202000100号