故事背景

  职场如战场!Sum带领三个小队友用了两周,成功把代理功能给干出来了。如果说产品经理是最魔鬼的指挥官,那测试就是最魔鬼的教官。这两周,让Sum深深领略了什么是X市的日出。

  不过话又说回来,战斗时光是酸苦且甘甜的,每每回忆,嘴角都会泛起流糖般的微笑,那是年轻时月亮的背影,那是年轻时初升太阳的轮廓。

  不知道其他热爱程序的人是不是这样想的,但Sum是这么认为的。

  Sum依旧按部就班。

  这日Sum早早到公司了,8点,太阳才刚微热。晨雾还未散去,站在落地窗向外看,世界就像打开馒头蒸笼般冒着热腾腾的蒸汽。

  Sum打开电脑,趁着开机消耗的时间,去泡了杯咖啡。回到座位,电脑早已经开好。

  看了下工作日程,和往常一样,审计代码、梳理需求、开会,开会,还是开会。

  那就从审计昨日代码开始吧,Sum从git下载了昨日的代码(因为X公司有固定发布日,所以代码提交后,第二天由Sum等项目负责人去负责审计),下载完成后,Sum打开了zendstudio(因为Sum负责公司的PHP模块开发,所以负责审计这部分代码),导入最新的工程,对照更新日志,打开对应的修改过文件,一遍喝着咖啡,一遍看着代码。

  Sum在看到一个功能函数库文件的时候,发现一个curlApi($url,$param,$type=1)函数,实现过程有一段这样的代码,看起来很别扭,如下:

  

 if(strpos($response,"__callback(")!==false){
$response=str_replace(array("__callback(",")"),array("",""),$response);
}
$returnData = json_decode($response,true);
return $returnData;

  结果看起来很正常,就是curl一个API,返回的$response有可能包含了__callback字符串,不是纯的json文本,所以这位队友就在返回结果做了个判断,如果存在__callback(的字符串,就要替换成空,再近些json转数组的操作。但是,在Sum开起来,这里面埋了一个雷,什么雷呢?如果接口提供方哪天心情不好了,把__callback换成了__query,而且不通知到技术部,那这个用法就废了,怎么办呢?Sum第一个念头就是使用正则表达式,去匹配这类特殊的响应值。

  心中有了想法,Sum就想做一个教程,给团队的成员普及一下,于是乎,Sum打开了PPT,准备起了培训材料。。。。

| 需求分析

  Sum要做一分通俗易懂,易于宣讲的正则表达式的教程。

| 开干

  Sum觉得,要能下意识的想到用正则表达式,那必须要把正则表达式的表,给背熟,融入到骨子里去,然后再经过多个demo的练习,形成如果需要处理字符串或者文本(比如爬虫),首先想到的就是正则表达式。所以,Sum就在PPT的首章,贴出了正则表达式的规则表。

  普通字符:普通字符包括没有显式指定为元字符的所有可打印和不可打印字符。这包括所有大写和小写字母、所有数字、所有标点符号和一些其他符号。比如/demo/,就是匹配字符串或者文本,有无demo这个字眼

  非打印字符(指在计算机中有一些字符是确确实实存在,但是它们不能够显示或者打印出来,以ASCII码表为例,ascii码值在0-31的为控制字符,无法显示和打印):

                                非打印字符也可以是正则表达式的组成部分。下表列出了表示非打印字符的转义序列

字符 描述
\cx 匹配由x指明的控制字符。例如, \cM 匹配一个 Control-M 或回车符。x 的值必须为 A-Z 或 a-z 之一。否则,将 c 视为一个原义的 'c' 字符。
\f 匹配一个换页符。等价于 \x0c 和 \cL。
\n 匹配一个换行符。等价于 \x0a 和 \cJ。
\r 匹配一个回车符。等价于 \x0d 和 \cM。
\s 匹配任何空白字符,包括空格、制表符、换页符等等。等价于 [ \f\n\r\t\v]。注意 Unicode 正则表达式会匹配全角空格符。
\S 匹配任何非空白字符。等价于 [^ \f\n\r\t\v]。
\t 匹配一个制表符。等价于 \x09 和 \cI。
\v 匹配一个垂直制表符。等价于 \x0b 和 \cK。

  

  

  特殊字符:所谓特殊字符,就是一些有特殊含义的字符,如上面说的 runoo*b 中的 *,简单的说就是表示任何字符串的意思。如果要查找字符串中的 * 符号,则需要对 * 进行转义,即在其前加一个 \: runo\*ob 匹配 runo*ob。

            许多元字符要求在试图匹配它们时特别对待。若要匹配这些特殊字符,必须首先使字符"转义",即,将反斜杠字符\ 放在它们前面。

                                  下表列出了正则表达式中的特殊字符:

特别字符 描述
$ 匹配输入字符串的结尾位置。如果设置了 RegExp 对象的 Multiline 属性,则 $ 也匹配 '\n' 或 '\r'。要匹配 $ 字符本身,请使用 \$。
( ) 标记一个子表达式的开始和结束位置。子表达式可以获取供以后使用。要匹配这些字符,请使用 \( 和 \)。
* 匹配前面的子表达式零次或多次。要匹配 * 字符,请使用 \*。
+ 匹配前面的子表达式一次或多次。要匹配 + 字符,请使用 \+。
. 匹配除换行符 \n 之外的任何单字符。要匹配 . ,请使用 \. 。
[ 标记一个中括号表达式的开始。要匹配 [,请使用 \[。
? 匹配前面的子表达式零次或一次,或指明一个非贪婪限定符。要匹配 ? 字符,请使用 \?。
\ 将下一个字符标记为或特殊字符、或原义字符、或向后引用、或八进制转义符。例如, 'n' 匹配字符 'n'。'\n' 匹配换行符。序列 '\\' 匹配 "\",而 '\(' 则匹配 "("。
^ 匹配输入字符串的开始位置,除非在方括号表达式中使用,此时它表示不接受该字符集合。要匹配 ^ 字符本身,请使用 \^。
{ 标记限定符表达式的开始。要匹配 {,请使用 \{。
| 指明两项之间的一个选择。要匹配 |,请使用 \|。

  限定符:限定符用来指定正则表达式的一个给定组件必须要出现多少次才能满足匹配。有 * 或 + 或 ? 或 {n} 或 {n,} 或 {n,m} 共6种。

                                   正则表达式的限定符有:

字符 描述
* 匹配前面的子表达式零次或多次。例如,zo* 能匹配 "z" 以及 "zoo"。* 等价于{0,}。
+ 匹配前面的子表达式一次或多次。例如,'zo+' 能匹配 "zo" 以及 "zoo",但不能匹配 "z"。+ 等价于 {1,}。
? 匹配前面的子表达式零次或一次。例如,"do(es)?" 可以匹配 "do" 、 "does" 中的 "does" 、 "doxy" 中的 "do" 。? 等价于 {0,1}。
{n} n 是一个非负整数。匹配确定的 n 次。例如,'o{2}' 不能匹配 "Bob" 中的 'o',但是能匹配 "food" 中的两个 o。
{n,} n 是一个非负整数。至少匹配n 次。例如,'o{2,}' 不能匹配 "Bob" 中的 'o',但能匹配 "foooood" 中的所有 o。'o{1,}' 等价于 'o+'。'o{0,}' 则等价于 'o*'。
{n,m} m 和 n 均为非负整数,其中n <= m。最少匹配 n 次且最多匹配 m 次。例如,"o{1,3}" 将匹配 "fooooood" 中的前三个 o。'o{0,1}' 等价于 'o?'。请注意在逗号和两个数之间不能有空格。

  

  定位符:定位符使您能够将正则表达式固定到行首或行尾。它们还使您能够创建这样的正则表达式,这些正则表达式出现在一个单词内、在一个单词的开头或者一个单词的结尾。定位符用来描述字符串或单词的边界,^ 和 $ 分别指字符串的开始与结束,

        \b 描述单词的前或后边界,\B 表示非单词边界。

                                    正则表达式的定位符有:

字符 描述
^ 匹配输入字符串开始的位置。如果设置了 RegExp 对象的 Multiline 属性,^ 还会与 \n 或 \r 之后的位置匹配。
$ 匹配输入字符串结尾的位置。如果设置了 RegExp 对象的 Multiline 属性,$ 还会与 \n 或 \r 之前的位置匹配。
\b 匹配一个字边界,即字与空格间的位置。
\B 非字边界匹配。

  一定要背熟!!一定要背熟!!!!一定要背熟!!!!!!!!!!

  Sum洋洋洒洒的在PPT上写下这行字,还特地标注这行,让字显得更加醒目!

  跟代码打交道多年的Sum,知道最有说服力的方式,就是编写一个个demo,进行知识点的拆解。而正则表达式使用最多的场景,便是爬虫(应用层面,当然还有编译器等等深层次的使用),于是他选择了一个网页的源码(链接)。

   把源码保存成文本,Sum决定由浅入深的编写正则的demo,便在PPT把自己的demo顺序敲上去:

  《获取网页标题--入门就是这样简单》

  《删掉那些没用标签--想取得便要先舍去》

  《根据类名取标签--指哪取哪》

  《批量取匹配标签--我的子集我做主》

  《成对标签--让数据更准确》

  demo 的索引目录写进PPT之后,Sum就对这些目录进行展开编码,时不我待,马上开干。

  《获取网页标题--入门就是这样简单》

  写过静态页面的都知道,网页的标题,都是在头部进行定义,并且包含在<title></title>标签之间。如图:

  

  并且,规范的html代码,标题都是唯一的,换句话说,title标签,仅此一个。所以对于抓取html标题,那就变得容易了,只要写一个规则,匹配html的title标签,再给正则表达式做一个子规则提取到标题的内容即可。

  于是Sum便打开了编辑器,用php写下了一个函数,用于匹配该部分的html代码,并取出title的内容。

  

  

  图上,便是Sum写的getTitle()函数,核心的正则表达式是/\<title\>(.*)\<\/title\>/;由于<、/、>是正则表达式的符号,所以PHP制定正则规则时,就要对这些字符进行转义(PS:还有哪些字符是需要转义的呢?大家可以在评论区回复)

  Sum在这个规则上写上了注释,为了解释为什么这条规则就能匹配到标题。

  1.<title>在文本中查找由<title>开始的字符串,并从该位置进行往后匹配

  2. (.*)子匹配规则,.表示除了换行之外的任何字符,那我们分析下我们要抓取的html代码,<title>资深架构师Sum的故事:(Mysql)InnoDB下,存储过程中事务的处理 - 程序员VIP - 博客园</title>,我们要抓取的内容,恰好在一行,所以适合用.去做通配符,*号表示0到多个和.匹配的字符。那就是如果内容在一行的话,都能匹配到。

  3.</title>在规则中,写了指定的字符作为结尾的话,那匹配的结尾符便是该字符串。

  4.我们都知道,正则有贪婪模式和非贪婪模式(也就是懒惰模式),上图中使用的preg_match便是懒惰模式,这恰好表达了只有第一个满足以<title>开始以</title>结束的字符匹配到,就结束匹配。这正是我们想要的。毕竟网站的title只有一个。

  

  上面匹配的结果打印如下:

  

  Sum写完了这些注释,再看看代码,却发现了一个问题,那如果得到的文本,title中的内容如果含有换行符怎么办?就比如下面的代码变种↓

  

  问题来了,这样的代码,正则表达式又应该如何写呢?

  这正是Sum抛给组员的问题,正在看《资深架构师Sum的故事》的你,是否也有你的答案呢?欢迎在评论区进行作答

  《本章节未完待续》

资深架构师Sum的故事:正则!入门就是这样简单的更多相关文章

  1. 资深架构师Sum的故事:(Mysql)InnoDB下,存储过程中事务的处理

    | 故事背景 话说有一回,X市X公司的产品经理Douni兴致冲冲的跑来和Sum(Sum,X市X公司资历8年程序猿,技能:深思.熟虑.心细.深究.技术过敏.口头禅:嗯,容我想想.坚信:只要赚钱的业务,我 ...

  2. 一名资深架构师规划Java程序员五年职业生涯指南

    每个程序员.或者说每个工作者都应该有自己的职业规划,如果你不是富二代,不是官二代,也没有职业规划,希望你可以思考一下自己的将来.今天我给大家分享的是一篇来自阿里大牛对五年工作经验程序员的职业建议,希望 ...

  3. 【架构】生成全局唯一ID的3个思路,来自一个资深架构师的总结

    标识(ID / Identifier)是无处不在的,生成标识的主体是人,那么它就是一个命名过程,如果是计算机,那么它就是一个生成过程.如何保证分布式系统下,并行生成标识的唯一与标识的命名空间有着密不可 ...

  4. 百度资深架构师带你深入浅出一致性Hash原理

    一.前言 在解决分布式系统中负载均衡的问题时候可以使用Hash算法让固定的一部分请求落到同一台服务器上,这样每台服务器固定处理一部分请求(并维护这些请求的信息),起到负载均衡的作用. 但是普通的余数h ...

  5. 从“菜鸟”码农到“资深”架构师,我到底经历了什么?--------http://baijiahao.baidu.com/s?id=1585813883835208757&wfr=spider&for=pc

    http://baijiahao.baidu.com/s?id=1585813883835208757&wfr=spider&for=pc

  6. 资深架构师教你String 常量池、 String.itern()

    什么是常量 用final修饰的成员变量表示常量,值一旦给定就无法改变! final修饰的变量有三种:静态变量.实例变量和局部变量,分别表示三种类型的常量. Class文件中的常量池 在Class文件结 ...

  7. IBM总架构师寇文东谈程序员的职业规划

    有些年轻的程序员向我咨询,将来的路该怎么走?俗话说,条条大路通罗马.不同的路都能走向成功,到底选择哪条路,取决于自己的兴趣.可能有程序员会问:如果还没有找到自己的兴趣怎么办?我的建议是多尝试,努力做, ...

  8. 优秀后端架构师必会知识:史上最全MySQL大表优化方案总结

    本文原作者“ manong”,原创发表于segmentfault,原文链接:segmentfault.com/a/1190000006158186 1.引言   MySQL作为开源技术的代表作之一,是 ...

  9. 子弹短信光鲜的背后:网易云信首席架构师分享亿级IM平台的技术实践

    本文原文内容来自InfoQ的技术分享,本次有修订.勘误和加工,感谢原作者的分享. 1.前言 自从2018年8月20日子弹短信在锤子发布会露面之后(详见<老罗最新发布了“子弹短信”这款IM,主打熟 ...

随机推荐

  1. Cymothoa后门工具

    Cymothoa是一款隐秘的后门工具. 发现网上对于Cymothoa的文章并不是很多,可是Cymothoa又是一款非常强大的后门工具,这里记录下Cymothoa的使用笔记. Cymothoa 是一款可 ...

  2. JavaScript实现百度搜索页面

    JavaScript实现百度搜索页面 HTML <!DOCTYPE html> <html> <head> <meta charset="UTF-8 ...

  3. Android 使用appcompat_v7包以及源码注意事项

    最近学习和实践Android,无数次被AS和gradle惨痛的折磨,于是决定坚守Eclipse阵地..真是无奈之举,AS和gradle对我而言就像win10一样不讨喜. 当然Eclipse中开发and ...

  4. 3. Rsync-远程同步(下)-企业案例

    已知3台服务器主机名分别为web01.backup .nfs主机信息见下表: 角色 外网IP(NAT) 内网IP(LAN) 主机名 WEB eth0:10.0.0.7 eth1:172.16.1.7 ...

  5. logistic回归 python代码实现

    本代码参考自:https://github.com/lawlite19/MachineLearning_Python/blob/master/LogisticRegression/LogisticRe ...

  6. 关于举办【福州】《K8S社区线下技术交流会》的问卷调查

      近年来,容器.Kubernetes.DevOps.微服务.Serverless等一系列云原生技术受到越来越多的关注,云原生为企业数字化转型提供了创新源动力,基于云原生技术构建企业技术中台在各行业也 ...

  7. Newman基本使用

    简介 Newman 是 Postman 推出的一个 nodejs 库,直接来说就是 Postman 的json文件可以在命令行执行的插件. Newman 可以方便地运行和测试集合,并用之构造接口自动化 ...

  8. 关于Java 项目的思考总结

    Java 项目思考总结 前言 今天是2017年3月25日,笔者已经毕业半年,工作经验一年. 正好有心思写这个总结. 持续开发 对于Java项目,我所接触的一般就是JavaWeb项目和 Java Jar ...

  9. 修改vuex状态机中的数据

    vuex状态机中的数据是必须提交mutation来修改,如果现实开发中,我们需要修改,而又不想提交mutaition,应该怎么做呢?   先来回顾一下场景,有一个列表是存在vuex中的   这个列表展 ...

  10. Linux下安装db2V9.7

    vi /etc/hosts(127.0.0.1 localhost192.168.1.53 linux-wmv8) vi /etc/services db2inst1 50000/tcp(加在最后) ...