https://www.cnblogs.com/zhaof/p/6925674.html#4152933 https://www.cnblogs.com/lanyinhao/p/9165747.html re模块中包含一个重要函数是compile(pattern [, flags]) ,该函数根据包含的正则表达式的字符串创建模式对象.可以实现更有效率的匹配.在直接使用字符串表示的正则表达式进行search,match和findall操作时,python会将字符串转换为正则表达式对象.而使用com…

用标题中的四种方式解析网页,比较其解析速度.当然比较结果数值与电脑配置,python版本都有关系,但总体差别不会很大. 下面是我的结果,lxml xpath最快,bs4最慢 ==== Python version: 3.6.5 (v3.6.5:f59c0932b4, Mar 28 2018, 17:00:18) [MSC v.1900 64 bit (AMD64)] ===== ==== Total trials: 10000 ===== bs4 total time: 5.5 pq total…

Django框架之视图函数(day74)一 作业相关 urlpatterns = [   url(r'^$',views.book),  #根路径,响应到指定视图函数:   .....   url(r'',views.errors),  #没有配置的路径,响应到错误的视图函数:  ]二 虚拟环境创建方法  1 用pychanrm创建--->files-->newproject--->选择虚拟环境  2 settings-->project创建  3 用命令行创建,详见https:/…

1 虚拟环境:解决问题同一台机器上可以运行不同版本的django,  1 用pychanrm创建--->files-->newproject--->选择虚拟环境  2 settings-->project创建  3 用命令行创建,详见https://www.cnblogs.com/liuqingzheng/p/9508851.html 2 django 2.0和django 1.0 路由层区别(*****url,re_path分组分出来的数据,是字符串)  -re_path:跟1.…

url 路由配置 这里的 name 由用户输入,得到参数 /<>/是获取用户输入值 这里的 name 默认接收的是 str 如果要接收 int 时: 当输入参数非数字时提示错误 最常用是 str 和 int 类型 虽然输入的是 123h 与 'h/'不符,但还 是能匹配到, 如果这样写时就与 path('h/‘,views.re_test) 以什么开关,以什么结尾, app 中的 url  (分路由) 在主路由中导入  include **kwargs 页面重定向: 页面跳转 导入  redi…

昨日回顾: 1 路由层:  1简单配置  2无名分组  3有名分组  4反向解析--模板层,视图层  5路由分发  include  6名称空间   7伪静态 2 作业:  urlpatterns = [   url(r'^$',views.book),#根路径,响应到指定视图函数:   .....   url(r'',views.errors),#没有配置的路径,响应到错误的视图函数:  ]  今日内容: 1 虚拟环境  1 用pychanrm创建--->files-->newproject…

一.数据类型及解析方式 一般来讲对我们而言,需要抓取的是某个网站或者某个应用的内容,提取有用的价值.内容一般分为两部分,非结构化的数据 和 结构化的数据. 非结构化数据:先有数据,再有结构, 结构化数据:先有结构.再有数据 不同类型的数据,我们需要采用不同的方式来处理. 1.非结构化的数据处理 文本.电话号码.邮箱地址 用:正则表达式 html文件 用:正则表达式 / xpath/css选择器/bs4 2.结构化的数据处理 json文件 用:jsonPath / 转化成Python类型进行操作(…

为什么要学正则表达式 实际上爬虫一共就四个主要步骤: 明确目标 (要知道你准备在哪个范围或者网站去搜索) 爬 (将所有的网站的内容全部爬下来) 取 (去掉对我们没用处的数据) 处理数据(按照我们想要的方式存储和使用) 对于文本的过滤或者规则的匹配,最强大的就是正则表达式,是Python爬虫世界里必不可少的神兵利器. 什么是正则表达式 正则表达式,又称规则表达式,通常被用来检索.替换那些符合某个模式(规则)的文本. 正则表达式是对字符串操作的一种逻辑公式,就是用事先定义好的一些特定字符.及这些特定…

非结构化数据:HTML(正则表达式.XPath.CSS选择器) 结构化数据:JSON文件(JSON Path.转化为Python类型进行操作) XML文件(转化成Python类型.XPath.CSS选择器) 1.正则表达式 它是对字符串操作的一种逻辑公式,就是用事先定义好的一些特定字符.及这些特定字符的组合,组成一个“规则字符串”,这个“规则字符串”用来表达对字符串的一种过滤逻辑. 2.re模块 2.1.re模块使用步骤: 使用 compile() 函数将正则表达式的字符串形式编译为一个 Pat…

路由控制 一.简单路由配置 url(r'^booklist$', views.booklist) 第一个参数是正则表达式,第二个参数是视图函数 每个正则表达式前面的'r' 是可选的但是建议加上.它告诉Python 这个字符串是“原始的” —— 字符串中任何字符都不应该转义 url(r'booklist', views.booklist) url(r'booklistadd', views.booklistadd) 如果不加^ 和 $ ,由于路由匹配是从上往下匹配的,若是要匹配 booklista…