爬虫第一篇：爬虫详解之urllib.request模块

我将urllib.request 的GET请求和POST请求两种方法做了总结 GET请求 GET请求爬取: import urllib.request import urllib.parse headers = {"User-Agent":"Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Win64; x64; Trident/5.0; .NET CLR 2.0.50727; SLCC2; .NET CLR 3.5.307…

学会Git玩转GitHub(第一篇) 入门详解 - 精简归纳

学会Git玩转GitHub(第一篇) 入门详解 - 精简归纳 JERRY_Z. ~ 2020 / 9 / 25 转载请注明出处!️ 目录学会Git玩转GitHub(第一篇) 入门详解 - 精简归纳一.使用GitHub (1).目的 (2).基本概念 <1>.仓库(Repository) <2>.收藏(Star) <3>.复制克隆项目(Fork) <4>.发送请求(Pull Request) <5>.关注(Watch) <6>.事务…

爬虫第一篇基本库的使用——urllib

在Python2中有urllib2和urllib3两个库来实现请求的发送,在Pyhon3中则统一为urllib. urilib包含以下4个模块 request:最基本的请求模块,可以用来实现请求的发送 error:异常处理模块,用于处理异常,使我们的程序不会意外终止 parse:工具模块,提供了URL多种处理方法,拆分,解析与合并 robotparser:用来识别网站的robots.txt文件,判断我们可以爬取哪些网站,哪些不可以一 request模块使用方法 1.urlopen() 基本H…

python应用：爬虫框架Scrapy系统学习第一篇——xpath详解

HTML的三大概念:标签.元素以及属性标签:尖括号中的文本例:<head>……</head> 标签通常成对出现元素:标签中的所有内容元素中可包含元素属性:标签的特殊标注等例:<a href="http:\\www.baidu.com">……</a> 其中,href部分称为属性使用XPath选择HTML元素使用‘/’+标签名定位例: /html/body 将定位到body部…

DevExpress控件使用方法：第一篇 gridControl详解

GridControl (1)层次设计器有五种视图模式,banded gridview多行表头,数据还是一行一组,最靠近数据的表头与数据一一对应:advanced banded gridview多行表头,数据可以多行一组:cardview 一个卡片是一组数据,其中左侧是标题,右侧是数据:layout view是card view的集合,布局可以自定义 (2)视图视图的层次结构视图属性: 可通过GridControl.Views访问所有视图. 可通过ColumnView.Columns访问当…

Flask第一篇——URL详解

原创 2018-02-14 孟船长自动化测试实战 URL是Uniform Resource Locator的缩写,即统一资源定位符. 一个URL通常由一下几个部分组成: scheme://host:port/path/?query-string=xxx#anchor scheme:代表访问协议,一般为http,或https,ftp等 host:主机名,域名,如www.baidu.com port:端口号,浏览器默认使用80端口 path:查找路径,比如www.jianshu.com/trend…

小白进阶之Scrapy第六篇Scrapy-Redis详解（转）

Scrapy-Redis 详解通常我们在一个站站点进行采集的时候,如果是小站的话我们使用scrapy本身就可以满足. 但是如果在面对一些比较大型的站点的时候,单个scrapy就显得力不从心了. 要是我们能够多个Scrapy一起采集该多好啊人多力量大. 很遗憾Scrapy官方并不支持多个同时采集一个站点,虽然官方给出一个方法: **将一个站点的分割成几部分交给不同的scrapy去采集** 似乎是个解决办法,但是很麻烦诶!毕竟分割很麻烦的哇下面就改轮到我们的额主角Scrapy-Redis登…

《手把手教你》系列技巧篇（三十一）-java+ selenium自动化测试- Actions的相关操作-番外篇（详解教程）

1.简介上一篇中,宏哥说的宏哥在最后提到网站的反爬虫机制,那么宏哥在自己本地做一个网页,没有那个反爬虫的机制,谷歌浏览器是不是就可以验证成功了,宏哥就想验证一下自己想法,于是写了这一篇文章,另外也是相对前边做一个简单的总结分享给小伙伴们或者童鞋们.废话不多数,直接进入今天的主题. 2.鼠标操作 WebElement的click()方法可实现元素的点击操作,但是没有提供鼠标的右击/双击/悬停/鼠标拖动等操作.这些操作需要通过Action类提供的方法来实现! 2.1Action常用的API Act…

Mysql高手系列 - 第8篇：详解排序和分页(order by & limit)，及存在的坑

这是Mysql系列第8篇. 环境:mysql5.7.25,cmd命令中进行演示. 代码中被[]包含的表示可选,|符号分开的表示可选其一. 本章内容详解排序查询详解limit limit存在的坑分页查询中的坑排序查询(order by) 电商中:我们想查看今天所有成交的订单,按照交易额从高到低排序,此时我们可以使用数据库中的排序功能来完成. 排序语法: select 字段名 from 表名 order by 字段1 [asc|desc],字段2 [asc|desc]; 需要排序的字段跟在o…

Mysql高手系列 - 第9篇：详解分组查询，mysql分组有大坑！

这是Mysql系列第9篇. 环境:mysql5.7.25,cmd命令中进行演示. 本篇内容分组查询语法聚合函数单字段分组多字段分组分组前筛选数据分组后筛选数据 where和having的区别分组后排序 where & group by & having & order by & limit 一起协作 mysql分组中的坑 in多列查询的使用分组查询语法: SELECT column, group_function,... FROM table [WHERE…

学会Git玩转GitHub(第二篇) 入门详解 - 精简归纳

学会Git玩转GitHub(第二篇) 入门详解 - 精简归纳 JERRY_Z. ~ 2020 / 10 / 25 转载请注明出处!️ 目录学会Git玩转GitHub(第二篇) 入门详解 - 精简归纳一.目的二.Git的下载及安装三.初次使用Git前的配置四.Git理论基础 (1).Git记录的是什么 (2).Git的三棵树五.查看工作状态和历史提交 (1).查看状态六.回到过去附一.目的通过Git这个版本控制系统管理本地项目同时管理GitHub平台托管项目代码! 二.Git的…

《手把手教你》系列技巧篇（四十五）-java+ selenium自动化测试-web页面定位toast-上篇（详解教程）

1.简介在使用appium写app自动化的时候介绍toast的相关元素的定位,在Web UI测试过程中,也经常遇到一些toast,那么这个toast我们这边如何进行测试呢?今天宏哥就分两篇介绍一下. 2.什么是toast? Android中的Toast是一种简易的消息提示框.当视图显示给用户,在应用程序中显示为浮动.和Dialog不一样的是,它永远不会获得焦点,无法被点击.用户将可能是在中间键入别的东西.Toast类的思想就是尽可能不引人注意,同时还向用户显示信息,希望他们看到.而且Toast…

Mysql高手系列 - 第14篇：详解事务

这是Mysql系列第14篇. 环境:mysql5.7.25,cmd命令中进行演示. 开发过程中,会经常用到数据库事务,所以本章非常重要. 本篇内容什么是事务,它有什么用? 事务的几个特性事务常见操作指令详解事务的隔离级别详解脏读.不可重复读.可重复读.幻读详解演示各种隔离级别产生的现象关于隔离级别的选择什么是事务? 数据库中的事务是指对数据库执行一批操作,这些操作最终要么全部执行成功,要么全部失败,不会存在部分成功的情况. 举个例子比如A用户给B用户转账100操作,过程如下: 1…

学会Git玩转GitHub(第三篇) 入门详解 - 精简归纳

学会Git玩转GitHub(第三篇) 入门详解 - 精简归纳 JERRY_Z. ~ 2020 / 10 / 25 转载请注明出处!️ 目录学会Git玩转GitHub(第三篇) 入门详解 - 精简归纳一.再次总结Git工作原理二.修改仓库文件三.删除仓库文件四.附一.再次总结Git工作原理假设已经在工作区域中创建了test.c文件并已经提交到本地仓库中二.修改仓库文件三.删除仓库文件四.附交流方式: ️ ️ ️ QQ: 1846334075 WeChat: zhoujirui…

《手把手教你》系列技巧篇（三十六）-java+ selenium自动化测试-单选和多选按钮操作-番外篇（详解教程）

1.简介前边几篇文章是宏哥自己在本地弄了一个单选和多选的demo,然后又找了网上相关联的例子给小伙伴或童鞋们演示了一下如何自动化测试,这一篇宏哥在网上找了一个问卷调查,给小伙伴或童鞋们来演示一下.上一篇中的一些单选和多选的基本概念都介绍了,这里就不做赘述了.直接上项目实战. 2.项目实战 2.1问卷调查 1.测试问卷调查的地址: https://www.sojump.com/m/2792226.aspx/ 2.问卷页面,如下图所示: 2.2答题思路自动化测试答题思路,其实和前边单选多选的遍历…

《手把手教你》系列技巧篇（四十六）-java+ selenium自动化测试-web页面定位toast-下篇（详解教程）

1.简介终于经过宏哥的不懈努力,偶然发现了一个toast的web页面,所以直接就用这个页面来夯实一下,上一篇学过的知识-处理toast元素. 2.安居客事先声明啊,宏哥没有收他们的广告费啊,纯粹是为了学习和实战的. 2.1被测网址 1.被测网址的地址: https://login.anjuke.com/login/form?history=aHR0cHM6Ly9iZWlqaW5nLmFuanVrZS5jb20v 2.网页如下图: 2.2代码设计 2.3参考代码 package lessons…

《手把手教你》系列基础篇（八十）-java+ selenium自动化测试-框架设计基础-TestNG依赖测试-番外篇（详解教程）

1.简介经过前边几篇知识点的介绍,今天宏哥就在实际测试中应用一下前边所学的依赖测试.这一篇主要介绍在TestNG中一个类中有多个测试方法的时候,多个测试方法的执行顺序或者依赖关系的问题.如果不用dependsOnMethods,testNG会自动根据@Test方法名称的首字母排序来执行测试方法,而不是按照你设计的测试用例来执行方法.多的不说,少的不唠,我们开始今天讲解和分享. 2.测试场景在这里宏哥给小伙伴们或者童鞋们模拟一个测试场景:打开百度首页,搜索selenium的相关内容,看到很多s…

JAVA9模块化详解（二）——模块的使用

JAVA9模块化详解(二)--模块的使用二.模块的使用各自的模块可以在模块工件中定义,要么就是在编译期或者运行期嵌入的环境中.为了提供可靠的配置和强健的封装性,在分块的模块系统中利用他们,必须确定它们的位置,然后决定他们如何关联彼此. 2.1 模块的路径为了在确定在工件中定义的模块的位置,模块系统搜索模块的路径,它在主系统中定义.模块路径是一个序列,它的每一个元素要么是一个模块工件,要么是一个包含模块工件的目录.模块路径中的元素被第一个工件有序的搜索,这个工件定义了一个合适的模块.模块的路…

python 3.x 爬虫基础---http headers详解

前言上一篇文章 python 爬虫入门案例----爬取某站上海租房图片中有对headers的讲解,可能是对爬虫了解的不够深刻,所以老觉得这是一项特别简单的技术,也可能是简单所以网上对爬虫系统的文档,书和视频感觉都好少,故此准备接下这段时间对爬虫涉及到的点做个系统的学习与总结. 利用浏览器查看headers 打开浏览器,按F12(开发调试工具)------>查看网络工作(Network)------>选择你访问的页面地址------>headers.就可以看到你想要的信息,如下图([白…

网络爬虫之scrapy框架详解

twisted介绍 Twisted是用Python实现的基于事件驱动的网络引擎框架,scrapy正是依赖于twisted, 它是基于事件循环的异步非阻塞网络框架,可以实现爬虫的并发. twisted是什么以及和requests的区别: request是一个python实现的可以伪造浏览器发送Http请求的模块,它封装了socket发送请求 twisted是基于时间循环的异步非阻塞的网络框架,它也封装了socket发送请求,但是他可以单线程的完成并发请求. twisted的特点是: 非阻塞:不等待…

Fiddler Web Debugger安装后与浏览器之间的常用设置（辅助爬虫）（图文详解）

不多说,直接上干货! 怎么让我们的浏览经过代理服务呢?如下来正确设置: 这里有个经验,最好用历史低版本的火狐浏览器.比如 http://ftp.mozilla.org/pub/firefox/releases/56.0/win64/zh-CN/ 安装火狐的时候断网, 安装成功之后去火狐设置里面把自动更新关了, 不然你刚安好低版本.重启一下就变成最新版的了. 也许你的火狐浏览器进入跟我的有点不一样,但是没关系. 或者改为当然,你也可以更改端口,比如 Fiddler Web Debu…

java提高篇(八)----详解内部类

可以将一个类的定义放在另一个类的定义内部,这就是内部类. 内部类是一个非常有用的特性但又比较难理解使用的特性(鄙人到现在都没有怎么使用过内部类,对内部类也只是略知一二). 第一次见面内部类我们从外面看是非常容易理解的,无非就是在一个类的内部在定义一个类. public class OuterClass { private String name ; private int age; public String getName() { return name; } public void set…

iOS开发——UI篇OC篇&SpriteKit详解

SpriteKit详解 SpriteKit,iOS/Mac游戏制作的新纪元这是我的WWDC2013系列笔记中的一篇,完整的笔记列表请参看这篇总览.本文仅作为个人记录使用,也欢迎在许可协议范围内转载或使用,但是还烦请保留原文链接,谢谢您的理解合作.如果您觉得本站对您能有帮助,您可以使用RSS或邮件方式订阅本站,这样您将能在第一时间获取本站信息. 本文涉及到的WWDC2013 Session有 Session 502 Introduction to Sprite Kit Session 503 D…

java提高篇之详解内部类

可以将一个类的定义放在另一个类的定义内部,这就是内部类. 内部类是一个非常有用的特性但又比较难理解使用的特性(鄙人到现在都没有怎么使用过内部类,对内部类也只是略知一二). 第一次见面内部类我们从外面看是非常容易理解的,无非就是在一个类的内部在定义一个类. 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 public class OuterClass { private String name…

Jmeter(十二) - 从入门到精通 - JMeter逻辑控制器 - 终篇（详解教程）

1.简介 Jmeter官网对逻辑控制器的解释是:“Logic Controllers determine the order in which Samplers are processed.”. 意思是说,逻辑控制器可以控制采样器(samplers)的执行顺序.由此可知,控制器需要和采样器一起使用,否则控制器就没有什么意义了.放在控制器下面的所有的采样器都会当做一个整体,执行时也会一起被执行. JMeter逻辑控制器可以对元件的执行逻辑进行控制,除仅一次控制器外,其他可以嵌套别的种类的逻辑控制器…