import requestsfrom retrying import retryfrom lxml import etreeimport json class DaCheng(object): def __init__(self): self.temp_url = "http://www.dachengnet.com/cn/professionals?currentPageNo={}&" self.headers = {"User-Agent": &quo…

# coding=utf-8import requestsimport jsonfrom retrying import retryimport re class TyY: def __init__(self): self.url = ["http://www.tylaw.cn/cgi-bin/GLaw.dll?DispInfo&nid={}".format(i) for i in range(3723, 3752)] self.headers = { "User-A…

xpath解析百度页面的百度一下 # 1)获取网页的源码 # 2)解析的服务器响应的文件 etree.HTML , 用来解析字符串格式的HTML文档对象,将传进去的字符串转变成 element 对象 # 3)打印 import urllib.request # 请求地址 url = 'https://www.baidu.com/' # 请求头 headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWeb…

代理服务器的定义和作用请走百度百科~ 1. Web Proxy的实现思路 这是基于上一篇"编写Web Server"写的,主要逻辑见下图: 我们要写的就是中间的Web Proxy部分,当客户端向Web Proxy发送对某一个网址的访问请求(Request)时,Web Proxy会首先查看自己是否有该请求文件,如果有则直接返回(Response),如果没有,Web Proxy就要像Web Server(该访问网址的服务器)发送请求来获取目标文件,然后再向Client返回. 2. Web…

1. 写在前面 这里总结的并不够详细,有时间了再进行补充. 2. 设计思路 HTTP协议是建立在TCP上的1. 建立服务器端TCP套接字(绑定ip,port),等待监听连接:listen(2. 打开浏览器(client)访问这个(ip,port),服务器端接收连接:accept)3. 获取浏览器的请求内容:data = recv(1024)# 由于浏览器发送的request是HTTP格式的,需要解码4. 将接收的报文节解码:decode# 解析解码后的数据5. 根据行分切数据6. 解析首部行(h…

1. 写在前面 本文是基于上一篇"ping详解"写的: 不同操作系统下的命令也不同,本文仅针对windows系统,命令为"tracert xxx",效果如下 2. 使用traceroute做什么 与上一篇ping相似,原理上都是通过向目的主机发送一条消息并通过回显应答来判断目的主机状态.不同的是,traceroute主要用于遍历由源主机到目的主机交互线路上所有的路由器并判断其状态,一般以30为最大TTL(time to live,生存时间),即以该线路上有不超过29…

1. 使用Ping做什么 ping用于确定本地主机是否能与另一台主机成功交换(发送与接收)数据包,再根据返回的信息,就可以推断TCP/IP参数是否设置正确,以及运行是否正常.网络是否通畅等. 2. 效果 CMD命令: Python程序: 3. 在验证两台主机是否能正常联通时做了什么 验证的过程就像打电话一样,我们如果要知道自己能否给另一个人交流就给他打一个电话,如果你听到了对方的声音那就是打通了,否则就是失败.但是无论成功与否我们都有一个这样的过程: 通过电话线(或是无线,即手机)给对方发送一个…

本篇是使用XPath的案例,更多内容请参考:Python学习指南 案例:使用XPath的爬虫 现在我们用XPath来做一个简单的爬虫,我们尝试爬取某个贴吧里的所有帖子且将该帖子里每个楼层发布的图片下载到本地. #-*- coding:utf-8 -*- #tieba_xpath.py """ 作用:本案例使用XPath做一个简单的爬虫,我们尝试爬去某个贴吧的所有帖子 """ import os import urllib2 import urll…

课程目标 1.谷歌浏览器配置Xpath 2.Xpath常用语法 3.Xpath常用案例 1.谷歌浏览器配置Xpath Xpath下载:http://chromecj.com/web-development/2018-01/892/download.html xpath helper 是一款chrome浏览器插件,主要用来分析当前网页信息的xpath,在抓取数据时一般会使用到xpath. 打开网页后,快捷键 ctrl + shift + x 来使用插件. shift   出现元素的xpath 2.…

Xpath,lxml模块用法 转载的原因和前面的一样,我写的没别人写的好,所以我也不浪费时间了,直接转载这位崔庆才大佬的 原帖链接:传送门 以下为转载内容: -------------------------------------------------------------------------------------------------------------------------------- 参考来源 lxml用法源自 lxml python 官方文档,更多内容请直接参阅官方…