#-*- coding:utf-8 -*- __author__ = "carry" import requests,json for x in range(1, 15): url ='http://www.lagou.com/jobs/positionAjax.json' #proxies = {"http":"http://125.105.17.229:808"} headers={'User-Agent':'Mozilla/5.0 (Win…

趁着最近有时间写了个拉勾爬虫抓取了后端.前端和移动端技术岗位的数据,总共大约6多万条记录,对其取前十名进行统计 按地域划分: 可以看出北上广深杭的数量远远超出其它城市,机会相对较多 2. 按融资阶段来看: 初创型未融资的居多,已上市及A轮的差不多,C轮是最少的,难道就是传说中的C轮魔咒 3. 按所需最低学历来看: 本科占绝对主力,大专次之,看来这行还是有一定的门槛 4. 按行业领域来看: 移动互联网占绝对统治地位,这是响应"大众创业,万众创新"的互联网+? 5. 按职位类型来看: 0,…

import requests, json, time, tablib def send_ajax_request(data: dict): try: ajax_response = session.post(url=ajax_url, params={"needAddtionalResult": "false", "city": city}, data=data, headers=ajax_headers, timeout=timeout) i…

比如要抓取某网站折线图上数据,如下截图: 借助Chrome开发者工具Network.经过分析发现获取上面的热度数据,找到对应的事件url:https://pcw-api.iqiyi.com/video/video/trendcontent?ids=309006000&callback=jsonp_1548834448424_4474 通过分析:https://pcw-api.iqiyi.com/video/video/trendcontent?ids=309006000&callback=…

前些天, 用 Xamarin.Forms (XF) 将就着写了个拉勾的 UWP 和 Android 的客户端. XF 对 Android  和 IOS 的支持做的很到位, 但是对 UWP 的支持目前仅限于预览版, "预留" 了很多BUG. 本想着等 Xamarin 团队尽快发部更新, 我好改掉这些 BUG, 但是苦等了个把月, 发部的 DLL 不但没有修改我所遇到的这些 BUG, 反而 BUG 越来越多了... 算鸟, 我也不等你了, 直接新开个项目, 直接写个 UWP 的... 源码…

拉勾因其结构化的数据比较多因此过去常常被爬,所以在其多次改版之下变得难爬.不过只要清楚它的原理,依然比较好爬.其机制主要就是AJAX异步加载JSON数据,所以至少在搜索页面里翻页url不会变化,而且数据也不会出现在源代码里. 数据解析 这是深圳地区的数据分析师页面,用Chrome检查打开.在XHR中可以看到一个以postionAjax.json开头的脚本,打开Preview看一下,可以看到: 可以发现这些数据与前端的数据一致,此时我们已经找到了数据入口,就可以开始爬了. 数据爬取 在Header…

今天在用python实现爬虫的时候,就想看一下用c#实现同样的功能到底会多出来多少code,结果写着写着干脆把页面也简单的写一个出来,方便调试, 大致流程如下: 1.分析拉勾数据 2.查找拉勾做了哪些反爬虫限制 3.抓取数据,show page 过程中用到一个HtmlAgilityPack第三方库,获取热门城市的时候使用XPath表达式抓取数据 解析JSON使用的是JSON.NET,一如既往的好用 github:https://github.com/hxd1230/XD.Job.Spider.g…

转载请注明出处:https://www.cnblogs.com/shapeL/p/9188495.html 前言:上篇文章python3+requests+unittest:接口自动化测试(一):https://www.cnblogs.com/shapeL/p/9179484.html ,已经介绍了基于unittest框架的实现接口自动化,但是也存在一些问题,比如最明显的测试数据和业务没有区分开,接口用例不便于管理等,所以又对此修改完善.接下来主要是介绍该套接口自动化框架的设计到实现,参考代码的…

转自:https://my.oschina.net/u/3041656/blog/820023 [python3+request]python3+requests接口自动化测试框架实例详解教程 前段时间由于公司测试方向的转型,由原来的web页面功能测试转变成接口测试,之前大多都是手工进行,利用postman和jmeter进行的接口测试,后来,组内有人讲原先web自动化的测试框架移驾成接口的自动化框架,使用的是java语言,但对于一个学java,却在学python的我来说,觉得python比起ja…

框架整体使用Python3+Requests+Excel:包含对实时token的获取 框架结构图 1.------base -------runmethond.py runmethond:对不同的请求方式进行封装 import json import requests requests.packages.urllib3.disable_warnings() class RunMethod: def post_main(self, url, data, header=None): res = No…

一.缘 起 笔者最近完成了基于Python3 + requests + unittest的接口测试脚本,故在此做一下记录,于己为复盘,于彼为学习和参考 二.思 路 接口测试无非三步: 首先,造数据 - Python3连接MySQL,插入测试数据 然后,发请求 - requests模块依次发请求 最后,校验返回值 - 基于unittest框架,assert主要的response值 三.说 明 脚本的工程名为zhtyInterfaceTest,整体结构如下图 .idea为PyChram编辑器自动生成…

前些日子谢亮兄弟丢了一个链接在群里,我当时看了下,觉得这种装逼题目没什么意思,因为每种语言都有不同的实现方法,你怎么能说你的方法一定比其他语言的好,所以要好的思路 + 好的语言特性运用才能让代码升华. 题目如下:<[拉勾专场]抛弃简历!让代码说话!> FizzBuzzWhizz 你是一名体育老师,在某次课距离下课还有五分钟时,你决定搞一个游戏.此时有100名学生在上课.游戏的规则是: 1. 你首先说出三个不同的特殊数,要求必须是个位数,比如3.5.7. 2. 让所有学生拍成一队,然后按顺序报数…

最近开始找工作,本人苏州,面了几家都没有结果很是伤心.在拉勾上按照城市苏州关键字.NET来搜索一共才80来个职位,再用薪水一过滤,基本上没几个能投了.再加上最近苏州的房价蹭蹭的长,房贷压力也是非常大,所以有点想往上海去发展.闲来无聊写了个小爬虫,爬了下苏州跟上海的.NET职位的信息,然后简单对比了一下. 是的小弟擅长.NET,为啥用nodejs?因为前几天有家公司给了个机会可以转nodejs,所以我是用来练手的,不过后来也泡汤了,但是还是花两晚写完了.刚学,代码丑轻喷哈! 一:如何爬取拉勾的数据…

#coding=utf-8#python3下获取主流浏览器和python的安装路径#by dengpeiyou date:2018-07-09import winreg,os #取得浏览器的安装路径def get_path(mainkey,subkey): try: key = winreg.OpenKey(mainkey,subkey) except FileNotFoundError: return '未安装' value ,type= winreg.QueryValueEx(key, "&…

什么是自动化测试框架 关于自动化测试框架的定义有很多,在我大致理解下就是把能实现不同功能的软件组合在一起,实现特定的目的,这就是一个简单的自动化测试框架. 接口自动化测试框架核心无非是选择 一个用来编写脚本的语言,一个用来模仿http请求的http库,管理脚本的执行工具,选择python,http库可以用requests,脚本管理工具可以用unittest单元测试框架.选择java的话,http库可以用httpclient,脚本管理工具可以用TestNg或者junit 自动化测试框架需要什么 首…

需求: Azure DevOps Server 的拉取请求模块,为开发团队提供了强大而且灵活的代码评审功能.拉取请求中变更文件清单,对质量管理人员,是一个宝贵的材料.质量保障人员可以从代码清单中分析不通文件的修改频率.不通文件对应需求类型的关联关系的功能.通过对这些数据的分析,可以深度挖掘开发过程中积累的数据的价值.下面介绍如何使用Azure DevOps Server 提供的Rest Api 轻易获取拉取请求的变革清单文件. 第一步:获取所有拉取请求 首先需要从拉取请求清单中获取你指定的拉取请…

爬虫 Http请求,urllib2获取数据,第三方库requests获取数据,BeautifulSoup处理数据,使用Chrome浏览器开发者工具显示检查网页源代码,json模块的dumps,loads,dump,load方法介绍 伪装浏览器.IP限制.登陆.验证码(CAPTCHA) 1.爬虫 Http请求和Chrome 访问一个网页http://kaoshi.edu.sina.com.cn/college/scorelist?tab=batch&wl=1&local=2&batc…

requests获取所有状态码 requests默认是不会获取301/302的状态码的.可以设置allow_redirects=False,这样就可以获取所有的状态码了 import requests # url # url = 'http://www.freebuf.com/news/157100.html' # 请求200,返回200 url = 'http://www.freebuf.com/fevents/133225.html' # 请求302,返回200.要想不跳转,获取302,用参…

Python3.x获取网页源码 1,获取网页的头部信息以确定网页的编码方式: import urllib.request res = urllib.request.urlopen('http://www.163.com') #info()方法 用来获取网页头部 print(res.info()) 2,获取网页代码: #导入 urllib库的request模块 import urllib.request #指定要抓取的网页url,必须以http开头的 url = r'http://fund.eas…

用requests获取源代码时,如果是中文网页,就可能会出现乱码,下面我以中关村的网站为例: import requests url = 'http://desk.zol.com.cn/meinv/' r = requests.get(url) print r.text 执行上面这个脚本你会看到中文部分都变成乱码. print r.encoding 通过上面的代码你会发现从requests获取到的编码是ISO-8859-1,而该网页的编码是gb2312,所以打印出来的编码就都变成乱码了,那么该如…

python3+selenium获取列表某一列的值 我们在坐自动化测试时,我们可能不想单纯的想验证一个选项卡,我们让脚本随机选择一个选项进行接下来的操作.例如我们想获取列表某一列的某一个数据(随机的)进行操作时,我们该怎么操作? 请看下面的列表,获取列表的所有运单号 html代码 我们可以选择xpath通过进行定位,当然这个方法只能定位到一个单号,但是我们要获取的是当前列表的所有单号. 我们复制下来的小path 的内容是                                     …

有没有被网页编码抓狂,怎么转都是乱码. 通过查看requests源代码,才发现是库本身历史原因造成的. 作者是严格http协议标准写这个库的,<HTTP权威指南>里第16章国际化里提到,如果HTTP响应中Content-Type字段没有指定charset,则默认页面是'ISO-8859-1'编码. 这处理英文页面当然没有问题,但是中文页面,特别是那些不规范的页面,就会有乱码了! 比如分析jd.com 页面为gbk编码,问题就出在这里. chardet库监测编码却是GB2312,两种编码虽然兼容…

BOSS直聘 拉勾.Boss直聘.内推.100offer  …

一.背景说明 之前写了一款简单的api模糊测试工具,之前系统可以使用http Base认证现在改成session形式并加上了token. 最简单的改造方法,是自己先在浏览器手动登录,然后提取出session和token(系统token在整个会话期间可重复使用)填到模糊测试工具中即可.但这种非全自动化的方式不到万不得已不想用. 最直接的方法,最使用requests按登录流程依次发包登录即可.但其中的难点是密码是加密提交的,询问开发人员说是DES加密:DES加密不难,但是用不同的语言编写的加密算法与…

import requests from fake_useragent import UserAgent from lxml import etree from http import cookiejar import re, time import pymysql import random from requests.exceptions import Timeout ua = UserAgent() session = requests.Session() class MyExceptio…

因为总是忘记签到,所以尝试写了一个签到脚本,因为使用的是Python3,所以没法使用Urllib2,于是选择了Requests,事实证明,Requests比Urllib2好用.整体思路比较简单,就是模拟百度登陆的过程进行交互,然后获取COOKIES并保存,之后都使用COOKIES登陆,然后模拟贴吧客户端的收发包过程进行交互,但实际上遇到了非常多的问题,这里就记录下这次的调试经验 主程序比较简单,就是判断是否登陆成功,然后开始签到,其中判断登陆是否成功时,参考的程序中用的是访问此地址检测状态值 h…

使用python爬去拉钩数据 第一步:下载所需模块 requests 进入cmd命令 :pip install requests 回车 联网自动下载 xlwt 进入cmd命令 :pip install xlwt 回车 联网自动下载 第二步:找到你要爬去的网页(我爬去的是拉钩网) 选择浏览器 (火狐.谷歌)我使用的谷歌抓包 编码工具 (idea)( pyCharm)我使用的idea import requests #导入下载过的requesta import xlwt #导入下载过的xlwt #用…

在学习Python之余,发现Python2与Python3 有很大的变化,之前使用urllib和cookielib来保存cookie,发现很繁琐,于是改用requests.发现cookielib在3.x版本中改成了http.cookiejar.经过测试后成功保存了cookie.使用方法如下 # requests 与 http.cookiejar相结合使用 import requests import http.cookiejar as HC session = requests.session(…

爬取背景 这套课程虽然叫爬虫入门类课程,但是里面涉及到的点是非常多,十分检验你的基础掌握的牢固程度,代码中的很多地方都是可以细细品味的. 为什么要写这么一个小东东呢,因为我生活在大河北,那雾霾醇厚的很,去了趟三亚,那空气,啧啧,舒服的很,所以爬取一下三亚天气,看看什么时候去最好,理想的温度为24~28,呵呵哒 代码走起来 ,天气类的网址多的很,重点关注历史天气 找到这么一个网站 https://www.tianqi.com/sanya/ 发现入口,哈哈,有机会爬取到 代码走起来,爬虫套路上吧 简…

# encoding:utf-8 import reimport jsonimport randomfrom requests.sessions import Session class Regist(object): def __init__(self): """初始化session 并设置header和cookie""" self.url = "http://xxxx/Account/Regist" self.s = Se…