作业讲解 """ 网络爬虫没有我们现在接触的那么简单 有时候页面数据无法直接拷贝获取 有时候页面还存在防爬机制 弄不好ip会被短暂拉黑 """ http://www.redbull.com.cn/about/branch 红牛各公司信息 1.直接拷贝页面数据到本地文件 2.读取文件内容当作字符串处理 3.编写正则筛选内容 import re # 1.文件操作读取文本内容 with open(r'redbull.html', 'r', encodi…

python进阶05 常用问题库(1)json os os.path模块 一.json模块(数据交互) web开发和爬虫开发都离不开数据交互,web开发是做网站后台的,要跟网站前端进行数据交互 1.什么是json #json全名叫JavaScript Object Notation(即 JavaScript对象标记语言) #它是JavaScript字面量标记的子集 #前段与后端进行数据交互,其实就是JS和python进行交互:传输的时候只能传纯文本:json字符串是一个纯文本文件 2.json注…

索引取值与迭代取值的差异 l1 = [11,22,33,44,55] 1.索引取值 可以任意位置任意次数取值 不支持无序类型的数据取值 2.迭代取值 只能从前往后依次取值无法后退 支持所有类型的数据取值(无序有序) ps:两者的使用需要结合实际应用场景 模块简介 1.模块的本质 内部具有一定的功能(代码)的py文件 2.python模块的历史 python刚开始的时候所有其他编程语言的程序员都看不起 甚至给python起了个外号>>>>:调包侠(贬义词) 随着时间的发展项目的复杂度…

目录 一.第三方模块的下载与使用 下载第三方模块的方式一:pip工具 部分错误解决案例: 下载第三方模块的方式二:pycharm中下载 pip仓库地址 二.网络爬虫模块之requests模块 1.get() 2.添加headers和查询参数 3.text 4.content 5.url 6.encoding 7.status_code 8.timeout 9.verify=False 10.Session维持 三.网络爬虫实战之爬取链家二手房数据 四.自动化办公领域之openpyxl模块 1.e…

1. 一个列表中所有的数字都是重复2次,但是有一个数字只重复了一次. 请找出重复一次的数字,不可以使用内置函数. [2,2,1,1,0,4,3,4,3] 方法1:通过字典计数,找到value等于1的key s = [2,2,1,1,0,4,3,4,3] m = {} for i in s: if i in m: m[i]+=1 else: m[i] = 1 print(m) for k,v in m.items(): if v ==1: print (k) #运行结果: #{2: 2, 1: 2…

python入门基础 声明:以后python代码未注明情况下,默认使用python3.x版本 1.python代码基础:print     print('hello,python')   1.1pythong内部执行原理:      2.解释器 python 中.py的文件需要使用python的解释器执行并生成.pyc的字节码文件,在第二次执行.py文件时会直接执行已经存在的.pyc文件,如果.py文件改变,解释器会重新执行.py文件从而更新.pyc文件. 在linux中如果执行python 的…

一.JS的正则表达式 JS正则提供了两个方法: test():用于判断字符串是否符合规定: exec():获取匹配的数据: 1.test() 定义一个正则表达式: reg = /\d+/; // 用于判断多个数字 reg.test("akshdjkf78snjdkf"); // 返回true,因为中间含有数字 上述的字符串能够满足正则表达式,所以返回true,但这种匹配无法用于验证手机号. reg = /^\d+$/; // 匹配从开头到结尾都是数字 reg.test("13…

正则表达式前情 案例:京东注册手机号校验 基本需求:手机号必须是11位.手机号必须以13.15.17.18.19开头.必须是纯数字 '''纯python代码实现''' # while True: # # 1.获取用户输入得手机号 # phone_num = input('请输入您的手机号码>>>:').strip() # # 2.先判断是否是十一位 # if len(phone_num) == 11: # # 3.再判断是否是纯数字 # if phone_num.isdigit(): #…

异常捕获处理 1.异常 异常就是代码运行报错 行业术语叫bug 代码运行中一旦遇到异常会直接结束整个程序的运行 我们在编写代码的过程中要尽可能避免 2.异常分类 语法错误 不允许出现 一旦出现立刻改正 否则提桶跑路 逻辑错误 允许出现的 因为它 一眼发现不了 代码运行之才可能会出现 3.异常结构 错误位置 错误类型 错误详情 异常常见类型 SyntaxError NameError IndexError KeyEroor IndentationError ... 异常处理的语法结构 1.基本语法…

重要内置函数 1.map() 映射 l1 = [1, 2, 3, 4, 5] # def func(a): # return a+1 res = map(lambda x:x+1, l1) print(list(res)) 2.max()\min() l1 = [11, 22, 33, 44] res = max(l1) d1 = {'zj':100, 'jason': 99999, 'bekr':888080, 'jerry':45455454 } def func(a): return d1…