<day004>小娜显示空白+CSV文件的基本操作+普通的代理使用
小知识:
当小娜搜索显示空白的时候,怎么解决?
任务管理器结束小娜进程就好了= =*(多半是惯得,关掉就好了!)
任务1:CSV文件的基本操作
import csv
import pandas as pd
#写入csv文件会出现空行的情况,加入newline
with open('data.csv','w',encoding='utf-8',newline='') as file:
writer = csv.writer(file,delimiter=' ')
writer.writerow(['id','name','age'])
writer.writerows([['1','123','19'],['2','123','19']])
#普通的读取csv文件
with open('data.csv','r',encoding='utf-8') as file:
reader = csv.reader(file)
for row in reader:
print(row)
#用pandas的read_csv读取,会多一个序号列
df = pd.read_csv('data.csv')
print(df)
任务2:代理池(还没学会)
'''
代理池
存储模块:存储在redis数据库的Sorted Set(有序存储)--能保证不重复
获取模块:实时在各大代理网站抓取代理,存储形式(IP:PORT),优先高匿代理
检测模块:定时检测数据库中的代理,爬取哪个网站就检测哪个网站,100分表示可用,
检测一次可用分数+1,不可用分数-1,低于某个值直接从数据库删除
思路2:可用即置为100,100为最大,失败一次-1,成功一次置为100
接口模块:需要用API提供对外接口,提供一个web api接口,避免去数据库找的繁琐,
通过访问接口获得可用代理 有点麻烦,暂时没时间弄,先学个简单的
免费代理:
西刺代理:https://www.xicidaili.com/
快代理:https://www.kuaidaili.com/free/inha/
小幻HTTP代理:https://ip.ihuan.me/
89免费代理:http://www.89ip.cn/
66免费代理:http://www.66ip.cn/
3366云代理:http://www.ip3366.net/
''' import requests # 根据协议类型,选择不同的代理
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.109 Safari/537.36',
} proxies = {
"http": "http://112.85.130.143:9999",
"https": "http://116.209.52.49:9999",
} response = requests.get("http://www.baidu.com", headers=headers, proxies=proxies) print(response.text)
总结:
今天努力写论文中,没怎么学习python
目测接下来三天都以论文为主
<day004>小娜显示空白+CSV文件的基本操作+普通的代理使用的更多相关文章
- python之小应用:读取csv文件并处理01数据串
目的:读取csv文件内容,把0和1的数据串取出来,统计出现1的连续次数和各次数出现的频率次数 先读取csv文件内容: import csv def csv_read(file): list = [] ...
- 关于csv文件最大行数和最大列数
excel 2003 =2^16 = 65 536 excel 2007 = 2^20 = 1048576 Excel2003,最大行数2^16=65536,最大列数256 Excel2007,最大行 ...
- CSV文件注入漏洞简析
“对于网络安全来说,一切的外部输入均是不可信的”.但是CSV文件注入漏洞确时常被疏忽,究其原因,可能是因为我们脑海里的第一印象是把CSV文件当作了普通的文本文件,未能引起警惕. 一.漏洞定义 攻击者通 ...
- 解决 Mac Pro 用 Excel 打开 CSV 文件不能正常显示的问题
在做系统后台的时候,往往会有导出系统信息(如,用户信息)功能,一般导出为CSV文件. 先前在 Windows 下,导出的CSV文件用 Excel 打开能正常显示,可现在在 Mac 系统中,显示一团乱, ...
- 记一次安装Nginx+php-fpm安装后无法解析.php文件,状态码200,但显示空白页
安装环境: Nginx:Nginx1.12.2 PHP:PHP 7.2 系统:CentOS 7.4 安装方式: Nginx与PHP都是yum安装的,具体步骤: 1.安装epel源再安装Nginx: r ...
- 网上下载的 chm 文件打开后右侧内容显示空白
有时候在网上下载的chm文件打不开,或者打开后右侧内容显示空白,可尝试以下方法解决. 1.当你第一次打开文件时,会弹出如下警告窗口,点击打开: 打开后发现不管你怎么点,右边始终是空白的,有时候也会提示 ...
- mysql导出csv文件excel打开后数字用科学计数法显示且低位变0的解决方法
Excel显示数字时,如果数字大于12位,它会自动转化为科学计数法:如果数字大于15位,它不仅用于科学技术费表示,还会只保留高15位,其他位都变0. Excel打开csv文件时,只要字段值都是数字,它 ...
- plsql导出查询结果,导出csv文件。但是类似身份证等超出15位的数据后三位显示问题,和科学计数法的格式问题
问题描述: plsql导出查询结果时,如果使用导出查询结果,使用excelfile会特别慢. 所以我们一般使用csv文件,然后在excel中新建空白文档,在数据菜单中导入数据,但是导出 ...
- matlab读取csv文件并显示
传统的方式可以通过读取文件,然后处理字符串的方式对csv文件进行解析,在matlab中可以通过csvread函数读取csv文件,然后通过plot对数据进行显示,也可以对里面的函数进行分析: csv文件 ...
随机推荐
- Linux下可以运行bat文件么?
bat是批处理文件,在windows和linux上都可以使用. 不过在linux的命令行中不可以直接敲"xxx.bat",系统会去找所有的命令. 想要调用bat文件,需要写绝对路径 ...
- mui请求数据接口问题
今天我在本地模拟做一个数据请求,第一次用的mui自带的方法来请求数据,当时我的本地接口地址是http://localhost:8087/jeecg/sightseerController.do?che ...
- 【安装】Mac rabbitMQ
安装 brew install rabbitmq 目录 cd /usr/local/Cellar/rabbitmq/3.7.4/sbin 插件 sudo ./rabbitmq-plugins ena ...
- [DataContract]引用
项目->右键->添加引用->找到System.Runtime.Serialization 添加之
- idea 社区版+spring boot+ssm+swagger创建rest api
新手上路,出了好多错,记录一下 1.创建数据库:springBootSsmTest 2.打开IDEA创建 Spring boot项目:File——New——Project——Spring Assist ...
- scrollReveal.js导致页面加载完之后页面中点击事件添加的css参数失效了(我的Hexo next博客引发的问题)
文章目录 时间 背景 问题解决 个人博客:https://mmmmmm.me 源码:https://github.com/dataiyangu/dataiyangu.github.io 时间 2019 ...
- Unity 之旋转
代码如下: bool RotateDelta(Vector3 direction) { direction.y = ; if (direction == Vector3.zero) return tr ...
- day5:函数练习题
1.写函数,检查获取传入列表或者元祖的对象的所有奇数位索引的元素,并将作为新的列表返回给调用者 #解1: def lis(x): lis_1 = [] for i in range(len(x)): ...
- 【牛客挑战赛32E】树上逆序对
题目 数据范围非常奇怪,询问的逆序对个数\(k\leq 30000\),我们应该可以把所有的情况都求出来 发现对于树上两点\(x,y\),如果\(x\)是\(y\)的祖先,那么绝对值较大的点的符号决定 ...
- Xpath-Assertion断言