【python】版本35 正则-非库-爬虫-读写xlw文件
#交代:代码凌乱,新手一个,论坛都是高手,我也是鼓了很大勇气,发出来就是被批评和进步的
from urllib import request
from urllib import request
from urllib import error
import io
import sys
import re
from functools import reduce
import xlrd,xlwt
import numpy as np
import time
from xlutils.copy import copy
from openpyxl import Workbook
from openpyxl import load_workbook
#python 35
#
class Spider():
new_excel_file = xlwt.Workbook(encoding='utf-8')
readbook1 = xlrd.open_workbook(r'C:\\Users\\Administrator\\Desktop\\mingshi1.xlsx')
url = 'http://m******?id='
one_pattern = '<div id="artDiv" style="border:0; background-color:#fff; font-size:14px;line-height:180%">([\s\S]*?)</div>'
lieshu=0 #one1_pattern = '>([\s\S]*?)<' def fetch_content(self,url1):#正则匹配
while(1):
try:
r = request.urlopen(url1)
htmls = r.read()
htmls = str(htmls,encoding='utf-8')
#print(htmls)
return htmls
break except error.HTTPError as e:
print(e.code)
self.Error_input() except error.URLError as e:
print(e.reason)
self.Error_input() def Error_input(self):#遇到URL或者HTTP错误提示
Error_if = input("Some Error, (enter)here we go?**************************(everything) Exit")
if Error_if:
sys.exit()
else:
pass def analysis(self,htmls):#处理正则后的数据
one_html = re.findall(Spider.one_pattern,htmls)
#print (one_html)
if one_html:
for html in one_html:
content = html
# content = re.findall(Spider.one_pattern,html)
print(len(content))
if len(content):
t1 = reduce(lambda x,y:x+y,content)
else:
t1 = ' '
else:
t1= ' '
#print(t)
return t1 def go(self):#循环 读 xlw和循环 写 xlw
"""
循环读xlw
"""
#定义循环 读 xlw的变量
readbook = xlrd.open_workbook(r'C:\\Users\\Administrator\\Desktop\\mingshi.xlsx')
table = readbook.sheets()[0]
start=1 #开始的行
end=639 #结束的行 list_values=[]
#执行循序 1.1循环 读 第1列xlw的代码块,上面变量有行数的开始行和结束行
#
for x in range(start,end):
values=[]
row =table.row_values(x)
for i in range(1):
values.append(row[i])
list_values.append(values)
datamatrix=list(np.array(list_values))
#print(type(datamatrix))
"""
循环写xlw
"""
#定义循环 写 xlw的变量
wb = load_workbook(r'C:\\mingshi11111.xlsx')
ws=wb.active
hangshu = 1 #行
lieshu = 5 #列
rows=[]
for row in ws.iter_rows():#获取所有行
rows.append(row)
"""
#抛弃使用xlsw库,缺点:写xlw会有大小限制,超过限制会出错
# 写xls w for循环外
# book1 = xlrd.open_workbook(r'路径')
# book2 = copy(book1)#拷贝一份原来的excel
# sheet = book2.get_sheet(0)#获取第几个sheet页,book2现在的是xlutils里的方法,不是xlrd的
"""
#循环读xlw的代码块和url+id处理
for y in datamatrix:
url1=("http://m******px?id="+str(int(y)))
#url1=("http://m******x?id=20131210120041954")
#
print(('*')*127)
print("url:"+url1) #执行循序2.1 打印第一个url
print(('*')*127)
htmls = self.fetch_content(url1) #执行循序2.2 正则htmls
self.analysis(htmls) #执行循序2.3 过滤htmls放入list后使用reduce追加内容,变成一体连续内容 """
openpyxl_start
"""
#执行循序3.1 写xlw文件
print('正在写入第'+str(hangshu)+'行')
if hangshu == 639:# break
else:
rows[hangshu][lieshu].value = self.analysis(htmls) #[hangshu][lieshu]第hangshu行,第lieshu列
wb.save("C:\\mingshi111111.xlsx")
print('已写入第'+str(hangshu)+'行')
hangshu+=1 #
"""
写xls w 循环内
""" """
if lieshu==639: #写循环次数 break
else:
sheet.write(lieshu, 5, self.analysis(htmls))
book2.save('c:\\ms.xls')
lieshu+=1
"""
"""
注释
"""
print(('*')*127)
print('sleep 1秒')
print(('*')*127)
time.sleep(1) spider = Spider()
spider.go()
【python】版本35 正则-非库-爬虫-读写xlw文件的更多相关文章
- Python 实现 Excel 里单元格的读写与清空操作
#coding=utf-8 # coding=utf-8 作用是声明python代码的文本格式是utf-8,python按照utf-8的方式来读取程序. # 如果不加这个声明,无论代码中还是注释中有中 ...
- 使用 pyenv 可以在一个系统中安装多个python版本
Installl related yum install readline readline-devel readline-static -y yum install openssl openssl- ...
- Mac OS下使用pyenv管理Python版本
问题的由来 在开发过程中,可能会遇到多个版本同时部署的情况. Mac OS自带的Python版本是2.x,自己开发需要Python3.x 系统自带的是2.6.x,开发环境是2.7.x 由于Mac机器系 ...
- 使用 pyenv 管理 Python 版本
http://einverne.github.io/post/2017/04/pyenv.html Posted on 04/22/2017 by Ein Verne | View revisio ...
- linux下面升级 Python版本并修改yum属性信息
最近需要在linux下使用python,故需要升级一下python版本,上网查询了一下相关资料,更新了一下linux下面的python环境,记录如下: linux下面升级 Python版本并修改yum ...
- 编程读写CAD文件验证
背景 B/S应用系统,根据用户上传数据:业务数据和CAD坐标数据,经过一系列运筹算法运算后,输出一批坐标数据,作为给用户的规划结果.此时需要方便直观的给用户展示坐标数据.可选方式有两个: web页面画 ...
- python版本及ML库
一:关于Python版本的选择问题 关于Python的选择问题:要看学术界能不能把科学库迁移到Python3. 1:多个版本共用: 最近发现SciPy的最高版本是3.2,只能是退而求其次,不使用最新版 ...
- 【归纳】正则表达式及Python中的正则库
正则表达式 正则表达式30分钟入门教程 runoob正则式教程 正则表达式练习题集(附答案) 元字符\b代表单词的分界处,在英文中指空格,标点符号或换行 例子:\bhi\b可以用来匹配hi这个单词,且 ...
- Hadoop streaming使用自定义python版本和第三方库
在使用Hadoop的过程中,遇到了自带python版本比较老的问题. 下面以python3.7为例,演示如何在hadoop上使用自定义的python版本以及第三方库. 1.在https://www.p ...
随机推荐
- 分享一个mac for redis-desktop-manager破解版安装包
链接: https://pan.baidu.com/s/1BDndGmBlWoSr4hVLpF3FVw 提取码: wwir
- 【JAVA】学习笔记(2)
Java完整的类的定义 [pubilc][abstact|final] class className [extends superclassName] [implements InterfaceNa ...
- 利用IO和File类实现拷贝文件目录问题
/* 复制文件夹 参数 File src,File dest */ public static void copy(File src,File dest){ if (src.isDirectory() ...
- 《Linux就该这么学》第十六天课程
今天笔记有点少就不发了,分享一下第23章 使用OpenLDAP部署目录服务很实用 下面是DHCP动态管理地址,如需深入学习请前往 https://www.linuxprobe.com/chapter- ...
- String类笔记
首先要知道,String类的核心是一个数组 我们所写的字符串序列都会放到这个char数组中,且前面有final修饰,所以只能赋值一次. 所以String创建的是不可变字符串序列,不可修改.如果要对其进 ...
- 关于Idea里设置Terminal为Git/bin/bash.exe中文乱码的问题的终极解决方案
1.这里如果设置为Git/git-bash.exe确实不会乱码,但是每次点Idea里的Terminal都会弹出一个单独的terminal窗口而非在idea子窗口里出现: 2.因此需要设置为Git/bi ...
- Linux运行模式
查看运行模式 cat /etc/inittab 0.表示关机模式,不要把默认模式设置成0 1.表示单用户模式 2.表示多用户模式 3.表示命令行模式 4.表示暂未被使用的模式,以后有可能会被使用 5. ...
- What's the Difference Between Iterators and Generators in Python
https://www.quora.com/Whats-the-difference-between-iterators-and-generators-in-Python
- _ZNote_Qt_按钮增加图片
给Button添加图片方法 有三种 一 : 用代码添加 QPushButton *findBtn = new QPushButton(this); //创建按钮 QIcon ico (":/ ...
- JAVA数据结构之链表
JAVA数据结构之链表 什么是链表呢? 链表作为最基本的数据结构之一,定义如下: 链表是一种物理存储单元上非连续.非顺序的存储结构,数据元素的逻辑顺序是通过链表中的指针链接次序实现的. 简单来说呢,链 ...