xpath爬取新浪天气
参考资料:
http://cuiqingcai.com/1052.html
http://cuiqingcai.com/2621.html
http://www.cnblogs.com/jixin/p/5131040.html
完整代码:
# -*- coding:utf-8 -*-
import urllib2
from lxml import etree
user_agent = "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.221 Safari/537.36 SE 2.X MetaSr 1.0"
headers = {'User-Agent':user_agent}
url = 'http://weather.sina.com.cn/'
user_input = raw_input("请输入你想查询天气的城市的拼音,如beijing\n")
# print user_input
url = url+user_input
# print url
req = urllib2.Request(url,headers=headers)
reponse = urllib2.urlopen(req)
text = reponse.read()
# print html
# print type(text)
html = etree.HTML(text)
# print html
# result = etree.tostring(html)
# print result
# 有时候当天天气信息的icons和times数据只有19条,分开处理
def change_list(lis):
new_lis = []
if len(lis) == 19:
if lis == icons:
new_lis.append(lis[0])
for i in range(1,19,2):
new_lis.append(lis[i]+u'转'+lis[i+1])
elif lis == times:
new_lis.append(lis[0].text)
for i in range(1, 19, 2):
new_lis.append(lis[i].text + u'到' + lis[i + 1].text)
elif len(lis) == 20:
if lis == icons:
for i in range(20,2):
new_lis.append(lis[i]+u'转'+lis[i+1])
elif lis == times:
for i in range(20,2):
new_lis.append(lis[i].text + u'到' + lis[i + 1].text)
return new_lis
note1 = html.xpath('//*[@class="wt_tt0_note"]')
note2 = html.xpath('//*[@class="wt_tt0_note"]/..')
# print note[0].text
dates = html.xpath('//*[@class="wt_fc_c0_i_date"]')
days = html.xpath('//*[@class="wt_fc_c0_i_date"]/following-sibling::*[1]')
icons = html.xpath('//*[@class="wt_fc_c0_i_icons clearfix"]/img/@alt')
# print len(icons)
icons = change_list(icons)
times = html.xpath('//*[@class="wt_fc_c0_i_times"]/span')
times = change_list(times)
temps = html.xpath('//*[@class="wt_fc_c0_i_temp"]')
tips = html.xpath('//*[@class="wt_fc_c0_i_tip"]')
ls = html.xpath('//*[@class="l"]')
rs = html.xpath('//*[@class="r"]')
print note1[0].text,note2[0].text
# print len(ls),len(rs)
# PM2.5和空气质量只有7条数据
for i in range(7):
print dates[i].text, days[i].text, times[i], icons[i], temps[i].text, tips[i].text, u'PM2.5:'+ls[i].text, u'空气质量:'+rs[i].text
for i in range(7,10):
print dates[i].text, days[i].text, times[i], icons[i], temps[i].text, tips[i].text
xpath爬取新浪天气的更多相关文章
- selenium+BeautifulSoup+phantomjs爬取新浪新闻
一 下载phantomjs,把phantomjs.exe的文件路径加到环境变量中,也可以phantomjs.exe拷贝到一个已存在的环境变量路径中,比如我用的anaconda,我把phantomjs. ...
- Python3:爬取新浪、网易、今日头条、UC四大网站新闻标题及内容
Python3:爬取新浪.网易.今日头条.UC四大网站新闻标题及内容 以爬取相应网站的社会新闻内容为例: 一.新浪: 新浪网的新闻比较好爬取,我是用BeautifulSoup直接解析的,它并没有使用J ...
- Python 爬虫实例(7)—— 爬取 新浪军事新闻
我们打开新浪新闻,看到页面如下,首先去爬取一级 url,图片中蓝色圆圈部分 第二zh张图片,显示需要分页, 源代码: # coding:utf-8 import json import redis i ...
- python3爬虫-爬取新浪新闻首页所有新闻标题
准备工作:安装requests和BeautifulSoup4.打开cmd,输入如下命令 pip install requests pip install BeautifulSoup4 打开我们要爬取的 ...
- python3使用requests爬取新浪热门微博
微博登录的实现代码来源:https://gist.github.com/mrluanma/3621775 相关环境 使用的python3.4,发现配置好环境后可以直接使用pip easy_instal ...
- python2.7 爬虫初体验爬取新浪国内新闻_20161130
python2.7 爬虫初学习 模块:BeautifulSoup requests 1.获取新浪国内新闻标题 2.获取新闻url 3.还没想好,想法是把第2步的url 获取到下载网页源代码 再去分析源 ...
- python爬取新浪股票数据—绘图【原创分享】
目标:不做蜡烛图,只用折线图绘图,绘出四条线之间的关系. 注:未使用接口,仅爬虫学习,不做任何违法操作. """ 新浪财经,爬取历史股票数据 ""&q ...
- 【python3】爬取新浪的栏目分类
目标地址: http://www.sina.com.cn/ 查看源代码,分析: 1 整个分类 在 div main-nav 里边包含 2 分组情况:1,4一组 . 2,3一组 . 5 一组 .6一组 ...
- Python-定时爬取指定城市天气(一)-发送给关心的微信好友
一.背景 上班的日子总是3点一线,家里,公司和上班的路径,对于一个特别懒得我来说,经常遇到上班路上下雨了,而我却没带伞,多么痛的领悟.最近对python有一种狂热的学习热情,写了4年多的C++代码,对 ...
随机推荐
- 【转】图解CSS padding、margin、border属性
http://www.cnblogs.com/linjiqin/p/3556497.html 图解CSS padding.margin.border属性W3C组织建议把所有网页上的对像都放在一个盒(b ...
- redis学习笔记01 — 基本介绍、安装配置及常用命令
redis--NoSQL的一种 为了解决高并发.高可用.高扩展.大数据存储等一系列问题而产生的数据库解决方案,就是NoSQL NoSQL,非关系型数据库,全名:Not Only Sql,它不能代替关系 ...
- mysql系列博客
近期,打算开始我的sql之路了,计划写一些sql方面的博客,初步定的计划,先写mysql,如果有必要,再写oracle.mysql如下: 1.mysql的调优思路 2.mysql 的执行过程 http ...
- 调皮的udp组播技术
2017年本科毕业,经历过千辛万苦的找工作之后,我进入了现在的这家公司.虽是职场小白,但励志成为IT界的一股清流(毕竟开发的妹子少,哈哈).因为公司的业务需要,我负责的部分是利用组播技术实现OSG模型 ...
- NC 部署问题
1.was环境部署日志 IBM/WEBSPHERE/APPSERVER/PRORFILES/APPSRV01/LOGS/SERVER1/
- WebService CXF知识总结
2018-10-23 <wsdl:service name="Iptv3aBasicService"> 客户端client信息,CXF会生成一个名为Iptv3ABasi ...
- SQL SERVER 如何把1列多行数据 合并成一列显示
示例 修改前:1列多行数据 修改后:合并成一列 示例语句 1 2 3 4 5 6 7 8 9 10 11 select 类别, 名称 = ( stuff( ...
- cpptest测试总结
项目继续,持续新增中-- 桩函数设置 桩 (函参指针赋值) √:fun(*p) { for(int i = 0; i<6; i++) p[i] = 10; } ×:fun(*p) { for(i ...
- C#读取word内容实践
C#读取word文档是如何实现的呢?我们可以使用FileStream对象来把文本文件里面的信息读取出来,但是对于word文档来说就不能使用这样的方法了. 这种情况下C#读取word文档的实现我们需要使 ...
- 【转】TCP/UDP简易通信框架源码,支持轻松管理多个TCP服务端(客户端)、UDP客户端
[转]TCP/UDP简易通信框架源码,支持轻松管理多个TCP服务端(客户端).UDP客户端 目录 说明 TCP/UDP通信主要结构 管理多个Socket的解决方案 框架中TCP部分的使用 框架中UDP ...