第5章 scrapy爬取知名问答网站

第五章感觉是第四章的练习项目，无非就是多了一个模拟登录。

不分小节记录了，直接上知识点，可能比较乱。

1.常见的httpcode：

2.怎么找post参数？

先找到登录的页面，打开firebug，输入错误的账号和密码，观察post_url变换，从而确定参数。

3.读取本地的文件，生成cookies。

 try:
     import cookielib #py2
 except:
     import http.cookiejar as cookielib #py3

4.用requests登录知乎

 # -*- coding: utf-8 -*-
 __author__ = 'jinxiao'

 import requests
 try:
     import cookielib
 except:
     import http.cookiejar as cookielib

 import re

 session = requests.session()  #实例化session,下面的requests可以直接换成session
 session.cookies = cookielib.LWPCookieJar(filename="cookies.txt") #实例化cookies，保存cookies
 #读取cookies
 try:
     session.cookies.load(ignore_discard=True)
 except:
     print ("cookie未能加载")

 #知乎一定要加上浏览器的头，其他网站不一定，一般都是要的
 agent = "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:51.0) Gecko/20100101 Firefox/51.0"
 header = {
     "HOST":"www.zhihu.com",
     "Referer": "https://www.zhizhu.com",
     'User-Agent': agent
 }

 def is_login():
     #通过个人中心页面返回状态码来判断是否为登录状态
     inbox_url = "https://www.zhihu.com/question/56250357/answer/148534773"
     response = session.get(inbox_url, headers=header, allow_redirects=False)  #禁止重定向，判断为是否登录
     if response.status_code  != 200:
         return False
     else:
         return True

 def get_xsrf():
     #获取xsrf code
     response = session.get("https://www.zhihu.com", headers=header)
     match_obj = re.match('.*name="_xsrf" value="(.*?)"', response.text)
     if match_obj:
         return (match_obj.group(1))
     else:
         return ""

 def get_index():
     response = session.get("https://www.zhihu.com", headers=header)
     with open("index_page.html", "wb") as f:
         f.write(response.text.encode("utf-8"))
     print ("ok")

 def zhihu_login(account, password):
     #知乎登录
     if re.match("^1\d{10}",account):
         print ("手机号码登录")
         post_url = "https://www.zhihu.com/login/phone_num"
         post_data = {
             "_xsrf": get_xsrf(),
             "phone_num": account,
             "password": password
         }
     else:
         if "@" in account:
             #判断用户名是否为邮箱
             print("邮箱方式登录")
             post_url = "https://www.zhihu.com/login/email"
             post_data = {
                 "_xsrf": get_xsrf(),
                 "email": account,
                 "password": password
             }

     response_text = session.post(post_url, data=post_data, headers=header)
     session.cookies.save()

 zhihu_login("", "admin123")
 # get_index()
 print(is_login())

zhihu_requests_login

5.在shell调试中添加UserAgent

　scrapy shell -s USER_AGENT='...' url

6.JsonView插件

可以很好的可视化看json

7.写入html文件

with open(''e:/zhihu.html'',"wb") as f:
    f.write(response.text.encode('utf-8'))

8.yield理解

　　如果是yield item 会到pipelins中处理

　　如果是yield Request 会到下载器去下载

9.在mysql中怎么去重，设置主键去重，主键冲突

解决：在插入的sql语句后面加上 ON DUPLICATE KEY UPDATE content=VALUES(content) #这是需要更新的内容

10.手动输入验证码（zhihu.login_requests.py）

 def get_captcha():
     import time
     t=str(int(time.time()*1000))
     captcha_url="https://www.zhihu.com/captcha.gif?r={0}&type=login".format(t)
     t=session.get(captcha_url,headers=header)
     with open("captcha.jpg","wb") as f:
         f.write(t.content)
         f.close()
     captcha=input("输入验证码：")
     return captcha
#为什么是第五行是session，而不是requests？
#因为requests会重新建立一次绘画 session，这与后面的参数不符，输入的验证码并不是当前的验证码。

作者：今孝

出处：http://www.cnblogs.com/jinxiao-pu/p/6749332.html

本文版权归作者和博客园共有，欢迎转载，但未经作者同意必须保留此段声明，且在文章页面明显位置给出原文连接。