早听说用python做网络爬虫非常方便,正好这几天单位也有这样的需求,需要登陆XX网站下载部分文档,于是自己亲身试验了一番,效果还不错。

 
本例所登录的某网站需要提供用户名,密码和验证码,在此使用了python的urllib2直接登录网站并处理网站的Cookie。
 

Cookie的工作原理:

Cookie由服务端生成,然后发送给浏览器,浏览器会将Cookie保存在某个目录下的文本文件中。在下次请求同一网站时,会发送该Cookie给服务器,这样服务器就知道该用户是否合法以及是否需要重新登录。
 

Python提供了基本的cookielib库,在首次访问某页面时,cookie便会自动保存下来,之后访问其它页面便都会带有正常登录的Cookie了。

 
原理:
(1)激活cookie功能
(2)反“反盗链”,伪装成浏览器访问
(3)访问验证码链接,并将验证码图片下载到本地
(4)验证码的识别方案网上较多,python也有图像处理库,此例调用了火车头采集器的OCR识别接口。
(5)表单的处理,可用fiddler等抓包工具获取需要提交的参数
(6)生成需要提交的数据,生成http请求并发送
(7)根据返回的js页面判断是否登陆成功
(8)登陆成功后下载其它页面
 

此例中使用多个账号轮询登陆,每个账号下载指定数目页面。

 

以下是部分代码:

#!usr/bin/env python
 
#-*- coding: utf-8 -*-
 
import os
import urllib2
import urllib
import cookielib
import xml.etree.ElementTree as ET
 
#-----------------------------------------------------------------------------
# Login in www.***.com.cn
def ChinaBiddingLogin(url, username, password):
     
  # Enable cookie support for urllib2
     
  cookiejar=cookielib.CookieJar()
     
 
urlopener=urllib2.build_opener(urllib2.HTTPCookieProcessor(cookiejar))
     
  urllib2.install_opener(urlopener)
     
  
     
  urlopener.addheaders.append(('Referer',
'http://www.chinabidding.com.cn/zbw/login/login.jsp'))
     
  urlopener.addheaders.append(('Accept-Language',
'zh-CN'))
     
  urlopener.addheaders.append(('Host',
'www.chinabidding.com.cn'))
     
  urlopener.addheaders.append(('User-Agent',
'Mozilla/5.0 (compatible; MISE 9.0; Windows NT 6.1);
Trident/5.0'))
     
  urlopener.addheaders.append(('Connection',
'Keep-Alive'))
 
     
  print 'XXX Login......'
 
     
 
imgurl=r'http://www.*****.com.cn/zbw/login/image.jsp'
     
  DownloadFile(imgurl, urlopener)
     
  authcode=raw_input('Please enter the
authcode:')
     
 
#authcode=VerifyingCodeRecognization(r"http://192.168.0.106/images/code.jpg")
 
     
  # Send login/password to the site and get the
session cookie
     
  values={'login_id':username, 'opl':'op_login',
'login_passwd':password, 'login_check':authcode}
     
  urlcontent=urlopener.open(urllib2.Request(url,
urllib.urlencode(values)))
     
  page=urlcontent.read(500000)
 
     
  # Make sure we are logged in, check the returned
page content
     
  if page.find('login.jsp')!=-1:
     
     
    print 'Login failed with
username=%s, password=%s and authcode=%s' \
     
     
     
     
     
  % (username, password, authcode)
     
     
    return False
     
  else:
     
     
    print 'Login
succeeded!'
     
     
    return True
 
#-----------------------------------------------------------------------------
# Download from fileUrl then save to fileToSave
# Note: the fileUrl must be a valid file
def DownloadFile(fileUrl, urlopener):
     
  isDownOk=False
 
     
  try:
     
     
    if fileUrl:
     
     
     
     
outfile=open(r'/var/www/images/code.jpg', 'w')
     
     
     
     
outfile.write(urlopener.open(urllib2.Request(fileUrl)).read())
     
     
     
     
outfile.close()
 
     
     
     
     
isDownOK=True
     
     
    else:
     
     
     
      print
'ERROR: fileUrl is NULL!'
     
  except:
     
     
    isDownOK=False
 
     
  return isDownOK
 
#------------------------------------------------------------------------------
# Verifying code recoginization
def VerifyingCodeRecognization(imgurl):
     
  url=r'http://192.168.0.119:800/api?'
     
  user='admin'
     
  pwd='admin'
     
  model='ocr'
     
  ocrfile='cbi'
 
     
  values={'user':user, 'pwd':pwd, 'model':model,
'ocrfile':ocrfile, 'imgurl':imgurl}
     
  data=urllib.urlencode(values)
 
     
  try:
     
     
    url+=data
     
     
   
urlcontent=urllib2.urlopen(url)
     
  except IOError:
     
     
    print '***ERROR: invalid URL
(%s)' % url
 
     
  page=urlcontent.read(500000)
 
     
  # Parse the xml data and get the verifying
code
     
  root=ET.fromstring(page)
     
  node_find=root.find('AddField')
     
  authcode=node_find.attrib['data']
 
     
  return authcode
 
#------------------------------------------------------------------------------
# Read users from configure file
def ReadUsersFromFile(filename):
     
  users={}
     
  for eachLine in open(filename, 'r'):
     
     
    info=[w for w in
eachLine.strip().split()]
     
     
    if len(info)==2:
     
     
     
     
users[info[0]]=info[1]
 
     
  return users
 
#------------------------------------------------------------------------------
def main():
     
 
login_page=r'http://www.***.com.cnlogin/login.jsp'
     
 
download_page=r'http://www.***.com.cn***/***?record_id='
 
     
  start_id=8593330
     
  end_id=8595000
 
     
  now_id=start_id
     
  Users=ReadUsersFromFile('users.conf')
     
  while True:
     
     
    for key in Users:
     
     
     
      if
ChinaBiddingLogin(login_page, key, Users[key]):
     
     
     
     
     
  for i in range(3):
     
     
     
     
     
     
    pageUrl=download_page+'%d' %
now_id
     
     
     
     
     
     
   
urlcontent=urllib2.urlopen(pageUrl)
 
     
     
     
     
     
     
    filepath='./download/%s.html'
% now_id
     
     
     
     
     
     
    f=open(filepath, 'w')
     
     
     
     
     
     
   
f.write(urlcontent.read(500000))
     
     
     
     
     
     
    f.close()
 
     
     
     
     
     
     
    now_id+=1
     
     
     
     
else:
     
     
     
     
     
  continue
#------------------------------------------------------------------------------
 
if __name__=='__main__':
     
  main()

[转载]python实现带验证码网站的自动登陆的更多相关文章

  1. Python爬虫模拟登录带验证码网站

    问题分析: 1.爬取网站时经常会遇到需要登录的问题,这是就需要用到模拟登录的相关方法.python提供了强大的url库,想做到这个并不难.这里以登录学校教务系统为例,做一个简单的例子. 2.首先得明白 ...

  2. python 简单图像识别--验证码

    python  简单图像识别--验证码 记录下,准备工作安装过程很是麻烦. 首先库:pytesseract,image,tesseract,PIL windows安装PIL,直接exe进行安装更方便( ...

  3. php使用curl模拟登录带验证码的网站[开发篇]

    需求是这样的,需要登录带验证码的网站,获取数据,但是不可能人为一直去记录数据,想通过自动采集的方式进行,如下是试验出来的结果代码!有需要的可以参考下! <?php namespace Home\ ...

  4. php使用curl模拟登录带验证码的网站

    需求是这样的,需要登录带验证码的网站,获取数据,但是不可能人为一直去记录数据,想通过自动采集的方式进行,如下是试验出来的结果代码!有需要的可以参考下! <?php namespace Home\ ...

  5. python+splinter实现12306网站刷票并自动购票流程

    python+splinter实现12306网站刷票并自动购票流程 通过python+splinter,实现在12306网站刷票并自动购票流程(无法自动识别验证码). 此类程序只是提高了12306网站 ...

  6. Python验证码6位自动生成器

    Python验证码6位自动生成器

  7. 用HttpWebRequest提交带验证码的网站

    using System; using System.Drawing; using System.IO; using System.Net; using System.Text; using Syst ...

  8. 利用htmlunit登陆带验证码图片的网站

    http://htsoft.org/html/y2011/822_using-htmlunit-landing-site-with-captcha-image.html 利用htmlunit登陆带验证 ...

  9. 使用C#登录带验证码的网站

    我在上一篇文章中已经讲解了一般网站的登录原来和C#的登录实现,很多人问到对于使用了验证码的网站该怎么办,这里我就讲讲验证码的原理和对应的登录方法.验证码的由来几年前,大部分网站.论坛之类的是没有验证码 ...

随机推荐

  1. 《Cracking the Coding Interview》——第13章:C和C++——题目2

    2014-04-25 19:29 题目:对比一下哈希表和STL中的map的区别,哈希表如何实现?如果数据规模比较小,可以用什么来代替哈希表? 解法:哈希表可以理解为一堆桶,每个桶都有唯一的id,桶里可 ...

  2. 《Cracking the Coding Interview》——第12章:测试——题目6

    2014-04-25 00:53 题目:你要如何测试一个分布式银行系统的ATM机? 解法:ATM是Automatic Teller Machine,取钱的.我想了半天,没找到什么很清晰的思路,也许是因 ...

  3. (原)App源码

    序) 人生就像卫生纸,有事没事少扯 前言) 最近偶尔和一位极客大牛聊了一次,这个极客在汇编的造诣算是相当高,不过野路子出来看不起各种规矩,因此是适合做个自己蒙头研究技术的极客男,不适合大型团队,不适合 ...

  4. android自定义SlideMenu源码详解之最简单侧滑实现

    实现原理:在一个Activity的布局中需要有两部分,一个是菜单(menu)的布局,一个是内容(content)的布局.两个布局横向排列,菜单布局在左,内容布局在右.初始化的时候将菜单布局向左偏移,以 ...

  5. 会话管理 session实现多页面传输数据

    以下面购物车几个页面传输数据为例html页面有index.html <!DOCTYPE html> <html lang="en"> <head> ...

  6. 转换 nvarchar 值 '2013071200000578' 时溢出了整数列

    sqlserver 把一个nvarchar 与 int  类型 拼接 会自动转换 INT 做运算,nvarchar 类型有16位 转换失败 只能 str(int) 转换成 字符型 进行拼接 (sqls ...

  7. MPSVPX 配置

    MPSVPX 配置 设置主机名,IP地址,掩码,网关,DNS服务器,时区(使用WebGUI界面设置). bash-2.05b# cat svm.conf arp -d -a route flush i ...

  8. Codeforces 672D Robin Hood(二分好题)

    D. Robin Hood time limit per test 1 second memory limit per test 256 megabytes input standard input ...

  9. CF992E Nastya and King-Shamans 解题报告

    CF992E Nastya and King-Shamans 题意翻译 给定一个序列 \(a_i\),记其前缀和序列为 \(s_i\),有 \(q\) 个询问,每次单点修改,询问是否存在一个 \(i\ ...

  10. HDU 5690 矩阵快速幂

    All X Time Limit: 2000/1000 MS (Java/Others)    Memory Limit: 65536/65536 K (Java/Others)Total Submi ...