【原创】最近写的一个比较hack的小爬虫
目标:爬取爱漫画上面自己喜欢的一个漫画
分析阶段:
0、打开爱漫画主页,迎面就是一坨js代码。。直接晕了
1、经过抓包和对html源码的分析,可以发现爱漫画通过另外一个域名发送图片,而当前域名中通过js动态生成图片的文件名。问题就在这里了,首先,图片的文件命名模式比较多,没办法通过js源码直接爬;其次,有两种不同的图片文件名表现形式,一种是字典,一种是通过运算后返回的字典字符串。所谓字典字符串,就是[a:b]变成"[a:b]"。
version 1:
var cInfo={"bid":862,"burl":"/comic/862/list_84410.html","bname":"\u0053\u006b\u0065\u0074\u0044\u0061\u006e\u0063\u0065","cid":84410,"cname":"\u7b2c\u0032\u0038\u0038\u8bdd","len":22,"files":["JOJO_001.jpg","JOJO_002-003.jpg","JOJO_004.jpg","JOJO_005.png","JOJO_006.png","JOJO_007.png","JOJO_008.png","JOJO_009.png","JOJO_010.png","JOJO_011.png","JOJO_012.png","JOJO_013.png","JOJO_014.png","JOJO_015.png","JOJO_016.png","JOJO_017.png","JOJO_018.png","JOJO_019.png","JOJO_020.png","JOJO_021.png","JOJO_022.png","JOJO_023.png"],"finished":1};
version 2:
eval(function(p,a,c,k,e,d){e=function(c){return(c<a?"":e(parseInt(c/a)))+((c=c%a)>35?String.fromCharCode(c+29):c.toString(36))};if(!''.replace(/^/,String)){while(c--)d[e(c)]=k[c]||e(c);k=[function(e){return d[e]}];e=function(){return'\\w+'};c=1;};while(c--)if(k[c])p=p.replace(new RegExp('\\b'+e(c)+'\\b','g'),k[c]);return p;}('E h={"i":"\\g\\e\\2\\f\\j\\n\\o\\m\\2","k":"/l/3/4.6","7":3,"5":"\\c\\d\\8\\9\\a","b":["w.0","F.0","D.0","B.0","C.0","G.0","K.0","L.0","J.0","H.0","I.0","A.0","s.0","t.0","r.0","p.0","q.0"],"u":y,"z":x,"v":1};',48,48,'png||u0065|862|list_83707|cname|html|bid|u0038|u0036|u8bdd|files|u7b2c|u0032|u006b|u0074|u0053|cInfo|bname|u0044|burl|comic|u0063|u0061|u006e|016|017|015|013|014|cid|finished|001|17|83707|len|012|004|005|003|var|002|006|010|011|009|007|008'.split('|'),0,{}))
我只能OTL。。
解决:
首先,可以发现,可以设计两种模式,一种是处理verson 1的方式,另一种是将verson 2转化为verson 1之后处理。
Google了下,发现有一个叫pyv8的库,可以动态解析js代码,而经过debug分析,找到了第2个版本中储存字典字符串的变量。但是这个变量在函数中,是局部变量。但分析到了这个地步,方案就简单了。
0、加一个全局变量hogo
1、在函数返回字典字符串之前,将字典字符串赋值给hogo
2、读取hogo的值
当然,最后记得要改header中的Referer,否则图片服务器给你404
全部代码:
# -*- coding: UTF-8 -*-
import re
import urllib
import urllib2
import sys
import PyV8
import os
# 爬取爱漫画《sketdance》的全章页面
# 找到某一话
# 分析文件名,下载全话图片
# 通过执行js代码,找到具体的文件名。
# 进入下一话
mydir = r'd:/sketdance/'
imghost = r'http://c4.mangafiles.com/Files/Images/'
tarhost = r'http://www.imanhua.com'
taraddr = r'http://www.imanhua.com/comic/862/'
headers = {'Referer':'http://www.imanhua.com/comic/862/list_82877.html',\
'User-Agent':'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/28.0.1500.72 Safari/537.36'}
tarRequest = urllib2.Request(taraddr,headers=headers) def downloadParts(url,title):
print 'now is downloading ' + title + ':'
print url
print title.decode('gb2312').encode('gbk')
os.mkdir(mydir + title.decode('gb2312').encode('gbk'))
firststart = url.find('comic/') + len('comic/')
firstslash = url.find('/',firststart)
parturl = url[firststart:firstslash + 1]
sestart = url.find('_',30)
sefinis = url.find('.',sestart)
parturl = parturl + url[sestart + 1:sefinis] + '/'
partsRequest = urllib2.Request(url,headers=headers)
while 1:
try:
page = urllib2.urlopen(partsRequest)
except:
pass
else:
break
page = page.read()
jscode = re.compile(r'<script type="text/javascript">(.+?)</script>')
jscode = jscode.search(page)
jscode = jscode.group(1)
if jscode.find('split') != -1:
jscode = 'var hogo;' + jscode
start = jscode.find('return p')
jscode = jscode[0:start] + 'hogo=p;' + jscode[start:]
with PyV8.JSContext() as env1:
env1.eval(jscode)
vars = env1.locals
jscode = vars.hogo
fileinx = jscode.find('files":')
fileinx = jscode[fileinx:]
imgre = re.compile(r'([^"]+(\.jpg|\.png))')
imglst = imgre.findall(fileinx)
imglst = [key[0] for key in imglst]
for index,key in enumerate(imglst):
if key.find('.jpg') != -1:
flag = '.jpg'
else:
flag = '.png'
print imghost + parturl + key
if index == 0:
headers['Referer'] = url
else:
headers['Referer'] = url + '?p=' + str(index)
imgRequest = urllib2.Request(imghost + parturl + key,headers=headers)
while 1:
try:
img = urllib2.urlopen(imgRequest)
except:
pass
else:
break
f = open(mydir + title + '/' + str(index) + flag,'wb')
f.write(img.read())
f.close() def findTar(url):
while 1:
try:
page = urllib2.urlopen(tarRequest)
except:
pass
else:
break
page = page.read()
first = u'SketDance漫画列表'
first = first.encode('gb2312')
index = page.find(first)
start = index
title = ""
parts = u'第'
parts = parts.encode('gb2312')
while index != -1:
index = page.find('title="' + parts,index)
if index == -1:
break
finis = page.find('"',index + 7)
title = page[index + 7:finis]
start = page.rfind('href="',start,index)
finis = page.find('"',start + 6)
downloadParts(tarhost + page[start + 6:finis],title)
index += 1
start = index
findTar(taraddr)
【原创】最近写的一个比较hack的小爬虫的更多相关文章
- iOS:自己写的一个星级评价的小Demo
重新整理了下自己星级评价的Demo,可以展示星级评价,可以动态修改星级. github的地址:https://github.com/hunterCold/HYBStarEvaluationView a ...
- 最近写了一个红包雨的小功能,但感觉自己的js还有很多地方可以提高,望大神们可以帮忙指点一二
js部分 'use strict'; function RedEnvelope(options){ if(this === window){ return new RedEnvelope(option ...
- 用Go写了一个相似Proxy的小程序,能够用来訪问goolge个人使用还是能够的.
package main import ( "fmt" "io" "net/http" ) func main() { http.Handl ...
- Js 正则表达式 写了一个正整数或小数点或分数前两个正则表达式
写了一个正整数或小数点或分数前两个正则表达式 /^[0-9]+([.]{1}[0-9]{1,2})? $/ 版权声明:本文博客原创文章.博客,未经同意,不得转载.
- 如何写好一个vue组件,老夫的一年经验全在这了【转】 v-bind="$attrs" 和 v-on="$listeners"
如何写好一个vue组件,老夫的一年经验全在这了 一个适用性良好的组件,一种是可配置项很多,另一种就是容易覆写,从而扩展功能 Vue 组件的 API 来自三部分——prop.事件和插槽: prop 允许 ...
- 访问github太慢?我写了一个开源小工具一键变快
前言 GitHub应该是广大开发者最常去的站点,这里面有大量的优秀项目,是广大开发者寻找资源,交友学习的好地方.尤其是前段时间GitHub公布了一项代码存档计划--Arctic Code Vault, ...
- 搞了我一下午竟然是web.config少写了一个点
Safari手机版居然有个这么愚蠢的bug,浪费了我整个下午,使尽浑身解数,国内国外网站搜索解决方案,每一行代码读了又想想了又读如此不知道多少遍,想破脑袋也想不通到底哪里出了问题,结果竟然是web.c ...
- 用C3中的animation和transform写的一个模仿加载的时动画效果
用用C3中的animation和transform写的一个模仿加载的时动画效果! 不多说直接上代码; html标签部分 <div class="wrap"> <h ...
- 写了一个常规性生成merge 的小脚本
现在使用数据库来写存储过程,动不动参数就会用到xml ,当然罗,优势也很明显,参数相对固定,而且灵活,如果要修改或者什么的,中间接口层也不需要做变化,只需要修改封装的存储过程以及程序传参就ok了. 随 ...
随机推荐
- Android开发者指南-用户界面-拖放-Drag and Drop[原创译文]
英文原文:http://developer.android.com/guide/topics/ui/drag-drop.html 版本:Android 4.0 r1 译者注:黄色底色为未决译文 快 ...
- 所有CM_消息的说明
这些CM消息,居然在Delphi的帮助里是没有任何说明的,真是昏倒.意外在高手的书里找到了所有说明,说明如下: Message Constant Value Description cm_Base $ ...
- Swift - 基本数据类型,及常/变量声明
2015-01-08 14:59 发布:yuhang 浏览:434 下面是Swift中基本的数据类型介绍说明: 1,变量:使用var声明 1 var str:String = "hangge ...
- 苹果手表的真实触感信息(Real Touch Messaging)
苹果手表凭借其炫酷的设计和界面,无疑已成为一个新的科技焦点,也是苹果在可穿戴领域的重头戏. Apple Watch 有一个非常吸引人的特性:Real Touch Messaging,也就是真实触感消息 ...
- Apache commons-net用法的一个示例
jar: commons-io-2.4.jarcommons-net-3.3.jar Code: import java.io.File; import java.io.FileInputStream ...
- C语言中scanf/fscanf 的%[]和%n说明符的使用方法
标准输入输出函数%[]和%n说明符的使用方法 scanf fscanf,均从第一个非空格的可显示字符开始读起! 标准输入输出函数scanf具有相对较多的转换说明符,它常常作为入 ...
- ios 正則表達式替换
1. 不可变字符串 (content 是不可变) NSRegularExpression *regularExpression = [NSRegularExpression regularExpr ...
- poj 2411 Mondriaan's Dream dp
一个比较简单的状压dp,记录下每个点的状态即可. #include <iostream> #include <cstdio> #include <cstring> ...
- jconsole 连接 eclipse启动项目
eclipse 启动java项目默认没有开启jmx远程查看功能,假设须要看项目执行的线程内存使用量等信息,能够在eclipse启动參数中添加: -Dcom.sun.management.jmxremo ...
- Linux从用户层到内核层系列 - GNU系列之glibc介绍
题记:本系列文章的目的是抛开书本从源代码和使用的角度分析Linux内核和相关源代码,byhankswang和你一起玩转linux开发 轻松搞定TCP/IP协议栈,原创文章欢迎交流, byhankswa ...