【原创】最近写的一个比较hack的小爬虫
目标:爬取爱漫画上面自己喜欢的一个漫画
分析阶段:
0、打开爱漫画主页,迎面就是一坨js代码。。直接晕了
1、经过抓包和对html源码的分析,可以发现爱漫画通过另外一个域名发送图片,而当前域名中通过js动态生成图片的文件名。问题就在这里了,首先,图片的文件命名模式比较多,没办法通过js源码直接爬;其次,有两种不同的图片文件名表现形式,一种是字典,一种是通过运算后返回的字典字符串。所谓字典字符串,就是[a:b]变成"[a:b]"。
version 1:
var cInfo={"bid":862,"burl":"/comic/862/list_84410.html","bname":"\u0053\u006b\u0065\u0074\u0044\u0061\u006e\u0063\u0065","cid":84410,"cname":"\u7b2c\u0032\u0038\u0038\u8bdd","len":22,"files":["JOJO_001.jpg","JOJO_002-003.jpg","JOJO_004.jpg","JOJO_005.png","JOJO_006.png","JOJO_007.png","JOJO_008.png","JOJO_009.png","JOJO_010.png","JOJO_011.png","JOJO_012.png","JOJO_013.png","JOJO_014.png","JOJO_015.png","JOJO_016.png","JOJO_017.png","JOJO_018.png","JOJO_019.png","JOJO_020.png","JOJO_021.png","JOJO_022.png","JOJO_023.png"],"finished":1};
version 2:
eval(function(p,a,c,k,e,d){e=function(c){return(c<a?"":e(parseInt(c/a)))+((c=c%a)>35?String.fromCharCode(c+29):c.toString(36))};if(!''.replace(/^/,String)){while(c--)d[e(c)]=k[c]||e(c);k=[function(e){return d[e]}];e=function(){return'\\w+'};c=1;};while(c--)if(k[c])p=p.replace(new RegExp('\\b'+e(c)+'\\b','g'),k[c]);return p;}('E h={"i":"\\g\\e\\2\\f\\j\\n\\o\\m\\2","k":"/l/3/4.6","7":3,"5":"\\c\\d\\8\\9\\a","b":["w.0","F.0","D.0","B.0","C.0","G.0","K.0","L.0","J.0","H.0","I.0","A.0","s.0","t.0","r.0","p.0","q.0"],"u":y,"z":x,"v":1};',48,48,'png||u0065|862|list_83707|cname|html|bid|u0038|u0036|u8bdd|files|u7b2c|u0032|u006b|u0074|u0053|cInfo|bname|u0044|burl|comic|u0063|u0061|u006e|016|017|015|013|014|cid|finished|001|17|83707|len|012|004|005|003|var|002|006|010|011|009|007|008'.split('|'),0,{}))
我只能OTL。。
解决:
首先,可以发现,可以设计两种模式,一种是处理verson 1的方式,另一种是将verson 2转化为verson 1之后处理。
Google了下,发现有一个叫pyv8的库,可以动态解析js代码,而经过debug分析,找到了第2个版本中储存字典字符串的变量。但是这个变量在函数中,是局部变量。但分析到了这个地步,方案就简单了。
0、加一个全局变量hogo
1、在函数返回字典字符串之前,将字典字符串赋值给hogo
2、读取hogo的值
当然,最后记得要改header中的Referer,否则图片服务器给你404
全部代码:
# -*- coding: UTF-8 -*-
import re
import urllib
import urllib2
import sys
import PyV8
import os
# 爬取爱漫画《sketdance》的全章页面
# 找到某一话
# 分析文件名,下载全话图片
# 通过执行js代码,找到具体的文件名。
# 进入下一话
mydir = r'd:/sketdance/'
imghost = r'http://c4.mangafiles.com/Files/Images/'
tarhost = r'http://www.imanhua.com'
taraddr = r'http://www.imanhua.com/comic/862/'
headers = {'Referer':'http://www.imanhua.com/comic/862/list_82877.html',\
'User-Agent':'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/28.0.1500.72 Safari/537.36'}
tarRequest = urllib2.Request(taraddr,headers=headers) def downloadParts(url,title):
print 'now is downloading ' + title + ':'
print url
print title.decode('gb2312').encode('gbk')
os.mkdir(mydir + title.decode('gb2312').encode('gbk'))
firststart = url.find('comic/') + len('comic/')
firstslash = url.find('/',firststart)
parturl = url[firststart:firstslash + 1]
sestart = url.find('_',30)
sefinis = url.find('.',sestart)
parturl = parturl + url[sestart + 1:sefinis] + '/'
partsRequest = urllib2.Request(url,headers=headers)
while 1:
try:
page = urllib2.urlopen(partsRequest)
except:
pass
else:
break
page = page.read()
jscode = re.compile(r'<script type="text/javascript">(.+?)</script>')
jscode = jscode.search(page)
jscode = jscode.group(1)
if jscode.find('split') != -1:
jscode = 'var hogo;' + jscode
start = jscode.find('return p')
jscode = jscode[0:start] + 'hogo=p;' + jscode[start:]
with PyV8.JSContext() as env1:
env1.eval(jscode)
vars = env1.locals
jscode = vars.hogo
fileinx = jscode.find('files":')
fileinx = jscode[fileinx:]
imgre = re.compile(r'([^"]+(\.jpg|\.png))')
imglst = imgre.findall(fileinx)
imglst = [key[0] for key in imglst]
for index,key in enumerate(imglst):
if key.find('.jpg') != -1:
flag = '.jpg'
else:
flag = '.png'
print imghost + parturl + key
if index == 0:
headers['Referer'] = url
else:
headers['Referer'] = url + '?p=' + str(index)
imgRequest = urllib2.Request(imghost + parturl + key,headers=headers)
while 1:
try:
img = urllib2.urlopen(imgRequest)
except:
pass
else:
break
f = open(mydir + title + '/' + str(index) + flag,'wb')
f.write(img.read())
f.close() def findTar(url):
while 1:
try:
page = urllib2.urlopen(tarRequest)
except:
pass
else:
break
page = page.read()
first = u'SketDance漫画列表'
first = first.encode('gb2312')
index = page.find(first)
start = index
title = ""
parts = u'第'
parts = parts.encode('gb2312')
while index != -1:
index = page.find('title="' + parts,index)
if index == -1:
break
finis = page.find('"',index + 7)
title = page[index + 7:finis]
start = page.rfind('href="',start,index)
finis = page.find('"',start + 6)
downloadParts(tarhost + page[start + 6:finis],title)
index += 1
start = index
findTar(taraddr)
【原创】最近写的一个比较hack的小爬虫的更多相关文章
- iOS:自己写的一个星级评价的小Demo
重新整理了下自己星级评价的Demo,可以展示星级评价,可以动态修改星级. github的地址:https://github.com/hunterCold/HYBStarEvaluationView a ...
- 最近写了一个红包雨的小功能,但感觉自己的js还有很多地方可以提高,望大神们可以帮忙指点一二
js部分 'use strict'; function RedEnvelope(options){ if(this === window){ return new RedEnvelope(option ...
- 用Go写了一个相似Proxy的小程序,能够用来訪问goolge个人使用还是能够的.
package main import ( "fmt" "io" "net/http" ) func main() { http.Handl ...
- Js 正则表达式 写了一个正整数或小数点或分数前两个正则表达式
写了一个正整数或小数点或分数前两个正则表达式 /^[0-9]+([.]{1}[0-9]{1,2})? $/ 版权声明:本文博客原创文章.博客,未经同意,不得转载.
- 如何写好一个vue组件,老夫的一年经验全在这了【转】 v-bind="$attrs" 和 v-on="$listeners"
如何写好一个vue组件,老夫的一年经验全在这了 一个适用性良好的组件,一种是可配置项很多,另一种就是容易覆写,从而扩展功能 Vue 组件的 API 来自三部分——prop.事件和插槽: prop 允许 ...
- 访问github太慢?我写了一个开源小工具一键变快
前言 GitHub应该是广大开发者最常去的站点,这里面有大量的优秀项目,是广大开发者寻找资源,交友学习的好地方.尤其是前段时间GitHub公布了一项代码存档计划--Arctic Code Vault, ...
- 搞了我一下午竟然是web.config少写了一个点
Safari手机版居然有个这么愚蠢的bug,浪费了我整个下午,使尽浑身解数,国内国外网站搜索解决方案,每一行代码读了又想想了又读如此不知道多少遍,想破脑袋也想不通到底哪里出了问题,结果竟然是web.c ...
- 用C3中的animation和transform写的一个模仿加载的时动画效果
用用C3中的animation和transform写的一个模仿加载的时动画效果! 不多说直接上代码; html标签部分 <div class="wrap"> <h ...
- 写了一个常规性生成merge 的小脚本
现在使用数据库来写存储过程,动不动参数就会用到xml ,当然罗,优势也很明显,参数相对固定,而且灵活,如果要修改或者什么的,中间接口层也不需要做变化,只需要修改封装的存储过程以及程序传参就ok了. 随 ...
随机推荐
- XMPPclient库Smack 4.0.6一个版本的开发
XMPPclient库Smack 4.0.6版开发之中的一个 作者:chszs,转载需注明.博客主页:http://blog.csdn.net/chszs 一.Smack库概述 Smack是一个开源. ...
- SpringMVC开发过程中的中文乱码问题
相信大家在开发初期遇到中文乱码问题一定是一头雾水,不是数据库乱码了就是页面乱码了或者传值时乱码.其实解决乱码的途径很简单,就是统一编码与解码的类型,我把自己遇到的乱码问题整理出来,希望能够对大家有用. ...
- 小米手机usb共享网络mac
今天.我想去FQgoogle,mac在墙上,不便于使用.甚至只是用Android手机wifi,打开墙软件.然后usb分享到mac.然后mac互联网. 在谈到一些复杂.其实,关键一,小米手机usb共享, ...
- GCC编译优化指南【作者:金步国】
GCC编译优化指南[作者:金步国] GCC编译优化指南 作者:金步国 版权声明 本文作者是一位自由软件爱好者,所以本文虽然不是软件,但是本着 GPL 的精神发布.任何人都可以自由使用.转载.复制和再分 ...
- 用HTTP方式调用gearman任务处理
本来以为是个挺美好的东西,结果... 这样的方式非常不安全,尤其是假设暴露在公网地址,非常easy被攻击,并且gearman的http服务远没有专业的webserver健壮. 攻击方式非常easy:t ...
- 常用的JQuery数字类型验证正则表达式
var regexEnum = { intege:"^-?[1-9]//d*$", //整数 intege1:"^[1-9]//d*$", ...
- GitLab 5.3 升级注意事项
最主要就是需要更新的Git.我的Ubuntu12.04通过apt-get install安装的git版本过低. 所以只能通过源代码安装. 参考下面的步骤: wget git-core.googleco ...
- HDU 4704 Sum (费马定理+快速幂)
Sum Time Limit: 2000/1000 MS (Java/Others) Memory Limit: 131072/131072 K (Java/Others) Total Subm ...
- hdu4059 The Boss on Mars
The Boss on Mars Time Limit: 2000/1000 MS (Java/Others) Memory Limit: 32768/32768 K (Java/Others) ...
- centos 更改hostname
vim /etc/hosts vim /etc/sysconfig/network hostname hostname mlzboy-centos63