Java爬虫_资源网站爬取实战
对 http://bestcbooks.com/ 这个网站的书籍进行爬取
(爬取资源分享在结尾)
下面是通过一个URL获得其对应网页源码的方法
传入一个 url 返回其源码 (获得源码后,对源码进行解析,获得页面中其他的书籍地址和当前页面的书籍的百度网盘的链接,因为这个网站分享的书籍都是用网盘分享的)。
其实这里要讲的方法是按页面逐个去寻找书籍,还有一种比较暴力的是根据宽度优先遍历,找到所有的链接,不管是不是书籍的,然后再进行筛选。
宽度优先遍历可以看之前的一篇 http://www.cnblogs.com/LexMoon/p/javaMyClawler.html
public static String getBookUrlCode(String url) throws IOException {
URL u ;
HttpURLConnection httpURLConnection ;
String ret = "" ;
try{
u = new URL(url);
httpURLConnection = (HttpURLConnection)u.openConnection() ;
if(httpURLConnection.getResponseCode()==200){
BufferedReader bufferedReader = new BufferedReader(new InputStreamReader(httpURLConnection.getInputStream(),"utf-8")) ; String read ;
while((read=bufferedReader.readLine())!=null){
ret += read ;
ret+="\r\n" ;
}
}
}catch (Exception e){ }
return ret ;
}
爬取的网站是这个书籍网站的主页 http://bestcbooks.com/
运行结果:
获取主页的源码之后,通过解析获得书籍分类的地址,用一个ArrayList<String>保存 。
解析方法 : 正则表达式,jsoup
public static ArrayList getBookClass(String read){
ArrayList<String> arrayList = new ArrayList<String>() ;
String data = new String( "<a href=\"http:(.*)html>") ;
Document doc = Jsoup.parse(read);
Elements elements = doc.select("a");
for(Element element : elements){
String aurl = element.attr("href") ;
if(!arrayList.contains(aurl)){
arrayList.add(aurl);
}
}
return arrayList ;
}
运行结果:
public static void main(String[] args) throws Exception {
ArrayList<String> arrayList= getBookClass(getBookUrlCode("http://bestcbooks.com/"));
for(int i=0;i<arrayList.size();i++){
System.out.println(arrayList.get(i));
}
}
需要的书籍分类的链接可以看到是 bestcbooks.com 加 /categories/(书籍种类)/
所以在获取的ArrayList<String>中需要的只是 /categories/(书籍种类)/ 这一部分。
可以采用正则表达式解析筛选
只需要在之前代码ArrayList . add() 操作之前,进行正则表达式筛选即可
修改代码如下:
public static ArrayList getBookClass(String read){
ArrayList<String> arrayList = new ArrayList<String>() ;
String data = new String( "<a href=\"http:(.*)html>") ;
Document doc = Jsoup.parse(read);
Elements elements = doc.select("a");
for(Element element : elements){
String aurl = element.attr("href") ;
String con = "/categories(.*)" ;
Pattern ah = Pattern.compile(con);
Matcher mr = ah.matcher(aurl);
while(mr.find()){
if(!arrayList.contains(mr.group())){
arrayList.add(mr.group());
}
}
}
return arrayList ;
}
运行结果:
要进入上面书籍种类对应网页的链接已经拿到了,也就是 ArrayList<String>中对应的值与 http://bestcbooks.com 加 ArrayList<String>.get(i)
现在拿到了这些类型书籍的链接,可以继续通过之前的getBookUrlCode(String url)来获取对应源码,这样就可以拿到某种类型的书籍地址了。
书籍分享对应的链接需要在源码中找,结果分析,是<a href='/B008P686RA/'> 中的这段字符,还有一些链接是关于买书的,不是分享页。
它们的特点是每个后面都有一个下载图标,也就是<img src="/images/download.png" ,可以利用这一点很好的讲关键字符利用正则表达式切出 。
关于种类获取书籍的方法代码如下,返回是一个ArrayList<String>
public static ArrayList getBook(String read){
ArrayList<String> arrayList = new ArrayList<String>() ; String con = "<a href=(.*)<img src=\"/images/download" ;
Pattern ah = Pattern.compile(con);
Matcher mr = ah.matcher(read);
System.out.println("find");
while(mr.find()) {
if (!arrayList.contains(mr.group())) {
arrayList.add(mr.group());
}
}
return arrayList ;
}
返回ArrayList<String>
书籍对应的链接也已经可以找到了,接下来就是进入这个链接,拿到百度网盘的地址(有些会有密码,也要一起拿到)
获得网盘链接和密码的方法:
public static void find(String read){
String con = "<a href=\"(.*)pan.baidu.com(.*)ref" ;
Pattern ah = Pattern.compile(con);
Matcher mr = ah.matcher(read);
while(mr.find()) {
String []bookPan = mr.group().split("\"") ;
String bookM = bookPan[1] ;
System.out.print(bookM+" "); }
}
public static void getM(String read){
String con = "密码(.*)" ;
Pattern ah = Pattern.compile(con);
Matcher mr = ah.matcher(read);
while(mr.find()) {
System.out.print(mr.group()); }
System.out.println();
}
测试结果:
还可以通过正则将书籍名称,评分等信息找出。
以下是完整代码:
package Book; import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements; import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStreamReader;
import java.net.HttpURLConnection;
import java.net.URL;
import java.util.ArrayList;
import java.util.Queue;
import java.util.regex.Matcher;
import java.util.regex.Pattern; public class GetBook { public static String getBookUrlCode(String url) throws IOException {
URL u ;
HttpURLConnection httpURLConnection ;
String ret = "" ;
try{
u = new URL(url);
httpURLConnection = (HttpURLConnection)u.openConnection() ;
if(httpURLConnection.getResponseCode()==200){
BufferedReader bufferedReader = new BufferedReader(new InputStreamReader(httpURLConnection.getInputStream(),"utf-8")) ; String read ;
while((read=bufferedReader.readLine())!=null){
ret += read ;
ret+="\r\n" ;
}
}
}catch (Exception e){ }
return ret ;
} public static ArrayList getBookClass(String read){
ArrayList<String> arrayList = new ArrayList<String>() ;
Document doc = Jsoup.parse(read);
Elements elements = doc.select("a");
for(Element element : elements){
String aurl = element.attr("href") ;
String con = "/categories(.*)" ;
Pattern ah = Pattern.compile(con);
Matcher mr = ah.matcher(aurl);
while(mr.find()){
if(!arrayList.contains(mr.group())){
arrayList.add(mr.group());
}
}
}
return arrayList ;
} public static ArrayList getBook(String read){
ArrayList<String> arrayList = new ArrayList<String>() ; String con = "<a href=(.*)<img src=\"/images/download" ;
Pattern ah = Pattern.compile(con);
Matcher mr = ah.matcher(read);
while(mr.find()) {
if (!arrayList.contains(mr.group())) {
arrayList.add(mr.group());
}
}
return arrayList ;
}
public static void find(String read){
String con = "<a href=\"(.*)pan.baidu.com(.*)ref" ;
Pattern ah = Pattern.compile(con);
Matcher mr = ah.matcher(read);
while(mr.find()) {
String []bookPan = mr.group().split("\"") ;
String bookM = bookPan[1] ;
System.out.print(bookM+" "); }
}
public static void getM(String read){
String con = "密码(.*)" ;
Pattern ah = Pattern.compile(con);
Matcher mr = ah.matcher(read);
while(mr.find()) {
System.out.print(mr.group()); }
System.out.println();
}
public static void main(String[] args) throws Exception {
ArrayList<String> arrayList= getBookClass(getBookUrlCode("http://bestcbooks.com/"));
for(int i=0;i<arrayList.size();i++){
String read = getBookUrlCode("http://bestcbooks.com"+arrayList.get(i));
ArrayList<String> book = getBook(read);
for(int j=0;j<book.size();j++){
String[] bookIn = book.get(j).split("\"");
String myBook = bookIn[1] ;
String myBookCode = getBookUrlCode("http://bestcbooks.com"+myBook);
//System.out.println(myBookCode);
find(myBookCode);
getM(myBookCode);
}
}
}
}
还可以用Frame将这个程序变得更有意义:
还有这个更丰富的计算机资源网站,结构更加复杂,后继会补出爬取方法 : https://salttiger.com/
(因为存在分页,可以考虑使用宽度优先搜索,通过网站名称,排除掉外界链接,使用多线程,每当爬取一定链接时,对爬取的书籍进行解析)
资源:
C
Practical C++ Programming :
http://pan.baidu.com/s/13zX3C 密码:le1q
学通C语言的24堂课 :
http://pan.baidu.com/s/1jGFSeJO 密码:ml74
C语言程序设计 现代方法(第2版) :
http://pan.baidu.com/s/1eQGGlii
C语言学习路线图•C语言必须知道的300个问题 :
http://pan.baidu.com/s/1gdFYjvl 密码:5z7t
C语言参考手册(原书第5版) :
http://pan.baidu.com/s/1znvci 密码:xrts
你必须知道的495个C语言问题 :
http://pan.baidu.com/s/1hqqTDsS 密码:hha2
C语言入门经典(第5版) :
http://pan.baidu.com/s/1eQ1MwCi 密码:ygjm
C程序设计语言(第2版•新版) :
http://vdisk.weibo.com/lc/3UlAHKgT3fnPf8rU7MV 密码:HCU3
学习使用C指针(英文本) :
http://pan.baidu.com/s/1dDqsYWx
明解C语言 :
http://pan.baidu.com/s/1kTDgl99
C语言接口与实现 创建可重用软件的技术 :
http://pan.baidu.com/s/1nt6q4ZZ
数据结构与算法分析 C语言描述(原书第2版) :
http://pan.baidu.com/s/1pJwdcr5
C专家编程ExpertCProgrammingDeepCSecrets :
http://pan.baidu.com/s/1o6ygZRO 密码:ox0b
C和指针PointersOnC :
http://pan.baidu.com/s/1o6M34Ie
C陷阱与缺陷 :
http://pan.baidu.com/s/1gd2yYsj
C语言入门经典(第4版) :
http://pan.baidu.com/s/1ntntEUP
CPrimerPlus(中文版)(第5版) :
http://pan.baidu.com/s/1qWvveaw
嗨翻C语言(英文) :
http://pan.baidu.com/s/15mJ9H
JAVA
Java程序性能优化 让你的Java程序更快、更稳定 :
http://pan.baidu.com/s/1kTmKbmn 密码:qoyi
深入理解Java 7 核心技术与最佳实践 :
http://pan.baidu.com/s/1kT2td23 密码:ldnl
编写高质量代码 改善Java程序的151个建议 :
http://pan.baidu.com/s/1gdn8iFD 密码:vpji
Java消息服务(第2版)(Java消息服务英文) :
http://pan.baidu.com/s/1i3snJs5 密码:d1ws
Head First Java(中文版)(第2版)(涵盖Java5.0) :
http://pan.baidu.com/s/1ntLRNs9 密码:ep5g
精通Ext JS :
http://pan.baidu.com/s/1bny4NvD 密码:xxl8
疯狂Java 突破程序员基本功的16课(修订版) :
http://pan.baidu.com/s/1o6JNDgQ 密码:jixk
Struts 2.1权威指南 :
http://pan.baidu.com/s/1dDHyiAH 密码:jwl6
Java数据结构和算法(第2版) :
http://pan.baidu.com/s/1sjFDMWH 密码:2b2r
Java性能优化权威指南 :
http://pan.baidu.com/s/1hqvCJ2k 密码:bcct
研磨Struts2 :
http://pan.baidu.com/s/1eQGF7N0
Sun 公司核心技术丛书 Effective Java中文版(第2版) :
http://pan.baidu.com/s/1gdxGCWN 密码:pdnn
JAVA核心技术卷2 高级特征 :
http://pan.baidu.com/s/1ntBaIiH 密码:4tn9
Java核心技术(卷1) 基础知识(原书第9版) :
http://pan.baidu.com/s/1kTiE32Z 密码:dhvd
Java虚拟机规范(Java SE 7版) :
http://pan.baidu.com/s/1i3BiLbZ 密码:vhke
深入理解Java虚拟机 JVM高级特性与最佳实践(第2版) :
http://pan.baidu.com/s/1pJ9Attx 密码:vr7h
Spring实战(第3版) :
http://pan.baidu.com/s/1sjrVsrb 密码:fybk
Java并发编程实战 :
http://pan.baidu.com/s/1mgrzBBi
深入剖析Tomcat :
http://pan.baidu.com/s/1hqBk5Kg
Java软件结构与数据结构(第3版) :
http://pan.baidu.com/s/1qWFDS1u
数据结构与算法分析 Java语言描述(第2版) :
http://pan.baidu.com/s/1jG1DaT4
Java网络编程(第3版) :
http://pan.baidu.com/s/1o6x1gG6
Java编程思想(第4版) :
http://pan.baidu.com/s/1bn3nfsF
Head First Servlets and JSP(第2版) (英) :
http://pan.baidu.com/s/19Zhyl
Java How to Program (9th Edition) :
http://uet.vnu.edu.vn/~chauttm/e-books/java/JH2P-9th.pdf
Android
Android驱动开发与移植实战详解 :
http://pan.baidu.com/s/1xuyB0密码:9lmn
深入理解Android:卷2 :
http://pan.baidu.com/s/1kT3NHKN密码:1d4m
深入理解Android(卷1) :
http://pan.baidu.com/s/1ntA5jHB密码:me3n
Android Database Programming :
http://pan.baidu.com/s/1hqy4eqg密码:oyqi
Android Security Cookbook :
http://pan.baidu.com/s/1qWNqsqw密码:pkot
Android Development Tools for Eclipse :
http://pan.baidu.com/s/1mgqozlI密码:zodj
Android安全机制解析与应用实践 :
http://pan.baidu.com/s/1eQy8jho密码:dlbx
疯狂Android讲义(第2版) :
http://pan.baidu.com/s/1o6mgALk密码:bbyu
移动应用UI设计模式 :
http://pan.baidu.com/s/1o6HUIxk密码:7rw4
细说Android 4.0 NDK编程 :
http://pan.baidu.com/s/1bnzunsN密码:fxwh
Android Hacker’s Handbook :
http://pan.baidu.com/s/1gdvOpjl密码:nfj4
Android编程权威指南 :
http://pan.baidu.com/s/1dDCNwlj密码:1eb4
Android 4编程入门经典:开发智能手机与平板电脑应用 :
http://pan.baidu.com/s/1i3inelR密码:r1fc
Android 2.3应用开发实战 :
http://pan.baidu.com/s/1bnpQLQn密码:vj87
Android的设计与实现(卷1) :
http://pan.baidu.com/s/1i347DQ1密码:27nw
Android编程入门很简单 :
http://pan.baidu.com/s/1mgFqVHY密码:ndg3
图灵程序设计丛书:Android平板电脑编程基础教程 :
http://pan.baidu.com/s/1i3CFmhJ密码:vc4k
Android基础教程(第3版•修订版) :
http://pan.baidu.com/s/1jGkmRaQ密码:nu6u
Android技术内幕:系统卷 :
http://pan.baidu.com/s/1eQnISCi密码:jdzu
Arduino机器人权威指南 :
http://pan.baidu.com/s/1c0ouiXi密码:8fvu
Android 3D游戏案例开发大全 :
http://pan.baidu.com/s/1gdh1Eef
Android移动应用开发(第3版)卷1:基础篇 :
http://pan.baidu.com/s/1c0tdbHI
Android核心原理与系统级应用高效开发 :
http://pan.baidu.com/s/1sjtuqYT密码:xom9
Android 3D游戏开发技术宝典 OpenGL ES 2.0 :
http://pan.baidu.com/s/1gd9RQCV
Android框架揭秘 :
http://pan.baidu.com/s/1i3sSOPR
Android多媒体开发高级编程 为智能手机和平板电脑开发图形、音乐、视频和富媒体应用 :
http://pan.baidu.com/s/1o6yOsdW密码:am9v
Android开发从入门到精通 :
http://pan.baidu.com/s/1gd1Mjb9密码:2yr4
Android 4.0网络编程详解 :
http://pan.baidu.com/s/1i3n3ifz
Android开发权威指南 :
http://pan.baidu.com/s/1kTmdkLh密码:vs6t
Android多媒体编程从初学到精通 :
http://pan.baidu.com/s/1c0gT85q密码:4srk
Android系统级深入开发 移植与调试 :
http://pan.baidu.com/s/1hqif9lU
移动开发经典丛书 Android C++高级编程 使用NDK :
http://pan.baidu.com/s/1i3ojhQX密码:yg5h
Android应用UI设计模式 :
http://pan.baidu.com/s/1bnkrBkz密码:r6ug
精彩绝伦的Android UI设计 响应式用户界面与设计模式 :
http://pan.baidu.com/s/1i3BPGTB密码:s7qr
Android应用性能优化 :
http://pan.baidu.com/s/1ntK5b53密码:9ndf
Arduino从基础到实践 :
http://pan.baidu.com/s/1c0b1lnU密码:6693
Arduino+Android互动智作 :
http://pan.baidu.com/s/1bnuzEz1密码:9151
Android应用开发入门 :
http://pan.baidu.com/s/1c0pDRVy密码:21i4
Android开发精要 :
http://pan.baidu.com/s/1ntwhhm5
Android移动开发一本就够 :
http://pan.baidu.com/s/1kTDglHd密码:uwdg
Android应用开发揭秘 :
http://pan.baidu.com/s/1pJ4k7VX密码:6ts6
Android 4游戏编程入门经典 :
http://pan.baidu.com/s/1dDopWit密码:4uc5
Android UI基础教程 :
http://pan.baidu.com/s/1i380Bat密码:ofjg
深入理解Android网络编程 技术详解与最佳实践 :
http://pan.baidu.com/s/1qWErVfm密码:niio
Android 4高级编程(第3版) :
http://pan.baidu.com/s/1c0j8o5y密码:bk74
Android软件安全与逆向分析 :
http://pan.baidu.com/s/1jGmJPBo密码:zeh5
Learning Android(英文版) :
http://pan.baidu.com/s/1dDBW7x3密码:k9z3
Android开发权威指南(第2版) :
http://pan.baidu.com/s/1kTDMiyz
精通Android :
http://pan.baidu.com/s/1GLP9O密码:82ik
C++
数据结构C++语言描述:应用标准模板库STL(第2版) :
http://pan.baidu.com/s/1qWJm6oG密码:tqbv
Visual C++2008入门经典 :
http://pan.baidu.com/s/1jGGGQB8密码:sque
面向对象程序设计:C++语言描述(原书第2版) :
http://pan.baidu.com/s/1kTpA1GN密码:1pz5
C标准库(英文版) :
http://pan.baidu.com/s/1kTghbMn密码:qntp
C和C++安全编码 :
http://pan.baidu.com/s/1eQiZd1S密码:jwc7
清华大学计算机系列教材:数据结构(C++语言版)(第3版) :
http://pan.baidu.com/s/195DOa密码:ugee
C++ Primer(中文版)(第5版) :
http://pan.baidu.com/s/1eQAdygU密码:6mhv
C++ Primer Plus中文版(第6版) :
http://pan.baidu.com/s/1kTnzgsZ密码:5g91
C++ GUI Qt 4编程(第2版) :
http://pan.baidu.com/s/1gd7jl4J
深入理解C++11 C++11新特性解析与应用 :
http://pan.baidu.com/s/1bn1lDW7密码:5t8c
深入浅出MFC :
http://pan.baidu.com/s/168jmO
超越C++标准库:Boost库导论 :
http://pan.baidu.com/s/1mlTuj
Beyond the C++ Standard Library :
http://pan.baidu.com/s/1DWm26
Real-Time C++ :
http://pan.baidu.com/s/1ceXok密码:7qqy
C++编码规范 :
http://pan.baidu.com/s/1j4cz0
深度探索C++对象模型 :
http://pan.baidu.com/s/1eewVI
C++沉思录 :
http://pan.baidu.com/s/1kkaue
Advanced C++ :
http://pan.baidu.com/s/1G9QB
C++设计新思维 :
http://pan.baidu.com/s/1oTIt9
C++ Templates :
http://pan.baidu.com/s/1FYekK
Exceptional C++ Style :
http://pan.baidu.com/s/1zJdK0
More Exceptional C++(英文) :
http://pan.baidu.com/s/19S106
More Exceptional C++ :
http://pan.baidu.com/s/1onLiA
Exceptional C++ :
http://pan.baidu.com/s/17kBwt
Exceptional C++(英文) :
http://aalmos.kaniserver.net/doc/cpp/Exceptional%20C%2B%2B.pdf
More Effective C++ :
http://pan.baidu.com/s/11KVWY
Effective STL(英文) :
http://pan.baidu.com/s/1cc4vP
Effective STL :
http://pan.baidu.com/s/1zdgwP
Effective C++ 第三版(英文) :
http://ptgmedia.pearsoncmg.com/images/9780321334879/samplepages/0321334876.pdf
Effective C++ 第三版 :
http://pan.baidu.com/s/11eYtj
C++程序设计原理与实践 :
http://pan.baidu.com/s/1BZM
C++ Primer 第五版 (英文) :
http://pan.baidu.com/s/1iihPU
Accelerated C++中文版 :
http://pan.baidu.com/s/1uZvj8
C++编程思想第二版第二卷 :
http://pan.baidu.com/s/1j4cvn
C++编程思想第二版第一卷 :
http://pan.baidu.com/s/1mlSRq
C++ Primer 第四版 :
http://pan.baidu.com/s/19m4hD
The C++ Standard Library 2nd :
http://pan.baidu.com/s/1bw6wa
C++标准库(第一版) :
http://pan.baidu.com/s/1utxlw
C++ Concurrency in Action :
http://www.engcomputacaopucgo.com/arquivos/Materiais/Sistemas%20Operacionais/progconcCPP.pdf
Inside the C++ Object Model :
http://pan.baidu.com/s/1BovpS
C++语言的设计与演化 :
http://pan.baidu.com/s/1DWleJ
C++编程思想第二卷 :
http://pan.baidu.com/s/1j4cvn
C++编程思想第一卷 :
http://pan.baidu.com/s/1mlSRq
The C++ Programming Language第四版 :
http://pan.baidu.com/s/1GEbux
C++程序设计语言(特别版) :
http://pan.baidu.com/s/120Tin
Clojure
Clojure编程乐趣 :
http://pan.baidu.com/s/1nahTc密码:r55a
Clojure程序设计(英文) :
http://pan.baidu.com/s/1pavaE密码:vm6p
C#
Windows CE(C#)嵌入式应用开发 :
http://pan.baidu.com/s/1hqipiJy密码:649k
CLR via C#(第3版) :
http://pan.baidu.com/s/1gdJ4VQz密码:ameb
C#入门经典(第5版) :
http://pan.baidu.com/s/1qWPYkLA密码:ymob
C#深入详解:百问•百答•百例 :
http://pan.baidu.com/s/1pmV4E密码:wib5
深入理解C#(第2版) :
http://pan.baidu.com/s/1o6pvBb8密码:esel
C#本质论(第3版) :
http://pan.baidu.com/s/1ntLlIEd
WPF编程宝典 使用C#2012和.NET 4.5(第4版) :
http://pan.baidu.com/s/1i3FmBmX
C#高级编程(第8版) :
http://pan.baidu.com/s/1o6mCfqi密码:hsxe
C#图解教程(第4版) :
http://pan.baidu.com/s/1i3HUz69密码:bv6w
C#设计模式 :
http://pan.baidu.com/s/1i3qQcsP
C#本质论(第2版) :
http://pan.baidu.com/s/1c0vJWty
程序员突击 VISUAL C#2008原理与系统开发 :
http://pan.baidu.com/s/1ntoadWd密码:g4xh
数据结构与算法(C#语言版)(影印版) :
http://pan.baidu.com/s/1iWK70
Visual C#2008从入门到精通 :
http://pan.baidu.com/s/1dDII5Qp
DSL
实现领域驱动设计 :
http://pan.baidu.com/s/1eQ9oEEQ 密码:5afb
领域专用语言实战(英文版) :
http://pan.baidu.com/s/1mVEDP
GO语言
Go语言编程 :
http://pan.baidu.com/s/1lC8ZL
h t m l
图灵程序设计丛书 HTML5权威指南 :
http://pan.baidu.com/s/1ntI3XKd 密码:6cy5
精彩绝伦的CSS :
http://pan.baidu.com/s/1ntuMtfF
论道HTML5 :
http://pan.baidu.com/s/1i3wqyZN
CSS Web设计高级教程(第2版) :
http://pan.baidu.com/s/1bnkqGaz
HTML5秘籍 :
http://pan.baidu.com/s/1rJX3S
Head First HTML5 Programming(英文版) :
http://pan.baidu.com/s/1c047fMg 密码:euot
图灵程序设计丛书 HTML5程序设计(第2版) :
http://pan.baidu.com/s/1gdecBfH
HTML5移动Web开发指南 :
http://pan.baidu.com/s/1pJyfdPp 密码:sqs1
写给Web开发人员看的HTML5教程 :
http://pan.baidu.com/s/1sj1yMnj 密码:j1sz
王志刚作品系列 HTML5移动开发即学即用(双色) :
http://pan.baidu.com/s/1c0f4E9y 密码:p71a
HTML5与CSS3实战指南 :
http://pan.baidu.com/s/1jGJoarW 密码:bgqe
Web编程入门经典 HTML、XHTML和CSS(第2版) :
http://pan.baidu.com/s/1kTwRsLT
响应式Web设计 HTML5和CSS3实战 :
http://pan.baidu.com/s/1zPFYR
CSS权威指南 第3版 :
http://pan.baidu.com/s/1ouzXt
HTML5揭秘 :
http://pan.baidu.com/s/1GeJPL
HTML5敏捷实践 :
http://pan.baidu.com/s/13SyXl 密码:4jwb
IOS
iOS应用开发攻略 :
http://pan.baidu.com/s/1sj0KGXn 密码:mo07
iOS 4实战 iPhone与iPad应用开发 :
http://pan.baidu.com/s/1c05oYcC 密码:pndw
iPhone 4与iPad开发基础教程 :
http://pan.baidu.com/s/1eQ9U87K 密码:q3xi
iPhone开发秘籍(第2版) :
http://pan.baidu.com/s/1mguPn64 密码:5sqy
Iphone3开发基础教程 :
http://pan.baidu.com/s/1dDtbD9R 密码:wrff
Beginning iPad Application Development :
http://pan.baidu.com/s/1o6uLkcq 密码:0zxr
精通iOS开发(第5版) :
http://pan.baidu.com/s/1kTju1WN 密码:6yxf
Objective-C程序设计 第4版 :
http://pan.baidu.com/s/1Gdulr 密码:lmgx
黑客攻防技术宝典. iOS实战篇(英文版) :
http://pan.baidu.com/s/1qZBFo
IT文化
黑客 计算机革命的英雄 :
http://pan.baidu.com/s/1dD69k57
图灵的秘密 他的生平、思想及论文解读 :
http://pan.baidu.com/s/1jGIAlpW
别逗了,费曼先生 :
http://pan.baidu.com/s/1qW4RBWw密码:hf2h
编程人生 15位软件先驱访谈录 :
http://vdisk.weibo.com/lc/3UlAHKgT3fnUQH8Fw9n密码:O86R
编码 隐匿在计算机软硬件背后的语言 :
http://pan.baidu.com/s/1kT2ZUS3密码:eyst
淘宝技术这十年 :
http://vdisk.weibo.com/lc/3UlAHKgT3fnPiwDo2LH密码:R72J
程序员的思维修炼 开发认知潜能的九堂课 :
http://pan.baidu.com/s/1mg6YYpy
图灵程序设计丛书 代码的未来 :
http://pan.baidu.com/s/1i3BO0Sl密码:gbl5
深入理解计算机系统 :
http://pan.baidu.com/s/1szseH
程序员的职业素养 :
http://pan.baidu.com/s/1tfqjK
七周七语言 :
http://pan.baidu.com/s/13n4Bh
松本行弘的程序世界 :
http://pan.baidu.com/s/1eQZcL
信息简史(英文版) :
http://pan.baidu.com/s/1e2DG密码:t40r
浪潮之巅 :
http://pan.baidu.com/s/1tHlvT
黑客与画家 :
http://pan.baidu.com/s/11OweH
JavaScript
高流量网站CSS开发技术 :
http://pan.baidu.com/s/1sjydIPZ
深入浅出CoffeeScript :
http://pan.baidu.com/s/1gdEDiIv
Node Web开发 :
http://pan.baidu.com/s/1mg7HvxY
Node学习指南 :
http://pan.baidu.com/s/1kTDOuof 密码:qh74
JavaScript启示录 :
http://pan.baidu.com/s/1sjqB5lN 密码:63gv
JavaScript权威指南(第5版) :
http://pan.baidu.com/s/1mgDgr8k 密码:sn27
JavaScript设计模式 :
http://pan.baidu.com/s/1bngUgk3 密码:ph2e
HTML5从入门到精通 :
http://pan.baidu.com/s/1jGxAM3O 密码:ftbl
O’Reilly精品图书系列 JavaScript权威指南(第6版) :
http://pan.baidu.com/s/1bnGLVH1 密码:qssh
HTML5游戏开发 :
http://pan.baidu.com/s/1b622y 密码:ph56
JavaScript DOM编程艺术(第2版) :
http://pan.baidu.com/s/1eQkRI18 密码:27ik
jQuery权威指南 :
http://pan.baidu.com/s/1qWFF04G 密码:4st1
jQuery攻略 :
http://pan.baidu.com/s/1dD9qsxj 密码:s5sj
犀利开发 jQuery内核详解与实践 :
http://pan.baidu.com/s/1dD02O6H 密码:ii54
JavaScript高级程序设计(第2版) :
http://pan.baidu.com/s/1qWDDCcc 密码:dqes
jQuery用户界面库学习指南 :
http://pan.baidu.com/s/1eQqrxGe 密码:jrx9
JavaScript宝典(第6版) :
http://pan.baidu.com/s/1mg1A2Ac 密码:4rbm
JavaScript王者归来 :
http://pan.baidu.com/s/1dDACpjV 密码:u1ny
JavaScript高级应用与实践 :
http://pan.baidu.com/s/1sj4iivV 密码:dtc2
精通JavaScript :
http://pan.baidu.com/s/1hqqnvak 密码:i5pg
JavaScript语言精粹(修订版) :
http://pan.baidu.com/s/1goXFg
Node.js高级编程 :
http://pan.baidu.com/s/1bnf6V4z 密码:8035
JavaScript修炼之道 :
http://pan.baidu.com/s/1cPgZD
JavaScript DOM编程艺术 第2版 :
http://pan.baidu.com/s/1EcSEK
编写可维护的JavaScript :
http://pan.baidu.com/s/19ZgXa 密码:69xu
JavaScript高级程序设计3 :
http://pan.baidu.com/share/link?shareid=4053513680&uk=1393436891
了不起的Node.js:将JavaScript进行到底(英文) :
http://vdisk.weibo.com/lc/3UlAHKgT3fnPihAYFFX 密码:Q5MK
用AngularJS开发下一代Web应用(英文) :
http://pan.baidu.com/s/17oHAn
jQuery基础教程(第2版) :
http://pan.baidu.com/s/1eOj4K
JavaScript异步编程 :
http://pan.baidu.com/s/1qZbQg
Linux
Linux/UNIX系统编程手册 :
http://vdisk.weibo.com/lc/3UlAHKgT3fmzVCtwDwF密码:ISN3
Linux Shell脚本攻略 :
http://pan.baidu.com/s/1hqmOrU8
UNIX网络编程(卷1) 套接字联网API(第3版) :
http://pan.baidu.com/s/1qWjkoAK
Linux程序设计(第4版) :
http://pan.baidu.com/s/1c0gkSRQ
LINUX设备驱动程序(第3版) :
http://pan.baidu.com/s/1EKRXc
Linux命令行与shell脚本编程大全(第2版) :
http://pan.baidu.com/s/1ntLQai1
深入理解LINUX内核(第3版)(涵盖2.6版) :
http://pan.baidu.com/s/1qWAU4Lu密码:xm2q
Linux内核完全注释 :
http://pan.baidu.com/s/168wL8
A Practical Guide to Linux Commands Editors and Shell Programming :
http://pan.baidu.com/s/1pDzfu
鸟哥的Linux私房菜-基础学习篇 :
http://pan.baidu.com/s/1oX0MC
鸟哥的linux私房菜-服务器架设 :
http://pan.baidu.com/s/1JVcJ
MAC
Mac功夫 :
http://pan.baidu.com/s/11RAcz
Oracle
Oracle核心技术(英文) :
http://pan.baidu.com/s/1tefu5密码:fsn5
Perl
Perl语言入门(中文版)(第6版) :
http://pan.baidu.com/s/1c0zNGLM
Python
Python黑帽子:黑客与渗透测试编程之道 :
http://pan.baidu.com/s/1mhv22c4 密码:pa75
易学Python :
http://pan.baidu.com/s/1gdn8ga3 密码:z7xk
Python标准库 :
http://pan.baidu.com/s/1EM0ge 密码:q500
Python编程(上下)(影印版)(第4版) :
http://pan.baidu.com/s/1mg9ItkO 密码:9nqg
Python灰帽子 黑客与逆向工程师的Python编程之道 :
http://pan.baidu.com/s/1jGiIfDc 密码:i3os
Python自然语言处理(影印版) :
http://pan.baidu.com/s/1c06ARle 密码:4yk8
Python高级编程 :
http://pan.baidu.com/s/1b6NyI 密码:mr8t
Python UNIX和Linux系统管理指南 :
http://pan.baidu.com/s/1i3E8mHZ 密码:vfyx
Python源码剖析 深度探索动态语言核心技术 :
http://pan.baidu.com/s/1pJ369n1 密码:1u5h
趣学Python编程 :
http://pan.baidu.com/s/1mglvlPm 密码:bs6q
利用Python进行数据分析 :
http://vdisk.weibo.com/lc/3UlAHKgT3fmzUSAgScx 密码:A9JW
像计算机科学家一样思考Python :
http://pan.baidu.com/s/1kTiE1xH 密码:uemk
Python参考手册(第4版) :
http://pan.baidu.com/s/1jG5bdSM 密码:194a
与孩子一起学编程 :
http://pan.baidu.com/s/1o6O5MmY 密码:yl2g
Python Cookbook(第2版)中文版 :
http://pan.baidu.com/s/1jGyp6jc 密码:llsy
重视大脑的学习指南 Head First Python(中文版) :
http://pan.baidu.com/s/1c0cNd9e 密码:rba6
Python学习手册(第4版) :
http://pan.baidu.com/s/1ntCw7Vj 密码:l4p4
Python基础教程(第2版) :
http://pan.baidu.com/s/1gdgeKT1 密码:dfrp
Python学习手册(第3版) :
http://pan.baidu.com/s/1mgDe4QG 密码:nzji
Python核心编程(第2版) :
http://pan.baidu.com/s/1kT9IPBx 密码:5n2w
PHP
Learning PHP设计模式 :
http://pan.baidu.com/s/1jGun6ku 密码:ud6q
PHP5权威编程 :
http://pan.baidu.com/s/1kT8y1Pd 密码:pb1c
Head First PHP & MySQL(中文版) :
http://pan.baidu.com/s/1hqsTWkk
计算机科学丛书 Php和Mysql Web开发(原书第4版) :
http://pan.baidu.com/s/1o66oTQE 密码:6dy8
Processing
Processing语言权威指南 :
http://pan.baidu.com/s/1dDf2VnV 密码:r1qy
爱上Processing :
http://pan.baidu.com/s/1i3A2RXz 密码:imlt
Ruby
Ruby Programming 向Ruby之父学程序设计(第2版) :
http://pan.baidu.com/s/1jGI9TRo 密码:77zb
Ruby从入门到精通 :
http://pan.baidu.com/s/1pJjnP0J 密码:g0p2
Ruby on Rails Web开发之旅 :
http://pan.baidu.com/s/1pJAYinh 密码:cb5z
Programming Ruby(中文版)(第2版) :
http://pan.baidu.com/s/1hqsUKa4
R和Ruby数据分析之旅 :
http://pan.baidu.com/s/1c0tcTkW
Ruby元编程 :
http://pan.baidu.com/s/1ntHLW5z
松本行弘的程序世界 :
http://pan.baidu.com/s/1eQZcL
R语言
数据挖掘与R语言 :
http://vdisk.weibo.com/lc/3UlAHKgT3fnPevlgib9密码:UXB4
R语言技术手册(第2版) :
http://pan.baidu.com/s/1c0iSIVQ密码:46pf
R语言编程艺术 :
http://pan.baidu.com/s/1jAF9Q
Scala
Scala编程 :
http://pan.baidu.com/s/1BZ5E1
Unix
UNIX环境高级编程(第3版)(英文版) :
http://pan.baidu.com/s/1sjt1Wz7 密码:0b5g
UNIX环境高级编程(第2版) :
http://pan.baidu.com/s/1dDjHbGl 密码:o6cm
传世经典书丛 UNIX编程艺术 :
http://pan.baidu.com/s/1hqsoW1e
Unix网络编程第一卷 :
http://pan.baidu.com/s/1oX2n0
web
大型网站技术架构:核心原理与案例分析 :
http://pan.baidu.com/s/1ntGAKfn密码:yrxj
点石成金 访客至上的网页设计秘笈(原书第2版) :
http://pan.baidu.com/s/1ntyRsdr
社交网站的数据挖掘与分析 :
http://pan.baidu.com/s/1pJM3KE3
网络、群体与市场 揭示高度互联世界的行为原理与效应机制 :
http://pan.baidu.com/s/1hqh07be
大巧不工 Web前端设计修炼之道 :
http://pan.baidu.com/s/1dDj8zzN密码:cpuw
编写高质量代码 Web前端开发修炼之道 :
http://pan.baidu.com/s/1sjtZtk5密码:xy7q
SEO必知必会51技 :
http://pan.baidu.com/s/1bnF0719密码:pkvc
Web标准之道 博客园精华集 :
http://pan.baidu.com/s/1o6rx898密码:2bu9
高性能网站建设指南 :
http://pan.baidu.com/s/1qW12Qza密码:a1zm
CSS商业网站布局之道 :
http://pan.baidu.com/s/1gdCA9Ir密码:drwn
黑客攻防技术宝典 Web实战篇 第2版 :
http://pan.baidu.com/s/1xhR1X
Web之困:现代Web应用安全指南(英文) :
http://pan.baidu.com/s/1vdkDo密码:3nok
Windows
Windows内核原理与实现 :
http://pan.baidu.com/s/1ntuNkW5密码:t1b5
Windows内核情景分析:采用开源代码ReactOS(上、下册) :
http://pan.baidu.com/s/1ntwjf4X密码:i3lc
Windows核心编程(第5版) :
http://pan.baidu.com/s/1o6O5O5k
COM技术内幕 :
http://pan.baidu.com/s/17Utww
Windows via C/C++ :
http://pan.baidu.com/s/1CDYZR
深入浅出MFC :
http://pan.baidu.com/s/168jmO
天书夜读:从汇编语言到Windows内核编程 :
http://pan.baidu.com/s/18AdMc
程序员的自我修养 :
http://pan.baidu.com/s/1ehNwC
Windows环境下32位汇编语言程序设计 :
http://pan.baidu.com/s/1dObO
云计算
Windows Azure实战 :
http://pan.baidu.com/s/1sj0LQvb 密码:qrpv
腾云 云计算和大数据时代网络技术揭秘 :
http://pan.baidu.com/s/1sj75yTf
互联网
周鸿祎自述:我的互联网方法论 :
http://pan.baidu.com/s/1qWqMggs密码:2pty
世界是数字的 :
http://pan.baidu.com/s/1bnclajl
推荐系统实践 :
http://pan.baidu.com/s/1gdBoJdD密码:jk7o
写给大家看的设计书(第3版) :
http://pan.baidu.com/s/1o66qGw6密码:d95h
Mahout实战 :
http://pan.baidu.com/s/1kT6vYWv密码:7uev
大数据时代 生活、工作与思维的大变革} :
http://pan.baidu.com/s/1mgM99c0密码:rkob
数据之美:一本书学会可视化设计 :
http://pan.baidu.com/s/1c0qvl4W密码:9tnh
3D打印 从想象到现实 :
http://pan.baidu.com/share/link?shareid=2942795639&uk=1946328480
人人都是产品经理 Version 1.1 :
http://pan.baidu.com/s/1bnrdi6j
移动浪潮 移动智能如何改变世界 :
http://pan.baidu.com/s/1gpMUi
深入浅出数据分析 :
http://pan.baidu.com/s/1ntAvsFn密码:t9a3
如何创造思维 人类思想所揭示出的奥秘 :
http://pan.baidu.com/s/1dDeMWPb密码:3ah1
大数据•互联网大规模数据挖掘与分布式处理 :
http://pan.baidu.com/s/1jGLWhQe密码:qu74
互联网进化论 :
http://pan.baidu.com/s/1hq9O6dm
结网 互联网产品经理改变世界 :
http://pan.baidu.com/s/1nE03S
SEO的艺术 原书第2版 :
http://pan.baidu.com/s/19tj7E
人工智能
哥德尔、艾舍尔、巴赫 集异璧之大成 :
http://vdisk.weibo.com/lc/3UlAHKgT3fnURBXHqGN 密码:EWOF
信息安全
0day安全 软件漏洞分析技术(第2版) :
http://pan.baidu.com/s/1sjLd2fr 密码:4hew
Reversing 逆向工程揭密 :
http://pan.baidu.com/s/1jG2uQ9o 密码:5xe9
线上幽灵 世界头号黑客米特尼克自传 :
http://pan.baidu.com/s/1hqwXFXM 密码:9a6t
社会工程 安全体系中的人性漏洞(英文) :
http://pan.baidu.com/s/1zkSpL 密码:qj5t
黑客攻防技术宝典 Web实战篇 第2版 :
http://pan.baidu.com/s/1xhR1X
Rootkit:系统灰色地带的潜伏者(英文) :
http://pan.baidu.com/s/1BY2rH
Metasploit渗透测试魔鬼训练营 :
http://pan.baidu.com/s/11iWPT
数学
数学之美(第二版) :
http://pan.baidu.com/s/1o6jyCga密码:7cwn
MATLAB之父 教你编程 :
http://pan.baidu.com/s/1mg0phv6密码:ckw2
图灵计算机科学丛书•具体数学 计算机科学基础(第2版) :
http://pan.baidu.com/s/1o6sbNcA
程序员的数学 :
http://pan.baidu.com/s/1hqVN
数据库
Hadoop实战(第2版) :
http://pan.baidu.com/s/1mgyTmAW 密码:d660
Hadoop实战 :
http://pan.baidu.com/s/1gdrBQRT 密码:1qik
高性能MySQL(第3版) :
http://pan.baidu.com/s/1gdut3LD 密码:pv2w
深入学习MongoDB :
http://pan.baidu.com/s/1eQgiebS 密码:bgsd
深入浅出JavaScript :
http://pan.baidu.com/s/1ntCxNFr 密码:n1tk
MongoDB权威指南(第2版) :
http://vdisk.weibo.com/lc/3UlAHKgT3fnPiY6U0GV 密码:Y1UH
Effective MySQL之SQL语句最优化 :
http://pan.baidu.com/s/1pJpsJSv
Hadoop基础教程 :
http://pan.baidu.com/s/1kTE3wJd
谁说菜鸟不会数据分析(入门篇)(全彩) :
http://pan.baidu.com/s/1ntBHxaT
SQL反模式 :
http://pan.baidu.com/s/1eQIa5bW
Hadoop权威指南(第2版)(修订•升级版) :
http://pan.baidu.com/s/1hqmOrJY
NoSQL精粹(英文) :
http://pan.baidu.com/s/1iUHql
MySQL必知必会 :
http://pan.baidu.com/s/1CGV1R
易语言
中文编程 从入门到精通(附光盘1张) :
http://pan.baidu.com/s/1jGFltDO
汇编
C++反汇编与逆向分析技术揭秘 :
http://pan.baidu.com/s/1sjr0gWH密码:u6lb
汇编语言(第3版) :
http://pan.baidu.com/s/1pJLf7nl
Windows环境下32位汇编语言程序设计 :
http://pan.baidu.com/s/1dObO
测试
Google软件测试之道(英文) :
http://pan.baidu.com/s/15pxQX 密码:xzx6
游戏
Android 3D游戏开发技术详解与典型案例 :
http://pan.baidu.com/s/1dHCvW 密码:4i3q
C++游戏编程 :
http://pan.baidu.com/s/1pJwTNTp 密码:vjop
游戏之旅 我的编程感悟 :
http://pan.baidu.com/s/1sj6QZId
游戏改变世界 游戏化如何让现实变得更美好 :
http://pan.baidu.com/s/1vQtHW
游戏引擎架构 :
http://pan.baidu.com/s/1jGHTeAU
算法
数据结构与算法分析 C++语言描述(第2版) :
http://vdisk.weibo.com/lc/3UlAHKgT3fnUQ8Jai1n密码:M4QG
大话数据结构 :
http://pan.baidu.com/s/1qWHakSc
算法导论(原书第3版) :
http://pan.baidu.com/s/1mgG5icw密码:t3hn
编程珠玑(第2版) :
http://pan.baidu.com/s/1hqxDpOC
网络
软件定义网络(英文) :
http://pan.baidu.com/s/1qWxzNI0
图灵程序设计丛书 图解TCP/IP(第5版) :
http://pan.baidu.com/s/1pJnVZBH
深入理解Nginx 模块开发与架构解析 :
http://pan.baidu.com/s/1bnFyNeR
HTTP权威指南 :
http://pan.baidu.com/s/1AaryK 密码:er4s
职场
程序员的职业素养 :
http://pan.baidu.com/s/1thYjW 密码:rl31
我编程,我快乐 程序员职业规划之道 :
http://pan.baidu.com/s/1c0b2Ycw 密码:453u
走出软件作坊(IT人升职必备) :
http://pan.baidu.com/s/1o6z4SaA 密码:jlos
程序员面试宝典(第4版) :
http://pan.baidu.com/s/1bnGfEMV
你早该这么玩Excel :
http://pan.baidu.com/s/1gdBn8eJ
别告诉我你懂PPT :
http://pan.baidu.com/s/1qWlSKBa
软件工程
PPT,要你好看 :
http://pan.baidu.com/s/1o6AIllC密码:47pd
大数据:正在到来的数据革命,以及它如何改变政府、商业与我们的生活 :
http://pan.baidu.com/s/1bnhJlmB密码:onz0
架构之美 :
http://pan.baidu.com/s/1bnzRXKz
测试驱动开发 实战与模式解析 :
http://pan.baidu.com/s/1hqh0ASc
设计心理学 :
http://pan.baidu.com/s/1pJwfw8b
敏捷软件开发(原则模式与实践) :
http://pan.baidu.com/s/1eQ5RhIU
计算机科学概论 :
http://pan.baidu.com/s/1dDACA2H密码:x3j7
大象 Thinking in UML(第2版) :
http://pan.baidu.com/s/1eQtEVg2
高效程序员的45个习惯 敏捷开发修炼之道 :
http://pan.baidu.com/s/1pJsaE9t
企业应用架构模式 :
http://pan.baidu.com/s/1dDh5FNF
人件(第2版) :
http://pan.baidu.com/s/1qWEZmcG
修改代码的艺术 :
http://pan.baidu.com/s/1dDy2181密码:oeqj
计算机程序设计艺术 卷3 排序与查找(英文版•第2版) :
http://pan.baidu.com/s/1hqqSW1u
代码整洁之道 :
http://pan.baidu.com/s/1i3BjDsT
编译原理(第2版) :
http://pan.baidu.com/s/1kTsOHM3
人月神话 :
http://vdisk.weibo.com/lc/3UlAHKgT3fnUQZMrLQt密码:X3F5
代码大全(第2版) :
http://pan.baidu.com/s/1kTt4CBH
七周七语言 理解多种编程范型 :
http://pan.baidu.com/s/1jGsjUWQ
程序员的自我修养 链接、装载与库 :
http://pan.baidu.com/s/1eQdyZbc
程序员修炼之道 从小工到专家 :
http://pan.baidu.com/s/1sjsB9U1
计算机程序的构造和解释(原书第2版) :
http://vdisk.weibo.com/lc/3UlAHKgT3fnPf15k58h密码:WKYI
大规模并行处理器编程实战(第2版) :
http://pan.baidu.com/s/1ntsdPHn密码:v97e
重构与模式(修订版) :
http://pan.baidu.com/s/1kTLnLK7
编程语言实现模式 :
http://pan.baidu.com/s/129pRg
重构 改善既有代码的设计 :
http://pan.baidu.com/s/1bnmYlkV
HeadFirst软件开发(中文版) :
http://pan.baidu.com/s/1mgnvI6c
HeadFirst设计模式(中文版) :
http://pan.baidu.com/s/1c0kXsBY密码:131f
梦断代码 :
http://pan.baidu.com/s/1Fwo1k
设计模式:可复用面向对象软件的基础 :
http://pan.baidu.com/s/1y0T7M
Java爬虫_资源网站爬取实战的更多相关文章
- java爬虫系列第二讲-爬取最新动作电影《海王》迅雷下载地址
1. 目标 使用webmagic爬取动作电影列表信息 爬取电影<海王>详细信息[电影名称.电影迅雷下载地址列表] 2. 爬取最新动作片列表 获取电影列表页面数据来源地址 访问http:// ...
- Java爬虫——B站弹幕爬取
如何通过B站视频AV号找到弹幕对应的xml文件号 首先爬取视频网页,将对应视频网页源码获得 就可以找到该视频的av号aid=8678034 还有弹幕序号,cid=14295428 弹幕存放位置为 h ...
- java爬虫入门--用jsoup爬取汽车之家的新闻
概述 使用jsoup来进行网页数据爬取.jsoup 是一款Java 的HTML解析器,可直接解析某个URL地址.HTML文本内容.它提供了一套非常省力的API,可通过DOM,CSS以及类似于jQuer ...
- Java爬虫框架WebMagic入门——爬取列表类网站文章
初学爬虫,WebMagic作为一个Java开发的爬虫框架很容易上手,下面就通过一个简单的小例子来看一下. WebMagic框架简介 WebMagic框架包含四个组件,PageProcessor.Sch ...
- Python爬虫: "追新番"网站资源链接爬取
“追新番”网站 追新番网站提供最新的日剧和日影下载地址,更新比较快. 个人比较喜欢看日剧,因此想着通过爬取该网站,做一个资源地图 可以查看网站到底有哪些日剧,并且随时可以下载. 资源地图 爬取的资源地 ...
- Python爬虫入门教程 2-100 妹子图网站爬取
妹子图网站爬取---前言 从今天开始就要撸起袖子,直接写Python爬虫了,学习语言最好的办法就是有目的的进行,所以,接下来我将用10+篇的博客,写爬图片这一件事情.希望可以做好. 为了写好爬虫,我们 ...
- 5分钟掌握智联招聘网站爬取并保存到MongoDB数据库
前言 本次主题分两篇文章来介绍: 一.数据采集 二.数据分析 第一篇先来介绍数据采集,即用python爬取网站数据. 1 运行环境和python库 先说下运行环境: python3.5 windows ...
- python爬虫:了解JS加密爬取网易云音乐
python爬虫:了解JS加密爬取网易云音乐 前言 大家好,我是"持之以恒_liu",之所以起这个名字,就是希望我自己无论做什么事,只要一开始选择了,那么就要坚持到底,不管结果如何 ...
- 基于webmagic的种子网站爬取
代码地址如下:http://www.demodashi.com/demo/12175.html 1. 概述 因为无聊,闲来没事做,故突发奇想,爬个种子,顺便学习爬虫.本文将介绍使用Spring/Myb ...
随机推荐
- 使用(Unicode字符)让inline水平元素换行
为了实现上面效果: <dl> <dt>提问:</dt><dd>为什么没有男朋友?</dd> </dl> <dl ...
- C#设计模式之十三代理模式(Proxy)【结构型】
一.引言 今天我们要讲[结构型]设计模式的第七个模式,也是"结构型"设计模式中的最后一个模式,该模式是[代理模式],英文名称是:Proxy Pattern.还是老套路,先从名字 ...
- 史上最完整的PS快捷键(绝对经典)
快速恢复默认值 有些不擅长Photoshop的朋友为了调整出满意的效果真是几经周折,结果发现还是原来的默认效果最好,这下傻了眼,后悔不该当初呀!怎么恢复到默认值呀?试着轻轻点按选项栏上的工具图标,然后 ...
- 用C#操作IIS创建虚拟目录和网站
#region CreateWebsite 添加网站 public string CreateWebSite(string serverID, string serverComment, string ...
- 《天书夜读:从汇编语言到windows内核编程》十 线程与事件
1)驱动中使用到的线程是系统线程,在system进程中.创建线程API函数:PsCreateSystemThread:结束线程(线程内自行调用)API函数:PsTerminateSystemThrea ...
- ASP.NET Core缓存静态资源
背景 缓存样式表,JavaScript或图像文件等静态资源可以提高您网站的性能.在客户端,总是从缓存中加载一个静态文件,这样可以减少对服务器的请求数量,从而减少获取页面及其资源的时间.在服务器端,由于 ...
- Android drawText 做到文字绝对居中
我们在android中经常会遇到自定义一些组件,因为现有的android组件是往往不能满足当下的需求的,今天就给大家介绍一下在自定义组建过程中用到的drawText不居中的问题的解决方案 首先大家看一 ...
- Audio Source组件及相关API
Audio Source:声音组件.需要与 Audio Listener 配合使用,Main Camera 会默认有 Audio Lisetener. Audio Clip:声音片段.指定需要播放的音 ...
- 【深度学习系列】用PaddlePaddle和Tensorflow进行图像分类
上个月发布了四篇文章,主要讲了深度学习中的"hello world"----mnist图像识别,以及卷积神经网络的原理详解,包括基本原理.自己手写CNN和paddlepaddle的 ...
- Tomcat在修改代码后不会自动reload解决办法
1.找到使用的Tomcat安装目录conf配置文件夹下context.xml文件 2.找到<Context>节点,改为<Context reloadable="true&q ...