java 抓取百度根据关键词搜索域名
package baidusearch; import com.sun.glass.ui.SystemClipboard;
import java.util.*;
import java.util.HashMap;
import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStreamReader;
import java.net.*;
import java.util.ArrayList;
import java.util.List;
import java.util.regex.Matcher;
import java.util.regex.Pattern; /**
* 首先客户端口先获取大量的百度的关键词 然后比对关键词信息
*
* @author timeless <834916321@qq.com>
*/
public class getLink { /**
* 获取 title 标签 遍历的时候直接使用就好了
*
* 如果 带着 www 不能访问 就执行 不带者www的
*
* @author timeless<834916321@qq.com>
* @param domain http://www.域名
* @return String title 没获取到则返回空
*/
public static List<String> getLinkArr(String url) {
try {
String charset = "UTF8";
String htmlsource = getHtmlSource(url, charset);
//现在有个问题是 百度的 带参数的练级不可以
List<String> baiduLinkList = getBaiduLink(htmlsource);
//这个地方可以获取重定向之后的
return baiduLinkList;
} catch (IllegalArgumentException ex) {
System.out.println("不合法的参数:" + ex.toString());
return new ArrayList<String>();
}
} /**
* 根据网址返回网页的源码 getHtmlSource
*
* @param htmlUrl 网站url
* @param charset 网站的编码已经获取的网站编码 防止出现乱码
* @return 网站的源代码 这样效率有点底 下个版本要改为 之获取前边的几行就好F
*/
public static String getHtmlSource(String htmlUrl, String charset) {
URL url;
StringBuffer sb = new StringBuffer();
try {
url = new URL(htmlUrl);
URLConnection myurlcon = url.openConnection();
myurlcon.setConnectTimeout(5000);
myurlcon.setReadTimeout(5000);
BufferedReader in = null;
if (!charset.equals("")) {
in = new BufferedReader(new InputStreamReader(myurlcon.getInputStream(), charset));//读取网页全部内容
} else {
in = new BufferedReader(new InputStreamReader(myurlcon.getInputStream()));//读取网页全部内容
}
// 现在有个问题 编码 怎么动态获取编码
String temp;
while ((temp = in.readLine()) != null) {
sb.append(temp);
// System.out.println(temp);
}
in.close();
} catch (ConnectException ex) {
System.out.println("链接异常:" + ex.toString());
} catch (UnknownHostException e) {
System.out.println("未知主机错误:" + e.toString());
} catch (SocketTimeoutException ex) {
System.out.println("读取超时:" + ex.toString());
} catch (MalformedURLException ex) {
System.out.println("你输入的URL格式有问题!请仔细输入:" + ex.toString());
} catch (IOException e) {
System.out.println("io 问题:" + e.toString());
} catch (IllegalArgumentException ex) {
System.out.println("不合法的参数:" + ex.toString());
}
return sb.toString();
} /**
* 获取百度的链接
*/
public static List<String> getBaiduLink(String htmlSource) {
List<String> list = new ArrayList<String>();
try {
//懒惰模式匹配 现在还是有问题的
// String mat = "[\\.|>](([0-9a-z-]+?)\\.(com|cn|cc|net|org|gov|edu|biz|info|tv|pro|name|coop|cc|club|site|xyz|int|ren|co|hk|me|mobi|(net\\.cn)|(gov\\.cn)|(org\\.cn)|(com\\.cn)|(cn\\.com)))[/|<]";
//修正不获取获取域名时候已-开头的
String mat = "[\\.|>](([0-9a-zA-Z]([0-9a-z-])+?)\\.(com|cn|cc|net|org|gov|edu|biz|info|tv|pro|name|coop|cc|club|site|xyz|int|ren|co|hk|me|mobi|(net\\.cn)|(gov\\.cn)|(org\\.cn)|(com\\.cn)|(cn\\.com)))[/|<]";
Pattern pattern = Pattern.compile(mat);
Matcher ma = pattern.matcher(htmlSource);
String link = "";
while (ma.find()) {
link = ma.group(1).toString();
//这个应该改成数组或者link的形式 然后判断是不是已经包含了
if (!link.equals("baidu.com") && !link.equals("bdstatic.com") && !link.equals("baiducontent.com") && !link.equals("taobao.com") && !link.equals("nuomi.com") && !link.equals("alibaba.com")&& !link.equals("qq.com")) {
if (!list.contains(link)) {
list.add(link);
System.out.println(ma.group(0));
}
}
}
} catch (Exception ex) {
System.out.println("执正则表达式获取域名出错" + ex.toString());
}
return list;
}
/**
* 获取重定向之后的链接
*/
private static String getRedirectUrl(String path) throws Exception {
HttpURLConnection conn = (HttpURLConnection) new URL(path).openConnection();
conn.setInstanceFollowRedirects(false);
conn.setConnectTimeout(5000);
return conn.getHeaderField("Location");
} public static void main(String[] args) {// 百度 文件搜索 一般的话最多就 76页 pn 到 750
List<String> list = new ArrayList<String>();
for (int i = 1; i <= 76; i++) {
//第一页不显示pn 选项第二页开始pn=1;
String key = "企业邮箱登录入口";
int pn = i * 10 - 10;
String baiduUrl = "http://www.baidu.com/s?wd=%s&pn=%d&ie=utf-8";
baiduUrl = String.format(baiduUrl, key, pn);
System.out.println(baiduUrl);
List<String> perpageList = getLinkArr(baiduUrl);
for (Iterator<String> iterator = perpageList.iterator(); iterator.hasNext();) {
String next = iterator.next();
if (!list.contains(next)) {//排重
list.add(next);
System.out.println(next);
}
}
System.out.println(list.size());
}
}
}
java 抓取百度根据关键词搜索域名的更多相关文章
- selenium-java web自动化测试工具抓取百度搜索结果实例
selenium-java web自动化测试工具抓取百度搜索结果实例 这种方式抓百度的搜索关键字结果非常容易抓长尾关键词,根据热门关键词去抓更多内容可以用抓google,百度的这种内容容易给屏蔽,用这 ...
- PHP网络爬虫实践:抓取百度搜索结果,并分析数据结构
百度的搜索引擎有反爬虫机制,我先直接用guzzle试试水.代码如下: <?php /** * Created by Benjiemin * Date: 2020/3/5 * Time: 14:5 ...
- java爬取百度首页源代码
爬虫感觉挺有意思的,写一个最简单的抓取百度首页html代码的程序.虽然简单了一点,后期会加深的. package test; import java.io.BufferedReader; import ...
- java 抓取网页图片
import java.io.File; import java.io.FileOutputStream; import java.io.InputStream; import java.io.Out ...
- Python抓取百度百科数据
前言 本文整理自慕课网<Python开发简单爬虫>,将会记录爬取百度百科"python"词条相关页面的整个过程. 抓取策略 确定目标:确定抓取哪个网站的哪些页面的哪部分 ...
- python3 - 通过BeautifulSoup 4抓取百度百科人物相关链接
导入需要的模块 需要安装BeautifulSoup from urllib.request import urlopen, HTTPError, URLError from bs4 import Be ...
- Python——爬取百度百科关键词1000个相关网页
Python简单爬虫——爬取百度百科关键词1000个相关网页——标题和简介 网站爬虫由浅入深:慢慢来 分析: 链接的URL分析: 数据格式: 爬虫基本架构模型: 本爬虫架构: 源代码: # codin ...
- C#.Net使用正则表达式抓取百度百家文章列表
工作之余,学习了一下正则表达式,鉴于实践是检验真理的唯一标准,于是便写了一个利用正则表达式抓取百度百家文章的例子,具体过程请看下面源码: 一:获取百度百家网页内容 public List<str ...
- 用PHP抓取百度贴吧邮箱数据
注:本程序可能非常适合那些做百度贴吧营销的朋友. 去逛百度贴吧的时候,经常会看到楼主分享一些资源,要求留下邮箱,楼主才给发. 对于一个热门的帖子,留下的邮箱数量是非常多的,楼主需要一个一个的去复制那些 ...
随机推荐
- oracle 语句优化
1. 选用适合的ORACLE优化器 ORACLE的优化器共有3种: a. RULE (基于规则) b. COST (基于成本) c. CHOOSE (选择性) 设置缺省的优化器,可 ...
- 394. Coins in a Line
最后更新 一刷. 用数学方法是看是不是3的倍数. 不用数学方法的话要动态规划. 当前玩家,dp[i]行不行取决于dp[i-1]和dp[i-2],代表下一个玩家能不能赢,另一个玩家能赢的话当前就不能赢: ...
- Servlet/jsp 中 获取页面所有传递参数
Enumeration en = request.getParameterNames(); while(en.hasMoreElements()){ String el = en.nextElemen ...
- js发起长轮询获取推送消息
<!DOCTYPE HTML> <html lang="en-US"> <head> <meta charset="UTF-8& ...
- jQuery ajax传递特殊字符参数(例如+)
使用jQuery ajax向后台传递参数para=1+1时后台接收到的参数为para=1 1,解决方案是 使用json传递,代码如下. var url = "/test/check" ...
- ASP.NET- LinkButton 传递多个参数
在使用LinkButton时可能会遇到需要传递多个参数的问题,而LinkButton的用来传递参数的属性commandargument需要传递的是一个string类型的值.因而传递多个参数时需要进行一 ...
- tomcat install on Linux
1)下载apache-tomcat-6.0.10.tar.gz 2)#tar -zxvf apache-tomcat-6.0.10.tar.gz ://解压 3)#cp -R apache-tomca ...
- Linux后门入侵检测工具,附bash漏洞解决方法[转载]
转自:http://blog.jobbole.com/77663/ 官网 ClamAV杀毒软件介绍 ClamAV是一个在命令行下查毒软件,因为它不将杀毒作为主要功能,默认只能查出您计算机内的病毒,但是 ...
- ctrl+z的JAVA实现,借助了命令模式(command pattern)
前些天学习<<JAVA与模式>>,到命令模式时,随带给了一个CTRL+Z案例的实现,想来学习编程这么久,CTRL+Z还没有认真实现过. 因此,借助JAVA与模式里面的源代码,自 ...
- 再次轻度破解EXE文件
在经历股市多年的大起大落.大赚大赔之后.痛定思痛.深切感到在金融市场拼搏.必须建立健全交易纪律守则,严格运行. 这套完整的纪律守则,就是"交易系统". 在很多方面,它与一般的专家系 ...