Java实现简单网页抓取

需求说明：使用Java抓取网页信息，并以字符串的形式返回。

使用Java代码实现：

package net.ibuluo.spider.util;
 
import java.io.IOException;
import java.io.InputStream;
import java.io.InputStreamReader;
import java.io.Reader;
import java.net.MalformedURLException;
import java.net.URL;
 
/**
 * Http工具
 * @author robin zhang
 *
 */
public class HttpUtil {
 
    /**
     * 根据网址抓取网页信息并将之以字符串的形式返回
     * @param urlStr
     *             网址字符串
     * @return
     * @throws MalformedURLException
     */
    public static String getUrl(String urlStr) {
 
        String result = null;
 
        try{
            URL url = new URL(urlStr);
            result = inputStream2String(url.openStream());
        } catch (MalformedURLException e) {
            e.printStackTrace();
        } catch (IOException e) {
            e.printStackTrace();
        }
 
        return result;
    }
 
    /**
     * 读取字节流中的信息，并转为字符串
     * @param inputStream
     *             要读取的字节流
     * @return
     * @throws IOException
     */
    private static String inputStream2String(InputStream inputStream)
                        throws IOException{
        Reader reader = null;
        StringBuilder builder = null;
        try{
            //将字节流转为字符流
            reader = new InputStreamReader(inputStream);
            //创建字符串容器
            builder = new StringBuilder();
            //设置字符流读取长度
            char[] buffer = new char[1024];
            //记录每次读取的长度，主要是为记录最后一次读取的长度
            int offset = 0;
            while((offset=reader.read(buffer)) > 0){
                //将读取的内容转为字符串并放入builder中
                builder.append( new String(buffer, 0, offset) );
            }
            return builder.toString();
        } catch (IOException e) {
            e.printStackTrace();
        }finally{
            if(null != reader){
                reader.close();
            }
        }
        return null;
    }
 
    public static void main(String[] args){
        System.out.println( getUrl("http://www.ibuluo.net/") );
    }
}

以上的内容可以使用一个第三方插件JSoup实现。使用jsoup实现代码如下：

    try {
            Document doc = Jsoup.connect("http://www.baidu.com/").get();
            System.out.println(doc.html());
        } catch (IOException e) {
            e.printStackTrace();
        }

Jsoup更多的用处是在实现html文档的分析上。可以参考Jsoup官方网站。