PHP 网页爬虫

只能爬一个页面

<?php
function get_urls($url){  

       $url_array=array();  

       $the_first_content=file_get_contents($url);  

       $the_second_content=file_get_contents($url);  

       $pattern1 = "/http:\/\/[a-zA-Z0-9\.\?\/\-\=\&\:\+\-\_\'\"]+/";  

       $pattern2="/http:\/\/[a-zA-Z0-9\.]+/";  

       preg_match_all($pattern2, $the_second_content, $matches2);  

       preg_match_all($pattern1, $the_first_content, $matches1);  

       $new_array1=array_unique($matches1[0]);  

       $new_array2=array_unique($matches2[0]);  

       $final_array=array_merge($new_array1,$new_array2);  

       $final_array=array_unique($final_array);  

       for($i=0;$i<count($final_array);$i++)  

       {  

          echo $final_array[$i]."<br/>";  

       }  

   }  

    get_urls("http://www.yinghy.com");

?>

<?php 

$string = GetHtmlCode("http://www.yinghy.com");
echo $string;

function GetHtmlCode($url){
    $ch = curl_init();//初始化一个cur对象
    curl_setopt ($ch, CURLOPT_URL, $url);//设置需要抓取的网页
    curl_setopt ($ch, CURLOPT_RETURNTRANSFER, 1);//设置crul参数，要求结果保存到字符串中还是输出到屏幕上
    curl_setopt ($ch, CURLOPT_CONNECTTIMEOUT,1000);//设置链接延迟
    $HtmlCode = curl_exec($ch);//运行curl，请求网页
    return $HtmlCode;
}
function GetAllLink($string) {
      $string = str_replace("\r","",$string);
      $string = str_replace("\n","",$string);
      $regex[url] = "((http|https|ftp|telnet|news):\/\/)?([a-z0-9_\-\/\.]+\.[][a-z0-9:;&#@=_~%\?\/\.\,\+\-]+)";
          $regex[email] = "([a-z0-9_\-]+)@([a-z0-9_\-]+\.[a-z0-9\-\._\-]+)";     

      //去掉网页中的[]
      $string = eregi_replace("\[|\]","",$string);  

          //去掉JAVASCRIPT代码
          $string = eregi_replace("<!--.*//-->","", $string);   

          //去掉非<a>的HTML标签
      $string = eregi_replace("</?[^aA][^<>]*>","",$string);
          //分割$string中的所有链接
      $output = split('</a>', $string);
      for($i=0; $i<count($output); $i++){
         $output_1 = split("<a", $output[$i]);
      }
      return $output_1;
}
function GetUserCareNews ($test,$keywords,$url) {
    $messTxt = "";
    $k=0;
    $key = explode(";",$keywords);  

    //自动为网站加载上http，避免网易邮箱链接错误,有一定的局限性
    if(!ereg("http",$url)){
        $url = "http://".$url;
    }  

    for($i=0; $i<count($test); $i++){
        $test[$i] = eval('return'.iconv('gbk','utf-8',var_export($test[$i],true)).';');//修改编码
        if(ereg("href", $test[$i])  && !ereg("href='#'",$test[$i])){//去掉无效链接
            for($j=0; $j<count($key); $j++){                    //支持多关键字
                if(strpos($test[$i],$key[$j])!==false){
                    $mess[$k++]=ereg_replace($key[$j],"<font color=red>".$key[$j]."</font>", $test[$i]);//高亮关键字
            }
            }
        }
    }
    $mess = array_unique($mess);        //数组去重  

    //处理好发送链接，为链接加上网站根目录
    for($l=0; $l<count($mess); $l++){
        if(!ereg("http",$mess[$l]) && (strlen($mess[$l]) != 0)){//去掉空数组，这步很重要，如果不去掉直接影响后面链接的质量
                $mess[$l] = eregi_replace("href=[\"']","",$mess[$l]);
                $mess[$l] = $url.$mess[$l];
                $mess[$l] = eregi_replace(" /","/",$mess[$l]);
                if(ereg("'",$mess[$l])){
                    $mess[$l]="<a href='".$mess[$l]."</a>";
                }
                if(ereg("\"",$mess[$l])){
                    $mess[$l] = "<a href=\"".$mess[$l]."</a>";
                }
        }
        else{
            $mess[$l] = "<a ".$mess[$l]."</a>";
        }
        $messTxt .= $mess[$l];
        $messTxt .= "<BR>";
    }
    return $messTxt;
}  

function SendEmail($to, $content) {
    //Author:luofei
    //$to 表示收件人地址,$content表示邮件正文内容  

    error_reporting(E_STRICT);                      //错误报告
    date_default_timezone_set("Asia/Shanghai");     //设定时区  

    require_once("class.phpmailer.php");
    require_once("class.smtp.php");  

    $mail = new PHPMailer();                        //新建一个对象
    $mail->CharSet = "UTF-8";                        //设置编码，中文不会出现乱码的情况
    $mail->IsSMTP();                             //设定使用SMTP服务
    $mail->SMTPDebug = 1;                            //启用SMTP调试功能i
                                                    //1 = errors and messages
                                                    //2 = messages only  

    $mail->SMTPSecure = "tls";                       //安全协议
    $mail->Host = "smtp.googlemail.com";         //SMTP服务器
    $mail->SMTPAuth = true;                          //启用SMTP验证功能
    $mail->Username = "username@gmail.com";                 //SMTP服务器用户名
    $mail->Password = "******";                  //SMTP服务器用户密码  

    $mail->From = "username@gmail.com";                    //发件人
    $mail->FromName = "Spider Service";                      //发件人姓名（邮件上显示）  

    $mail->AddAddress($to);                          //收件人地址
    $mail->WordWrap   = 50;                          //设置邮件正文每行的字符数
    $mail->IsHTML(true);                         //设置邮件正文内容是否为html类型  

    $mail->Subject = "来自spider.html的邮件";     //邮件主题
    $mail->Body = "<p>您好！<BR> <p>这是您感兴趣的内容</p> <BR>".$content." ";
                                                    //邮件正文
    if(!$mail->Send())                               //邮件发送报告
    {
       echo "发送邮件错误!";
    }
    else
    {
       echo "邮件发送成功！";
    }
}  

?>