Socket网络编程--网络爬虫(3)

　　上一小节我们实现了从博客园的首页获取一些用户的用户名，并保存起来。接下来的这一小节我将对每个用户名构建一个用户的博客主页，然后从这个主页获取所有能获取到的网页，网页的格式现在是http://www.cnblogs.com/yourname/p/xxxxxxxx.html以前是http://www.cnblogs.com/youurname/archive/xxxxxxx.html

　　我的做法是把所有用户名处理后得到的一个个url放到一个队列里去，然后每次在这个队列中拿一个url进行解析查找看有没有新的用户。如果有那么把新的用户加入到map中，结束后就从队列中再拿一个url进行判断，查找心得用户。

　　下面这个程序是对前两节进行整理

 #include <stdio.h>
 #include <stdlib.h>
 #include <string.h>
 #include <sys/types.h>
 #include <sys/socket.h>
 #include <unistd.h>
 #include <netdb.h>
 #include <netinet/in.h>
 #include <arpa/inet.h>
 #include <regex.h>//正则表达式
 #include <map>
 #include <string>
 #include <iostream>

 using namespace std;
 #define BUF_SIZE 512

 struct URL
 {
     char host[];
     char url[];//除去域名后的url
 };
 int reptile_regex(char * buf,char *pattern,map<string,int> & user);
 int createSocket(char *hostname,int port);
 int closeSocket(int sockfd);
 int sendHttpRequest(int sockfd,struct URL url);
 int recvHttpRespond(int sockfd,char *ch);

 int main(int argc,char *argv[])
 {
     int sockfd;
     char ch[];//100k
     char pattern[]={};
     struct URL url;
     string str;
     map<string,int> user;//第一个是用户名，第二个保存被加入的次数

     strcpy(url.host,"www.cnblogs.com");
     strcpy(url.url,"/");
     sockfd=createSocket(url.host,);
     sendHttpRequest(sockfd,url);
     recvHttpRespond(sockfd,ch);
     strcpy(pattern,"http://www.cnblogs.com/[[:alnum:]\\-\\_]*");
     reptile_regex(ch,pattern,user);
     map<string,int>::iterator it;
     for(it=user.begin();it!=user.end();++it)
     {
         cout<<it->first<<endl;
     }

     closeSocket(sockfd);
     return ;
 }

 //第一个参数是要匹配的字符串，第二个参数是匹配的规则
 int reptile_regex(char * buf,char *pattern,map<string,int> & user)
 {
     size_t nmatch=;
     regmatch_t pm[];
     regex_t reg;//正则表达式指针
     char * str;
     char ch[];
     int i,j;
     str=buf;
     regcomp(&reg,pattern,);//编译匹配模式
     while(regexec(&reg,str,nmatch,pm,)!=REG_NOMATCH)
     {
         i=pm[].rm_so+;
         for(j=i;j<pm[].rm_eo;++j)
         {
             ch[j-i]=str[j];
         }
         ch[j-i]=;
         string st(ch);
         user[st]++;
         //printf("%d=%s\n",i,substr(buf,pm[i].rm_so,pm[i].rm_eo));
         str=str+pm[].rm_eo;
     }
     regfree(&reg);
     return ;
 }

 int closeSocket(int sockfd)
 {
     close(sockfd);
     return ;
 }

 int createSocket(char *hostname,int port)
 {
     struct sockaddr_in servAddr;
     struct hostent * host;
     int sockfd;
     host=gethostbyname(hostname);
     if(host==NULL)
     {
         perror("dns 解析失败");
     }
     servAddr.sin_family=AF_INET;
     servAddr.sin_addr=*((struct in_addr *)host->h_addr);
     servAddr.sin_port=htons(port);
     bzero(&(servAddr.sin_zero),);

     sockfd=socket(AF_INET,SOCK_STREAM,);
     if(sockfd==-)
     {
         perror("socket 创建失败");
     }

     if(connect(sockfd,(struct sockaddr *)&servAddr,sizeof(struct sockaddr_in))==-)
     {
         perror("connect 失败");
     }
     return sockfd;
 }

 int sendHttpRequest(int sockfd,struct URL url)
 {
     char sendBuf[BUF_SIZE];
     int sendSize;
     //构建一个http请求
     sprintf(sendBuf,"GET %s HTTP/1.1 \r\nHost: %s \r\nConnection: Close \r\n\r\n",url.url,url.host);
     if((sendSize=send(sockfd,sendBuf,BUF_SIZE,))==-)
     {
         perror("send 失败");
     }
     return ;
 }

 int recvHttpRespond(int sockfd,char *ch)
 {
     char recvBuf[BUF_SIZE];
     int recvSize;
     //获取http应答信息
     memset(recvBuf,,sizeof(recvBuf));
     memset(ch,,sizeof(ch));
     while(recvSize=recv(sockfd,recvBuf,BUF_SIZE,)>)
     {
         strcat(ch,recvBuf);
         memset(recvBuf,,sizeof(recvBuf));
     }
     return ;
 }

　　接下来要做的是创建两个队列，一个保存新进来的用户，一个保存新url用来处理的。然后让两个队列一直循环下去。理论上就可以爬到大多数的用户名。如果用上面的程序进行匹配的话，有时候会出现匹配错误的时候，例如有一个用户名是wunaozai，但是在匹配的过程中有时候会有wunao这样的用户名出现，一开始以为是重名，但是后来看了源码发现没有这个用户了，然后多次获取，每次都或多或少会有错误的用户名出现。到底是为什么呢？我把用recv获取到的网页ch这个都打印出来，然后用grep过滤一下，会发现根本没有错，但是就是会匹配错误的用户名。我就接着把网页重定向到一个文件中，然后用vim打开，然后查找一下，然后真相大白了，原来这个文本中有时候会在用户名处有这个符号(^A)，UNIX中ctrl-v ctrl-a可以打印出来，ascii码的值是0x01.哎弄了那么久，导致这篇博客那么晚才发布。在正则中可以用[:cntrl:]进行匹配。这一部分的代码修改比较简单。

　　还有一个问题就是没进行一次连接，都要创建一次socket连接。因为我的HTTP请求中的Connection是Close而不是keep-alive。

　　修改BUG后的网络爬虫程序

 　　... 
 29 int reptile_regex_url(char * buf,char *pattern,map<string,int> & user,queue<string> & qstr);

 int main(int argc,char *argv[])
 {
     int sockfd;
     char ch[];//100k
     char pattern_user[]={};
     char pattern_url[]={};
     struct URL url;
     string str;
     map<string,int> user;//第一个是用户名，第二个保存被加入的次数
     queue<struct URL> qurl;
     queue<string> qstr;

     strcpy(url.host,"www.cnblogs.com");
     strcpy(url.url,"/");
     //
     sockfd=createSocket(url.host,);
     //初始化用户名
     sendHttpRequest(sockfd,url);
     recvHttpRespond(sockfd,ch);
     //printf("%s\n",ch);
     strcpy(pattern_user,"http://www.cnblogs.com/[[:alnum:][:cntrl:]\\-\\_]*");
     reptile_regex_url(ch,pattern_user,user,qstr);
     map<string,int>::iterator it;
     for(it=user.begin();it!=user.end();++it)
     {
         qstr.push(it->first);
         strcpy(url.host,"www.cnblogs.com");
         strcpy(url.url,"/");
         strcat(url.url,it->first.c_str());
         strcat(url.url,"/");
         qurl.push(url);
     }
     //一开始以为是只要创建一次socket然后每次都可以进行send&recv的。但是后来测试好像不行，每次都要进行一次socket的创建
     closeSocket(sockfd);

     while()
     {
         while(!qurl.empty())
         {
             url=qurl.front();
             qurl.pop();
             cout<<"现在正在判断:";
             cout<<url.host<<url.url<<endl;
             //将获取到的地址进行再次获取用户名
             strcpy(url.host,"www.cnblogs.com");
             strcpy(url.url,"/");
             sockfd=createSocket(url.host,);
             sendHttpRequest(sockfd,url);
             recvHttpRespond(sockfd,ch);
             //printf("\n\n\n%s\n",ch);
             strcpy(pattern_user,"http://www.cnblogs.com/[[:alnum:][:cntrl:]\\-\\_]*");
             reptile_regex_url(ch,pattern_user,user,qstr);
             closeSocket(sockfd);
         }
         while(!qstr.empty())
         {
             qstr.pop();
         }
     }
     sendHttpRequest(sockfd,url);
     recvHttpRespond(sockfd,ch);
     strcpy(pattern_url,"http://www.cnblogs.com/[[:alnum:]\\-\\_]*/[[:alnum:]\\-\\_/]*\\.html");
     //reptile_regex(ch,pattern_url,qurl);

     return ;
 }

 //第一个参数是要匹配的字符串，第二个参数是匹配的规则
 int reptile_regex_url(char * buf,char *pattern,map<string,int> & user,queue<string> & qstr)
 {
     size_t nmatch=;
     regmatch_t pm[];
     regex_t reg;//正则表达式指针
     char * str;
     char ch[];
     int i,j,k;
     str=buf;
     regcomp(&reg,pattern,REG_EXTENDED);//编译匹配模式
     while(regexec(&reg,str,nmatch,pm,)!=REG_NOMATCH)
     {
         i=pm[].rm_so+;
         k=;
         memset(ch,,sizeof(ch));
         for(j=i;j<pm[].rm_eo;++j)//这里修改****
         {
             if(str[j]!=0x01) //ctrl-v ctrl-a
             {
                 ch[k++]=str[j];
             }
         }
         string st(ch);
         if(user[st]==)
         {
             cout<<"新加入的用户名:"<<st<<endl;
             qstr.push(st);
         }
         user[st]++;
         str=str+pm[].rm_eo;
     }
     regfree(&reg);
     return ;
 }

 int closeSocket(int sockfd)
 {
     close(sockfd);
     return ;
 }

 int createSocket(char *hostname,int port)
 {
　　　　　　...
     return sockfd;
 }

 int sendHttpRequest(int sockfd,struct URL url)
 {
　　　　　...
     return ;
 }

 int recvHttpRespond(int sockfd,char *ch)
 {
　　　　 ...
     return ;
 }

　　我们从博客园的首页中可以看到最新博客有200页之多。每一页的格式为http://www.cnblogs.com/sitehome/p/1 到 http://www.cnblogs.com/sitehome/p/200 所以我们可以根据这个格式进行获取用户名，一般也是这种方式获取的比较多。

 int main(int argc,char *argv[])
 {
     int sockfd;
     char ch[];//100k
     char pattern_user[]={};
     char pattern_url[]={};
     struct URL url;
     string str;
     map<string,int> user;//第一个是用户名，第二个保存被加入的次数
     queue<struct URL> qurl;
     queue<string> qstr;

     //http://www.cnblogs.com/sitehome/p/1 - 200 //最新博客的200篇
     //初始化用户名
     for(int i=;i<=;++i)
     {
         strcpy(url.host,"www.cnblogs.com");
         strcpy(url.url,"/sitehome/p/");
         char pch[];
         sprintf(pch,"%d",i);
         strcat(url.url,pch);
         strcat(url.url,"/");
         cout<<"当前正在判断:"<<url.host<<url.url<<endl;
         sockfd=createSocket(url.host,);
         sendHttpRequest(sockfd,url);
         recvHttpRespond(sockfd,ch);
         strcpy(pattern_user,"http://www.cnblogs.com/[[:alnum:][:cntrl:]\\-\\_]*");
         reptile_regex_url(ch,pattern_user,user,qstr);

         closeSocket(sockfd);
     }
     map<string,int>::iterator it;
     for(it=user.begin();it!=user.end();++it)
     {
         qstr.push(it->first);
         strcpy(url.host,"www.cnblogs.com");
         strcpy(url.url,"/");
         strcat(url.url,it->first.c_str());
         strcat(url.url,"/");
         qurl.push(url);
     }
     //一开始以为是只要创建一次socket然后每次都可以进行send&recv的。但是后来测试好像不行，每次都要进行一次socket的创建

　　　　... ...
     return ;
 }

　　获取到的用户名如下

　　这一小节到这里就结束了，可以获取用户名了，不过虽然有200页，不过获取来还是很快的。下一节我将对这些用户的关注和粉丝进行用户名的再次提取。然后得到新的用户名，然后再次提取，就这样一直下去。理论上有在博客园活跃过的人都可以爬取的到，想想都激动。(这个是理论，我没敢试，怕管理员找我谈人生和理想。)

　　本文地址: http://www.cnblogs.com/wunaozai/p/3900454.html