linux c++爬虫（一）

 int main(int argc, void *argv[])
 {
     struct epoll_event events[];
     int daemonized = ;
     char ch;
 
     while ((ch = getopt(argc, (char* const*)argv, "vhd")) != -) {
         switch(ch) {
             case 'v':
                 version();
                 break;
             case 'd':
                 daemonized = ;
                 break;
             case 'h':
             case '?':
             default:
                 usage();
         }
     }
 
     g_conf = initconfig();
     loadconfig(g_conf);
 
     set_nofile(); 
 
     vector<char *>::iterator it = g_conf->modules.begin();
     for(; it != g_conf->modules.end(); it++) {
         dso_load(g_conf->module_path, *it);
     } 
 
     if (g_conf->seeds == NULL) {
         SPIDER_LOG(SPIDER_LEVEL_ERROR, "We have no seeds!");
     } else {
         int c = ;
         char ** splits = strsplit(g_conf->seeds, ',', &c, );
         while (c--) {
             Surl * surl = (Surl *)malloc(sizeof(Surl));
             surl->url = url_normalized(strdup(splits[c]));
             surl->level = ;
             surl->type = TYPE_HTML;
             if (surl->url != NULL)
                 push_surlqueue(surl);
         }
     }   
 
     if (daemonized)
         daemonize();
 
     chdir("download"); 
 
     int err = -;
     if ((err = create_thread(urlparser, NULL, NULL, NULL)) < ) {
         SPIDER_LOG(SPIDER_LEVEL_ERROR, "Create urlparser thread fail: %s", strerror(err));
     }
 
     /* waiting seed ourl ready */
     int try_num = ;
     while(try_num <  && is_ourlqueue_empty())
         usleep(( << try_num++));
 
     if (try_num >= ) {
         SPIDER_LOG(SPIDER_LEVEL_ERROR, "NO ourl! DNS parse error?");
     }
 
     /* set ticker  */
     if (g_conf->stat_interval > ) {
         signal(SIGALRM, stat);
         set_ticker(g_conf->stat_interval);
     }
 
     /* begin create epoll to run */
     int ourl_num = ;
     g_epfd = epoll_create(g_conf->max_job_num);
 
     while(ourl_num++ < g_conf->max_job_num) {
         if (attach_epoll_task() < )
             break;
     }
 
     /* epoll wait */
     int n, i;
     while() {
         n = epoll_wait(g_epfd, events, , );
         printf("epoll:%d\n",n);
         if (n == -)
             printf("epoll errno:%s\n",strerror(errno));
         fflush(stdout);
 
         if (n <= ) {
             if (g_cur_thread_num <=  && is_ourlqueue_empty() && is_surlqueue_empty()) {
                 sleep();
                 if (g_cur_thread_num <=  && is_ourlqueue_empty() && is_surlqueue_empty())
                     break;
             }
         }
 
         for (i = ; i < n; i++) {
             evso_arg * arg = (evso_arg *)(events[i].data.ptr);
             if ((events[i].events & EPOLLERR) ||
                 (events[i].events & EPOLLHUP) ||
                 (!(events[i].events & EPOLLIN))) {
                 SPIDER_LOG(SPIDER_LEVEL_WARN, "epoll fail, close socket %d",arg->fd);
                 close(arg->fd);
                 continue;
             }
 
             epoll_ctl(g_epfd, EPOLL_CTL_DEL, arg->fd, &events[i]); /* del event */
 
             printf("hello epoll:event=%d\n",events[i].events);
             fflush(stdout);
             create_thread(recv_response, arg, NULL, NULL);
         }
     }
 
     SPIDER_LOG(SPIDER_LEVEL_DEBUG, "Task done!");
     close(g_epfd);
     return ;
 }

本项目主要进行网页的抓取，上述为主控制模块

 while ((ch = getopt(argc, (char* const*)argv, "vhd")) != -1) {
 
主要作用为命令行参数的解析，根据命令行参数我们判断是一些额外输出信息和以什么方式进行（ps：守护进成）
 

 24     g_conf = initconfig();
 25     loadconfig(g_conf);
 
进行初始化配置，对log配置进行加载，
log配置包含了一些抓取深度，种子，动态库路径等等之类的信息
下面主要是一些需要抓取前加载的配置文件

cur_thread_num.
max_job_num=
seeds=http://www.imeiding.com
logfile=spiderq.log
 
# Set the level to log. The probable values list as follow:
#    DEBUG
#    INFO
#    WARN
#    ERROR
#    CRIT
log_level=
 
max_depth=
 
module_path=/etc/spider/modules/
 
load_module=savehtml
load_module=saveimage
load_module=maxdepth
load_module=domainlimit
load_module=headerfilter
 
# specify which type of resource we accept. Each one a line.
# text/html is accepted default
accept_types=image/jpeg

我们将动态库都存在vector里面，以便后续使用
但是在读取配置文件的时候我们不要忘记字符串的处理，比如，空行，注释行#，空格，=划分等等问题
 
接下来设置守护进程，以便使任务脱离终端控制，
 
创建线程，通过libevent进行dns解析，，开启epoll任务，向epoll中注册事件，模式为ET模式，不断的等待内核中epoll事件的触发并进行处理
 
通过开启线程进行http请求，手写http头部，进行发送给server端一个http请求报文

http协议请求页面时的流程：

1、 输入网址

2、 向DNS发送解析请求

3、 DNS返回给我们一个对应的IP地址

4、 通过IP地址向资源所在的主机发送请求

5、 如果资源存在，主机返回200状态，同时返回数据部分

6、 本地http客户端（一般来说是浏览器）接收数据

7、 得到资源

得到http接受报文的时候，对http接收报文进行解析，解析内部的url并放入队列中，并对http接收报文进行持久化操作