HTTP服务器

1、项目介绍

　　HTTP协议是应用层的面向对象的协议，由于其简捷、快速的方式，适用于分布式超媒体信息系统。协议的详细内容，前面一篇HTTP协议详解已经详细介绍了，这里不再赘述。

　　项目总体描述：HTTP支持客户端/服务器模式，终端用户可通过浏览器或网络爬虫与服务器建立连接，所以首先需要自主实现服务器Server端，具体由头文件httpd.h、main函数文件httpd.c、模块功能函数文件httpd.c组成，主要实现客户端与服务器通过socket建立通信机制。首先由用户主动发起一个到服务器上指定端口（默认端口为80）的请求，服务器则在那个端口监听客户端发送过来的请求。服务器一行一行读取请求，通过请求信息判断用户请求资源的方法和路径，若方法和路径没有问题，则方法和路径通过CGI模式或非CGI向用户提供不同的HTML网页信息。处理完请求客户端向用户发送响应，包括状态行如：“HTTP/1.1 200 OK”、响应报头、消息正文，消息体即为服务器上的资源。

实现功能一：静态首页展示（图片、文字文字信息）；

实现二：支持表单提交，可以借助浏览器或telnet工具使用GET、POST方法访问服务器，实现数据的简单计算功能；

实现三：引入MYSQL，用户可通过页面表单进行数据操作，服务器拿到客户提交的数据后，会把数据存入到远端数据库，客户端也可请求查看数据库信息。

整个项目的文件目录：

目录：
conf：配置文件，存放需要绑定的服务器的ip和port ；
log：shell的日志文件以及http错误处理的日志文件 ；
sql_client：mysql部分的API及CGI实现；
thread_pool：线程池实现；
wwwroot：web服务器工作的根目录，包含各种资源页面（例如默认的index.html页面，差错处理的404页面），以及执行cgi的可执行程序。下面还有一个 cgi-bin目录，是存放CGI脚本的地方。这些脚本使WWW服务器和浏览器能运行外部程序，而无需启动另一个程序。它是运行在Web服务器上的一个程序，并由来自于浏览者的输入触发。

整个项目的框架图：

２、各模块功能介绍

头文件httpd.h，包含该项目代码所使用的全部函数的头文件以及宏定义，和函数声明；

 #ifndef _HTTPD_
 #define _HTTPD_
 
 #include <stdio.h>
 #include <stdlib.h>
 #include <sys/socket.h>
 #include <sys/types.h>
 #include <netinet/in.h>
 #include <arpa/inet.h>
 #include <fcntl.h>
 #include <errno.h>
 #include <string.h>
 #include <unistd.h>
 #include <sys/stat.h>
 #include <sys/wait.h>
 
 #define SUCCESS 0
 #define NOTICE  1
 #define WARNING 2
 #define ERROR   3
 #define FATAL   4
 
 #define SIZE 1024
 
 void print_log(char *msg, int level); //打印日志
 int startup(const char *ip, int  port); //创建监听套接字
 void *handler_request(void *arg);  //处理请求
 
 #endif

main函数文件main.c实现主要通信逻辑，通过socket建立连接的，监听和接受套接字，然后创建新线程处理请求。

 #include <pthread.h>
 #include "httpd.h"
 
 static void usage(const char *proc)
 {
     printf("Usage: %s [local_ip] [local_port]\n", proc);
 }
 
 int main(int argc, char *argv[])
 {
     if(argc != ){
         usage(argv[]);
         return ;
     }
 
     int listen_sock = startup(argv[], atoi(argv[]));//监听套接字
     //daemon(0, 0);
     while(){
         struct sockaddr_in client;
         socklen_t len = sizeof(client);
         int new_sock = accept(listen_sock, (struct sockaddr*)&client, &len);//接收套接字
         if(new_sock < ){
             print_log(strerror(errno), NOTICE);
             continue;
         }
 
         printf("get client [%s:%d]\n",\
                 inet_ntoa(client.sin_addr),\
                 ntohs(client.sin_port)); //链接到一个客户端之后打印其IP及端口号
 
         pthread_t id;
         int ret = pthread_create(&id, NULL,\ //创建新线程
                 handler_request, (void *)new_sock);
         if(ret != ){
             print_log(strerror(errno), WARNING);
             close(new_sock);
         }else{
             pthread_detach(id); //将子线程分离，该线程结束后会自动释放所有资源
         }
     }
     close(listen_sock);
     return ;
 }

模块功能函数在httpd.c文件

 #include "httpd.h"
 
 void print_log(char *msg, int level)
 {
 #ifdef _STDOUT_
     const char * const level_msg[]={
         "SUCCESS",
         "NOTICE",
         "WARNING",
         "ERROR",
         "FATAL",
     };
     printf("[%s][%s]\n", msg, level_msg[level%]);
 #endif
 }
 
 int startup(const char *ip, int  port)  //
 {
     int sock = socket(AF_INET, SOCK_STREAM, );  //创建套接字
     if(sock < ){
         print_log(strerror(errno), FATAL); //strerror()将错误码转换为对应的错误码描述
         exit();
     }
 
     int opt = ;
     setsockopt(sock, SOL_SOCKET, SO_REUSEADDR, &opt, sizeof(opt));  //将该套接字设置为地址复用状态，若服务器挂掉可实现立即重启
 
     struct sockaddr_in local;
     local.sin_family = AF_INET;
     local.sin_port = htons(port);  //端口号转换
     local.sin_addr.s_addr = inet_addr(ip);  //ip转换
     if(bind(sock, (struct sockaddr*)&local, sizeof(local)) < ){  //绑定
         print_log(strerror(errno), FATAL);
         exit();
     }
     if(listen(sock, ) < ){  //监听
         print_log(strerror(errno), FATAL);
         exit();
     }
     return sock;
 }
 
 //ret > 1, line != '\0'读成功,正常字符； ret=1&line='\n'  ret<=0&&line=='\0'
 static int get_line(int sock, char line[], int size)  //得到一行请求内容
 {
     // read 1 char , one by one
     char c = '\0';
     int len = ;
     while( c != '\n' && len < size-){
         int r = recv(sock, &c, , );
         if(r > ){
            if(c == '\r'){
                //窥探，只把缓冲区的东西拿出来看看
                int ret = recv(sock, &c, , MSG_PEEK);
                if(ret > ){
                    if(c == '\n'){
                        recv(sock, &c, , );
                    }else{
                        c = '\n';
                    }
                }
            }// \r->\n \r\n -> \n
            line[len++] = c;
         }else{
             c = '\n';
         }
     }
     line[len]='\0';
     return len;
 }
 //不同平台下\n、\r、\n+\r，意义不同，这里将其统一成\n
 
 static void echo_string(int sock)
 {}
 
 static int echo_www(int sock, char *path, int size)
 {
     int fd = open(path, O_RDONLY);
     if(fd < ){
         echo_string(sock);
         print_log(strerror(errno), FATAL);
         return ;
     }
 
     const char *echo_line="HTTP/1.0 200 OK\r\n";   //状态行
     send(sock, echo_line, strlen(echo_line), );
     const char *null_line="\r\n";
     send(sock, null_line, strlen(null_line), ); //空行
 
     if(sendfile(sock, fd, NULL, size) < ){//在内核区实现两个文件描述符的拷贝，不用定义临时变量，省略两次数据拷贝，效率提高
         echo_string(sock);
         print_log(strerror(errno), FATAL);
         return ;
     }
 
     close(fd);
     return ;
 }
 
 static void drop_header(int sock)
 {
     char line[];
     int ret = -;
     do{
         ret = get_line(sock, line, sizeof(line));
     }while(ret> && strcmp(line, "\n"));
 }
 
 static int exe_cgi(int sock, char *method, \
         char *path, char *query_string)
 {
     int content_len = -;
     char method_env[SIZE/];
     char query_string_env[SIZE];
     char content_len_env[SIZE/];
 
     if( strcasecmp(method, "GET") ==  ){//忽略大小写的字符比较，此处为判断请求资源的方法是否为GET方法
         drop_header(sock);//如果是GET方法则已从URL中知道用户请求资源所传参数
     }else{//POST
         char line[];
         int ret = -;
         do{
             ret = get_line(sock, line, sizeof(line));
             if(ret >  &&\
                strncasecmp(line,"Content-Length: ", )== ){
                 content_len = atoi(&line[]);//消息正文字长描述
             }
         }while(ret> && strcmp(line, "\n"));
         if(content_len == -){
             echo_string(sock);
             return ;
         }
     }
     const char *echo_line="HTTP/1.0 200 OK\r\n";  //状态行
     send(sock, echo_line, strlen(echo_line), );
     const char *type="Content-Type:text/html;charset=ISO-8859-1\r\n";
     send(sock, type, strlen(type), );
     const char *null_line="\r\n";
     send(sock, null_line, strlen(null_line), );  //空行
 
     printf("query_string: %s\n", query_string);
     //path-> exe
     int input[];
     int output[];
     if(pipe(input) <  || pipe(output) < ){
         echo_string(sock);
         return ;
     }
     pid_t id = fork();
     if(id < ){
         echo_string(sock);
         return ;
     }else if(id == ){//child
         close(input[]);
         close(output[]);
         sprintf(method_env, "METHOD=%s", method);
         putenv(method_env);
 
         if(strcasecmp(method, "GET") == ){
             sprintf(query_string_env, "QUERY_STRING=%s", query_string);
             putenv(query_string_env);
         }else{ // POST
             sprintf(content_len_env, "CONTENT_LENGTH=%d", content_len);
             putenv(content_len_env);
         }
         dup2(input[], );//重定向
         dup2(output[], );
         execl(path, path, NULL);  //第一个参数：路径及名字，第二个参数：怎么执行，传什么参数
         printf("execl error!\n");
         exit();
     }else{
         close(input[]);
         close(output[]);
 
         int i = ;
         char c = '\0';
         if(strcasecmp(method, "POST") == ){
             for( ; i < content_len; i++ ){
                 recv(sock, &c, , );
                 write(input[], &c, );
             }
         }
 
         c='\0';
         while(read(output[], &c, ) > ){
             send(sock, &c, , );
         }
 
         waitpid(id, NULL, );
         close(input[]);
         close(output[]);
     }
 }
 
 //thread
 void *handler_request(void *arg)
 {
     int sock = (int)arg;
 #ifdef _DEBUG_  //测试代码
     char line[];
     do{
         int ret = get_line(sock, line, sizeof(line));
         if(ret > ){
             printf("%s", line);
         }else{
             printf("request ...... done!\n");
             break;
         }
     }while();
 #else
     int ret = ;
     char buf[SIZE];  //读到的请求内容
     char method[SIZE/];  //请求资源的方法
     char url[SIZE];  //统一资源标识符
     char path[SIZE];  //有效资源路径
     int i, j;
     int cgi = ; //设置CGI模式
     char *query_string = NULL;  //请求资源字符串（URL中问号后的内容）
     if(get_line(sock, buf, sizeof(buf)) <= ){ //获得一行请求内容
         echo_string(sock);
         ret = ;
         goto end;
     }
     i=;//method ->index
     j=;//buf -> index
 
     while( !isspace(buf[j]) &&\
             j < sizeof(buf) &&\
             i < sizeof(method)-){
         method[i]=buf[j];
         i++, j++;
     }
     method[i] = ;
     if(strcasecmp(method, "GET") &&\  //忽略大小写的字符比较，此处为判断请求资源的方法是否为GET方法或POST方法
             strcasecmp(method, "POST") ){
         echo_string(sock);
         ret = ;
         goto end;
     }
     if(strcasecmp(method, "POST") == ){  //如果使用POST方法必定是CGI模式
         cgi = ;
     }
     //buf -> "GET          /      http/1.0"
     while(isspace(buf[j]) && j < sizeof(buf)){
         j++;
     }
     i=;
     while(!isspace(buf[j]) && j < sizeof(buf) && i < sizeof(url)-){
         url[i] = buf[j];
         i++, j++;
     }
     url[i] = ;
     printf("method: %s, url: %s\n", method, url);
     query_string = url;
     while(*query_string != '\0'){
         if(*query_string == '?'){//如果是GET方法且传参，必定是CGI模式
             *query_string = '\0';
             query_string++;
             cgi = ;
             break;
         }
         query_string++;
     }
     sprintf(path, "wwwroot%s", url);
     //method, url, query_string, cgi
     if(path[strlen(path)-] == '/'){ // '/'
         strcat(path, "index.html");//如果是GET方法且无参，拼接上首页信息
     }
     struct stat st;
     if(stat(path, &st) != ){
         echo_string(sock);
         ret = ;
         goto end;
     }else{
         if(S_ISDIR(st.st_mode)){  //如果是目录，则拼接上首页信息，默认任何目录下都可以访问首页
             strcat(path, "/index.html");
         }else if( (st.st_mode & S_IXUSR) || \  //如果是二进制文件
                   (st.st_mode & S_IXGRP) || \
                   (st.st_mode & S_IXOTH) ){
             cgi=;
         }else{
         }
         //ok->cgi=?, path, query_string, method
         if(cgi){
             printf("enter CGI\n");  //进入CGI模式处理
             exe_cgi(sock, method, path, query_string);
         }else{//非CGI处理
             printf("method: %s, url: %s, path: %s, cgi: %d, query_string: %s\n", method, url, path, cgi, query_string);
             drop_header(sock); //!!!!!!!!!!!!!!清除信息（不关心的内容）
             echo_www(sock, path, st.st_size);//非CGI模式时的响应
         }
     }
 
 end:
     printf("quit client...\n");  //出错退出
     close(sock);
     return (void*)ret;
 #endif
 }

3、相关技术解释：

（1）CGI：通用网关接口

　　基本原理：通用网关接口是一个Web服务器主机提供信息服务的标准接口。通过CGI接口，Web服务器根据客户端提交的资源请求信息，转交给服务器端对应的CGI程序进行处理，最后返回结果给客户端。简单来说就是HTTP服务器与客户端进行“交谈”的一种工具，其程序须运行在网络服务器上。

　　组成CGI通信系统的是两部分：一部分是html页面，就是在用户端浏览器上显示的页面。另一部分则是运行在服务器上的Cgi程序。绝大多数的CGI程序被用来解释处理来自表单的输入信息，并在服务器产生相应的处理，或将相应的信息反馈给浏览器。CGI程序使网页具有交互功能。

　　CGI在客户端与服务器通讯中的处理步骤：

　　1）通过Internet把用户请求送到服务器；

　　2）服务器接收用户请求并交给相应CGI程序处理；

　　3）CGI程序把处理结果传送给服务器；

　　4）服务器把结果返回给用户。

　　前面已经介绍过服务器和客户端之间的通信，实际上是客户端的浏览器和服务器端的http服务器之间的HTTP通信，我们只需要知道浏览器请求执行服务器上哪个CGI程序就可以了，其他不必深究细节，因为这些过程不需要程序员去操作。服务器和CGI程序之间的通讯才是我们关注的。一般情况下，服务器和CGI程序之间是通过标准输入输出来进行数据传递的，而这个过程需要环境变量的协作方可实现。在服务器端执行步骤：1）服务器将URL指向一个应用程序  2）服务器为应用程序执行做准备  3）应用程序执行，读取标准输入和有关环境变量  4）应用程序进行标准输出。

（2）CGI关于环境变量

对于CGI程序来说，它继承了系统的环境变量。CGI环境变量在CGI程序启动时初始化，在结束时销毁。

当一个CGI程序不是被HTTP服务器调用时，它的环境变量几乎是系统环境变量的复制。

当这个CGI程序被HTTP服务器调用时，它的环境变量就会多了以下关于HTTP服务器、客户端、CGI传输过程等项目。

CONTENT_TYPE:如application/x-www-form-urlencoded，表示数据来自HTML表单，并且经过了URL编码。

ACCEPT:客户机所支持的MIME类型清单，内容如：”image/gif,image/jpeg”

REQUEST_METHOD：本项目涉及常见的两种方法：POST和GET，但我们写CGI程序时，最后还要考虑其他的情况。

　　环境变量是一个保存用户信息的内存区。当客户端的用户通过浏览器发出CGI请求时，服务器就寻找本地的相应CGI程序并执行它。在执行CGI程序的同时，服务器把该用户的信息保存到环境变量里。接下来，CGI程序的执行流程是这样的：查询与该CGI程序进程相应的环境变量：第一步是request_method，如果是POST，就从环境变量的len，然后到该进程相应的标准输入取出len长的数据。如果是GET，则用户数据就在环境变量的QUERY_STRING里。

（3）POST/GET传输方式详解

1）POST方法

　　如果采用POST方法，那么客户端发送的用户数据将存放在CGI进程的标准输入中，即消息正文内，较为隐蔽，且一般没有上限。同时将用户数据的长度赋予环境变量中的CONTENT_LENGTH。客户端用POST方式发送数据有一个相应的MIME类型（通用Internet邮件扩充服务：Multi-purpose Internet Mail Extensions）。目前，MIME类型一般是：application/x-wwww-form-urlencoded，该类型表示数据来自HTML表单。该类型记录在环境变量CONTENT_TYPE中，CGI程序应该检查该变量的值。

2）GET方法

　　在该方法下，CGI程序无法直接从服务器的标准输入（用户发送的消息正文）中获取数据，因为服务器把它从标准输入接收到得数据编码到环境变量QUERY_STRING（或PATH_INFO）。

　　采用GET方法提交HTML表单数据的时候，客户机将把这些数据附加到由ACTION标记命名的URL的末尾，用一个包括把经过URL编码后的信息与CGI程序的名字分开：http://www.mycorp.com/hello.html？name=hgq$id=1，QUERY_STRING的值为name=hgq&id=1（？左侧为要请求的资源，右侧为参数，参数形式一般为name=value形式，以“&”连接）。或者使用nomal形式的GET方法，无参数，不带正文，只有请求行+消息报头+空行。有些程序员不愿意采用GET方法，因为在他们看来，把动态信息附加在URL的末尾有违URL的出发点：URL作为一种标准用语，一般是用作网络资源的唯一定位标示。

3）POST与GET的区别

以 GET方式接收的数据是有长度限制，而用 POST方式接收的数据是没有长度限制的。并且，以 GET方式发送数据，可以通过 URL的形式来发送，但 POST方式发送的数据必须要通过 Form才到发送。

CGI程序示例 mathcgi.h ：

 #include <stdio.h>
 #include <stdlib.h>
 
 void mymath(char *arg)
 {
     //data1=1000&data2=2000
     char *argv[];
     int i = ;
     char *start = arg;
     while(*start){
         if(*start == '='){
             start++;
             argv[i++] = start;
             continue;
         }
         if(*start== '&'){
             *start = '\0';
         }
         start++;
     }
     argv[i] = NULL;
     int data1 = atoi(argv[]);
     int data2 = atoi(argv[]);
     printf("<html><body><h1>");
     printf("%d + %d = %d<br/>", data1, data2, data1 + data2);
     printf("%d - %d = %d<br/>", data1, data2, data1 - data2);
     printf("%d * %d = %d<br/>", data1, data2, data1 * data2);
     printf("%d / %d = %d<br/>", data1, data2, data2==?  : data1 / data2);
     printf("%d %% %d = %d<br/>", data1, data2, data2==?  : data1 % data2);
     printf("</h1></body></html>");
 }
 
 int main()
 {
     char *method = NULL;
     char *query_string = NULL;
     char *string_arg = NULL;
     int content_len = -;
     char buf[];
     if((method=getenv("METHOD"))){
         if(strcasecmp(method, "GET") == ){
             if((query_string=getenv("QUERY_STRING"))){
                 string_arg = query_string;
             }
         }else{
             if(getenv("CONTENT_LENGTH")){
                 content_len = atoi(getenv("CONTENT_LENGTH"));
                 int i = ;
                 for(; i < content_len; i++){
                     read(, &buf[i], );
                 }
                 buf[i] = '\0';
                 string_arg = buf;
             }
         }
     }
 
     mymath(string_arg);
     return ;
 }

（2）HTML

本项目中只是使用了一些基本的HTML知识，下面是简单的 index.html :

 <html>
     <head>hello http</head>
     <body>
         <h1>Hello My Web!</h1>
         <img src="imag/mgh.jpg" alt="default" width="" height="">
         <a href="cgi-bin/select_cgi">select</a>
         <!--<form action="/cgi-bin/math_cgi" method="POST">
         First data:<br>
         <input type="text" name="data1" value="">
         <br>
         second data:<br>
         <input type="text" name="data2" value="">
         <br><br>
         <input type="submit" value="Submit">
         </form>--!>
     </body>
 </html>

到这里就基本可以访问网页信息了：

4、本机进行环回测试，用的IP是127.0.0.1，Http协议的TCP连接默认端口号为80：

图片自己选择，此页面实现的是两个数的加减乘除，当点击submit时跳转页面如下：

此时跳转到cgi_bin目录下的可执行文件debug_cgi，显示加减乘除的结果。

一个简陋的http服务器就完成了。后面还需要一些其它的扩展，再更新……

5、遇到的一些问题：

1）本地环回测试ok，Linux下的浏览器测试也可以，但不能接外部的浏览器访问（没有设置桥接模式）嗯~要是在外部浏览器测试的话千万别忘记关闭防火墙。

解决：切换超级用户：$service iptables stop

2）服务器应答时，没有将html格式的页面发送，而是将底层的实现代码展示在浏览器，并且在调试时将本来要打印的调试信息会打印到网页上（在回应空行时将send期望发送的数值写的太大，本来只需要发送两个字节的内容）
解决：先检查代码，思路正确，在容易出现问题的地方加入调试信息，最后将问题定位在echo_www()函数内 。

3）不能显示图片（这个问题是没有将所有发送的情况考虑完全，只考虑到目录、可执行程序，但没有考虑到如果请求的是一个路径明确的普通文件）
解决：测试请求一个路径明确的test.html文件，加入调试信息 ，将问题定位在：如果请求的资源存在，应该如何处理。对于普通文件，找到后并回显给浏览器；如果是目录，应答的是默认页面；如果是可执行程序，执行后返回结果

4）能显示图片后，但显示的不完整（原因：echo_www中，期望读取一行信息的line值太小，不能存下一张图片）

5）运行cgi模式时，每次提交数据并进行submit后都会自动出现提醒下载的页面
原因：在响应报头中，将Content-Type中的”text”写成”test”。而浏览器对于不能识别或解析的实体，都会提醒用户下载。