前言

看师傅们的文章时发现,parse_url出现的次数较多，单纯parse_url解析漏洞的考题也有很多，在此研究一下源码(太菜了看不懂，待日后再补充Orz)

源码

在ext/standard/url.c文件中

  1. PHPAPI php_url *php_url_parse_ex(char const *str, size_t length)
  2. {
  3.     char port_buf[6];
  4.     php_url *ret = ecalloc(1, sizeof(php_url));
  5.     char const *s, *e, *p, *pp, *ue;
  7.     s = str;
  8.     ue = s + length;
  10.     /* parse scheme */
  11.     if ((e = memchr(s, ':', length)) && e != s) {
  12.         /* validate scheme */
  13.         p = s;
  14.         while (p < e) {
  15.             /* scheme = 1*[ lowalpha | digit | "+" | "-" | "." ] */
  16.             if (!isalpha(*p) && !isdigit(*p) && *p != '+' && *p != '.' && *p != '-') {
  17.                 if (e + 1 < ue && e < s + strcspn(s, "?#")) {
  18.                     goto parse_port;
  19.                 } else if (s + 1 < ue && *s == '/' && *(s + 1) == '/') { /* relative-scheme URL */
  20.                     s += 2;
  21.                     e = 0;
  22.                     goto parse_host;
  23.                 } else {
  24.                     goto just_path;
  25.                 }
  26.             }
  27.             p++;
  28.         }
  30.         if (e + 1 == ue) { /* only scheme is available */
  31.             ret->scheme = estrndup(s, (e - s));
  32.             php_replace_controlchars_ex(ret->scheme, (e - s));
  33.             return ret;
  34.         }
  36.         /*
  37.          * certain schemas like mailto: and zlib: may not have any / after them
  38.          * this check ensures we support those.
  39.          */
  40.         if (*(e+1) != '/') {
  41.             /* check if the data we get is a port this allows us to
  42.              * correctly parse things like a.com:80
  43.              */
  44.             p = e + 1;
  45.             while (p < ue && isdigit(*p)) {
  46.                 p++;
  47.             }
  49.             if ((p == ue || *p == '/') && (p - e) < 7) {
  50.                 goto parse_port;
  51.             }
  53.             ret->scheme = estrndup(s, (e-s));
  54.             php_replace_controlchars_ex(ret->scheme, (e - s));
  56.             s = e + 1;
  57.             goto just_path;
  58.         } else {
  59.             ret->scheme = estrndup(s, (e-s));
  60.             php_replace_controlchars_ex(ret->scheme, (e - s));
  62.             if (e + 2 < ue && *(e + 2) == '/') {
  63.                 s = e + 3;
  64.                 if (!strncasecmp("file", ret->scheme, sizeof("file"))) {
  65.                     if (e + 3 < ue && *(e + 3) == '/') {
  66.                         /* support windows drive letters as in:
  67.                            file:///c:/somedir/file.txt
  68.                         */
  69.                         if (e + 5 < ue && *(e + 5) == ':') {
  70.                             s = e + 4;
  71.                         }
  72.                         goto just_path;
  73.                     }
  74.                 }
  75.             } else {
  76.                 s = e + 1;
  77.                 goto just_path;
  78.             }
  79.         }
  80.     } else if (e) { /* no scheme; starts with colon: look for port */
  81.         parse_port:
  82.         p = e + 1;
  83.         pp = p;
  85.         while (pp < ue && pp - p < 6 && isdigit(*pp)) {
  86.             pp++;
  87.         }
  89.         if (pp - p > 0 && pp - p < 6 && (pp == ue || *pp == '/')) {
  90.             zend_long port;
  91.             memcpy(port_buf, p, (pp - p));
  92.             port_buf[pp - p] = '\0';
  93.             port = ZEND_STRTOL(port_buf, NULL, 10);
  94.             if (port > 0 && port <= 65535) {
  95.                 ret->port = (unsigned short) port;
  96.                 if (s + 1 < ue && *s == '/' && *(s + 1) == '/') { /* relative-scheme URL */
  97.                     s += 2;
  98.                 }
  99.             } else {
  100.                 if (ret->scheme) efree(ret->scheme);
  101.                 efree(ret);
  102.                 return NULL;
  103.             }
  104.         } else if (p == pp && pp == ue) {
  105.             if (ret->scheme) efree(ret->scheme);
  106.             efree(ret);
  107.             return NULL;
  108.         } else if (s + 1 < ue && *s == '/' && *(s + 1) == '/') { /* relative-scheme URL */
  109.             s += 2;
  110.         } else {
  111.             goto just_path;
  112.         }
  113.     } else if (s + 1 < ue && *s == '/' && *(s + 1) == '/') { /* relative-scheme URL */
  114.         s += 2;
  115.     } else {
  116.         goto just_path;
  117.     }
  119.     parse_host:
  120.     /* Binary-safe strcspn(s, "/?#") */
  121.     e = ue;
  122.     if ((p = memchr(s, '/', e - s))) {
  123.         e = p;
  124.     }
  125.     if ((p = memchr(s, '?', e - s))) {
  126.         e = p;
  127.     }
  128.     if ((p = memchr(s, '#', e - s))) {
  129.         e = p;
  130.     }
  132.     /* check for login and password */
  133.     if ((p = zend_memrchr(s, '@', (e-s)))) {
  134.         if ((pp = memchr(s, ':', (p-s)))) {
  135.             ret->user = estrndup(s, (pp-s));
  136.             php_replace_controlchars_ex(ret->user, (pp - s));
  138.             pp++;
  139.             ret->pass = estrndup(pp, (p-pp));
  140.             php_replace_controlchars_ex(ret->pass, (p-pp));
  141.         } else {
  142.             ret->user = estrndup(s, (p-s));
  143.             php_replace_controlchars_ex(ret->user, (p-s));
  144.         }
  146.         s = p + 1;
  147.     }
  149.     /* check for port */
  150.     if (s < ue && *s == '[' && *(e-1) == ']') {
  151.         /* Short circuit portscan,
  152.            we're dealing with an
  153.            IPv6 embedded address */
  154.         p = NULL;
  155.     } else {
  156.         p = zend_memrchr(s, ':', (e-s));
  157.     }
  159.     if (p) {
  160.         if (!ret->port) {
  161.             p++;
  162.             if (e-p > 5) { /* port cannot be longer then 5 characters */
  163.                 if (ret->scheme) efree(ret->scheme);
  164.                 if (ret->user) efree(ret->user);
  165.                 if (ret->pass) efree(ret->pass);
  166.                 efree(ret);
  167.                 return NULL;
  168.             } else if (e - p > 0) {
  169.                 zend_long port;
  170.                 memcpy(port_buf, p, (e - p));
  171.                 port_buf[e - p] = '\0';
  172.                 port = ZEND_STRTOL(port_buf, NULL, 10);
  173.                 if (port > 0 && port <= 65535) {
  174.                     ret->port = (unsigned short)port;
  175.                 } else {
  176.                     if (ret->scheme) efree(ret->scheme);
  177.                     if (ret->user) efree(ret->user);
  178.                     if (ret->pass) efree(ret->pass);
  179.                     efree(ret);
  180.                     return NULL;
  181.                 }
  182.             }
  183.             p--;
  184.         }
  185.     } else {
  186.         p = e;
  187.     }
  189.     /* check if we have a valid host, if we don't reject the string as url */
  190.     if ((p-s) < 1) {
  191.         if (ret->scheme) efree(ret->scheme);
  192.         if (ret->user) efree(ret->user);
  193.         if (ret->pass) efree(ret->pass);
  194.         efree(ret);
  195.         return NULL;
  196.     }
  198.     ret->host = estrndup(s, (p-s));
  199.     php_replace_controlchars_ex(ret->host, (p - s));
  201.     if (e == ue) {
  202.         return ret;
  203.     }
  205.     s = e;
  207.     just_path:
  209.     e = ue;
  210.     p = memchr(s, '#', (e - s));
  211.     if (p) {
  212.         p++;
  213.         if (p < e) {
  214.             ret->fragment = estrndup(p, (e - p));
  215.             php_replace_controlchars_ex(ret->fragment, (e - p));
  216.         }
  217.         e = p-1;
  218.     }
  220.     p = memchr(s, '?', (e - s));
  221.     if (p) {
  222.         p++;
  223.         if (p < e) {
  224.             ret->query = estrndup(p, (e - p));
  225.             php_replace_controlchars_ex(ret->query, (e - p));
  226.         }
  227.         e = p-1;
  228.     }
  230.     if (s < e || s == ue) {
  231.         ret->path = estrndup(s, (e - s));
  232.         php_replace_controlchars_ex(ret->path, (e - s));
  233.     }
  235.     return ret;
  236. }
  1. /* {{{ proto mixed parse_url(string url, [int url_component])
  2.    Parse a URL and return its components */
  3. PHP_FUNCTION(parse_url)
  4. {
  5. 	char *str;
  6. 	size_t str_len;
  7. 	php_url *resource;
  8. 	zend_long key = -1;
  10. 	if (zend_parse_parameters(ZEND_NUM_ARGS(), "s|l", &str, &str_len, &key) == FAILURE) {
  11. 		return;
  12. 	}
  14. 	resource = php_url_parse_ex(str, str_len);
  15. 	if (resource == NULL) {
  16. 		/* @todo Find a method to determine why php_url_parse_ex() failed */
  17. 		RETURN_FALSE;
  18. 	}
  20. 	if (key > -1) {
  21. 		switch (key) {
  22. 			case PHP_URL_SCHEME:
  23. 				if (resource->scheme != NULL) RETVAL_STRING(resource->scheme);
  24. 				break;
  25. 			case PHP_URL_HOST:
  26. 				if (resource->host != NULL) RETVAL_STRING(resource->host);
  27. 				break;
  28. 			case PHP_URL_PORT:
  29. 				if (resource->port != 0) RETVAL_LONG(resource->port);
  30. 				break;
  31. 			case PHP_URL_USER:
  32. 				if (resource->user != NULL) RETVAL_STRING(resource->user);
  33. 				break;
  34. 			case PHP_URL_PASS:
  35. 				if (resource->pass != NULL) RETVAL_STRING(resource->pass);
  36. 				break;
  37. 			case PHP_URL_PATH:
  38. 				if (resource->path != NULL) RETVAL_STRING(resource->path);
  39. 				break;
  40. 			case PHP_URL_QUERY:
  41. 				if (resource->query != NULL) RETVAL_STRING(resource->query);
  42. 				break;
  43. 			case PHP_URL_FRAGMENT:
  44. 				if (resource->fragment != NULL) RETVAL_STRING(resource->fragment);
  45. 				break;
  46. 			default:
  47. 				php_error_docref(NULL, E_WARNING, "Invalid URL component identifier " ZEND_LONG_FMT, key);
  48. 				RETVAL_FALSE;
  49. 		}
  50. 		goto done;
  51. 	}
  53. 	/* allocate an array for return */
  54. 	array_init(return_value);
  56.     /* add the various elements to the array */
  57. 	if (resource->scheme != NULL)
  58. 		add_assoc_string(return_value, "scheme", resource->scheme);
  59. 	if (resource->host != NULL)
  60. 		add_assoc_string(return_value, "host", resource->host);
  61. 	if (resource->port != 0)
  62. 		add_assoc_long(return_value, "port", resource->port);
  63. 	if (resource->user != NULL)
  64. 		add_assoc_string(return_value, "user", resource->user);
  65. 	if (resource->pass != NULL)
  66. 		add_assoc_string(return_value, "pass", resource->pass);
  67. 	if (resource->path != NULL)
  68. 		add_assoc_string(return_value, "path", resource->path);
  69. 	if (resource->query != NULL)
  70. 		add_assoc_string(return_value, "query", resource->query);
  71. 	if (resource->fragment != NULL)
  72. 		add_assoc_string(return_value, "fragment", resource->fragment);
  73. done:
  74. 	php_url_free(resource);
  75. }

代码中遇到的问题解决

函数定义部分

  1. PHP_FUNCTION(parse_url)
  2. {
  3.     char *str;
  4.     size_t str_len;
  5.     php_url *resource;
  6.     zend_long key = -1;
  8.     if (zend_parse_parameters(ZEND_NUM_ARGS(), "s|l", &str, &str_len, &key) == FAILURE) {
  9.         return;
  10.     }
  12.     resource = php_url_parse_ex(str, str_len);
  13.     if (resource == NULL) {
  14.         /* @todo Find a method to determine why php_url_parse_ex() failed */
  15.         RETURN_FALSE;
  16. }

引用这篇文章的内容http://www.nowamagic.net/librarys/veda/detail/1467

  1. b   Boolean
  2. l   Integer 整型
  3. d   Floating point 浮点型
  4. s   String 字符串
  5. r   Resource 资源
  6. a   Array 数组
  7. o   Object instance 对象
  8. O   Object instance of a specified type 特定类型的对象
  9. z   Non-specific zval 任意类型
  10. Z   zval**类型
  11. f   表示函数、方法名称

那么其中的"s|l"表示parse_url需要两个参数，一个字符串型，一个整型

php_url类型的声明在ext/standard/url.h中

  1. typedef struct php_url {
  2. 	char *scheme;
  3. 	char *user;
  4. 	char *pass;
  5. 	char *host;
  6. 	unsigned short port;
  7. 	char *path;
  8. 	char *query;
  9. 	char *fragment;
  10. } php_url;

问题

  1. parse_url只有两个参数，不知道strlen这个参数哪里去了……？还有他的值到底是怎么获得的……

函数内部实现部分

使用php_url_parse_ex函数来处理我们传过去的url，先暂定str_len为str的长度……

  1. if ((e = memchr(s, ':', length)) && e != s) {
  2.         /* validate scheme */
  3.         p = s;
  4.         while (p < e) {
  5.             /* scheme = 1*[ lowalpha | digit | "+" | "-" | "." ] */
  6.             if (!isalpha(*p) && !isdigit(*p) && *p != '+' && *p != '.' && *p != '-') {
  7.                 if (e + 1 < ue && e < s + strcspn(s, "?#")) {
  8.                     goto parse_port;
  9.                 } else if (s + 1 < ue && *s == '/' && *(s + 1) == '/') { /* relative-scheme URL */
  10.                     s += 2;
  11.                     e = 0;
  12.                     goto parse_host;
  13.                 } else {
  14.                     goto just_path;
  15.                 }
  16.             }
  17.             p++;
  18.         }
  20.         if (e + 1 == ue) { /* only scheme is available */
  21.             ret->scheme = estrndup(s, (e - s));
  22.             php_replace_controlchars_ex(ret->scheme, (e - s));
  23.             return ret;
  24.         }
  26.         /*
  27.          * certain schemas like mailto: and zlib: may not have any / after them
  28.          * this check ensures we support those.
  29.          */
  30.         if (*(e+1) != '/') {
  31.             /* check if the data we get is a port this allows us to
  32.              * correctly parse things like a.com:80
  33.              */
  34.             p = e + 1;
  35.             while (p < ue && isdigit(*p)) {
  36.                 p++;
  37.             }
  39.             if ((p == ue || *p == '/') && (p - e) < 7) {
  40.                 goto parse_port;
  41.             }
  43.             ret->scheme = estrndup(s, (e-s));
  44.             php_replace_controlchars_ex(ret->scheme, (e - s));
  46.             s = e + 1;
  47.             goto just_path;
  48.         } else {
  49.             ret->scheme = estrndup(s, (e-s));
  50.             php_replace_controlchars_ex(ret->scheme, (e - s));
  52.             if (e + 2 < ue && *(e + 2) == '/') {
  53.                 s = e + 3;
  54.                 if (!strncasecmp("file", ret->scheme, sizeof("file"))) {
  55.                     if (e + 3 < ue && *(e + 3) == '/') {
  56.                         /* support windows drive letters as in:
  57.                            file:///c:/somedir/file.txt
  58.                         */
  59.                         if (e + 5 < ue && *(e + 5) == ':') {
  60.                             s = e + 4;
  61.                         }
  62.                         goto just_path;
  63.                     }
  64.                 }
  65.             } else {
  66.                 s = e + 1;
  67.                 goto just_path;
  68.             }
  69.         }
  70.     } else if (e) { /* no scheme; starts with colon: look for port */

如果s中含有冒号则e指向冒号

且同时如果冒号不在s的开头，p指向s

当p不指向冒号向循环，p指向下一位

如果p指向的值是字母或者数字或者是+,-,.则指针指向下一位，这就代表冒号前面的值其实是任意的字母、数字、+、-、.

如果冒号所在位置小于str，且?#在冒号后面(如果有的话)，就跳转到port解析部分

如果str的长度大于1且str的前两个字符是//，s指向//后面的一个字符，e变为0，跳转到host解析

如果冒号是最后一位字符，则冒号前面的东西会当作scheme返回

如果冒号后面不是/，则p指向冒号后面一位

当p小于str且p指向的为数字字符，p一直指向后一位，直到p指向str末尾或者p指向的字符为/，同时冒号后面的数字位数小于6位，跳转到port解析

如果冒号后面不是纯数字或数字后面有一个/，那么冒号前面的内容就当作scheme，放在ret的scheme参数中，s指向冒号后一位，跳转到path解析

如果冒号后面是/，那么冒号前面的内容就当作scheme，放在ret的scheme参数中。如果下面一位也是/，那么s指向//后面一位，如果scheme为file，那么判断接下来一位是不是/，如果是，判断冒号后是否有五个字符，如果有那么第五个字符是不是冒号(为了处理file:///c:)，s指向///后的一位字符，跳转到path解析

如果冒号后面不是三个/，s指向冒号后面一位，之后跳转到path解析

如果冒号在str开头，那么进行port解析

姿势

  1. 只要请求的url里不含有冒号(:)就会被当成path解析

php中parse_url函数的源码及分析(scheme部分)的更多相关文章

  1. php中parse_url函数的源码及分析

    前言 看师傅们的文章时发现,parse_url出现的次数较多,单纯parse_url解析漏洞的考题也有很多,在此研究一下源码(太菜了看不懂,待日后再补充Orz) 源码 PHPAPI php_url * ...

  2. Apache Spark源码走读之23 -- Spark MLLib中拟牛顿法L-BFGS的源码实现

    欢迎转载,转载请注明出处,徽沪一郎. 概要 本文就拟牛顿法L-BFGS的由来做一个简要的回顾,然后就其在spark mllib中的实现进行源码走读. 拟牛顿法 数学原理 代码实现 L-BFGS算法中使 ...

  3. redis中set命令的源码分析

    首先在源码中的redis.c文件中有一个结构体:redisCommand redisCommandTable[],这个结构体中定义了每个命令对应的函数,源码中的set命令对应的函数是setComman ...

  4. sleep函数——Gevent源码分析

    gevent是一个异步I/O框架,当遇到I/O操作的时候,会自动切换任务,从而能异步地完成I/O操作 但是在测试的情况下,可以使用sleep函数来让gevent进行任务切换.示例如下: import ...

  5. Matlab.NET混合编程技巧之——直接调用Matlab内置函数(附源码)

    原文:[原创]Matlab.NET混合编程技巧之--直接调用Matlab内置函数(附源码) 在我的上一篇文章[原创]Matlab.NET混编技巧之——找出Matlab内置函数中,已经大概的介绍了mat ...

  6. Generator函数执行器-co函数库源码解析

    一.co函数是什么 co 函数库是著名程序员 TJ Holowaychuk 于2013年6月发布的一个小工具,用于 Generator 函数的自动执行.短小精悍只有短短200余行,就可以免去手动编写G ...

  7. caffe-windows中classification.cpp的源码阅读

    caffe-windows中classification.cpp的源码阅读 命令格式: usage: classification string(模型描述文件net.prototxt) string( ...

  8. Django框架rest_framework中APIView的as_view()源码解析、认证、权限、频率控制

    在上篇我们对Django原生View源码进行了局部解析:https://www.cnblogs.com/dongxixi/p/11130976.html 在前后端分离项目中前面我们也提到了各种认证需要 ...

  9. RocketMQ中Broker的启动源码分析（一）

    在RocketMQ中,使用BrokerStartup作为启动类,相较于NameServer的启动,Broker作为RocketMQ的核心可复杂得多 [RocketMQ中NameServer的启动源码分 ...

随机推荐

  1. 感觉自己应该重新读一次Javascript

    我自己也有一本Javascript书籍,是自己上大学的时候学校给提供的,现在,我依旧带着这本书.我决定要把这本书在重新温习一下.然后,开启下面的Javascript之旅.这是我看到博客园一位园友写的, ...

  2. 51nod 1851俄罗斯方块（trick）

    题目大意:给出一个黑白图,你可以选定一个俄罗斯方块的区域,黑白翻转,问能否变成白图 比较trick的题目, 首先可以想到,奇数个1肯定是无解的,所以考虑偶数个1 可以先讨论n是2的情况 当n为2时,其 ...

  3. HDU - 1880 魔咒词典~哈希入门

    哈利波特在魔法学校的必修课之一就是学习魔咒.据说魔法世界有100000种不同的魔咒,哈利很难全部记住,但是为了对抗强敌,他必须在危急时刻能够调用任何一个需要的魔咒,所以他需要你的帮助. 给你一部魔咒词 ...

  4. eclipse console输出有长度限制

    抓取一个网页内容,然后打印到控制台,发现内容首部都没有了. String content = getResponseText("http://xxx.html"); System. ...

  5. 转：RBAC权限控制

    名词解释: RBAC:Role-Based Access Control,基于角色的访问控制   关键词: RBAC,Java Shiro,Spring Security,   一. RBAC 要解决 ...

  6. centos7下yum快速安装 mariadb（mysql）

    从最新版本的centos系统开始,默认的是 Mariadb而不是mysql! 使用系统自带的repos安装很简单: yum install mariadb mariadb-server systemc ...

  7. POJ 2395 Out of Hay （prim）

    题目链接 Description The cows have run out of hay, a horrible event that must be remedied immediately. B ...

  8. bzoj 1433 二分图匹配

    裸地匈牙利或者最大流,直接匹配就行了 需要注意的是(我就没注意细节WA了好多次...) 每个人和自己之间的边是0,但是应该是1 不是在校生是没有床的.... /******************** ...

  9. linux下面which whereis find locate的使用

    我们经常在linux要查找某个文件,但不知道放在哪里了,可以使用下面的一些命令来搜索.这些是从网上找到的资料,因为有时很长时间不会用到,当要用的时候经常弄混了,所以放到这里方便使用. which    ...

  10. Unordered load/store queue

    A method and processor for providing full load/store queue functionality to an unordered load/store  ...