spark笔记 spark简介 saprk 有六个核心组件: SparkCore.SparkSQL.SparkStreaming.StructedStreaming.MLlib,Graphx SparkCore 相当于Hadoop中的MapReduce,用于大规模离线批处理计算 SparkSQL 相当于Hive(稍微类似),用于交互式计算 注意: 1.交互式计算:用户界面中的查询条件进行过滤查询,然后交给SparkSQL进行处理,产生输出数据.速度比较快 2.交互式计算框架:Presto.Imp…

在创建好WebProject后,就可以开始进行Struts2的环境配置,可以到Struts2官网下载,本环境使用struts-2.3.24.1版本. 首先导入必要的jar包到WebProject的/WebRoot/WEB-INF/lib下,具体jar包如下图所示: 接着修改web.xml文件,加入struts2的配置信息,文件内容如下: <?xml version="1.0" encoding="UTF-8"?> <web-app xmlns:xs…

Ubuntu16.04开发环境 1.ubuntu默认root用户没有激活,激活root用户,就要为root用户创建密码   $sudo passwd root   2.修改主机名   $vi /etc/hostname     3.安装ssh服务   $sudo apt-get install openssh-serve   4.安装Xshell软件,链接虚拟机ubuntu   工具包里有   5.浏览器访问虚拟机里的web server 首先你的虚拟机应该与你的win系统网络访问正常,比如在同…

<Metasploit渗透测试魔鬼训练营>书56页开始配置网络环境,一共五台机器,攻击机换成了自己更常用的kali,配置方法和back track相同. kali(攻击机) 10.10.10.128 attacker.dvssc.com root/root OWASP BWA(模拟定V安全公司DMZ区中的门户网站服务器) 10.10.10.129 www.dvssc.com root/owaspbwa Win2k3(模拟定V安全公司DMZ区中的后台服务器) 10.10.10.130 servi…

前言: 本系列文章是对爬虫的简单介绍,以及教你如何用简单的方法爬取网站上的内容. 需要阅读者对html语言及python语言有基本的了解. (本系列文章也是我在学习爬虫过程中的学习笔记,随着学习的深入会不断地更新) 爬虫简介: 网络爬虫是一种自动获取网页内容的程序,是搜索引擎的重要组成部分. 网络爬虫先获取某网站的源代码,通过源码解析(如<a><p>标签等)来获得想要的内容. 环境配置: ubuntu系统(安装方法请自行百度.由于在ubuntu系统下对以下所需的软件安装及运行比wi…

Spark学习笔记2 配置spark所需环境 1.首先先把本地的maven的压缩包解压到本地文件夹中,安装好本地的maven客户端程序,版本没有什么要求 不需要最新版的maven客户端. 解压完成之后在解压好的maven客户端的文件夹内打开conf文件夹,修改里面的settings.xml文件 然后只需要修改这一行就可以了 ,把这一行替换成你自己本地的maven仓库的路径 最好是自己有一个完整点的maven仓库,然后把这个修改过的xml文件放到maven仓库下 到这里,你本地的maven客户端环…

Nginx 测试环境配置,留做笔记 以下全是配置文件的配置,如果有疑问还请移步Nginx官网参考官方文档. 环境: [root@CentOS6-M01 conf]# cat /etc/redhat-release CentOS release 6.9 (Final) [root@CentOS6-M01 conf]# uname -r -.el6.x86_64 [root@CentOS6-M01 conf]# /usr/local/nginx/sbin/nginx -Vnginx version:…

前言: 昨天学会了安装server,今天试着通过远程终端xshell来安装LAMP,搭配一下开发环境,也有集成环境可以一键安装使用,还是瞎折腾一下,手动一步一步搭建一下这个开发环境. 接上一篇:ubuntu server 14.04 LTS下搭建LAMP环境之最详细笔记之一U盘安装双系统本文原创博客地址:http://www.cnblogs.com/unofficial官网地址:www.pushself.com) 准备: 在windows系统上首先需要安装xhsell,具体下载地址可以搜一下,安…

#环境配置基于windows操作系统 #学习selenium要有一些HTML和xpth的基础,完全不会的建议先花点时间学点基础(不然元素定位,特别是xpth可能看的有点懵) #HTML :  http://www.runoob.com/html/     #xpth:  http://www.runoob.com/xpath (一)  环境配置 (1)执行下面的命令(前提:已经安装python环境,可以参考之前发的python笔记(一)) pip install -U selenium (2)h…

Django:学习笔记(1)——开发环境配置 Django的安装与配置 安装Django 首先,我们可以执行python -m django --version命令,查看是否已安装django. 如果这行命令输出了一个版本号,证明你已经安装了此版本的 Django:如果你得到的是一个“No module named django”的错误提示,则表明你还未安装. 在Mac环境下,我们执行pip install命令快速安装django. 接着,我们还需要验证一下,是否可以被Python所识别 创建D…