Spark Mllib里如何将trainDara训练数据的分类特征字段转换为数值字段（图文详解）

不多说,直接上干货! 字段3 是分类特征字段,但是呢,在分类算法里不能直接用.所以,必须要转换为数值字段才能够被分类算法使用. 具体,见 Hadoop+Spark大数据巨量分析与机器学习整合开发实战的第13章使用决策树二元分类算法来预测分类StumbleUpon数据集…

Spark Mllib里如何将trainDara训练数据文件里提取第M到第N字段（图文详解）

不多说,直接上干货! 具体,见 Hadoop+Spark大数据巨量分析与机器学习整合开发实战的第13章使用决策树二元分类算法来预测分类StumbleUpon数据集…

Spark Mllib里如何将trainDara训练数据文件里第一行是字段名不是数据给删除掉（图文详解）

不多说,直接上干货! 具体,见 Hadoop+Spark大数据巨量分析与机器学习整合开发实战的第13章使用决策树二元分类算法来预测分类StumbleUpon数据集…

给Clouderamanager集群里安装基于Hive的大数据实时分析查询引擎工具Impala步骤（图文详解）

这个很简单,在集群机器里,选择就是了,本来自带就有Impala的. 扩展博客给Ambari集群里安装基于Hive的大数据实时分析查询引擎工具Impala步骤(图文详解)…

给Ambari集群里安装基于Hive的大数据实时分析查询引擎工具Impala步骤（图文详解）

不多说,直接上干货! Impala和Hive的关系(详解) 扩展博客给Clouderamanager集群里安装基于Hive的大数据实时分析查询引擎工具Impala步骤(图文详解) 参考 hortonworks ambari集成impala ambari hdp 集成 impala 欢迎大家,加入我的微信公众号:大数据躺过的坑人工智能躺过的坑同时,大家可以关注我的个人博客: http://www.cnblogs.com/zlslch/ 和 http…

全网最全的Windows下Anaconda2 / Anaconda3里正确下载安装OpenCV（离线方式和在线方式）（图文详解）

不多说,直接上干货! 说明: Anaconda2-5.0.0-Windows-x86_64.exe安装下来,默认的Python2.7 Anaconda3-4.2.0-Windows-x86_64.exe安装下来,默认的Python3.5 Anaconda3-5.0.0-Windows-x86_64.exe安装下来,默认的Python3.6 参考全网最全最详细的Windows下安装Anaconda2 / Anaconda3(图文详解) 1. 以下是在Windows下Anaconda2里正确下载安…

全网最详细的Windows系统里Oracle 11g R2 Client（64bit）的下载与安装（图文详解）

不多说,直接上干货! 环境: windows10系统(64位) 最好先安装jre或jdk(此软件用来打开oracle自带的可视化操作界面,不装也没关系:可以安装plsql,或者直接用命令行操作) Oracle 11g 是仅次于微软的第二大软件公司甲骨文公司开发的一款数据库软件,它适合大型网站(小型网站建议MySql或Sql Server),占用内存比较高,低配置电脑安装请慎重. Oracle Client 11g的官网下载地址: http://www.oracle.com/technetw…

全网最详细的CentOS7里如何安装MySQL（得改为替换安装MariaDB）（图文详解）

不多说,直接上干货! 直接yum install mysql的话会报错,原因在于yum安装库里没有直接可以用的安装包,此时需要用到MariaDB了,MariaDB是MySQL社区开发的分支,也是一个增强型的替代品. 全网最详细的CentOS7里安装MySQL时出现No package mysql-server available错误的解决办法(图文详解) 欢迎大家,加入我的微信公众号:大数据躺过的坑人工智能躺过的坑同时,大家可以关注我的个人博客: http:/…

Snort里如何将读取的包记录存到二进制tcpdump文件下（图文详解）

不多说,直接上干货! 如果网络速度很快,或者想使日志更加紧凑以便以后的分析,那么应该使用二进制的日志文件格式.如tcpdump格式或者pcap格式. 这里,我们不需指定本地网络了,因为所以的东西都被记录到一个单一的文件.你也不必冗余模式或者使用-d.-e功能选项,因为数据包的所有内容都会被记录到日志文件中. [root@datatest ~]# snort -l /root/log -b Running in packet logging mode --== Initializing Snor…

Snort里如何将读取的包记录存到指定的目录下（图文详解）

不多说,直接上干货! 比如,在/root/log目录下. [root@datatest ~]# snort -dve -l /root/log 需要注意: 1) /log目录需要你自己建立,并修改权限,以保证snort能够写入.即chmod 777 log是最好. 2)不要遗漏-l参数,用来指定写入日志位置. 3)存到给定的是目录,不是文件. 执行后系统将会在log目录下产生: [root@datatest log]# pwd /root/log [root@datatest log]# l…

Snort里如何将一个tcpdump格式的二进制文件读取打印到屏幕上（图文详解）

不多说,直接上干货! 关于tcpdump二进制格式,这个基本概念不说. 支持tcpdump二进制格式的嗅探器工具,这里我说两个:tcpdump或者ethereal. [root@datatest SecondWeek]# pwd /root/data/DARPA1999/SecondWeek [root@datatest SecondWeek]# ll total -rw-r--r--. root root Aug : inside.tcpdump [root@datatest SecondWe…

Spark Mllib里如何记录开始训练时间、完成训练时间、所需训练时间（图文详解）

不多说,直接上干货! 具体,见 Hadoop+Spark大数据巨量分析与机器学习整合开发实战的第16章朴素贝叶斯二元分类算法来预测分类StumbleUpon数据集…

Spark Mllib里如何提取每个字段并转换为***类型（图文详解）

不多说,直接上干货! 具体,见 Hadoop+Spark大数据巨量分析与机器学习整合开发实战的第17章决策树多元分类UCI Covertype数据集…

Spark Mllib里如何将预测结果如0或1，转换为文字描述来显示预测结果输出（图文详解）

不多说,直接上干货! 具体,见 Hadoop+Spark大数据巨量分析与机器学习整合开发实战的第13章使用决策树二元分类算法来预测分类StumbleUpon数据集…

大数据学习系列之四 ----- Hadoop+Hive环境搭建图文详解(单机)

引言在大数据学习系列之一 ----- Hadoop环境搭建(单机) 成功的搭建了Hadoop的环境,在大数据学习系列之二 ----- HBase环境搭建(单机)成功搭建了HBase的环境以及相关使用介绍.本文主要讲解如何搭建Hadoop+Hive的环境. 一.环境准备 1,服务器选择本地虚拟机操作系统:linux CentOS 7 Cpu:2核内存:2G 硬盘:40G 说明:因为使用阿里云服务器每次都要重新配置,而且还要考虑网络传输问题,于是自己在本地便搭建了一个虚拟机,方便文件的传输以…

CentOS系统里如何正确取消或者延长屏幕保护自动锁屏功能（图文详解）

不多说,直接上干货! 对于我这里想说的是,分别从CentOS6.X 和 CentOS7.X来谈及. 1. 问题:默认启动屏幕保护问题描述: CentOS系统在用户闲置一段时间(默认为5分钟)后,会启动屏幕保护程序(默认的屏保为黑屏),并要求重新输入密码才能回到原来桌面. 有时候,我们在图形化界面里解决问题,一会儿,锁屏很烦,总是让我们输入. 2. 解决方法:重新设置屏幕保护 CentOS6.X的做法: 2.1 打开Screensaver Preferences界面 2.2 取消屏幕保…

Windows里安装wireshark或者ethereal工具（包括汉化破解）（图文详解）

不多说,直接上干货! https://www.wireshark.org/download.html 我这里,读取的是,来自于https://www.ll.mit.edu/ideval/data/1999data.html数据集. DARPA 1999 data的第二周的星期一的内网数据集. 或者大家,这里,自己抓取,也是很简单. 得到…

大数据学习系列之七 ----- Hadoop+Spark+Zookeeper+HBase+Hive集群搭建图文详解

引言在之前的大数据学习系列中,搭建了Hadoop+Spark+HBase+Hive 环境以及一些测试.其实要说的话,我开始学习大数据的时候,搭建的就是集群,并不是单机模式和伪分布式.至于为什么先写单机的搭建,是因为作为个人学习的话,单机已足以,好吧,说实话是自己的电脑不行,使用虚拟机实在太卡了... 整个的集群搭建是在公司的测试服务搭建的,在搭建的时候遇到各种各样的坑,当然也收获颇多.在成功搭建大数据集群之后,零零散散的做了写笔记,然后重新将这些笔记整理了下来.于是就有了本篇博文. 其实我在搭…

大数据学习系列之五 ----- Hive整合HBase图文详解

引言在上一篇大数据学习系列之四 ----- Hadoop+Hive环境搭建图文详解(单机) 和之前的大数据学习系列之二 ----- HBase环境搭建(单机) 中成功搭建了Hive和HBase的环境,并进行了相应的测试.本文主要讲的是如何将Hive和HBase进行整合. Hive和HBase的通信意图 Hive与HBase整合的实现是利用两者本身对外的API接口互相通信来完成的,其具体工作交由Hive的lib目录中的hive-hbase-handler-*.jar工具类来实现,通信原理如下图…

全网最全的Windows下Anaconda2 / Anaconda3里正确下载安装爬虫框架Scrapy（离线方式和在线方式）（图文详解）

不多说,直接上干货! 参考博客全网最全的Windows下Anaconda2 / Anaconda3里正确下载安装OpenCV(离线方式和在线方式)(图文详解) 第一步:首先,提示升级下pip 第二步:下载安装wheel 也可以去网站里先下载好,离线安装.也可以如上在线安装. 第三步: 安装lxml 因为,我的是成功! 验证下第四步:安装Twisted PS C:\Anaconda3\Lib\site-packages> pip install Twisted--cp35-cp35m-w…

全网最详细的Windows系统里Oracle 11g R2 Client客户端（64bit）安装后的初步使用（图文详解）

不多说,直接上干货! 前期博客全网最详细的Windows系统里Oracle 11g R2 Client(64bit)的下载与安装(图文详解) 命令行方式测试安装是否成功 1) 打开服务(cmd—>services.msc) 以下是Oracle 11g R2Database的: 以下是Oracle 11g R2 Database和Oracle 11g R2 Client的: 2) 测试一下.打开Oracle自带的SQL PLUS.运行SQL Plus,通过用户名/密码能够登录数据库,说明…

全网最详细的Windows系统里Oracle 11g R2 Database（64bit）安装后的初步使用（图文详解）

不多说,直接上干货! 前期博客全网最详细的Windows系统里Oracle 11g R2 Database(64bit)的下载与安装(图文详解) 命令行方式测试安装是否成功 1) 打开服务(cmd—>services.msc) 看到已经有oracle服务运行将个服务改为手动启动(需要开启oracle时,自己启动服务,减少资源消耗) 只需启动OracleOraDb11g_home1TNSListener和OracleServiceORCL这两个服务,oracle就可以使用了.[一般编程也只…

全网最详细的Windows系统里Oracle 11g R2 Database（64bit）的完全卸载（图文详解）

不多说,直接上干货! 前期博客全网最详细的Windows系统里Oracle 11g R2 Database(64bit)的下载与安装(图文详解) 若你不想用了,则可安全卸载. 完全卸载Oracle Database 11g步骤: 1.开始->设置->控制面板->管理工具->服务停止所有Oracle服务. 2. 开始-->程序-->oracle - OraDb11g_home1--> Universal Installer 3.选择卸载产品只勾选Oracle…

全网最详细的Windows系统里PLSQL Developer 64bit安装之后的一些配置（图文详解）

不多说,直接上干货! 注意的是: 本地若没有安装Oracle服务端,Oracle server服务端64位,是远程连接,因此本地配置PLSQL Developer64位. PLSQL Developer是什么? 进入PLSQL Developer 1.双击 2.第一次,启动PLSQL Developer,不登录点取消进入PLSQL Developer 3.输入已安装的oracle数据用户及密码,数据库选择ORACLE,Normal权限. 重启后,得到参考全网最详细的Windows系统里PLS…

全网最详细的Windows系统里PLSQL Developer 64bit的下载与安装过程（图文详解）

不多说,直接上干货! ORACLE是数据库,有客户端和服务器: 其,具体下载,可见http://www.oracle.com/technetwork/database/enterprise-edition/downloads/index.html PLSQL Developer只是第三方工具,服务于ORACLE,类似的工具还有Toad,sqlplus,sql developer等等: 其实: 安装PLSQL Developer与安装Oracle没啥关系,但是如果没有Oracle客户端,你装了PL…