写在开头 现在scrapy的安装教程都明显过时了,随便一搜都是要你安装一大堆的依赖,什么装python(如果别人连python都没装,为什么要学scrapy….)wisted, zope interface,pywin32………现在scrapy的安装真的很简单的好不好! 代码我放github上了,可以参考: https://github.com/hk029/doubanbook 为什么要用scrapy 我之前讲过了requests,也用它做了点东西,([图文详解]python爬虫实战——5分钟做…

收藏自 http://www.ihref.com/read-16377.html Git介绍 分布式 : Git版本控制系统是一个分布式的系统, 是用来保存工程源代码历史状态的命令行工具; 保存点 : Git的保存点可以追踪源码中的文件, 并能得到某一个时间点上的整个工程项目额状态; 可以在该保存点将多人提交的源码合并, 也可以会退到某一个保存点上; Git离线操作性 :Git可以离线进行代码提交, 因此它称得上是完全的分布式处理, Git所有的操作不需要在线进行; 这意味着Git的速度要比SV…

这两天接触了MongoDB数据库,发现和mysql数据库还是有很大差别的,同时使用前的配置看起来有些繁杂,踩过不少坑,其实只要一步一步搞清了,并不难. 接下来,我就整理下整个安装及配置过程. 安装的Mongodb版本: mongodb-win32-x86_64-2008plus-ssl-3.4.10-signed.msi 电脑信息:win10  64位 一.安装 安装其实很简单,一路next,选择custom,不然无法继续 我是默认的安装位置:C:\Program Files\MongoDB,你…

不多说,直接上干货! 分区助手是什么?(博主推荐)(图文详解) 分区助手各版本比较(图文详解) 分区助手官网使用教程(专业版.绿色版和WinPE版)(图文详解) 安装分区助手时出现“分区助手已安装到你的电脑中”的错误解决办法(图文详解) 问题详情 在使用电脑的过程中,我们会出现某一个盘容量不足的情况,这时我们可以考虑从临近盘抽取空余容量给现在需要容量的磁盘. 比如,我现在的电脑E盘已经快满了,如下状态.   想从D盘抽取20G 给 E盘. 解决办法 第一步:下载分区助手(注意:安装目录不要选择需…

写在前面的话 (1) 最近一段时间,因担任我团队实验室的大数据环境集群真实物理机器工作,至此,本人秉持负责.认真和细心的态度,先分别在虚拟机上模拟搭建ambari(基于CentOS6.5版本)和cloudermanager(基于CentOS6.5或Ubuntu14.04版本). (2)  大数据集群范围包括3节点和4节点.本人都尝试过. (3)  安装搭建包括离线和在线.本人都尝试过 (4)  版本包括自定义指定和官方最新版本搭建.本人都尝试过. (5) 大数据集群节点的增加和删减.本人都尝试过…

不多说,直接上干货! 参考博客 全网最全的Windows下Anaconda2 / Anaconda3里正确下载安装OpenCV(离线方式和在线方式)(图文详解) 第一步:首先,提示升级下pip 第二步:下载安装wheel 也可以去网站里先下载好,离线安装.也可以如上在线安装.   第三步: 安装lxml 因为,我的是 成功! 验证下 第四步:安装Twisted PS C:\Anaconda3\Lib\site-packages> pip install Twisted--cp35-cp35m-w…

不多说,直接上干货! 前期博客 StreamSets学习系列之StreamSets支持多种安装方式[Core Tarball.Cloudera Parcel .Full Tarball .Full RPM .Docker Image和Source Code ](图文详解)   核心安装包(Core Tarball) 该安装包包含核心的SDC软件,使该软件具有最小的软件连接器集合,当然你可以手动下载额外的节点(Stage) ①  通过Streamsets的UI进行安装,UI上点击的位置为:在该软件…

前提 Elasticsearch-2.4.3的下载(图文详解) Elasticsearch-2.4.3的单节点安装(多种方式图文详解) Elasticsearch-2.4.3的3节点安装(多种方式图文详解) Logstash-2.4.1的下载(图文详解) Logstash是一个管理日志和事件的工具. 我这里的机器集群情况分别是: HadoopMaster(192.168.80.10).HadoopSlave1(192.168.80.11)和HadoopSlave2(192.168.80.12).…

前期博客 基于CentOS6.5下snort+barnyard2+base的入侵检测系统的搭建(图文详解)(博主推荐) tcpreplay是什么? 简单的说, tcpreplay是一种pcap包的重放工具, 它可以将用ethreal, wireshark工具抓下来的包原样或经过任意修改后重放回去. 它允许你对报文做任意的修改(主要是指对2层, 3层, 4层报文头), 指定重放报文的速度等, 这样tcpreplay就可以用来复现抓包的情景以定位bug, 以极快的速度重放从而实现压力测试. tcpr…

不多说,直接上干货! 至于为什么,要写这篇博客以及安装Kafka-manager? 问题详情 无奈于,在kafka里没有一个较好自带的web ui.启动后无法观看,并且不友好.所以,需安装一个第三方的kafka管理工具 功能 为了简化开发者和服务工程师维护Kafka集群的工作,yahoo构建了一个叫做Kafka管理器的基于Web工具,叫做 Kafka Manager.这个管理工具可以很容易地发现分布在集群中的哪些topic分布不均匀,或者是分区在整个集群分布不均匀的的情况. 它支持管理多个集群.…