http://www.cnblogs.com/kfpa/p/Portia.html http://brucedone.com/archives/986…

部署portia环境官方文档给出的方法太过简单,对于初学者来说是很难根据那一两行字成功部署portia环境的.对于部署portia这只可爱的爬虫的过程还是有很多坑的,主要写一篇portia2.0版本的尝鲜版的环境部署手册.给一个忠告,网上那些过时的部署手册,大家最好别看,容易误导你,也浪费你的时间,portia处于活跃的开发阶段,部署步骤也会略有改动,时间久远的帖子只能浪费小主的时间. 言归正传,想要跟portia这只蜘蛛亲密接触,主要分以下几个步骤: 部署环境的准备 启动portia蜘蛛服务…

要部署Java开发环境首先就要安装JDK. 一.安装JDK8 1. 下载 jdk-8u172-linux-x64.tar.gz 到 /usr/java8/ 目录下: 2. tar  -zxvf  jdk-8u172-linux-x64.tar.gz 3. ln  -s  jdk1.8.0_172  java 4. vi /etc/profile 输入以下内容 JAVA_HOME = /usr/java8/java CLASSPATH = $JAVA_HOME/lib PATH = $PATH:$…

# 相关网址 http://developer.ubuntu.com/zh-cn/apps/sdk/ 0. 环境搭建 首选需要一个Ubuntu 14.04操作系统.没啥好讲的,直接安装了一个虚拟机.     系统安装完成后,请不要更新操作系统.如果更新后,安装Ubuntu SDK则会出现如下报错: The following packages have unmet dependencies: libcogl15: Depends: libc6 (>= 2.17) but 2.19-0ubuntu…

背景 Scrapy爬虫的确是好使好用,去过scrapinghub的官网浏览一下,更是赞叹可视化爬虫的犀利.scrapinghub有一系列的产品,开源了大部分项目,Portia负责可视化爬虫的编辑,SpiderCloud负责云端爬虫的部署,Scrapy是实现他们底层的技术.国内的可视化爬虫技术也有不少,据我所知就这几种: 集搜客 造数 如果有其他优秀的可视化爬虫我没有提到,大家可以补充.他们的功能暂不讨论,但他们都没有开源的,不方便我们研究. 而scrapinghub将Portia开源出来了,我们…

以下是centos系统安装docker的操作记录 1)第一种方法:采用系统自带的docker安装,但是这一般都不是最新版的docker安装epel源[root@docker-server ~]# wget http://dl.fedoraproject.org/pub/epel/epel-release-latest-6.noarch.rpm[root@docker-server ~]# rpm -ivh epel-release-latest-6.noarch.rpm[root@docker-…

前言 本文介绍如何在 Ubuntu 16.04 服务器上安装 .NET Core 2.0 SDK.创建项目与发布,并使用 Nginx 部署 .NET Core 2.0 Web 项目. 安装 .NET Core 注册 Microsoft 签名密钥: curl https://packages.microsoft.com/keys/microsoft.asc | gpg --dearmor > microsoft.gpg sudo mv microsoft.gpg /etc/apt/trusted.…

CentOS7+ApacheServer2.4+MariaDB10.0+PHP7.0+禅道项目管理软件8.0环境部署 by:授客 QQ:1033553122 目录 一. 二. 三. 四. 五. 六. 一.      实践环境 CentOS 7操作系统(CentOS-7-x86_64-DVD-1503-01.iso) 下载地址:http://ftp.riken.jp/Linux/centos/7/isos/x86_64/ Apache HTTP Server(httpd-2.4.17.tar.gz…

Scrapy是一个流行的爬虫框架,利用Scrapyd,可以将其部署在远程服务端运行,并通过命令对爬虫进行管理,而Gerapy为我们提供了精美的UI,可以在web页面上直接点击操作,管理部署在scrapyed上的爬虫,本文介绍Scrapyd与Gerapy的基本安装与使用方法   一.Scrapyd简介: Scrapyd是一个服务,允许用户将爬虫部署在服务端,并通过HTTP JSON的方式控制爬虫,并且可以通过web页面监控爬虫状态 二.Scrapyd安装部署: 在向服务器部署爬虫时,我们需要下载2…

Ubuntu部署python3.5的开发和运行环境 1 概述 由于最近项目全部由python2.x转向 python3.x(使用目前最新的 python3.5.1) ,之前的云主机的的默认python版本都面临升级,故进行了升级后将相应的步骤记录下来,作为学习笔记吧. 服务器运行环境: ubuntu 14 LTS Server 本安装方式具有如下特点: 不影响已经有的python环境 增量式安装 完全隔离的沙盒环境 甚至可以不需要root权限 2 下载 在python官网下载指定平台下的pyth…

Ubuntu部署python3.7的开发和运行环境 1 概述 由于最近项目全部由python2.x转向 python3.x(使用 python3.7.1) ,之前的云主机的的默认python版本都面临升级,故进行了升级后将相应的步骤记录下来,作为学习笔记吧. 服务器运行环境: ubuntu 18 LTS Server(同样也适合14,16,还有MacOS) 本安装方式具有如下特点: 不影响已经有的python环境 增量式安装 完全隔离的沙盒环境 甚至可以不需要root权限 2 下载 在pytho…

前面已经介绍了Jumpserver V3.0的安装,基于这篇安装文档,下面说下Jumpserver安装后的的功能使用: 一.jumpserver的启动 Jumpserver的启动和重启 [root@test-vm001 install]# /opt/jumpserver/service.sh start/restart 二.按照Jumpserver部署过程结尾的账号信息(admin/wangadmin@123)登陆Jumpserver的web界面 修改admin超级管理员的密码 只修改admin…

  多次尝试才正常启动了Fabric,如遇到各种莫名错误,请参考如下一步步严格安装,特别用户权限需要注意. 一.安装Ubuntu16 虚拟机或双系统,虚拟机有VirtualBox或者VMware,Ubuntu 16.04镜像安装好. 打开系统设置,选择软件和更新 , 然后在下载自:中选择aliyun   二.安装基础工具 注意操作用户是自建用户,不是root,特别一些命令涉及用户目录的地方要特别注意 首先安装一些常用工具   sudo apt-get update   sudo apt-get…

Ubuntu下配置opencv3.1.0开发环境 1.最近工作上用到在Ubuntu下基于QT和opencv库开发应用软件(计算机视觉处理方面),特把opencv的配置过程详细记录,以供分享 2.步骤说明 一.安装OpenCV3.1.0 1.使用wget下载opencv源码 url : https://github.com/Itseez/opencv/archive/3.1.0.zip sudo apt-get install wget sudo wget https://github.com/I…

最新教程:http://www.cnblogs.com/linezero/p/aspnetcoreubuntu.html 无需安装mono,在Linux(Ubuntu)下搭建ASP.NET Core环境 继续.NET跨平台 上一篇:使用VS Code开发ASP.NET Core 应用程序 今天来学习一下ASP.NET Core 运行在Ubuntu中.无需安装mono . 环境 Ubuntu 14.04.4 LTS 服务器版 全新安装系统. 下载地址:http://mirrors.neusoft.…

Atitit.可视化编程jbpm6 的环境and 使用总结... 1. Jbpm的意义 1 2. Jbpm6环境配置 2 2.1. Down 2 2.2. Install eclipse jbpm plugin 2 2.3. Set Jbpm6_Runtimes 2 3. 顺序执行的流程配置 3 3.1. Cretae demo prj 执行自动生成的测试代码 3 3.2. 建立新的流程bpmn文件 3 3.3. 添加start 跟end控件 4 3.4. 添加一个script task控件..…

转自:http://blog.csdn.net/enjoyyl/article/details/47397505?from=timeline&isappinstalled=0#10006-weixin-1-52626-6b3bffd01fdde4900130bc5a2751b6d1 NVIDIA DIGITS-2.0 + Ubuntu 14.04 + CUDA 7.0 + cuDNN 7.0 + Caffe 0.13.0环境配置 引言 DIGITS简介 DIGITS特性 资源信息 说明 DIGI…

一:ubuntu部署jdk 1:先下载jdk-8u74-linux-x64.tar.gz,上传到服务器,这里上传文件用到了ubuntu 下的 lrzsz. ubuntu下直接执行 sudo apt-get install lrzsz  lrzsz 拆分为两个命令,sz和rz sz命令发送文件到本地: # sz filename rz命令本地上传文件到服务器 # rz 我在/user/local 目录下新建java文件夹,在java文件夹下执行 rz 命令,直接从本地把jdk包传到服务器上 2:解…

教程使用的软件版本:Ubuntu 18.04.1 LTS,django2.0,Python 3.6.5.nginx-1.13.7.uWSGI (2.0.17.1),Ubuntu是纯净的,全新的.下面我们开始来部署. 文章转自django中文网:Ubuntu部署Django项目方法详解 如果觉得看文字没意思,想看视频教程的,请点击这里:Django项目部署视频教程 一.更新操作系统和安装依赖包 #更新操作系统软件库 sudo apt-get update sudo apt-get upgrade…

前言 Scrapy is coming!! 在写了七篇爬虫基础文章之后,终于写到心心念念的Scrapy了.Scrapy开启了爬虫2.0的时代,让爬虫以一种崭新的形式呈现在开发者面前. 在18年实习的时候开始接触Scrapy,花了一个月的时间,理论结合实践学习了Scrapy.本篇文章不写代码操作,只讲前因后果及理论,愿你懂得Scrapy. 原生爬虫面临问题 无论使用Java的Jsoup也好,python的requests也罢,开发爬虫都会面临下面几个问题: 1.分布式 爬虫程序一般只运行在一台主机…

如图 在Windows Server 2008 R2 IIS7.5 部署 MVC HTTP 404.0 Not Found 错误,在Win7环境下测试正常,在百度中查找相关解决方法,如修改配置文件等,均无效.不断搜索后找到一篇http://www.cnblogs.com/liluping860122/p/3754724.html 博客,说明是Windows Server 2008 R2 操作系统问题,需要打补丁,最终解决. 下载 补丁  KB980368 Update for Windows S…

ubantu16.04+mxnet +opencv+cuda8.0 环境搭建 建议:环境搭建完成之后,不要更新系统(内核) 转载请注明出处: 微微苏荷 一 我的安装环境 系统:ubuntu16.04 显卡:gt940m python: 2.7.12 GCC:5.3.0 (ubuntu 默认是5.4, 关于降级,后边有叙述) 二 安装步骤 (一) gcc降级 (可选/安装opencv2.4.13则必选) 根据需要,opencv安装时提示,gcc 不支持5.3以上版本,所以降级. 方法1:5.4 =…

[注] 1.该系列文章以及使用到安装包/测试数据 可以在<倾情大奉送--Spark入门实战系列>获取: 2.Spark编译与部署将以CentOS 64位操作系统为基础,主要是考虑到实际应用一般使用64位操作系统,内容分为三部分:基础环境搭建.Hadoop编译安装和Spark编译安装,该环境作为后续实验基础: 3.文章演示了Hadoop.Spark的编译过程,同时附属资源提供了编译好的安装包,觉得编译费时间可以直接使用这些编译好的安装包进行部署. 1.运行环境说明 1.1 硬软件环境 线程,主频…

在给客户实施软件的过程中要,要安装.NET 4.0 环境,而且是在XP的系统上. 目前的客户中仍然有大量使用XP的机器,而且极为不稳定,在安装吉特仓库管理系统客户端的时候出现了如下问题: 产品: Microsoft .NET Framework Client Profile -- 错误 .无法打开键: HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Internet Explorer\Main\FeatureControl\FEATURE_ZONE_ELEVATION…

你可能会有很多理由想要把一个应用.一个用户或者一个环境与你的 Linux 系统隔离开来.不同的操作系统有不同的实现方式,而在 Linux 中,一个典型的方式就是 chroot 环境. 在这份教程中,我会一步一步指导你怎么使用 chroot 命令去配置一个与真实系统分离出来的独立环境.这个功能主要可以用于测试项目,以下这些步骤都在 Ubuntu 14.04 虚拟专用服务器(VPS)上执行. 学会快速搭建一个简单的 chroot 环境是一项非常实用的技能,绝大多数系统管理员都能从中受益. Chroo…

今天主要来说说怎么在Hadoop2.2.0分布式上面运行写好的 Mapreduce 程序. 可以在eclipse写好程序,export或用fatjar打包成jar文件. 先给出这个程序所依赖的Maven包: <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation=&quo…

前面两篇文章,已经说明了JDK和Eclipse 的安装方法,下面简单说一下,Tomcat及MySQL的安装方法. Tomcat的安装. 在合适的地方解压apache-tomcat-6.0.39.tar.gz cd /opt/DevelopTools sudo mkdir server cd server sudo cp /home/home/下载/apache-tomcat-.tar.gz /opt/DevelopTools/server sudo tar -zxvf apache-tomcat…

本文主要演示如何在Ubuntu上搭建Watir-Webdriver与Cucumber环境,用于自动化测试. 1. Ubuntu环境 A. 安装 因为我的工作机是Windows,所以采用虚拟机的方式使用Ubuntu. 1. 首先安装虚拟机软件,可以使用VMware workstation.VirtualBox等虚拟机软件. 2. 在虚拟机中安装Ubuntu,我使用了Ubuntu 13.10 32位. 注意:Ubuntu 32位与64位对于我们的环境搭建没有区别,因为我的虚拟机内存为1G,所以使用了…

Ubuntu 12.04 搭建Android开发环境 2013/7/29 Linux环境下搭建Android开发环境 大部分开发人员可能都在Windows下做开发,可能是感觉在Windows下比较方便,我感觉也是.不过作为一名开发者仅局限在一种环境的话,那局限性也就太大了,况且在Linux下开发会帮助开发者提高开发效率,学习Linux也会让开发者受益匪浅的. 小巫是在虚拟机上安装的Linux,版本是Ubuntu 12.04, 到现在好像已经出道13.04了,不过这也没有多大关系,开发环境够用的就…

作为小码农的我,昨天就在装这个东东了,主要参考第一篇博文,但是过程发现很多问题,经过反反复复,千锤百炼,终于柳暗花明,我把这个caffe给搞定了,是故,我发布出来,后之来者,欲将有感于斯文~ 本分分为四个部分,在Ubuntu上调试运行成功,第一部分:nVidia驱动和CUDA Toolkit的安装和调试:第二部分 Python安装和调试:第三部分 Matlab安装和调试:第四部分 Caffe的安装和测试. 第一部分:nVidia驱动和CUDA Toolkit的安装和调试 这里以CUDA 7.0为…