我们之前的爬虫都是在同一台机器运行的,叫做单机爬虫.scrapy的经典架构图也是描述的单机架构.那么分布式爬虫架构实际上就是:由一台主机维护所有的爬取队列,每台从机的sheduler共享该队列,协同存储与提取.分布式爬虫的多台协作的关键是共享爬取队列.队列用什么维护呢?推荐redis队列redis是非关系型数据库,用key-value形式存储,结构灵活,他不像关系型数据库必须要由一定的结构才能存储.key-value可以是多种数据,非常灵活.另外,redis是内存中的数据结构存储系统,处理速度快

[目录] ◆PHP常用的代码 ◆HTML常用代码 [值传递 和 引用传递] [单例模式] [魔术常量] [代码调试(自定义一个简单的debug函数)] [thinkphp多表查询] [获取客户端IP地址] [PHP json_encode中文乱码解决方法] [Apache设置二级域名和虚拟主机,在httpd.conf的最后] [CURL 获取远程网页数据] [使用CURL抓取网页] [在cURL中用POST方法发送数据] [使用cURL上传文件] [上传网络图片] [PHP将XML数据转换为数组

1.Linux如何查看端口 使用lsof(list open files)命令,lsof -i:端口号 用于查看某一端口的占用情况,比如查看8000端口使用情况,lsof -i:8000. 或者使用netstat命令 netstat -tunlp | grep 端口号,用于查看指定的端口号的进程情况,如查看8000端口的情况,netstat -tunlp | grep 8000. 还有更好的命令ss(Socket Statistics) ss命令可以用来获取socket统计信息, 默认不添加选项

1. 命令安装 1.1 zip安装 yum install zip 1.2 unzip安装 yum install unzip 2. 常用命令 2.1 常用zip命令 2.1.1 压缩文件 zip xx.zip xx(文件名) [root@CWY-HBCSH-ZYL-1 HDTool]# zip hardware.zip hardware.info updating: hardware.info (stored 0%) 2.1.2 压缩文件夹 zip -r xx.zip xx(文件夹名) [ro

仅记录一些我工作中常用的自定义js函数. 1.获取URL请求参数 //根据URL获取Id function GetQueryString(name) { var reg = new RegExp("(^|&)" + name + "=([^&]*)(&|$)"); var r = window.location.search.substr(1).match(reg); if (r != null) return unescape(r[2]);

本文链接:http://www.cnblogs.com/MartinChentf/p/6076075.html (转载请注明出处) 在Linux系统中,mkdir命令用来创建一个目录或一个级联目录. 1. 命令格式 mkdir [选项] 目录名 2. 命令选项 -m=mode 为目录指定访问权限,与chmod类似. -p 如果目录已经存在,则不会有错误提示.若父目录不存在,将会创建父目录.该选项常用于创建级联目录. -v 为每个目录显示提示信息. 3. 实例 实例1:在当前目录创建baklog目

本文链接:http://www.cnblogs.com/MartinChentf/p/6060252.html (转载请注明出处) crontab是一个用来设置.删除或显示供守护进程cron执行的定时任务的命令.每一个用户都可以拥有属于自己的定时任务,定时任务文件默认以用户名命名,并放在/var/spool/cron目录,该目录普通用户无访问权限. 可以通过cron.allow 和 cron.deny文件管理用户使用cron服务的权限.如果cron.allow存在,用户必须列在其中才会被允许使用

本文链接:http://www.cnblogs.com/MartinChentf/p/6057100.html (转载请注明出处) ipcs 1. 命令格式 ipcs [resource-option] [output-format] ipcs [resource-option] -i id 2. 命令功能 提供IPC设备的信息 3. 使用方法 resource选项: ipcs -m 查看系统共享内存信息 ipcs -q 查看系统消息队列信息 ipcs -s 查看系统信号量信息 ipcs [-a

本文链接:http://www.cnblogs.com/MartinChentf/p/6056571.html (转载请注明出处) 1.命令格式 find [-H] [-L] [-P] [-D debugopts] [-Olevel] [path...] [expression] 2. 命令功能 在文件目录层级中查找文件并做相应的处理 3. 命令选项 -name finename 按照文件名查找文件,文件名可使用通配符 -perm mode 按照文件权限查找文件 -type c 按照文件类型查找

作为一个运维工程师,经常可能会面对几十台.几百台甚至上千台服务器,除了批量操作外,环境同步.数据同步也是必不可少的技能.说到“同步”,不得不提的利器就是rsync. 下面结合本人近几年运维工作中对这一工具使用的经验,简单在此梳理下: rsync不但可以在本机进行文件同步,也可以作为远程同步工具.rsync+inotify实时同步方案部署,请参考:http://www.cnblogs.com/kevingrace/p/6001252.html rsync同步命令中常用的几个参数说明:-a, --a

前言 本文只是对工作中常用的EOM相关函数的整理,并不是要写个大而全的操作手册,如果想对EOM有更多的了解可以参考QTP的帮助文档或查看QTP安装目录\CodeSamplesPlus\UsingExcel.vbs文件. 自动化测试中,为了达到数据与脚本分离的目的,我们需要一种能够统一管理测试数据的工具.QTP自带的DataTable非常好用,但是不利于管理和维护,这时候Excel就进入了我们的视线,QTP提供了对Excel的强大支持,通过EOM(Excel Automation Object M

作为一枚程序员来说和数据库打交道是不可避免的,现收集一下工作中常用的SQL语句,希望能给大家带来一些帮助,当然不全面,欢迎补充! 1.执行插入语句,获取自动生成的递增的ID值 INSERT INTO SysRole (RoleName,RoleDesc) VALUES('超级管理员','描述') SELECT @@identity as 'id' 2.在同一数据表找到相同属性的记录 3.随机提取记录 SELECT RoleName FROM SysRole ORDER BY NEWID() 4.

常用Git指令总结 前阵子有几天好不顺,可谓是喝水都呛着,更何况被Git给呛着了,还不轻,哈哈.所以打算总结一下自己在工作使用到Git相关的东西以及和大家探讨使用GIt的心得体会.于是,关于Git的的文章也就呼之欲出,总结外加研究一些难啃的指令.Git工作流,后期会慢慢更新. 一.GIt的alias 1.先来说说自己比较喜欢用的简写指令,可根据个人自行配置,下图是本人自己工作常用的git简写: 2.像这样使用:  git st ---查看文件提交状态   git ci -m "提交信息说明&qu

Linux命令工作中常用总结   1. 搜索 在vi和vim中如果打开一个很大的文件,不容易找到对应的内容,可以使用自带的搜索关键字进行搜索定位: 在vi和vim界面中输入:"/"(反斜杠),之后会出现一个输入框让你输入,当你输入的关键字在文件中存在就会以高亮的形式显示出来,之后按 回车就确定定位到当前高亮位置,如果不是你要找的,则可以按:"n",意即寻找下一个输入关键字的内容. 2. vim恢复以及乱码问题 (1) 在vi和vim中如果不小心误删除了一些东西,想要

1. 搜索 在vi和vim中如果打开一个很大的文件,不容易找到对应的内容,可以使用自带的搜索关键字进行搜索定位: 在vi和vim界面中输入:"/"(反斜杠),之后会出现一个输入框让你输入,当你输入的关键字在文件中存在就会以高亮的形式显示出来,之后按 回车 就确定定位到当前高亮位置,如果不是你要找的,则可以按:"n",意即寻找下一个输入关键字的内容. 2. vim恢复以及乱码问题 (1) 在vi和vim中如果不小心误删除了一些东西,想要恢复怎么办? 首先要退出编辑状态

DBA工作中数据字典就等同于我们本和笔,时时刻刻也分不开的,不管是看状态,还是监控,都需要数据字典的支持,本文整理出来常用的数据字典系列,帮助大家来记住和汇总以便查询利用 ALL_CATALOG All tables, views, synonyms, sequences accessible to the user  ALL_COL_COMMENTS Comments on columns of accessible tables and views  ALL_COL_GRANTS_MADE 

1. 搜索 在vi和vim中如果打开一个很大的文件,不容易找到对应的内容,可以使用自带的搜索关键字进行搜索定位: 在vi和vim界面中输入:"/"(反斜杠),之后会出现一个输入框让你输入,当你输入的关键字在文件中存在就会以高亮的形式显示出来,之后按 回车 就确定定位到当前高亮位置,如果不是你要找的,则可以按:"n",意即寻找下一个输入关键字的内容. 2. vim恢复以及乱码问题 (1) 在vi和vim中如果不小心误删除了一些东西,想要恢复怎么办? 首先要退出编辑状态

最近工作中需要到linux服务器上更改文件,苦于对vim的各种命令不熟悉,今天特此总结并熟悉一下各种vim命令,好提高工作效率.后期持续更新 vim编辑器个人设置 先复制一份vim配置模板到个人目录下,如果/usr/share/vim/vimrc文件不存在则直接跳到第二步 cp /usr/share/vim/vimrc ~/.vimrc 编辑个人目录下的.vimrc vi ~/.vimrc 进入vim编辑模式编写以下配置信息 syntax on '开启语法高亮' set nu! '设置行号' s

接触gp数据库近一年的时间,语法上和其他数据库还是有些许不同,工作中常用的操作语句分享给大家! -- 建表语句 create table ods.ods_b_bill_m ( acct_month text, user_id text, city_code text ) WITH ( appendonly=true, orientation=column,--列存 行存为 row compresstype=zlib,--压缩格式 --QUICKLZ COMPRESSLEVEL=5, --压缩等级

4. H5标签有哪些? 2)行内元素有哪些? a - 锚点 em - 强调 img - 图片 font - 字体设定 ( 不推荐 ) i - 斜体 input - 输入框 3)块级元素有哪些? address - 地址 blockquote - 块引用 center - 举中对齐块 dir - 目录列表 div - 常用块级容易,也是 css layout 的主要标签 fieldset - form控制组 p - 段落 4)空(void)元素有哪些? <br/> //换行 <hr>

对于Linux,我是菜鸟,也是在工作中了才开始慢慢接触,用Linux的人都我都会觉得屌屌的,现在把工作中常用的一些Linux命令记录一下,供以后学习和参考. cd 这可能是我觉得Linux最简单的一个命令,因为windows操作系统也同样适用这个命令.它主要用于目录切换,后面可以跟绝对路径,也可以跟相对路径,如: 123 cd d:/wjl_hexo ##到D盘的wjl_hexo目录cd .. ##到当前目录的上一层目录,假如当前目录是D:/wjl_hexo,执行后当前所在目录就是D盘根目录cd