一    Scrapyd简介 Scrapyd 是一个用来部署和运行 Scrapy 项目的应用,由 Scrapy 的开发者开发.其可以通过一个简单的 Json API 来部署(上传)或者控制你的项目. Scrapyd 可以用来管理多个项目,并且每个项目还可以上传多个版本,不过只有最新的版本会被使用. 在安装并开启 Scrapyd 之后,它将会挂起一个服务来监听运行爬虫的请求,并且根据请求为每一个爬虫启用一个进程来运行.Scrapyd 同样支持同时运行多个进程,进程的数量由max_proc 和 ma…
import requestsheader={"User-Agent": "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/77.0.3865.90 Safari/537.36"}c=requests.session()s=c.get("http://127.0.0.1/DVWA/login.php",headers=he…
eos是什么? 原文 https://www.jianshu.com/p/06443248f4d8 简介 用一句话来定义eos,即:区块链操作系统,支持在它之上构建dapp,支持智能合约.帐户.身份验证.数据库.异步通信和跨越数百个 CPU 内核或集群的应用程序调度.简单来说,eos是类似于windows.linux.安卓.ios这样的底层操作系统,为区块链的去中心化应用(dapp)提供更加方便.安全的开发运行环境. eos的诞生背景 众所周知,区块链技术发展到现在,已经步入了区块链3.0时代.…
参考 官方网站:https://github.com/happyfish100/ 配置文档:https://github.com/happyfish100/fastdfs/wiki/ 参考资料:https://www.oschina.net/question/tag/fastdfs Java客户端:https://github.com/happyfish100/fastdfs-client-java 术语 fastDFS: FastDFS是一款开源的轻量级分布式文件系统纯C实现,支持Linux.…
当我写下Map<String,Object> map = new HashMap<>();我到底在写什么? 我什么时候会写HashMap? 一个函数同时需要返回 多种 状态的情况 举例:一个列表有100个数据,一个函数对该列表进行处理,并将该列表的数据划分为A,B,C 3部分,此时函数的返回值就适用用map 当需要保存键值对时 HashMap的实现是什么? 数组 + linkedList + 红黑树 容量阈值 都是指的HashMap中实际存放数据的数组的容量阈值 我该怎么写Hash…
从学习搭建zabbix到完成各类监控.调优.二次开发已经过去了两年,期间通过QQ学习群.zabbix官方社区.各个技术博客整理学习了不少关于各种报错的处理方法,现在将常见的一些报错处理方法整理出来分享给大家. 在这先贴几个链接,给自己过去的简书增加些流量: Centos7安装Zabbix server3.4 zabbix通过SNMP监控路由器,交换机 zabbix通过IPMI监控服务器硬件 zabbix agent部署及自定义SQL server监控模版 Zabbix+Raspberry pi监…
简介 Charles其实是一款代理服务器,通过成为电脑或者浏览器的代理,然后截取请求和请求结果达到分析抓包的目的.该软件是用Java写的,能够在Windows,Mac,Linux上使用,安装Charles的时候要先装好Java环境. Charles是在 常用的网络封包截取工具,在做移动开发时,我们为了调试与服务器端的网络通讯协议,常常需要截取网络封包来分析.Charles 通过将自己设置成系统的网络访问代理服务器,使得所有的网络访问请求都通过它来完成,从而实现了网络封包的截取和分析.除了在做移动…
https://www.jianshu.com/p/3b5c45e8e5bd…
from my CSDN: https://blog.csdn.net/su_cicada/article/details/86939944 参考 https://raspberrypi.stackexchange.com/questions/3617/how-to-install-unrar-nonfree 1.卸载unrar-free. $ sudo apt-get remove unrar-free 2.通过编辑确保您拥有源存储库/etc/apt/sources.list. $ cat /…
import os # 方法一: os.walk实现 def items_dir(rootname): l = [] for main_dir, dirs, file_name_list in os.walk(rootname): # print('1',main_dir) # print('2',dirs) # print('3',file_name_list) for file in file_name_list: file_path = os.path.join(main_dir,file…
小结: 1.在 I/O 多路复用模型中,最重要的函数调用就是 select,该方法的能够同时监控多个文件描述符的可读可写情况:2.Redis 服务采用 Reactor 的方式来实现文件事件处理器(每一个网络连接其实都对应一个文件描述符):3.虽然整个文件事件处理器是在单线程上运行的,但是通过 I/O 多路复用模块的引入,实现了同时对多个 FD 读写的监控,提高了网络通信模型的性能,同时也可以保证整个 Redis 服务实现的简单4.Redis 会优先选择时间复杂度为 O(1) 的 I/O 多路复用…
总目录 一.前言 本文通过从项目创建到部署,简单介绍Asp.Net Core. 二.环境 1.Visual Studio 2017 2.Asp.Net Core 2.2 三.开局 第一手:创建项目         1.这里选择.Net Core,.Net Core与.Net Framework选项的区别: -面向.Net Core的ASP.NET Core应用可以跨平台: -面向.NET Framework 的 ASP.NET Core应用无法跨平台,仅在Windows上运行. 2.这里选择[W…
1. ActiveMQ 1). ActiveMQ ActiveMQ是Apache所提供的一个开源的消息系统,完全采用Java来实现,因此,它能很好地支持J2EE提出的JMS(Java Message Service,即Java消息服务)规范.JMS是一组Java应用程序接口,它提供消息的创建.发送.读取等一系列服务.JMS提供了一组公共应用程序接口和响应的语法,类似于Java数据库的统一访问接口JDBC,它是一种与厂商无关的API,使得Java程序能够与不同厂商的消息组件很好地进行通信. 2).…
在学习Swift 3的过程中整理了一些笔记,如果想看其他相关文章可前往<Swift 3必看>系列目录 swift 3中对C层级的GCD的API进行了彻头彻尾的改变.本文将从实际使用场景来了解一下新的api使用. dispatch_async 一个常见的场景就是在一个全局队列进行一些操作后切换到主线程配置UI.现在是这么写: DispatchQueue.global().async { // code DispatchQueue.main.async { // 主线程中 } } global()…
centos7.3 kubernetes/k8s 1.10 离线安装 老菜_misa 关注 2018.04.25 23:57 字数 1243 阅读 266评论 1喜欢 3 本文介绍在centos7.3使用kubeadm快速离线安装kubernetes 1.10.采用单master,单node(可以多node),占用资源较少,方便在笔记本或学习环境快速部署,不适用于生产环境.转载注明出处.所需文件百度盘连接链接:https://pan.baidu.com/s/1iQJpKZ9PdFjhz9yTgl…
官方文档: https://www.envoyproxy.io/docs1.6.0版官方文档: https://www.envoyproxy.io/docs/envoy/v1.6.0/ 一. 编译和安装 1. 编译 Envoy使用 Bazel工具 构建系统.为了简化初次构建以及快速入门,我们提供了一个基于Ubuntu16的Docker容器镜像,其中包含了构建静态链接Envoy所需的所有内容,请参阅 ci/README.md 目前有3个基础的编译用的镜像:(1) envoyproxy/envoy-…
https://www.cnblogs.com/xiaoxian1369/p/4332390.html :…
1800年 约瑟夫·玛丽·雅卡尔(Joseph Marie Jacquard),设计出人类历史 上首台可设计织布机——雅卡尔织布机,对将来发展出其他可编程机器起了重要作用 1842年 阿达·洛夫莱斯(Ada Lovelace)为计算程序拟定“算法”,写作的第一份“程序设计流程图”, 被珍视为“第一位给计算机写程序的人”. 1936年 阿兰·麦席森·图灵(Alan Mathison Turing)向伦敦权威的数学杂志投了一篇论文,题为“论数字 计算在决断难题中的应用”.在这篇开创性的论文中,图灵给…
RFM用户价值模型的原理和应用  ▌定义 在众多的用户价值分析模型中,RFM模型是被广泛被应用的:RFM模型是衡量客户价值和客户创利能力的重要工具和手段,在RFM模式中,R(Recency)表示客户购买的时间有多远,F(Frequency)表示客户在时间内购买的次数,M (Monetary)表示客户在时间内购买的金额. 一般的分析型CRM着重在对于客户贡献度的分析,RFM则强调以客户的行为来区分客户.在实际应用中根据业务不同会有参考的数据维度也会有诸多变变种. ▌意义 RFM模型较为动态地显示了…
什么是 webassembly 在 2019 年 12 月之前,如果你要编写一个web页面,那一定离不开 html.css.js 这三个好兄弟.在 2019 年 12 月之后 W3C 宣布 webassembly 加入了他们.为什么要在三兄弟后加入 webassembly ?它和之前的有什么区别么?以 js 为对比,我们具体看一下它们的区别. wasm 与 js 的区别 js 是一种解释型语言,它代码运行之前不会进行编译工作,而是在执行的过程中实时编译.为了让边编译边执行能够顺利进行,我们拥有了…
virtualenv is a tool to create isolated Python environments. virtualenv通过创建独立Python开发环境的工具, 来解决依赖.版本以及间接权限问题. 比如一个项目依赖Django1.3 而当前全局开发环境为Django1.7, 版本跨度过大, 导致不兼容使项目无法正在运行, 使用virtualenv可以解决这些问题. virtualenv创建一个拥有自己安装目录的环境, 这个环境不与其他虚拟环境共享库, 能够方便的管理pyth…
一.防火墙的开启.关闭.禁用命令 (1)设置开机启用防火墙:systemctl enable firewalld.service (2)设置开机禁用防火墙:systemctl disable firewalld.service (3)启动防火墙:systemctl start firewalld (4)关闭防火墙:systemctl stop firewalld (5)检查防火墙状态:systemctl status firewalld 二.使用firewall-cmd配置端口 (1)查看防火墙…
计算机网络基础知识大总汇 龙猫小爷 关注 2016.09.14 23:01* 字数 12761 阅读 30639评论 35喜欢 720 一.什么是TCP/IP 网络和协议 1.     TCP/IP是一类协议系统,它是一套支持网络通信的协议集合.网络是计算机或类似计算机的设备之间通过常用的传输介质进行通信的集合. 2.     网络协议就是一套通用规则,用来帮助定义复杂数据传输的过程.数据传输从一台计算机上的应用程序开始,通过计算机网络硬件,经过传输介质到正确目的地,然后上传到目的地计算机网络硬…
nGrinder简介 nGrinder是基于Grinder开源项目,由NHN公司的开发团队进行了重新设计和完善.nGrinder是一款非常易用,有简洁友好的用户界面和controller-agent分布式结构的强大的压力测试工具. nGrinder测试基于python测试脚本(groovy也可),用户按照一定规范编写测试脚本,controller会将脚本一集需要的资源分发到agent,用jython执行.并且在执行的过程中收集运行情况.相应时间.测试目标服务器的运行情况等.并且保存这些数据生成测…
代码如下: package common.dataService; import javax.annotation.PostConstruct; import org.springframework.beans.factory.annotation.Autowired; import org.springframework.stereotype.Component; import com.womow.uap.bizc.IUapusersBizc; import com.womow.vo.DBVo…
wampserver显示红色.橙色的解决方案   拿笔的小鑫 关注 2016.10.15 14:38* 字数 2643 阅读 5083评论 0喜欢 3赞赏 1 </br></br> 解决问题的思路,远比解决问题的手段更重要.<p> </br> 1. 说明 博主的电脑配置是:win10-64位,Apache版本为:2.4.23,PHP版本为:7.0.10,MySQL版本为:5.7.15,wampserverr版本为:3.0.6. 由于博主是纯小白,所以并不知道…
三次握手(three-way handshaking) 1.背景:TCP位于传输层,作用是提供可靠的字节流服务,为了准确无误地将数据送达目的地,TCP协议采纳三次握手策略. 2.原理: 1)发送端首先发送一个带有SYN(synchronize)标志地数据包给接收方. 2)接收方接收后,回传一个带有SYN/ACK标志的数据包传递确认信息,表示我收到了. 3)最后,发送方再回传一个带有ACK标志的数据包,代表我知道了,表示’握手‘结束. 通俗的说法 1)Client:嘿,李四,是我,听到了吗? 2)…
运行环境在windows 10 64bit.先将python安装完成.然后,到 spatilite官网 找到MS(即Microsoft)版本,下载64位的mod_spatialite,将其先解压到目标文件夹.由于原生的sqlite.dll有问题,到 cyqlite 下载扩展版sqlite,点击 Browse All Files 找到你想要的版本,然后解压到同样的文件夹,其中出现一些覆盖现象,允许即可.将该文件夹设置成环境变量.最后将python目录的 DLLs 文件夹中(i.e. C:\Pyth…
1.使用mongoose连接MongoDB数据库 npm install mongoose 2.新建文件夹config存放数据库地址 3.安装MongoDB…