前言 本文紧接上篇.Net架构篇:思考如何设计一款实用的分布式监控系统?,上篇仅仅是个思考篇,跟本文没有太大的关系.但有思考,结合现有的开源组件,实践起来更易理解起来,所以看本文之前,应该先看下上篇博文. Zipkin简介 Zipkin是一种分布式跟踪系统.它有助于收集解决微服务架构中的延迟问题所需的时序数据.它管理这些数据的收集和查找.Zipkin的设计基于Google Dapper 论文. 应用程序用于向Zipkin报告时序数据.Zipkin UI还提供了一个依赖关系图,显示了每个应用程序通…

前言 <牧神记>有一句话说的好,破心中神.当不再对分布式,微服务,CLR畏惧迷茫的时候,你就破了心中神. zipkin复习 第一篇: .Net架构篇:思考如何设计一款实用的分布式监控系统? 第二篇:NetCore实践篇:分布式监控客户端ZipkinTracer从入门到放弃之路,我们提到了zipkin的原理和架构说明,以及用zipkintracer实践失败的记录. 今天我们来复习下. zipkin作用 全链路追踪工具(根据依赖关系) 查看每个接口.每个service的执行速度(定位问题发生点或者…

前言 读本篇文章之前,可以先读前两篇文章.为了照顾没看过的朋友,我也会稍作复习. 思考大纲: .Net架构篇:思考如何设计一款实用的分布式监控系统? 实践篇一:.NetCore实践篇:分布式监控客户端ZipkinTracer从入门到放弃之路 实践篇二:.NetCore实践篇:分布式监控系统zipkin踩坑之路(二) 上一章节,我们遗留了两个问题, 聚合调用span传送到zipkin时,没有产生聚合的span. 菜单dependencies没有聚合数据,zipkin-dependencies启动失…

前言 本系列已写了四篇文章,读本篇之前,可以先读前面几篇. 思考大纲:.Net架构篇:思考如何设计一款实用的分布式监控系统? 实践篇一:.NetCore实践篇:分布式监控客户端ZipkinTracer从入门到放弃之路 实践篇二:.NetCore实践篇:分布式监控系统zipkin踩坑之路(二) 实践篇三:.NetCore实践篇:成功解决分布式监控ZipKin聚合依赖问题(三) 简要回顾 zipkin Zipkin是一种分布式跟踪系统.它有助于收集解决微服务架构中的延迟问题所需的时序数据 zipki…

前言 代码未动,配置先行.本篇文章主要讲述一下Scrapy中的配置文件settings.py的参数含义,以及如何去获取一个爬虫程序的运行性能指标. 这篇文章无聊的一匹,没有代码,都是配置化的东西,但是呢不学还不行,属于Scrapy的枢纽,很关键.所以还请各位看官老爷耐得住这一章的寂寞. settings.py 在我们创建一个Scrapy项目的时候,就会在项目下生成四个py文件,其中就有一个settings.py.其中大大小小配置也是有大几十个,这里只讲一些比较常见的,其他的还请移步官方文档. 官…

前言 Scrapy is coming!! 在写了七篇爬虫基础文章之后,终于写到心心念念的Scrapy了.Scrapy开启了爬虫2.0的时代,让爬虫以一种崭新的形式呈现在开发者面前. 在18年实习的时候开始接触Scrapy,花了一个月的时间,理论结合实践学习了Scrapy.本篇文章不写代码操作,只讲前因后果及理论,愿你懂得Scrapy. 原生爬虫面临问题 无论使用Java的Jsoup也好,python的requests也罢,开发爬虫都会面临下面几个问题: 1.分布式 爬虫程序一般只运行在一台主机…

前言 上一篇文章讲了爬虫的概念,本篇文章主要来讲述一下如何来解析爬虫请求的网页内容. 一个简单的爬虫程序主要分为两个部分,请求部分和解析部分.请求部分基本一行代码就可以搞定,所以主要来讲述一下解析部分.对于解析,最常用的就是xpath和css选择器,偶尔也会使用正则表达式. 不论是xpah还是css,都是通过html元素或者其中某些属性来选中符合条件的元素节点. 以斗罗大陆的部分html为例. <div class="detail_video"> <div class…

前言 上篇文章吧啦吧啦讲了一些有的没的,现在还是回到主题写点技术相关的.本篇文章作为基础爬虫知识的最后一篇,将以爬虫程序的模块设计来完结. 在我漫(liang)长(nian)的爬虫开发生涯中,我通常将爬虫程序分为四大模块. 如图,除了代理模块是根据所需引入程序,请求.解析.储存模块是必不可少的. 代理模块 代理模块主要是构建代理IP池.在第三篇中讲过为什么需要代理IP,因为很多网站是通过请求频率来识别爬虫,即记录一个IP在一段时间内的请求次数,所以可以通过更换代理IP来提高爬取效率. 概念 什么…

前言 如果再说IP请求次数检测.验证码这种最常见的反爬虫技术,可能大家听得耳朵都出茧子了.当然,也有的同学写了了几天的爬虫,觉得爬虫太简单.没有啥挑战性.所以特地找了三个有一定难度的网站,希望可以有兴趣的手动实践一下. 此篇文章只作知识扩展和思路引导,其中涉及的网站反爬技术,仅做技术学习探讨. 字体加密 字体加密总结成一句话:你看到的不是你看到的. 地址 猫眼电影:https://maoyan.com/films/343568 问题还原 最近的哥斯拉大战金刚看了没啊,好看不,评分高不高,票房多少…

前言 Scrapy开门篇写了一些纯理论知识,这第二篇就要直奔主题了.先来讲讲Scrapy的架构,并从零开始开发一个Scrapy爬虫程序. 本篇文章主要阐述Scrapy架构,理清开发流程,掌握基本操作. 整体架构 自己动手画架构图一张: 这就是Scrapy的整体架构,看起来流程比较复杂,但其实需要开发者参与的部分不多.这里先介绍一下各个部分. Spider:要开发的爬虫程序,用来定义网站入口,实现解析逻辑并发起请求. Pipeline:数据管道,可自定义实现数据持久化方式. Middleware:…