前言 又到年底了,群里很多朋友说要开始备战2020金三银四,其实,我建议是,如果你不是技术大牛,就不要去凑热闹. 其实,现在(11,12月份)就是最佳换工作的时候,因为很多人想等着拿了年终再走,虽然招聘的公司不多,但是找工作的更少,所以,可以去试试有没有好机会. 很多人说要去面试自动化,问我有没有面试题,而好点的公司都喜欢问底层原理. 想必用过selenium的测试朋友都知道18种定位方式吧? 示例脚本准备 如果你去面试自动化,面试官估计会问你webdriver client的原理,因为这样才能…

前言 前段时间我们在升级 Pulsar 版本的时候发现升级后最后一个节点始终没有流量. 虽然对业务使用没有任何影响,但负载不均会导致资源的浪费. 和同事沟通后得知之前的升级也会出现这样的情况,最终还是人工调用 Pulsar 的 admin API 完成的负载均衡. 这个问题我尝试在 Google 和 Pulsar 社区都没有找到类似的,不知道是大家都没碰到还是很少升级集群. 我之前所在的公司就是一个版本走到黑 Pulsar 负载均衡原理 当一个集群可以水平扩展后负载均衡就显得非常重要,根本目的是…

经过几天闲暇时间的学习,终于又理解的深入了一些,关于Spark Client如何提交作业也更清晰了点. 在整体的流程图上是这样的: 大体的思路就是应用程序通过SparkSubmit提交程序后,自动在当前的JVM中启动Driver,然后与Master通信创建Excutor执行相应的任务. 自己整理了下流程图 以及的组件图: 可以看到大概是下面的步骤: 新建SparkContext 创建对应的scheduler和schedulerBackend val (sched, ts) = SparkCont…

原文链接 1.使用前准备 引入依赖: <dependency> <groupId>org.apache.pulsar</groupId> <artifactId>pulsar-client</artifactId> <version>2.6.1</version> </dependency> 2.PulsarClient 在尝试使用Producer和Consumer前,我们先讲一下Pulsar客户端,因为不管是…

Pulsar云原生分布式消息和流平台 **本人博客网站 **IT小神 www.itxiaoshen.com Pulsar官方网站 Apache Pulsar是一个云原生的分布式消息和流媒体平台,最初创建于雅虎!现在是Apache软件基金会的顶级项目 官网首页列举一些关键特性和目前使用公司包括国内深度合作腾讯,目前最新版本为2.8.0,背后的开源流数据公司 StreamNative,2019年创立一家公司,作为云原生时代专注技术细分领域的佼佼者 什么是Pulsar Pulsar即可以支持queue…

Pulsar-Consumer “Pulsar is a distributed pub-sub messaging platform with a very flexible messaging model and an intuitive client API.” Pulsar是pub-sub模式的分布式消息平台,拥有灵活的消息模型和直观的客户端API. Pulsar由雅虎开发并开源的下一代消息系统,目前是Apache软件基金会的孵化器项目. 本片文章简单介绍Pulsar的Consumer,…

0x01 简介 Apache Pulsar是一个开源的分布式发布-订阅消息系统,与Kafka类似,但比后者更加强大.Pulsar最初由Yahoo开发并维护,目前已经成为Apache软件组织的一个孵化子项目,当前最新版本号为2.1.0-incubating.官网地址:http://pulsar.apache.org/. 0x02 Apache Pulsar单机版环境搭建 1.前提条件 Pulsar目前仅仅支持MacOS和Linux系统,不支持Windows系统.并且要求系统中安装了Java 8环境…

1.webdriver client的原理是什么? 当测试脚本启动firefox的时候,selenium-webdriver 会首先在新线程中启动firefox浏览器.如果测试脚本指定了firefox的profile,那么就以该profile启动,否则的话就新启1个profile,并启动firefox: firefox一般是以-no-remote的方法启动,启动后selenium-webdriver会将firefox绑定到特定的端口,绑定完成后该firefox实例便作为webdriver的rem…

说明:ES部署了3个节点,而一般情况只要这三个节点的IP其中一个都可以连接,Web端口使用的是9500,Client连接使用的是9600,调用程序使用了ES原生Client进行连接. 解决方法: 1.出现这样的问题,一般检查集群名称和IP是否填写正确. 2.注意,比如提供的IP能Telnet成功,但不一定代表能正常使用Client进行连接. 3.我猜测Client的原理:如果在构造Client对象时,传入了一个IP之后且连接成功后,ES会返回整个集群的IP给Client,此时的Client会逐个…

Apache Pulsar Pulsar是一个支持多租户的.高性能的服务与服务之间消息通讯的解决方案,最初由雅虎开发,现在由Apache软件基金会管理. Pulsar的主要特性如下: Pulsar实例原生支持多集群,能无缝的基于地理位置进行跨集群备份 非常低的消息发布和端到端的延迟 无缝扩展到超过百万个topic 支持Java,Go,Pytho和C++的客户端 Topic支持多种订阅模式: 独占(exclusive), 共享(shared)和灾备(failover) 通过Apache BookK…