版本介绍(64位): Windows 10 JDK1.8.0_171 zookeeper-3.4.8/ kafka_2.11-0.10.0.1.tgz 点击链接进行下载 1. JDK安装和环境搭建 自行百度. 2. zookeeper 安装和运行 a. 点击上方链接直接下载,或者有其他链接,下载此文件 b. 下载至本地,并解压 c. 更改配置文件 选择conf中的zoo_sample.cfg文件,改名为zoo.cfg,并更改配置文件内容. 改名为 更改配置文件内容,设置数据路径 d.  配置环境

记一次 Spring 事务配置踩坑记 问题描述:(SpringBoot + MyBatisPlus) 业务逻辑伪代码如下.理论上,插入数据 t1 后,xxService.getXxx() 方法的查询条件会不满足,会查询不到数据.结果事与愿违,后一次的查询,居然查到了数据. void saveXxx(){  xxService.getXxx(); // 查到一条数据 data1  xxService.insert(); // 插入一条数据 t1  xxService.getXxx(); // 查到

mybatis-generator:generate 生成代码配置踩坑不少,在此留下笔记以便后续填坑 一.mysql返回时间问题 错误信息: [ERROR] Failed to execute goal org.mybatis.generator:mybatis-generator-maven-plugin:1.3.2:generate (default-cli) on project coisini-mango-server: The server time zone value '???ú±

源起:工程现阶段中间件采用的是kafka.满足了大数据的高吞吐,项目间的解耦合,也增强了工程的容错率与扩展性.但是在安全这一块还有漏洞,kafka集群中,只要网站内的任何人知道kafka集群的ip与topic,都可以肆无忌惮的往集群中的topic中发送数据与消费数据. 经过调研:kafka的sasl acl可以设置安全机制,给每个主题设置多个用户,不同的用户赋予不同的读写权限. A B 俩个用户,A用户允许读写kafka中的topic1,B用户不允许读写kafka中的topic1,这就成功控制了

最近在看XXLJOB,因为截至到发文时间最新的版本是2.1.0而且需要建立的数据库与Quartz解耦了,所以就用了最新的版本. 首先说一下踩坑过程: 代码开发完成之后,在定时跑的时候第一次跑的多数失败,报的错是:Communications link failure 上网搜了一下说是MySQL数据库连接时间超过八小时就会断开需要加一些配置,或者把数据库的时间延长.原先用的数据源是Druid,所以就把网上找到的代码加到数据源配置上,同时延长了MySQL的链接持续时间,问题依然没有解决. 一次偶然的

之前用惯了vmware和parallels desktop,网络配置十分智能,基本不用自己配置.由于版权原因,工作电脑上换了免费的virtual box用,四五年都完全在虚拟机里干活的本菜鸡居然在虚拟机配置上疯狂踩坑,真的是令人哭笑不得..   配置的目标:虚拟机可访问外网,主机可ssh虚拟机,不能使用桥接(办公网都懂得). 踩坑过程: 1)用了默认网络配置,创建好了虚拟机,开启了sshd,就是能ping不能ssh.查了资料若干,怎么看怎么不符合常理. 2)关了虚拟机,不小心又ping了一下,居

最近一家新公司,由于办公环境都是在内网机上,导致在Unity导出android工程后,gradle离线构建也是第一次搞,花了一天时间也踩了一些坑,最后也终于构建成功了,这里记录下,方便大家少走些弯路. 1.准备版本:AndroidStudio3.5.2,Gradle5.1.1,Gradle插件3.4.0 AndroidStudio下载链接:https://developer.android.com/studio/archive?hl=zh-cn Gradle下载链接:https://servic

理论上我们配置LAMP环境的时候都会对httpd.config进行更改 vi /etc/httpd/conf/httpd.conf 把override node改成override all 并且开启80端口 firewall-cmd --zone=public --add-port=/tcp --permanent 如果还不行就直接把防火墙关了 firewall-cmd --reload #重启firewall systemctl stop firewalld.service #停止firewa

2019/03/08 18:29 最近在进行华为云相关POC验证,个人主要负责华为云DMS kafka相关.大致数据流程是,从DIS取出数据,进行解析处理,然后放入kafka,再从kafka中取出数据然后放到ElasticSearch以及OBS里面.kafka作为中间层次,发挥着中间件的重要作用.关于华为云kafka的整合,这两天的确碰到一些坑,现进行相关总结加以记录. 第一个问题:kafka的jar包不要用开源的,而是用图中libs的华为官方的jar包.新建libs文件目录,然后把jarBao

其实在网上已经有很多环境配置的介绍了.不过我还是想用切身经历告诉大家这里面可能遇到的坑. 首先,先给大家讲一下JAVA_HOME,path,CLASSPATH JAVA_HOME 指向的是JDK的安装路径,如F:\Java\jdk1.8.0_151,在这路径下你应该能够找到bin.lib等目录.设置方法: PATH 环境变量原来Windows里面就有,你只需修改一下,使他指向JDK的bin目录,这样你在控制台下面编译.执行程序时就不需要再键入一大串路径了.设置方法是保留原来的PATH的内容,并在

Jenkins相关介绍 Jenkins是一个开源软件项目,是基于Java开发的一种持续集成工具,用于监控持续重复的工作,旨在提供一个开放易用的软件平台,使软件的持续集成变成可能. 目的 配置Gitlab与Jenkins,达到当Gltlab中Push代码时,Jenkins能够自动从Gitlab代码库同步代码的最新版本,并且自动构建. 前提 安装Gitlab Plugin.Gitlab Hook Plugin等Gitlab相关Plugins. 方法步骤 1.Jenkins中,选择想要配置持续集成的项

react 路由配置中,如果根路由(/)匹配一个组件,另一个路由(/list)在进行匹配的时候也会匹配到根路由(/),即在 /list 页面展示的时候 / 页面总是展示在上方. 此时如果想进行严格匹配,有两种实现方式: 1.在 / 路由配置中使用 exact, 这时候在匹配 /list 时候, / 页面不会显示. 2.去除了exact之后,无论进哪个页面都是“/”对应的页面,这个时候,只需要把路由的顺序调整一下,把“/”这个Route放到最后即可 注意事项: react-router 嵌套路由

1.利用shadowsocks配置SVN(用于软件部署环境) 2.安全组设置 3.FTP搭建 https://www.cnblogs.com/hexige/p/7809481.html

vscode-easy-less 遇到问题最好的解决方式是看官网文档,切记!!! 在web开发当中,经常会写less然后编译成css,当然在VS Code当中也有这样的插件(EasyLess), 但是当我们创建一个.less文件,写相关代码进行保存时,会发现它会在.less文件同目录生成对应名字的.css文件, 当页面过多时,就会导致目录文件过多而且看起来不清晰,所以一般会把.less和.css分别放在不同的目录下, 这样就需要我们配置一下less文件编译为css的时候所生成文件的位置, 配置方

阅读帮助 命令提示符 [root@server-002 ~]# 表示当前服务root用户执行的命令 [svn@server-002 ~]$ 表示普通用户svn执行的命令 [root@localhost ~]# 表示其它服务器的root用户 系统配置 CPU: 2核 内存: 8G 硬盘: 1T 服务器OS: CentOS7 服务器IP: 192.168.1.2 服务简介 SVN 版本库 server 服务管理 管理用户 命令 说明 svn sudo systemctl start httpd 启动

接着上篇用Nodejs开发web代理,防止web渗透.如果部署到正式环境,需要进行打包配置. 我在用webpack打包配置中遇到了几个错误,总结如下: webpack环境变量问题 https://www.cnblogs.com/fengchaoran/p/8461317.html webpack之傻瓜式教程及前端自动化入门 https://www.cnblogs.com/liqiyuan/p/6246870.html Module not found: Error: Can't resolve

Vue 环境配置踩坑 目录 Vue 环境配置踩坑 windows下cnpm -v :无法将"cnpm"项识别为 cmdlet.函数.脚本文件或可运行程序的名称. windows下cnpm -v :无法将"cnpm"项识别为 cmdlet.函数.脚本文件或可运行程序的名称. npm和cnpm都是在git的全局环境下下载的 且安装完cnpm,nodejs文件夹下就已经有了node_cache.node_global这两个文件夹: 而且在用户变量里path变量路径已经存在

[TOC] 前言 在WeTest舆情项目中,需要对每天千万级的游戏评论信息进行词频统计,在生产者一端,我们将数据按照每天的拉取时间存入了Kafka当中,而在消费者一端,我们利用了spark streaming从kafka中不断拉取数据进行词频统计.本文首先对spark streaming嵌入kafka的方式进行归纳总结,之后简单阐述Spark streaming+kafka在舆情项目中的应用,最后将自己在Spark Streaming+kafka的实际优化中的一些经验进行归纳总结.(如有任何纰漏

前言 在WeTest舆情项目中,需要对每天千万级的游戏评论信息进行词频统计,在生产者一端,我们将数据按照每天的拉取时间存入了Kafka当中,而在消费者一端,我们利用了spark streaming从kafka中不断拉取数据进行词频统计. 本文首先对spark streaming嵌入kafka的方式进行归纳总结,之后简单阐述Spark streaming+kafka 在舆情项目中的应用,最后将自己在Spark Streaming+kafka 的实际优化中的一些经验进行归纳总结.(如有任何纰漏欢迎补

本次遇到的问题描述,日志采集同步时,当单条日志(日志文件中一行日志)超过2M大小,数据无法采集同步到kafka,分析后,共踩到如下几个坑.1.flume采集时,通过shell+EXEC(tail -F xxx.log 的方式) source来获取日志时,当单条日志过大超过1M时,source端无法从日志中获取到Event.2.日志超过1M后,flume的kafka sink 作为生产者发送给日志给kafka失败,kafka无法收到消息.以下针对踩的这两个坑做分析,flume 我使用的是1.9.0

Kafka踩坑填坑记录 一.kafka通过Java客户端,消费者无法接收消息,生产者发送失败消息 二. 一.kafka通过Java客户端,消费者无法接收消息,生产者发送失败消息 在虚拟机上,搭建了3台集群,然后,在虚拟机上,测试kafka,通过创建topic,生成者发送消息,消费者接收消息,全部正常: 但是,改用Java客户端在进行测试时,生产者发送的消息,无法发送到虚拟机上,消费者也无法接收到任何消息,附下解决方案: 既然,通过命令行工具(kafka-console-producer.sh和k