问题描述 使用EFK(Elasticsearch, Fluentd and Kibana)在收集日志的解决方案中, 可以先把日志发送到EventHub中,然后通过Logstash消费EventHub中的事件并分发出去.但是在使用Logstash的过程中,遇见了连接不上EventHub的错误,和Receiver一直不停关闭的问题. 错误的信息分别为: Exception while initializing stores, not starting partition manager com.mi…

在文章([事件中心 Azure Event Hub]使用Logstash消费EventHub中的event时遇见的几种异常(TimeoutException, ReceiverDisconnectedException))中,介绍了使用Logstash连接EventHub时,遇见的两种异常,但是对于如何在Linux环境中安装Logstash,并且配置EventHub设置,启动等,则包含在当前文章中. 安装Logstash 首先在Logstash中选择需要的版本,使用wget下载到当前目录中,如当…

问题情形 使用Java SDK编写的Event Hub消费端应用,随机性遇见了某个分区没有消费消息的情况,在检查日志时候,有发现IdelTimeExpired的错误记录.在重启应用后,连接EventHub正常,并又能正常消费数据.比较怀疑的方面,在又开启Retry机制的情况下,为什么分区(Partition)连接断掉后没有重连呢? 错误消息: {"time":"2020-09-21 05:11:19.578", "level":"ERR…

问题描述 使用Event Hub消费事件时,出现的各种客户端错误的解读.(再后期遇见新的错误信息,会持续添加进此说明) 一:再Linux中运行Event Hub消费端程序,出现Too many open files 解读:该信息是指java程序打开操作系统文件句柄数超出了操作系统的限制,排查操作系统的文件句柄的限制是不是默认的1024,如果是,请改为无限制. 使用ulimit -a 或者 ulimit -n 查看句柄数 open files (-n) 1024 配置文件/etc/security…

请问对偶发的定义是多少频率? 针对偶发的定义,主要是看发生的时间非常短,次数极少(如 10次以内),并且发生的时候EventHub其他分区或其他连接都是正常接收和发送数据.所以对于频率是没有明确的定义的,这个需要根据每次发生的情况来分析.由于Event Hub SDK都考虑了这样短暂出现连接性的情况,所以默认都启动了重试机制.这样能解决绝大多数的连接异常问题. 连接问题重连成功的最短间隔是多少?请问有没有经验值? 在查看源码发现默认的Timeout时间设置为60秒,关于最短时间并没有文档明确说明…

问题描述 使用APIM,在 Inbound 中对请求的Body内容进行解析.客户端请求所传递的Request Body为XML格式,需要从Request Body中解析出多个(Element)节点值,然后设置通过(set-variable)为参数在后续使用. 但是验证发现,当且只当使用一个set-variable 从 Request Body中读取数据时候,是可以成功的.如果要读取第二个,第三个时,始终会遇见一个诡异的错误 Expression evaluation failed. Object…

问题描述 为APIM添加AAD Group时候,等待很长很长的时间,结果添加失败.错误消息为: Write Groups ValidationError :Failed to query Azure Active Directory graph due to error: An error occurred while processing this request. 有什么办法可以成功为APIM添加AAD Group呢? 问题分析 查阅官方文档(https://docs.azure.cn/zh…

问题描述 关于Event Hub(事件中心)的灾备方案,大多数就是新建另外一个备用的Event Hub,当主Event Hub出现不可用的情况时,就需要切换到备Event Hub上. 而在切换的过程中,难点在于如何让客户端应用无感知的切换到备份Event Hub,以前的方案有两种: 1:在自己DNS服务器中,配置DNS别名.然后在应用代码中,需要先根据DNS别名查询到正确的Event Hub域名.实现方式:https://docs.azure.cn/zh-cn/event-hubs/event-…

问题描述 事件中心提供 Kafka 终结点,现有的基于 Kafka 的应用程序可将该终结点用作运行你自己的 Kafka 群集的替代方案. 事件中心可与许多现有 Kafka 应用程序配合使用.在Azure官方提供的Demo中,都是针对Global Azure.以下内容通过实验来一步一步调试并在Azure中国区连接Event Hub成功. 操作步骤 准备好Event Hub的连接字符串,可以是Namespace级别的SAS connection string,也可以是Event Hub Instan…

问题描述 在Application Gateway中,开启WAF(Web application firewall)后,现在需要把访问的日志输出到第三方分析代码中进行分析,如何来获取WAF的诊断日志呢? 整体方案的拓扑图如下: 本文在实施中将介绍: 1)如何创建Event Hub Namespace(事件中心空间)及Event Hub 2)在Application Gateways(WAF)中配置诊断日志(Diagnostic Logs) 3)(简约)官网中如何消费Event Hub中的数据 实…