刚刚在群里看到消息说,时隔一年,canal 1.1.6正式release了,赶紧上去看看有什么新特性. (居然才发布了6个小时,前排围观) 1.什么是canal canal [kə'næl],译意为水道/管道/沟渠,主要用途是基于 MySQL 数据库增量日志解析,提供增量数据 订阅 和 消费.应该是阿里云DTS(Data Transfer Service)的开源版本. 如果想了解更多,可以上github上看官方文档,或者我之前写过的系列基于canal 1.1.4版本的入门文档. 2.重要新特性…
# tmp_file = os.path.join(os.path.abspath('youcart/tmp'), json.loads(request.data).get('file_name')) tmp_file = os.path.join(os.path.abspath('youcart/tmp'), request.form.get('file_name'))…
半天写完了代码,从此开始了三天的bug修复... 问题背景:从合同系统那边获取数据. 1.开发完后,利用mock模拟合同数据,获取(mock中的合同)数据成功,但是在解析合同数据时出错,原因,mock中的数据是济南的,测试用的单子是烟台的,合同字段不匹配,导致出错. 2.mock中的合同数据可以获取,但是房屋的数据却无法获取,期间考虑用的参数可能不同,于是先后试了houseId,houseCode都不行.最后,进入mock代码,查看其逻辑,发现获取房屋数据的方法上的注解类型用错, 不会加上hou…
MOJITO 最近一直啥都没写,追个热点都赶不上热乎的,鄙视自己一下. 周董的新歌 「MOJITO」 发售(6 月 12 日的零点)至今大致过去了一周,翻开 B 站 MV 一看,播放量妥妥破千万,弹幕破十万,这人气还真是杠杠的. 说实话, 「MOJITO」 这个名字对我来讲有点超纲了,第一次见到完全不知道啥意思. 不过问题不大,没有什么是百度解决不了的,如果有,那就再加一个知乎. MOJITO 的中文名是莫吉托,百度百科上是这么介绍莫吉托的: 莫吉托(Mojito)是最有名的朗姆调酒之一.起源于…
随着大数据时代的来临,数据分析与可视化,显得越来越重要,今天给小伙伴们带来一种最常见的数据可视化图形-词云图的制作方法. 很多人学习python,不知道从何学起.很多人学习python,掌握了基本语法过后,不知道在哪里寻找案例上手.很多已经做案例的人,却不知道如何去学习更加高深的知识.那么针对这三类人,我给大家提供一个好的学习平台,免费领取视频教程,电子书籍,以及课程的源代码!QQ群:1097524789 “词云”这个概念由美国西北大学新闻学副教授.新媒体专业主任里奇·戈登(Rich Gordo…
昨天梦回jm,醒来之后看着窗外万里晴空,想大声喊一句:爷青回! 我想起之前使用gearman的岁月.不知不觉也过了快5年,想总结一篇关于gearman的技术文章算是一种对青春的祭奠,再不写的话更少有phper用过这个强大的分布式任务分发框架,毕竟这个时代已经属于swoole. 先讲一下Gearman,它是一款用C++编写的分布式任务分发框架,通过暴露API给使用方来完任务委托,在多台机器上负载均衡且并发地执行任务.特别是密集型计算,可以使用Gearman去异步地完成任务调度. Gearman的结…
置顶消息cpdd 1.29 完了,文化课没了 我是废物 1.28 更新了自己的副标题 前副标题:Future never has to do with past time,but present time dose. 我一个月没更新估值了,我被洛谷遗忘了太好了/se 1.20 Q:szt 你是不是下面有点问题啊,要不然你怎么光看着你朋友找对象你不找 A:-- Q:没事.有病咱治,咱不怕花钱昂 A:????!! 1.17 不想写图论了,好难啊,好恶心啊........ 1.15 努力更改马蜂/se…
破碎的残阳,我们逆光[连载小说]- HashMap剖析 "行到水穷处,坐看云起时"        前言: 偶尔翻阅了自己当时高中时代写的日志,发现了几篇自己多年未打开的自写小说草本,小说的名字叫做<破碎的残阳,我们逆光>,可能这是那个懵懂的年纪排解学习压力的一种方式吧,当年有心想把它继续写下去,一直完结,奈何高中时代时间紧张,加上有些表达上的畏手畏脚,不敢过多展露偏情感的一些东西,总是担心被同学读者发现了自己怀揣着的梦想以及不能说的秘密,如今看来,如果一篇文章不能倾其感情,…
目录 一.背景介绍 二.代码讲解-爬虫部分 2.1 分析弹幕接口 2.2 讲解爬虫代码 三.代码讲解-情感分析部分 3.1 整体思路 3.2 情感分析打标 3.3 统计top10高频词 3.4 绘制词云图 3.5 情感分析结论 四.同步演示视频 一.背景介绍 最近一段时间,王心凌在浪姐3的表现格外突出,唤醒了一大批沉睡中的老粉,纷纷直呼'爷青回'! 针对此热门事件,我用Python的爬虫和情感分析技术,针对小破站的弹幕数据,分析了众多网友弹幕的舆论导向,下面我们来看一下,是如何实现的分析过程.…
图文原创:谭婧(王凌老粉) "爷青回" "我们只是老了,并没有死." 谭老师作为老粉,热烈庆祝"甜心教主"王凌成为现象级翻红顶流. 只要地球不爆炸,她的数据就一个都不能丢,还得用好了. 那为王凌从头开发一套大数据与智能系统吧? 答案,没必要. 不能把精力花在和IT基础设施你死我活地缠斗中. 就好比,当你的目的是去开会,那就不能去搭建会议室. 所以,这边建议电视台: 把所有数据放到公有云上,使用无服务器架构(Serverless),将项目命名为 :…