今天在爬取某网站数据内容适合,通过正则匹配拿到了需要的内容字符串,但是在反序列化的时候竟然报错,大概意思知道他不是json的期望值,那么我就会像是不是数据内有一些内容是由于编码的问题导致的呢?因为之前爬一些内容时候在打印一些爬到的东西这些内容是打印不出来的,因为python中的打印好像用的是gbk默认,而且修改不了好像,虽然在头部设置了utf8,但是只是当前程序的编码解码utf8,打印仍然是gbk.后来一想,不对啊,这里的内容我是打印出来了的.而且在一些网站上做json校验的时候是没有问题的,从…
spring jpa 实体互相引用返回restful数据循环引用报错的问题 Java实体里两个对象有关联关系,互相引用,比如,在一对多的关联关系里 Problem对象,引用了标签列表ProblemLabel ProblemLabel对象,引用了所属Problem 这样构成了互相引用,导致递归循环内存溢出异常: org.springframework.http.converter.HttpMessageNotWritableException: Could not write content: I…
canal使用非flatmessage方式获取mysql bin log日志发至kafka比直接发送json效率要高很多,数据发到kafka后需要实时解析为json,这里可以使用strom或者flink,公司本来就是使用strom解析,但是在吞吐量上有瓶颈,优化空间不大.所以试一试通过flink来做. 非flatmessage需要使用特定的反序列化方式来处理为Message对象,所以这里需要自定义一个类 /** * 反序列化canal binlog * * @author @ 2019-02-2…
一.DataTables  个人觉得学习一门新的插件或者技术时候,官方文档是最根本的,入门最快的地方,但是有时候看完官方文档,一步步的动手写例子,总会出现各种莫名其妙的错误,需要我们很好的进行研究出错的地方. 官方网站(中文):http://datatables.club/ 官方网站:https://www.datatables.net/  二.简单的例子 怎样简单地使用DataTables?使用下方简单的几行代码,一个方法初始化table. $(document).ready(function…
错误描述 程序运行,向表中插入数据(包含中文)报错:\xE6\xB2\x88\xE9\x9B\xAA... 但是自己另外新建一个数据库手动插入数据中文正常,同样修改数据库,表的编码之后同样不行.而且 MySQL5.7下也会出现这种情况无法解决. 问题解决 首先,如果你用的是 MySQL 自带的 test 数据库,先建议你换一个数据库. 在 Hibernate 主配置文件中,我们会配置数据库方言,一般配置如下: <property name="hibernate.dialect"&…
问题描述 今天在Pycharm 中的Terminal下,执行数据迁移操作时,第一步: Python manage.py makemigrations ,是没有任何问题,但就是在执行真正的数据迁移时,也就是第二步:Python manage.py migrate 时,报错,错误截图如下 大概的意思就是   错误代码1091,原因是  “无法删除'dt_id':请检查列/键是否存在”. 问题的解决 分析: 可能是数据库中的字段结构,已经完成了对此字段的修改,但是在执行数据迁移的时候,生成的某个日志文…
背景 使用sqoop从mysql导数据到hive,从本地服务器是可以访问mysql的(本地服务器是hadoop集群的一个datanode),但是sqoop导数据的时候依然连接不上mysql 报错如下: 从报错可以看出,是数据库连接失败,很常见的问题,但是从本地是可以直连mysql的. 因为sqoop导数据的时候,默认会启动4个map task,这4个map task会随机启动在不动的datanode上,所以在想,是不是因为其他节点没有权限访问mysql导致. 但是需要先搞清楚,sqoop在抽取数…
本文仅供小白参考,大佬请随意...... 本例是:从vs 2017自带的localDB数据库的数据---导出到---->Sql Server 2008中的相应数据库中 1. 导出数据库: 2. 导入的目标数据库: 3. 下一步*n---->完成 4. 爽一下后连续报错开始: 上面两个错误的前提是:我的Sql Server中数据库是先手动建立了同名数据库, 然后从localDB相应数据库右键--->任务--->生成脚本--->选择特定数据库对象--->全选所有表---&g…
Django 执行迁移生成表: python manage.py migrate 报错: raise MigrationSchemaMissing("Unable to create the django_migrations table (%s)" % exc) 原因: Django2.1不再支持MySQL5.5,必须5.6版本以上 解决办法: 二选一 (1)Django降级到2.0 pip install Django==2.0.0 -i https://pypi.douban.c…
Django2.0同步Mysql数据库时出现的问题 执行 python manage.py makemigrations 报错 # 报错位置 File "G:\python\lib\site-packages\django\db\backends\mysql\base.py", line 36, in <module> # 报错问题 raise ImproperlyConfigured('mysqlclient 1.3.13 or newer is required; yo…