代码地址如下:http://www.demodashi.com/demo/13870.html 参考GitHub源码:https://github.com/YoungMiao/crnn 应demo大师文章要求,我再补充下,推荐下,这个平台挺好 1.环境搭建 1.1 基础环境 Ubuntu14.04 + CUDA opencv2.4 + pytorch + lmdb +wrap_ctc 安装lmdb apt-get install lmdb 1.2 安装pytorch pip,linux,cuda

一个机器学习竞赛中,题目大意如下,本文主要记录数据处理过程,为了模型训练,第一步需要将中文数据集处理为数值类别数据集保存. 基于大数据的运营商投诉与故障关联分析 目标:原始数据集是含大量中文的xls格式的表格,目标处理为数值类别的csv表格. 原始数据集部分切片,如下格式: 目标数据集为,处理成对应的数值类别格式,如下: 解决思路:(处理中文需要注意编码) 总体分两步,1.提取每一列的值(含中文),作为key关键字,value为自增的整数,构造字典.利用了字典的key唯一的特性. 2.根据上一部

工作中,总是要使用各种中文数据集,每次使用数据集都要花费不少的时间进行寻找,写预处理代码,结合不同的模型和框架做出相应的处理.有的时候好不容易找到合适的数据集,但是却因为网络问题,无法下载,下载了很长一段时间,突然弹出 timeout. 既浪费时间,也浪费精力. 所以,就决定自己造个轮子,搞定这个问题. 考虑到这个包要能有很好的多框架兼容性,并且还要有很好的性能和源码的架构.找来找去,最终找到了 Huggingface 的 Datasets 库,这个包有着非常好的框架兼容性,性能和源码架构,是一

1. https://github.com/Belval/TextRecognitionDataGenerator 2. https://textrecognitiondatagenerator.readthedocs.io/en/latest/overview.html 3. https://textrecognitiondatagenerator.readthedocs.io/en/latest/tutorial.html

个人理解: 句子相似性判断.情感分析.实体识别.智能问答,本质基本上都是分类任务. 阅读理解(抽取式.回答式.完形填空)是逐个候选项的分类问题处理. 参考 https://github.com/chineseGLUE/chineseGLUE https://github.com/CLUEbenchmark/CLUE https://github.com/PaddlePaddle/ERNIE http://dy.163.com/v2/article/detail/EAFKC4I205118HA4.

很久之前就得到了百度机器阅读理解关于数据集的这篇文章,今天才进行总结!.... 论文地址:https://arxiv.org/abs/1711.05073 自然语言处理是人工智能皇冠上的明珠,而机器阅读理解可以说是自然语言处理皇冠上的明珠.近些年机器阅读理解领域也越来越火热,百度所创造的DuReader这个数据集以及百度的两篇被ACL所收录的论文都充分证明了我们又向机器阅读理解领域迈进了一步. 这篇文章主要介绍了DuReader这个数据集,这个数据集是目前最大的关于中文的MRC数据集. 0摘要:

用卷积神经网络基于 Tensorflow 实现的中文文本分类 项目地址: https://github.com/fendouai/Chinese-Text-Classification 欢迎提问:http://tensorflow123.com/ 这个项目是基于以下项目改写: cnn-text-classification-tf 主要的改动: 兼容 tensorflow 1.2 以上 增加了中文数据集 增加了中文处理流程 特性: 兼容最新 TensorFlow 中文数据集 基于 jieba 的中

一.SWT识别: yestinsong/Text-Detection( Text Detection System with MSER , SWT and Text Verification(fft and pca) ) https://github.com/yestinsong/Text-Detection aperrau/DetectText:Detect text with stroke width transform. https://github.com/aperrau/DetectT

CRNN简介 CRNN由 Baoguang Shi, Xiang Bai, Cong Yao提出,2015年7月发表论文:"An End-to-End Trainable Neural Network for Image-based Sequence Recognition and Its Application to Scene Text Recognition",链接地址:https://arxiv.org/abs/1507.05717v1 CRNN(卷积循环神经网络)集成了卷积神

中文数据集THUCNews:https://pan.baidu.com/s/1hugrfRu 密码:qfud 参考:https://blog.csdn.net/SMith7412/article/details/88087819 参考:https://blog.csdn.net/u011439796/article/details/77692621 1.THUCNews数据集下载和探索 基于清华THUCNews新闻文本分类数据集的一个子集,预处理部分对其中的10个类别的相关文本数据进行处理. 类

PaddlePaddle垃圾邮件处理实战(一) 背景介绍   在我们日常生活中,经常会受到各种垃圾邮件,譬如来自商家的广告.打折促销信息.澳门博彩邮件.理财推广信息等,一般来说邮件客户端都会设置一定的关键词屏蔽这种垃圾邮件,或者对邮件进行归类,但是总会有一些漏网之鱼.   不过,自己手动做一个垃圾邮件分类器也并不是什么难事.传统的机器学习算法通常会采用朴素贝叶斯.支持向量机等算法对垃圾邮件进行过滤,今天我们主要讲如何用PaddlePaddle手写一个垃圾邮件分类器.当然,在讲PaddlePadd

完整代码实现及训练与测试数据:click me 一.任务描述         自然语言通顺与否的判定,即给定一个句子,要求判定所给的句子是否通顺. 二.问题探索与分析         拿到这个问题便开始思索用什么方法来解决比较合适.在看了一些错误的句子之后,给我的第一直觉就是某些类型的词不应该拼接在一起,比如动词接动词(e.g.我打开听见)这种情况基本不会出现在我们的用语中.于是就有了第一个idea基于规则来解决这个问题.但是发现很难建立完善的语言规则也缺乏相关的语言学知识,实现这么完整的一套规

人工智能这个词可谓是耳熟能详,近几年人工智能热潮再次席卷而来,引起轰动的要数google的AlphaGo,相继打败了围棋界的韩国选手李世石以及世界冠军柯洁,见证了人工智能发展的里程碑式的变革,人工智能再度引起了众人的关注. (此图来自网页http://mini.eastday.com/mobile/171107214414785.html里面,如有侵权,请联系小编及时清除) 人工智能当然不止会下棋这么简单,其实在20年前,智能家居的开发就有不少团队在进行,只是切入点不对,所以一直没有什么起色,现

https://blog.csdn.net/App_12062011/article/details/88655589 这篇发表在 ACL 2018 上的论文来自于杜克大学 Lawrence Carin 教授的实验室.文章重新审视了 deep learning models(例如 CNN, LSTM)在各类 NLP 任务中的必要性. 通过大量的实验探究(17 个数据集),作者发现对于大多数的 NLP 问题,在 word embedding 矩阵上做简单的 pooling 操作就达到了比 CNN

阅读文章:<ICDAR2017 Competition on Reading Chinese Text in the Wild(RCTW-17)> 这篇文章是对一项中文检测和识别比赛项目(RCTW)的介绍和总结,这是一项新的专注于中文识别的竞赛.这项竞赛的特点在于,包含12263张标注过的中文数据集,有两项任务,文本检测以及end-to-end文本识别.竞赛时间从2017年1月20日至3月31日,共收到19个team的23个有效的提交结果.下面从几个方面进行详细说明 . -数据介绍 -任务及评

前言 在开始正文之前,感谢博客园的Nosql爱好者对于MongoCola工具的试用(使用).特别感谢 呆呆 这位朋友的Bug报告,让我纠正了一个很严重的Bug.同时也感谢以前的多个网友在博客留言中给我的意见,建议,以及BUG的修正方案.这个工具的进步离不开你们的贡献.最新版的MongoCola为1.13.主要改进了一些视觉效果上的东西,毕竟这个工具不是个人的工具了,在保证品质的前提下,也要考虑到美观和易用性了. 如何得到MongoDB MongoDB是一个开源的项目,你可以从GitHub上获取M

deep QA: https://github.com/Conchylicultor/DeepQA  基于论文:https://arxiv.org/pdf/1506.05869.pdf  基于生成的chatbot系统,使用的是经典Seq2Seq的结构: 数据集:           数据集默认存储在项目中的data文件夹中,                            clone项目的的时候,Cornell Movie Dialog 是一起下载           其他的数据集:Ope

0 前言 本文内容主要:介绍Pointer-Generator-Network在文本摘要任务中的背景,模型架构与原理.在中英文数据集上实战效果与评估,最后得出结论.参考的<Get To The Point: Summarization with Pointer-Generator Networks>以及多篇博客均在文末给出连接,文中使用数据集已上传百度网盘,代码已传至GitHub,读者可以在文中找到相应连接,实际操作过程中确实遇到很多坑,并未在文中一一指明,有兴趣的读者可以留言一起交流.由于水

Selenium是一个自动化测试工具,利用它我们可以驱动浏览器执行特定的动作,如点击.下拉等操作. 本文讲述的是通过自动化的方式登陆某一网站,其中包含Selenium+python自动化项目环境如何部署, 获取图形验证码登录,元素获取方法,项目中遇到的问题,看完你会发现原来Selenium自动化轻松入门,是多么的简单,Selenium+python也可以用于爬虫. 本文将从环境部署到项目开发一步步讲解,包括这个过程所可能遇到的一些问题,都会一一解答,有不会的问题可以在下方评论留言一起思考解决.

随着预训练模型越来越成熟,预训练模型也会更多的在业务中使用,本文提供了bert和albert的快速训练和部署,实际上目前的预训练模型在用起来时都大致相同. 基于不久前发布的中文数据集chineseGLUE,将所有任务分成四大类:文本分类,句子对判断,实体识别,阅读理解.同类可以共享代码,除上面四个任务之外,还加了一个learning to rank ,基于pair wise的方式的任务,代码见:https://github.com/jiangxinyang227/bert-for-task. 具

1. 数据集说明 trec06c是一个公开的垃圾邮件语料库,由国际文本检索会议提供,分为英文数据集(trec06p)和中文数据集(trec06c),其中所含的邮件均来源于真实邮件保留了邮件的原有格式和内容,下载地址:https://plg.uwaterloo.ca/~gvcormac/treccorpus06/ 由于数据集分散在各个文件中,为了方便我将正样本和负样本分别放在了ham_data和spam_data文件夹中(处女座的强迫症) 正样本数:21766 负样本数:42854 中文停用词:c