故事背景: 本人有幸,经老友( 现为x知名快递公司技术总监 ) 推荐进入中国前三大民营快递公司之一工作,在此非常感谢他,在此也非常感谢我在第一家公司帮助我进步的兄弟(我在时的项目经理,现为 x  知名自动识别行业企业部门高级经理). 下面介绍6年后和6年前的我的职业生涯中的两个单表大数据故事. (1) 6年后 单表大数据 之故事(一) 来之前老友告之现在核心运营系统 Oracle数据库中单表数据半年过10亿了,使用传统T-Sql不论如何优化,查询客户信息速度也提升不上去. 需要使用企业级搜索引擎…

上一篇: MongoDb企业应用实战(一) 写在MongoDB应用介绍之前(i) 有段时间没跟大家去分享和探讨过一些问题,分享过一些经验了(失败过的,痛苦过的才最有看点啊,不知道各位同仁们怎么去看这个问题?).接着跟大家唠叨唠叨. 且说6年前,那段千万数据级别刻骨铭心的经历,让我真正意识到一个好的产品或者是一个好的软件系统是需要不断的提炼,优化,改进,检验,再改进.这才能够一举奠定它在市场中的地位和价值(6年前,与其说那是项目,到不如说是一个完整的自动识别行业的解决方案.(i)高速传送带,(ii…

轻量级Java EE企业应用实战(第5版)——Struts 2+Spring 5+Hibernate 5/JPA 2整合开发是<轻量级Java EE企业应用实战>的第5版,这一版保持了前几版内容全面.深入的特点,主要完成全部知识的升级. <轻量级Java EE企业应用实战(第5版>介绍了Java EE领域的四个开源框架和技术:Struts 2.Spring.Hibernate和JPA.其中Struts 2升级到2.5.14,Spring升级到5.0.2,Hibernate升级到5.…

mongoDB的Journaling日志功能与常见的log日志是不一样的,mongoDB也有log日志,它只是简单记录了数据库在服务器上的启动信息.慢查询记录.数据库异常信息.客户端与数据库服务器连接.断开等信息.Journaling日志功能则是mongoDB里面非常重要的一个功能,它保证了数据库服务器在意外断电.自然灾害等情况发生下数据的完整性.尽管mongoDB还提供了其它的复制集等备份措施(后面会分析),但Journaling的功能在生产环境中是不可缺少的,它依靠了较小的CPU和内存消耗,…

前言 距离上一次写博客,已经不记得大概有多长时间了, 是时候继续前行了... MongoStudio 是一个Web的 MongoDB可视化操作工具, 一年半前已经写好, 但是总觉得不足, 现从头开始... 语言: C# 驱动: MongoDB C# 2.2 Driver 支持: MongoDB 3.4 及之前版本 基础 建立数据库链接 // To directly connect to a single MongoDB server // (this will not auto-discover…

python操作mongodb数据库④mongodb新闻项目实战 参考文档:http://flask-mongoengine.readthedocs.io/en/latest/ 目录: [root@node1 mongodb_version01]# tree -L . ├── flask_mongo_news.py ├── forms.py ├── static │   ├── bootstrap--dist │   │   ├── css │   │   ├── fonts │   │   └…

该实战过程完全跟着官网一步一步实现 ,官网教程:https://docs.mongodb.com/manual/tutorial/atlas-free-tier-setup/ 使用Mongo Shell连接Cluster : 官网登录,创建免费集群 (补:只能免费一个月,而且有各种限制) ,点击 Build  a New Cluster  按钮,下面是我成功创建Cluster的图. 设置Mongodb User , 和 IP 白名单,注意IP白名单不是自己网络IP.了解: https://www…

Why Spark with MongoDB? 高性能,官方号称 100x faster,因为可以全内存运行,性能提升肯定是很明显的 简单易用,支持 Java.Python.Scala.SQL 等多种语言,使得构建分析应用非常简单 统一构建 ,支持多种数据源,通过 Spark RDD 屏蔽底层数据差异,同一个分析应用可运行于不同的数据源: 应用场景广泛,能同时支持批处理以及流式处理 MongoDB Spark Connector 为官方推出,用于适配 Spark 操作 MongoDB 数据:本文…

实践内容 从 MariaDB 一张表内读 10 万条记录,经处理后写到 MongoDB . 具体实现 1.新建 Spring Boot 应用,依赖如下: <!-- Web 应用 --> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-web</artifactId> <exclusions> &…

前言 从深圳回长沙已经快4个月了,除了把车开熟练了外,并没有什么值得一提的,长沙这边要么就是连续下一个月雨,要么就是连续一个月高温暴晒,上班更是没啥子意思,长沙这边的公司和深圳落差挺大的,薪资也是断崖式下跌,至于幸福指数,额,我感觉除了离家近之外,并没有什么其它感觉,同样是每天除了上班就是在上下班的路上,而且人开始变得越来越懒,就想趟.......在长沙4个月写了40页书稿,我自己都开始鄙视自己,换做在深圳,第6本书早已完稿~长沙这边其实绝大多数打工人工资都不高,可是看上去一个个挺有钱似的~ 额…