之前做过一个项目,犯了一个小错误,写出来给大家分享一下,以防大家出同样的错误. 做了一个ETL包,对货品的销售额进行数据转换,字符型 --〉 浮点型: 之后对销售额进行求和,在测试数据结果时发现与销售人员手中的销售总额差值误差过大. 查找原因: 1,重新审视和检查了一遍ETL包逻辑和计算流程(发现没有问题). 2,检查细节,检查到数据转换时发现了 问题所在: 在做数据类型转换时,要求保留4位或6位小数: 我直接做了截取,没有做四舍五入.所以在求总销售值时造成了误差过大.…

> 参考的优秀文章 优化LIMIT分页--<高性能MySQL>(电子工业出版社) > 场景描述 遇到一个场景:查询排序后的结果集较大,我们采用分页显示,每页显示20条记录,但是查询效率还是不尽理想. 结果,采用以下两个手段优化效率: 1.对排序的字段加上索引(普通索引,即BTREE),加了索引后,普通查询的效率加快了,但偏移量大的数据(比如排序靠后的数据)查询还是较慢. 2.借鉴<高性能MySQL>的手段,减少扫描范围.延迟关联,偏移量大的数据查询效率也得到优化. &g…

作者:刘源链接:https://www.zhihu.com/question/40371280/answer/86262934来源:知乎著作权归作者所有.商业转载请联系作者获得授权,非商业转载请注明出处. 想用jpg的话,直接使用WWW加载jpg文件本身.加载好之后,WWW.texture 就是你要的贴图. ————————————————————————————————————题主之前就是这个方法,后来为什么要改呢.对于题主的这种情况,即使与当前工作流不符,我也会认为有必要单写流程.优化项目时…

如果一张表中某个字段存在重复的值,现在我想去重后获取这个字段值的总数 先看这张表 这张表中的openid有重复值 怎么通过sql语句获取openid的去重总数呢 select count(distinct(openid)) as count from upay_order…

vue中webpack打包后vendor.xxx.js文件一般都特别大,其原因是因为我们引用的依赖都被压缩成一个js文件,这样会导致vendor文件过大.页面加载速度过慢,影响用户体验.所以我们就要把用不到的依赖都抽出来,在index.html用第三方引入! 话不多说,上代码! 依赖未抽出前打包: 依赖抽出之后打包: 在这里我把一般都会引入的element-ui抽出来了! 在build目录下找到文件修改如下: 添加这个对象属性:前面为依赖名称,这样打包的时候就不会把这两个依赖打包进vendor,…

在使用Tests进行环境变量的设置时,遇到这么一种情况,在返回的responseBody中的userId字段,字段返回的是数值类型,再经过json转换之后,发现保存的值跟接口返回的值不一致:如下图: 接口返回的值:"userId":337292419039105024 实际保存的值:"userId":337292419039105000 经过排查后发现,有可能是在json转换的时候,字段值超过了转换的数值类型的上限,导致保存错误: 解决办法: 通过转译的方式去实现,…

本文转自:http://www.cnblogs.com/gudujianxiao/archive/2012/04/14/2446925.html 一 派生列 派生列转换通过对输入列进行类型转换或应用表达式得出新的结果.这个结果可以作为新列添加,也可以替换输入列.可以使用此转换执行下列任务: 1.将不同列的数据连接到一个派生列中.例如,可以使用表达式 FirstName + " " + LastName 将 FirstName 和 LastName 列中的值组合到名为 FullName…

__________________________ 作者:我是蛋蛋链接:https://www.zhihu.com/question/59593387/answer/167235075来源:知乎著作权归作者所有.商业转载请联系作者获得授权,非商业转载请注明出处. 对我个人来说,考研是我人生趋势的走向.我曾在我们学校的一个很牛的IT组织待过(叫“多火”,有兴趣的可以了解一下),那里面的人最反对考研,把考研说的是一无是处,为首的一个家伙,在大三就拿到了阿里的offer,完全是凭自己自学的.我当时也…

XE安装完C盘可以清理的垃圾缓存文件 C:\ProgramData\{0DE47792-19BD-4AF4-B9CF-6378FBA44825}  XE6 9个G,xe7 18G XE6如此,XE7安装完这个垃圾目录貌似只有20M,这样的话就好多了 C:\Users\Administrator\Documents 右键>属性>Locatioin改变路径!!移动到D盘,这样C盘空间就节省了很多 D:\Users\Public\Documents 也可以改 D:\Users\Public\Docu…

将包属性中的 protectionLevel 设置成DontSaveSensitive 即可.…

RNA-seq中的基因表达量计算和表达差异分析 差异分析的步骤:1)比对:2) read count计算:3) read count的归一化:4)差异表达分析: 背景知识:1)比对:普通比对: BWA,SOAP开大GAP比对:Tophat(Bowtie2):2) Read count(多重比对的问题):丢弃平均分配利用Unique region估计并重新分配表达量计算的本质目标基因表达量相对参照系表达量的数值.参照的本质:( 1)假设样本间参照的信号值应该是相同的:( 2)将样本间参照的观测值校…

前言 文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理. 作者 | 常国珍.赵仁乾.张秋剑 来源 |<Python数据科学:技术详解与商业实践> PS:如有需要Python学习资料的小伙伴可以加点击下方链接自行获取 http://note.youdao.com/noteshare?id=3054cce4add8a909e784ad934f956cef 数据清洗是数据分析的必备环节,在进行分析过程中,会有很多不符合分析要求的数据,…

论文基于DA Faster R-CNN系列提出类别正则化框架,充分利用多标签分类的弱定位能力以及图片级预测和实例级预测的类一致性,从实验结果来看,类该方法能够很好地提升DA Faster R-CNN系列的性能   来源:晓飞的算法工程笔记 公众号 论文: Exploring Categorical Regularization for Domain Adaptive Object Detection 论文地址:https://arxiv.org/pdf/2003.09152.pdf 论文代码:h…

最近要做个文章搜索,对全文检索原理以及es原理进行了一些调研, 1.  es索引文件为多个文本文件描述,索引文件中的内容构成可见 http://elasticsearch.cn/article/86 2.  检索原理,首先查询分析器->分析查询字段->匹配文档->根据配置打分系统或者说算法打分. 详细过程可见 http://es.xiaoleilu.com/100_Full_Text_Search/05_Match_query.html 一段话分词后查询和直接提交查询由引擎中的分词插件分…

Feature Scaling 可以翻译为特征归一化,或者数据归一化,比如统计学习中,我们一般都会对不同量纲的特征做归一化,深度学习中经常会谈到增加的BN层,LRN层会带来训练收敛速度的提升,等等.问题是,我们为什么需要做Feature Scaling呢?可以不做吗?做Feature Scaling背后的数学意义是什么? 首先,我们来看看下面一个简单的神经元 如果x1的输入值范围在(0,10), 而x2的值输入值范围在(1000, 10000),在模型训练(一般选择梯度下降法)时,需要迭代更新可…

原文:http://zhuanlan.zhihu.com/donglaoshi/19962491 作者: 董飞       提到大数据分析平台,不得不说Hadoop系统,Hadoop到现在也超过10年的历史了,很多东西发生了变化,版本也从0.x 进化到目前的2.6版本.我把2012年后定义成后Hadoop平台时代,这不是说不用Hadoop,而是像NoSQL (Not Only SQL)那样,有其他的选型补充.我在知乎上也写过Hadoop的一些入门文章 如何学习Hadoop - 董飞的回答,为了给…

1. Hadoop 的神话正在破灭 IBM leads BigInsights for Hadoop out behind barn. Shots heard IBM has announced the retirement of the basic plan for its data analytics software platform, BigInsights for Hadoop. The basic plan of the service will be retired in a mo…

提到大数据分析平台,不得不说Hadoop系统,Hadoop到现在也超过10年的历史了,很多东西发生了变化,版本也从0.x进化到目前的2.6版本.我把2012年后定义成后Hadoop平台时代,这不是说不用Hadoop,而是像NoSQL (Not Only SQL)那样,有其他的选型补充. 背景篇 Hadoop: 开源的数据分析平台,解决了大数据(大到一台计算机无法进行存储,一台计算机无法在要求的时间内进行处理)的可靠存储和处理.适合处理非结构化数据,包括HDFS,MapReduce基本组件. HD…

从14年11月的实习到正式的工作的工作我在上一家公司工作一年多了.然而到16年5月20跳槽后自己已经好久都没有在写博客了,在加上回学校毕业答辩3天以及拿档案中途耽搁了几天的时间,跳槽后虽然每天都在不停的搞开发做项目天天忙的就如狗一样,确实是没有时间整理以及总结和发表自己的感慨.难得中秋银行的事情搞完了自己清闲3天,是时候总结一下从大公司做.NET PC 端网站的开发到现在做移动互联网的银行及政府微信公众号的开发的感触.当时自己的选择现在公司做移动互联网的部门,移动互联网就是比较忙和累.你知道的.…

 接触客户多了,发现经常有客户遇到du看到系统只使用了一部分磁盘空间,但df看时磁盘空间已经满了,或者差异较大,我遇到过三次不一样的原因,下面做一下总结,恶补一下!也希望对大家有点帮助! 现象:有客户反馈有二台主机du和df看到磁盘空间使用不一致 原因:客户在挂载数据盘到/data目录之前,曾挂载过系统盘到/data测试并把系统盘空间写满 解决:发现重复挂载之后,先卸载数据盘,现在只有系统盘挂载到/data目录,然后删除/data下内容,重新挂载数据盘到/data目录即可 总结: 1.du是根据…

壹 ❀ 引 想必凡是接触过二叉树算法的同学,在刚上手那会,一定都经历过题目无从下手,甚至连题解都看不懂的痛苦.由于leetcode不方便调试,题目做错了也不知道错在哪里,最后无奈的cv答案后心里还不断安慰自己.不甘心想着要不直接背模板吧,可当天一知半解的记住了,不到半个月回头面对一道曾做过的简单二叉树题,脑袋里跟看一道新题一样. 那么二叉树对于我这个不是计算机专业的人来说难在哪呢?第一,我始终无法在脑中构建递归的过程,就像我的思维空间不足以支撑递归在我的脑中运行,大致脑补了两步就直接乱套了,我想…

1.海量日志数据,提取出某日访问百度次数最多的那个IP. 解决方案:首先是将这一天,并且是访问百度的日志中的IP取出来,逐个写入到一个大文件中.注意到IP是32位的,最多有个2^32个IP.同样可以采用映射的方法,比如模1000,把整个大文件映射为1000个小文件,再找出每个小文中出现频率最大的IP(可以采用hash_map进行频率统计,然后再找出频率最大的几个)及相应的频率.然后再在这1000个最大的IP中,找出那个频率最大的IP,即为所求. 2.搜索引擎会通过日志文件把用户每次检索使用的所有…

第1章 Hive基本概念 1.1 什么是Hive Hive:由Facebook开源用于解决海量结构化日志的数据统计. Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张表,并提供类SQL查询功能. 本质是:将HQL转化成MapReduce程序 1)Hive处理的数据存储在HDFS 2)Hive分析数据底层的实现是MapReduce 3)执行程序运行在Yarn上 1.2 Hive的优缺点 1.2.1 优点 1) 操作接口采用类SQL语法,提供快速开发的能力(简单.容易上…

网上关于SQL优化的教程很多,但是比较杂乱.近日有空整理了一下,写出来跟大家分享一下,其中有错误和不足的地方,还请大家纠正补充. 这篇文章我花费了大量的时间查找资料.修改.排版,希望大家阅读之后,感觉好的话推荐给更多的人,让更多的人看到.纠正以及补充. 一.百万级数据库优化方案 1.对查询进行优化,要尽量避免全表扫描,首先应考虑在 where 及 order by 涉及的列上建立索引. 2.应尽量避免在 where 子句中对字段进行 null 值判断,否则将导致引擎放弃使用索引而进行全表扫描,如…

SSIS是SQL Server Integraion Services的简称.是生成高性能数据集成解决方案(包括数据仓库的提取.转换和加载 (ETL) 包)的平台.   SSIS组件转换_模糊查找转换 摘要: 模糊查找转换与查找转换之间的不同之处在于:它使用了模糊匹配.查找转换使用同等连接在引用表中查找匹配记录.它返回引用表中完全匹配的项.或者不返回任何内容.与此相比,模糊查找转换使用模糊匹配返回引用表中一个或多个接近的匹配项. 模糊查找转换的引用数据源必须是sql2000或更高版本的数据库.而…

数据库SQL优化大总结 小编最近几天一直未出新技术点,是因为小编在忙着总结整理数据库的一些优化方案,特此奉上,优化总结较多,建议分段去消化,一口吃不成pang(胖)纸 一.百万级数据库优化方案 1.对查询进行优化,要尽量避免全表扫描,首先应考虑在 where 及 order by 涉及的列上建立索引. 2.应尽量避免在 where 子句中对字段进行 null 值判断,否则将导致引擎放弃使用索引而进行全表扫描,如: select id from t where num is null 最好不要给数…

第1章 Hive入门 1.1 什么是Hive Hive:由Facebook开源用于解决海量结构化日志的数据统计. Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张表,并提供类SQL查询功能. 本质是:将HQL转化成MapReduce程序 )Hive处理的数据存储在HDFS 2)Hive分析数据底层的实现是MapReduce 3)执行程序运行在Yarn上 1.2 Hive的优缺点 1.2.1 优点 操作接口采用类SQL语法,提供快速开发的能力(简单.容易上手). 避免…

1.字符串 应用程序按其功能可分为数值计算.非数值计算以及输入输出操作等.非数值计算程序占相当大的比例,其核心就是字符串处理1.1.字符测试 1.1.1.测试字符是否为英文字母 int isalpha(int c).若c为英文字母,则返回非零值,否则返回值为0 1.1.2.测试字符是否为数字 int isdigit(int c).若c为数字,则返回非零值,否则返回值为01.2.字符串初始化 在C语言中,字符串被当做字符数组来处理,对应于内存中的一块连续的区域 可以使用 void *memset(…

曼-惠特尼U检验(Mann-Whitney检验) How the Mann-Whitney test works Mann-Whitney检验又叫做秩和检验,是比较没有配对的两个独立样本的非参数检验.思想是这样的:假定要检验两组数据之间有没有差异.首先,不管分组把所有数据排序.按照数值大小给定一个值叫做秩.最小的值秩为1,最大的为N(假定两个样本总共有N个观察值).如果有相同的值,就得到相同的秩.相同的值的秩是他们的秩的平均值.如果两组的秩的和差距比较大,就会得出较小的p值,认为这两组间有显著差…

Linux就这个范儿 第15章 七种武器  linux 同步IO: sync.fsync与fdatasync   Linux中的内存大页面huge page/large page  David Cutler  Linux读写内存数据的三种方式 台湾作家林清玄在接受记者采访的时候,如此评价自己30多年写作生涯:“第一个十年我才华横溢,‘贼光闪现’,令周边黯然失色:第二个十年,我终于‘宝光现形’,不再去抢风头,反而与身边的美丽相得益彰:进入第三个十年,繁华落尽见真醇,我进入了‘醇光初现’的阶段,真正…