先看数据: 特征如下: Time Number of seconds elapsed between each transaction (over two days) numeric V1 No description provided numeric V2 No description provided numeric V3 No description provided numeric V4 No description provided numeric V5 No description

from:https://zhuanlan.zhihu.com/p/30461746 本项目需解决的问题 本项目通过利用信用卡的历史交易数据,进行机器学习,构建信用卡反欺诈预测模型,提前发现客户信用卡被盗刷的事件. 建模思路 项目背景 数据集包含由欧洲持卡人于2013年9月使用信用卡进行交的数据.此数据集显示两天内发生的交易,其中284,807笔交易中有492笔被盗刷.数据集非常不平衡,积极的类(被盗刷)占所有交易的0.172%. 它只包含作为PCA转换结果的数字输入变量.不幸的是,由于保密问题

作者:大树 更新时间:01.20 email:59888745@qq.com 数据处理,机器学习 回主目录:2017 年学习记录和总结 .caret, .dropup > .btn > .caret { border-top-color: #000 !important; } .label { border: 1px solid #000; } .table { border-collapse: collapse !important; } .table td, .table th { bac

Kaggle网站流量预测任务第一名解决方案:从模型到代码详解时序预测 2017年12月13日 17:39:11 机器之心V 阅读数:5931   近日,Artur Suilin 等人发布了 Kaggle 网站流量时序预测竞赛第一名的详细解决方案.他们不仅公开了所有的实现代码,同时还详细解释了实现的模型与经验.机器之心简要介绍了他们所实现的模型与经验,更详细的代码请查看 GitHub 项目. GitHub 项目地址:https://github.com/Arturus/kaggle-web-tra

完整代码见kaggle kernel 或 Github 比赛页面:https://www.kaggle.com/c/house-prices-advanced-regression-techniques 这个比赛总的情况就是给你79个特征然后根据这些预测房价 (SalePrice),这其中既有离散型也有连续性特征,而且存在大量的缺失值.不过好在比赛方提供了data_description.txt这个文件,里面对各个特征的含义进行了描述,理解了其中内容后对于大部分缺失值就都能顺利插补了. 参加比赛

https://www.leiphone.com/news/201803/fPnpTdrkvUHf7uAj.html 雷锋网 AI 研习社消息,Kaggle 上 Corporación Favorita 主办的商品销量预测比赛于两个月前落下帷幕,此次比赛的奖金池共计三万美元,吸引到 1675 支队伍参赛. 近日,Private Leaderboard 上的亚军 SoLucky 团队在 arxiv 上发表了一篇论文,阐述了其获胜方案,雷锋网 AI 研习社对论文内容进行编译整理如下: 作者参加了在

https://mp.weixin.qq.com/s/JwRXBNmXBaQM2GK6BDRqMw 选自GitHub 作者:Artur Suilin 机器之心编译 参与:蒋思源.路雪.黄小天 近日,Artur Suilin 等人发布了 Kaggle 网站流量时序预测竞赛第一名的详细解决方案.他们不仅公开了所有的实现代码,同时还详细解释了实现的模型与经验.机器之心简要介绍了他们所实现的模型与经验,更详细的代码请查看 GitHub 项目. GitHub 项目地址:https://github.com

@ 目录 1 概述 2 处理思想学习 2.1 移除异常值 2.2 缺失值 2.3 目标函数 2.4 特征工程 2.4.1 Savitzky-Golay filter 2.4.2 Bayesian target encoding(python实现) 2.5 models ensemble 2.5.1 pearson correlation(+python 实现) 2.6 Why does postprocessing work? 2nd place magic 1 概述 先上第一名分析的图 2 处

20天的时间参加了Kaggle的 Avito Demand Prediction Challenged ,第一次参加,成绩离奖牌一步之遥,感谢各位队友,学到的东西远比成绩要丰硕得多.作为新手,希望每记录一次可以进步一次.下面将我这段时间的心路历程进行记录,作为经历,也作为自己的经验: 可点击 -- Github 一.审题 审题过程应该是在这道题中焦灼的一环,因为直到现在我都不确定我是否完全明白了题意. In their fourth Kaggle competition, Avito is ch

Kaggle(一) 房价预测 (随机森林.岭回归.集成学习)  项目介绍:通过79个解释变量描述爱荷华州艾姆斯的住宅的各个方面,然后通过这些变量训练模型, 来预测房价.   kaggle项目链接:https://www.kaggle.com/c/house-prices-advanced-regression-techniques 数据描述: train.csv - 训练集 test.csv - 测试集 一.加载数据 #加载必要库 import pandas as pd import numpy

天天跟数据打交道的研究人员,都有一个成为Kaggle顶级大师(Grandmaster)的梦想. 但每年的Kaggle参赛团队众多,通常一个项目都有数千人至上万人报名,如何在其中脱颖而出? 最近,自动化数据准备及协作平台Dataland的联合创始人Lavanya Shukla,在博客上分享了她在Kaggle竞赛中最终成为0.3%的获奖经验. 小姐姐在推特中表示,这份攻略里全都是干货,网友纷纷为其点赞.有网友表示,这份攻略非常棒,才知道脊回归如此强大! *先放上原文地址:* *https://www

原文:https://hippocampus-garden.com/kaggle_colab/ 原文标题:How to Kaggle with Colab Pro & Google Drive 译文作者:kbsc13 联系方式: Github:https://github.com/ccc013/AI_algorithm_notes 知乎专栏:机器学习与计算机视觉,AI 论文笔记 微信公众号:AI 算法笔记 前言 Colab Pro(目前仅在美国.加拿大.日本.巴西.德国.法国.印度.英国和泰国可

基本抽样函数sample sample(x,size,replace=F/T) x是数据集, size规定了从对象中抽出多少个数 replace 为F时候,表示每次​抽取后的数就不能在下一次被抽取:T表示抽取过的数可以继续拿来被抽取. 不平衡数据的问题 以某两类数据为目标做抽样,其中一类样本数量特别小,一类样本数特别大,这就是不平衡的情况.对应处理方式是做欠抽样处理,按照样本量小的类的数量,从大类中抽取样本. 以kaggle的信用卡欺诈案例为例,该项目欺诈的样本为492个,非欺诈样本284807

1. 近期目标,实现随机森林进行点云分类 1)学习阶段: [干货]Kaggle 数据挖掘比赛经验分享 Kaggle Machine Learning Competition: Predicting Titanic Survivors Kaggle Titanic 生存预测 -- 详细流程吐血梳理 机器学习实战之Kaggle_Titanic预测 https://www.codeproject.com/Articles/1197167/Random-Forest-Python https://blo

箱线图boxplot--展示数据的分布 图表作用: 1.反映一组数据的分布特征,如:分布是否对称,是否存在离群点 2.对多组数据的分布特征进行比较 3.如果只有一个定量变量,很少用箱线图去看数据的分布,而是用直方图去观察.一般都要跟其余的定性变量做分组箱线图,可以起对比作用.(key) 适合数据类型: 针对连续型变量 用法: 只有一个变量.一组的数据(1个变量,0个定性变量),比如:学生的成绩情况 只有一个变量.多组数据(1个变量,1个定性变量[班级]),比如:1.2.3班学生的成绩情况 只有一

今天是2017年12月30日,2017年的年尾,2018年马上就要到了,回顾2017过的确实很快,不知不觉就到年末了,再次开篇对2016.2017年的学习数据挖掘,机器学习方面的知识做一个总结,对自己所学的知识也做一个梳理,查漏补缺关于数据挖据.数据分析,可视化,ML,DL,NLP等. 作者:csj更新时间:2017.12.27 email:59888745@qq.com 说明:因内容较多,会不断更新 *学习总结: 2016.10 主要看的书 <Python3-廖雪峰>,<Python核

1. itertools.product  进行数据的多种组合 intertools.product(range(0, 1), range(0, 1))  组合的情况[0, 0], [0, 1], [1, 0], [1, 1] 2. confusion_matrix(test_y, pred_y)  # 构造混淆矩阵 混淆矩阵是TP(正的预测成正的), FP(正的预测成负的), TN(负的预测成负的), FN(负的预测成正的) 从混淆矩阵中,我们可以很清楚的看出这个信息,这是一个信用欺诈的案例,

参考资料(要是对于本文的理解不够透彻,必须将以下博客认知阅读,方可全面了解LR): (1).https://zhuanlan.zhihu.com/p/74874291 (2).逻辑回归与交叉熵 (3).https://www.cnblogs.com/pinard/p/6029432.html (4).https://zhuanlan.zhihu.com/p/76563562 (5).https://www.cnblogs.com/ModifyRong/p/7739955.html 一.逻辑回归介

1 业务架构 风控平台是相对独立的系统,信审的案件可以从借款端平台推过来,也可以从第三方平台推过来.信审案件到达风控平台后,自动创建工作流,根据风控流程处理各流程环节任务. •自动决策 风控流程自动处理案件,访问第三方合作伙伴的接口,获取用户黑名单.欺诈数据和多头借贷等数据,查询名单数据,决策引擎输出各环节处理结果.自动决策后出三个结果,自动通过.转人工.拒绝. • 人工信审 根据决策引擎输出的结果进行转人工处理,人工通过初审和复核岗,给出具体信审结果,信审通过的案件给出风险等级和具体额度. •

使用google翻译自:https://software.seek.intel.com/dealing-with-outliers 数据分析中的一项具有挑战性但非常重要的任务是处理异常值.我们通常将异常值定义为与其余数据群1不一致的样本或事件.异常值通常包含有关影响数据生成过程2的系统和实体的异常特征的有用信息. 异常检测算法的常见应用包括: 入侵检测系统信用卡诈骗有趣的传感器事件医学诊断在本文中,我们将重点介绍异常检测 - 信用卡欺诈的最常见应用之一.通过一些简单的离群值检测方法,可以在真实世