Mercari Price Suggestion 最近看到了一个竞赛,竞赛的内容是根据已知的商品的描述,品牌,品类,物品的状态等特征来预测商品的价格 最后的评估标准为 平均算术平方根误差Root Mean Squared Logarithmic Error. \[ \epsilon = \sqrt { \frac { 1 } { n } \sum _ { i = 1 } ^ { n } \left( \log \left( p _ { i } + 1 \right) - \log \left(…

前段时间参加了Kaggle上的Mercari Price Suggestion Challenge比赛,收获良多,过些时候准备进行一些全面的总结,本篇文章先谈一个比赛中用到的小技巧. 这个比赛数据中有一个特征叫做 "item_description",大致是一些商品描述,比如什么时候买的.新旧程度如何.什么牌子的等等.因为大部分都是Mercari这个网站(这个类似于国内的二手商品交易网站)上的用户自己填的商品描述,所以是极尽杂乱之能事,会出现很多夸张的符号,比如这样: 另外的一大问题是…

整合几部分代码的汇总 隐藏代码片段 导入python数据和可视化包 导入统计相关的工具 导入回归相关的算法 导入数据预处理相关的方法 导入模型调参相关的包 读取数据 特征工程 缺失值 类别特征处理-label转化 box-cox转换 one-hot categoy 特征 数据相关性 模型部门 基模型 模型初步评估 stacking models 增加metal模型 ensemble StackedRegressor model with XGBoost and LightGBM 整合几部分代码的…

kaggle 竞赛入门 导入常用的数据分析以及模型的库 数据处理 Data fields 去除异常值 处理缺失值 分析 Utilities Exploratory Data Analysis Correlation matrix BsmtQual BsmtCond BsmtExplosure BsmtFinType1 BsmtFinSF1 BsmtFinType2 BsmtFinSF2 BsmtUnfSF TotalBsmtSF 1stFlrSF 2ndFlrSF LowQualFinSF Bs…

刚入手data science, 想着自己玩一玩kaggle,玩了新手Titanic和House Price的 项目, 觉得基本的baseline还是可以写出来,但是具体到一些细节,以至于到能拿到的出手的成绩还是需要理论分析的. 本文旨在介绍kaggle比赛到各种原理与技巧,当然一切源自于coursera,由于课程都是英文的,且都比较好理解,这里直接使用英文 Reference How to Win a Data Science Competition: Learn from Top Kaggl…

Greetings from Amazon Seller Support, Thank you for writing back to us. I have reviewed our previous correspondence with you, and I offer my sincere apologies for any misunderstandings thus far. I understand that you would like to know how to update…

先看数据: 特征如下: Time Number of seconds elapsed between each transaction (over two days) numeric V1 No description provided numeric V2 No description provided numeric V3 No description provided numeric V4 No description provided numeric V5 No description…

分销商产品未来销售情况预测 介绍 前面的几个实验中,都是根据提供的数据特征来构建模型,也就是说,数据集中会含有许多的特征列.本次将会介绍如何去处理另一种常见的数据,即时间序列数据.具体来说就是如何根据以往的销售额来预测未来短期内的销售额. 知识点 时间序列数据 数据预处理 未来销售额预测介绍 对于一个产品来说,其未来销售额的预测是一个重要的指标,也是一项重要的任务.例如,对于一部苹果手机来说.在上市之前,得先对销售额进行预测,才能确定出货量的大小. 本次实验来源于 Kaggle 上的一个挑战,即…

本文翻译自kaggle learn,也就是kaggle官方最快入门kaggle竞赛的教程,强调python编程实践和数学思想(而没有涉及数学细节),笔者在不影响算法和程序理解的基础上删除了一些不必要的废话,毕竟英文有的时候比较啰嗦. 一.决策树算法基本原理 背景:假设你的哥哥是一个投资房地产的大佬,投资地产赚了很多钱,你的哥哥准备和你合作,因为你拥有机器学习的知识可以帮助他预测房价.你去问你的哥哥他是如何预测房价的,他告诉你说他完全是依靠直觉,但是你经过调查研究发现他预测房价是根据房价以往的表现…

本文翻译自kaggle learn,也就是kaggle官方最快入门kaggle竞赛的教程,强调python编程实践和数学思想(而没有涉及数学细节),笔者在不影响算法和程序理解的基础上删除了一些不必要的废话,英文有的时候比较啰嗦. 一.什么是模型验证 模型验证在机器学习当中非常重要,因为有的时候拟合出来的模型误差非常大而自己却不知道,就会造成很大的失误.在kaggle竞赛入门(二)当中,我们利用决策树算法已经拟合出来了一个模型,那么如何去验证这个模型的准确性呢?那就是使用真实值和预测值的差值的绝对…