前沿: 这是天池的一个新人实战塞题目,原址 https://tianchi.aliyun.com/getStart/information.htm?spm=5176.100067.5678.2.e1321db7ydQmSB&raceId=231593 ,下文会分析以下几个过程. 1.数据预处理 2.特征的选取 3.算法的说明 4.结果分析 5.其他 第一部分:数据预处理 原始数据可以从上边链接中下载,拿到.csv文件,可以使用pandas处理. 比如: dfoff = pd.read_csv('

数据挖掘实战 - o2o优惠券使用预测 一.前言 大家好,家人们.今天是2021/12/14号.上次更新是2021/08/29.上篇文章中说到要开两个专题,果不其然我鸽了,这一鸽就是三个多月.今天,我不鸽(还要鸽).那两个专题关于ResNet和GoogLeNet的文章还等缓缓一缓(一月份一定发),今天这篇文章是关于数据挖掘实战入门的例子,题目及数据集来源于 天池新人实战赛o2o优惠券使用预测,题目地址:https://tianchi.aliyun.com/competition/entrance

第一次参加天池新人赛,主要目的还是想考察下自己对机器学习上的成果,以及系统化的实现一下所学的东西.看看自己的掌握度如何,能否顺利的完成一个分析工作.为之后的学习奠定基础. 这次成绩并不好,只是把整个机器学习的流程熟悉了下.我本人总结如下: 步骤一:读懂题目含义,分析赛题的数据 步骤二:特征工程的设计,这部分非常重要,好的特征工程能大大提高模型的准确率 步骤三:训练算法.区分训练集.测试集等. 步骤四:测试模型,看效果如何. 赛题可以去天池的官网查看,里面有赛题说明,赛题数据等等 https://

第一次参加数据预测竞赛,发现还是挺有意思的.本文中的部分内容参考第一名“诗人都藏在水底”的解决方案. 从数据划分.特征提取.模型设计.模型融合/优化,整个业务流程得到了训练.作为新手在数据划分和模型训练以及模型融合上做的不够好(都是套路). 首先,数据划分方式最自然的按照月份->后面的月份这种自然顺序(滑窗)即可,在整个数据集上做特征提取实在是不能发挥出 特征的优势,因为数据量本身挺大,太多的脏数据,会导致训练出的模型不准确. 看来这个竞赛并没有涉及到太多的数据清洗处理等工作. 用户特征.商户特

赛事链接:https://tianchi.aliyun.com/competition/entrance/231593/introduction?spm=5176.12281925.0.0.7e157137DpLQO6 代码下载:https://github.com/luxuantao/alibaba_tianchi_book 请自己阅读赛题描述和下载代码 1.数据探索 1.1数据说明 本赛题提供用户在2016年1月1日至2016年6月30日之间真实线上线下消费行为,预测用户在2016年7月领取

1.阿里移动推荐算法: 答辩视频:https://space.dingtalk.com/c/gQHOEnXdXw 2.资金流入流出预测: 答辩视频:https://space.dingtalk.com/c/gQHOEnXi6w 3.阿里移动推荐&资金流入流出预测答辩PPT下载: https://tianchi.shuju.aliyun.com/mini/reply.htm?spm=5176.100259.100259.15.QVIzfX#nav1 4.新浪微博互动预测大赛&公交线路客流预测

使用python3 学习了线性回归的api 分别使用逻辑斯蒂回归  和   随机参数估计回归 对良恶性肿瘤进行预测 我把数据集下载到了本地,可以来我的git下载源代码和数据集:https://github.com/linyi0604/MachineLearning import numpy as np import pandas as pd from sklearn.cross_validation import train_test_split from sklearn.preprocessi

O2O热潮的兴起似乎来得颇为蹊跷--或许是线上连接线下的模式太过空泛,具有极大的包容性,让各个行业都忍不住在其中横插一脚.在经历过最初的崛起和后来的火爆之后,最终形成目前的寒冬.究其原因,O2O并不是适合所有传统行业融入互联网,开启新浪潮的模式,有着必然的局限性.这其中,汽车O2O就是一个悖论当道的典型. 从链条最开始的汽车销售,到售中的销售接待.保险,再到售后的保养.维修.清洗.停车.周边产品等,汽车O2O在近年来成功地火了一把,最终却还是被"打落凡尘".模式成空的背后,不禁要让人深

在做阿里的o2o优惠券预测的时候学习了GBDT.听闻GBDT的威力,自然要学习学习. 接下来从以下几个方面记录下我对于GBDT的理解. GBDT的用途,优势 GBDT的结构和算法流程 GBDT如何训练 Sklearn 的GBDT使用,参数意义 GBDT的用途,优势: GBDT(Gradient Boosting Decision Tree) 又叫 MART(Multiple Additive Regression Tree),是一种迭代的决策树算法, 该算法由多棵决策树组成,所有树的结论累加起来

https://zhuanlan.zhihu.com/p/35046241 包大人 深度学习炼丹劝退师 278 人赞同了该文章 从最近的比赛学习CTR/CVR 最近在玩kaggle的talking data的比赛,适逢IJCAI2018的比赛也是CTR问题,故将最近学习的东西整理下分享,欢迎大家拍砖. CTR预估就是这样的任务:给定用户或某唯一标识,给定一个商品(Product),给定了一定的环境,来看用户会不会买这个商品,买商品的概率有多高:或者说给用户推荐一个电影,用户会不会看这个电影,看的

Basis(基础): SSE(Sum of Squared Error, 平方误差和) SAE(Sum of Absolute Error, 绝对误差和) SRE(Sum of Relative Error, 相对误差和) MSE(Mean Squared Error, 均方误差) RMSE(Root Mean Squared Error, 均方根误差) RRSE(Root Relative Squared Error, 相对平方根误差) MAE(Mean Absolute Error, 平均绝

欢迎大家关注腾讯云技术社区-博客园官方主页,我们将持续在博客园为大家推荐技术精品文章哦~ 作者:孙银行 背景 Mysql数据库作为数据持久化的存储系统,在实际业务中应用广泛.在应用也经常会因为SQL遇到各种各样的瓶颈.最常用的Mysql引擎是innodb,索引类型是B-Tree索引,增删改查等操作最经常遇到的问题是"查",查询又以索引为重点(没索引不是病,慢起来太要命).踩过O2O优惠券.摇一摇周边两个业务的一些坑,当谈到SQL优化时,想分享下innodb下B-Tree索引的一些理解与

原文:http://blog.csdn.net/heyongluoyao8/article/details/47840255 常见的机器学习&数据挖掘知识点 转载请说明出处 Basis(基础): SSE(Sum of Squared Error, 平方误差和) SAE(Sum of Absolute Error, 绝对误差和) SRE(Sum of Relative Error, 相对误差和) MSE(Mean Squared Error, 均方误差) RMSE(Root Mean Square

#加载模块 from sklearn import datasets from sklearn.externals import joblib from sklearn.linear_model import LinearRegression from sklearn.cross_validation import train_test_split #分割数据集 data_x,data_y = datasets.load_iris(return_X_y=True) train_X,test_X,

作者 |孙银行编辑 | 顾乡 背景 Mysql数据库作为数据持久化的存储系统,在实际业务中应用广泛.在应用也经常会因为SQL遇到各种各样的瓶颈.最常用的Mysql引擎是innodb,索引类型是B-Tree索引,增删改查等操作最经常遇到的问题是“查”,查询又以索引为重点(没索引不是病,慢起来太要命).踩过O2O优惠券.摇一摇周边两个业务的一些坑,当谈到SQL优化时,想分享下innodb下B-Tree索引的一些理解与实践. 接下来的内容,安排如下: 介绍索引的工作原理: 引用实例具体介绍索引: 如何

1.CTR: (1)几个概念: impression(展示):用户看到该广告的次数.也就是一个广告被显示了多少次,它就计数多少.比如:打开网站的一个页面,网站上的所有广告就被显示了一次,每个广告增加1个,如果刷新就再增加一个. click(点击):用户点击该广告的次数 CTR:click through rate 广告点击率 CTR = click次数 / impression次数 (2)任务: CTR预估任务:给定用户(user),给定一个商品(product),给定了一定的环境,来看用户会不

bilibili莫烦scikit-learn视频学习笔记 1.使用KNN对iris数据分类 from sklearn import datasets from sklearn.model_selection import train_test_split from sklearn.neighbors import KNeighborsClassifier # 从datasets中导入iris数据,包含150条样本,每条样本4个feature iris_data = datasets.load_i

AI 科技评论编者按:现在,越来越多的企业.高校以及学术组织机构通过举办各种类型的数据竞赛来「物色」数据科学领域的优秀人才,并借此激励他们为某一数据领域或应用场景找到具有突破性意义的方案,也为之后的数据研究者留下有价值的经验. Smilexuhc 在 GitHub 社区对各大数据竞赛名列前茅的解决方案进行了整理,包括纯数据竞赛.自然语言处理(NLP)领域数据赛事的 Top 解决方案.对这些赛事感兴趣的小伙伴可以一起来看一下这篇干货满满的汇总贴: 纯数据竞赛 1.2018 科大讯飞 AI 营销算法

数据来自UCI机器学习仓库中的垃圾信息数据集 数据可从http://archive.ics.uci.edu/ml/datasets/sms+spam+collection下载 转成csv载入数据 import matplotlib matplotlib.rcParams['font.sans-serif']=[u'simHei'] matplotlib.rcParams['axes.unicode_minus']=False import pandas as pd import numpy as

一.数据集预处理 1.数据读入 import pandas as pd import numpy as np import datetime as date import datetime as dt #先导入数据 off_train = pd.read_csv("data/ccf_offline_stage1_train.csv",header = 0) off_train.columns = ['user_id','merchant_id','coupon_id','discoun