MovieLens 是历史最悠久的推荐系统.它由美国 Minnesota 大学计算机科学与工程学院的 GroupLens 项目组创办,是一个非商业性质的.以研究为目的的实验性站点.MovieLens 主要使用 Collaborative Filtering 和 Association Rules 相结合的技术,向用户推荐他们感兴趣的电影. 参考资料:movieLens-百度百科   .  电影数据集总结 数据集地址:   https://grouplens.org/datasets/moviel…

1.KITTI数据集采集平台: KITTI数据采集平台包括2个灰度摄像机,2个彩色摄像机,一个Velodyne 3D激光雷达,4个光学镜头,以及1个GPS导航系统.坐标系转换原理参见click.KITTI提供的数据中都包含三者的标定文件,不需人工转换. 2.KITTI数据集,label文件解析: Car 0.00 0 -1.84 662.20 185.85 690.21 205.03 1.48 1.36 3.51 5.35 2.56 58.84 -1.75 第1个字符串:代表物体类别 'Car'…

<Webbots.Spiders和Screen Scrapers:技术解析与应用实践(原书第2版)> 译者序 前言 第一部分 基础概念和技术 第1章 本书主要内容3 1.1 发现互联网的真正潜力3 1.2 对开发者来说3 1.2.1 网络机器人开发者是紧缺人才4 1.2.2 编写网络机器人是有趣的4 1.2.3 网络机器人利用了“建设性黑客”技术4 1.3 对企业管理者来说5 1.3.1 为业务定制互联网5 1.3.2 充分利用公众对网络机器人的经验不足5 1.3.3 事半功倍6 1.4 结论…

CIFAR-10/CIFAR-100数据集解析 觉得有用的话,欢迎一起讨论相互学习~Follow Me 参考文献 CIFAR-10/CIFAR-100数据集 CIFAR-10和CIFAR-100被标记为8000万个微小图像数据集的子集.他们由Alex Krizhevsky,Vinod Nair和Geoffrey Hinton收集. CIFAR-10数据集 CIFAR-10数据集由10个类的60000个32x32彩色图像组成,每个类有6000个图像.有50000个训练图像和10000个测试图像.…

这本<高性能JavaScript>讲述了有关JavaScript性能优化的方方面面,主要围绕以下几个方面: 1> 加载顺序 2> 数据访问(如怎样的数据类型访问最快,怎样的作用域链最优) 3> DOM编程(如怎样的方式访问DOM元素性能是最优的) 4> 字符串和正则 5> Ajax 6> 编程实践(性能测试工具的使用.创建与部署JavaScript应用程序.如何提升程序响应) var script = document.createElement (&quo…

我们继续通过项目强化掌握Combiner和Partitioner优化Hadoop性能 1.项目介绍 本项目我们使用明星搜索指数数据,分别统计出搜索指数最高的男明星和女明星. 2.数据集 3.分析 基于项目的需求,我们通过以下几步完成: 1.编写Mapper类,按需求将数据集解析为key=gender,value=name+hotIndex,然后输出. 2.编写Combiner类,合并Mapper输出结果,然后输出给Reducer. 3.编写Partitioner类,按性别,将结果指定给不同的Re…

上一篇文章我们了解了MapReduce优化方面的知识,现在我们通过简单的项目,学会如何优化MapReduce性能 1.项目介绍 我们使用简单的成绩数据集,统计出0~20.20~50.50~100这三个年龄段的男.女学生的最高分数 2.数据集 姓名     年龄  性别   成绩 Alice     23   female  45 Bob      34   male   89 Chris    67   male   97 Kristine   38   female  53 Connor  …

无监督学习 0.K-means from __future__ import print_function from pyspark.ml.clustering import KMeans #from pyspark.ml.evaluation import ClusteringEvaluator from pyspark.sql import SparkSession import pandas as pd spark = SparkSession\ .builder\ .appName("K…

一.实例描述 在这个实例里我们使用简单的数据集,里面包含多条数据,每条数据由姓名.年龄.性别和成绩组成.实例要求是按照如下规则归档用户. 1.找出年龄小于20岁中男生和女生的最大分数 2.找出20岁到50岁男生和女生的最大分数 3.找出50岁以上的男生和女生的最大分数 样例输入: 样例输出: 1.年龄小于20岁中男生和女生的最大分数 2.20岁到50岁男生和女生的最大分数 3.50岁以上的男生和女生的最大分数 二.设计思路 基于实例需求,我们通过以下几步完成:第一步,编写Mapper类,按需求将…

项目介绍 本项目我们使用明星搜索指数数据,分别统计出搜索指数最高的男明星和女明星. 数据集 明星搜索指数数据集,如下图所示.猛戳此链接下载数据集 思路分析 基于项目的需求,我们通过以下几步完成: 1.编写 Mapper类,按需求将数据集解析为 key=gender,value=name+hotIndex,然后输出. 2.编写 Combiner 类,合并 Mapper 输出结果,然后输出给 Reducer. 3.编写 Partitioner 类,按性别,将结果指定给不同的 Reduce 执行. 4…