一.人工智能之自然语言处理 自然语言处理(Natural Language Processing, NLP),是人工智能的分支科学,意图是使计算机具备处理人类语言的能力. “处理人类语言的能力”要达到什么效果呢?举个例子!班主任问路班长:“你能把粉笔递过来么?”.这句话有两层意思,第一层:你能不能把粉笔递过来:第二层:把粉笔递过来.Get到第一层,班长回答“能”,Get到第二层意思,班长递上粉笔.倘若班长仅回答了“能”,情景略尴尬. 对于人类来说,Get到两层意思没什么问题,但是要计算机Get到…

写在前面 一直不知道这个专栏该如何开始写,思来想去,还是暂时把自己对这个项目的一些想法 和大家分享 的形式来展现.有什么问题,欢迎大家一起留言讨论. 这个项目的源代码是在https://github.com/LuckyZXL2016/Movie_Recommend这个位置. 基于源代码做了一些简单的调整. 关于这个系列的 所有文章,有新的想法,我也会及时做更新 项目效果 类似于国内豆瓣网站,能够在该项目-电影网站-进行电影信息浏览和查询,并且-电影网站-会根据用户的 浏览记录和用户评论,点赞(好…

第四部分-推荐系统-数据ETL 本模块完成数据清洗,并将清洗后的数据load到Hive数据表里面去 前置准备: spark +hive vim $SPARK_HOME/conf/hive-site.xml <?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <configuration> <pr…

第四部分-推荐系统-模型训练 本模块基于第3节 数据加工得到的训练集和测试集数据 做模型训练,最后得到一系列的模型,进而做 预测. 训练多个模型,取其中最好,即取RMSE(均方根误差)值最小的模型 说明几点 1.ALS 算法不需要自己实现,Spark MLlib 已经实现好了,可以自己 跟源码学习 花时间钻研,动手写,写代码 翻译论文 写博客 多下功夫 最新http://spark.apache.org/docs/latest/ml-guide.html spark1.6.3 spark.mll…

基于Spark的电影推荐系统(推荐系统~7) 22/100 发布文章 liuge36 第四部分-推荐系统-实时推荐 本模块基于第4节得到的模型,开始为用户做实时推荐,推荐用户最有可能喜爱的5部电影. 说明几点 1.数据来源是 testData 测试集的数据.这里面的用户,可能存在于训练集中,也可能是新用户.因此,这里要做处理. SparkStreaming + kakfa ## 开始Coding 步骤一:在streaming 包下,新建PopularMovies2 package com.csy…

基于Mahout的电影推荐系统 1.Mahout 简介 Apache Mahout 是 Apache Software Foundation(ASF) 旗下的一个开源项目,提供一些可扩展的机器学习领域经典算法的实现,旨在帮助开发人员更加方便快捷地创建智能应用程序.经典算法包括聚类.分类.协同过滤.进化编程等等,并且,在 Mahout 的最近版本中还加入了对 Apache Hadoop 的支持,使这些算法可以更高效的运行在云计算环境中. 2.Taste简介 Taste 是 Apache Mahou…

本文介绍一个基于pytorch的电影推荐系统. 代码移植自https://github.com/chengstone/movie_recommender. 原作者用了tf1.0实现了这个基于movielens的推荐系统,我这里用pytorch0.4做了个移植. 本文实现的模型Github仓库:https://github.com/Holy-Shine/movie_recommend_system 1. 总体框架 先来看下整个文件包下面的文件构成: 其中: Params: 保存模型的参数文件以及模…

第四部分-推荐系统-项目介绍 行业背景: 快速:Apache Spark以内存计算为核心 通用 :一站式解决各个问题,ADHOC SQL查询,流计算,数据挖掘,图计算 完整的生态圈 只要掌握Spark,就能够为大多数的企业的大数据应用场景提供明显的加速 "猜你喜欢"为代表的推荐系统,从吃穿住行等 项目背景介绍: 本项目是一个基于Apache Spark 的电影推荐系统, 技术路线:离线推荐+实时推荐 项目架构: 存储层:HDFS作为底层存储,Hive作为数据仓库 (Hive Metas…

基于Django的图书推荐系统和论坛 关注公众号"轻松学编程"回复"图书系统"获取源码 一.基本功能 登录注册页面 基于协同过滤的图书的分类,排序,搜索,打分功能 基于协同过滤的周推荐和月推荐 读书分享会等活动功能,用户报名功能 发帖留言论坛功能 二.界面 主体界面 登录/注册界面 论坛界面 发帖: 回帖 这个系统是基于Python的Django开发的,适合用来做毕业设计与课程设计,拥有的功能还是挺全面的有登录注册,书籍推荐.留言论坛等. 关注公众号"轻松…

基于trie树做一个ac自动机 #!/usr/bin/python # -*- coding: utf-8 -*- class Node: def __init__(self): self.value = None self.children = {} # children is of type {char, Node} self.fre = 0 self.father = None self.fail = None def CMP(a, b): return b.fre - a.fre cla…