MapRedcue的演示（协同过滤）

做一个关于电影推荐。你于你好友之间的浏览电影以及电影评分的推荐的协同过滤。

百度百科：

协同过滤简单来说是利用某兴趣相投、拥有共同经验之群体的喜好来推荐用户感兴趣的信息，个人通过合作的机制给予信息相当程度的回应（如评分）并记录下来以达到过滤的目的进而帮助别人筛选信息，回应不一定局限于特别感兴趣的，特别不感兴趣信息的纪录也相当重要。

协同过滤又可分为评比（rating）或者群体过滤（social filtering）协同过滤以其出色的速度和健壮性，在全球互联网领域炙手可热。 

元数据：

  1. 1	盗梦空间	4.0
  2. 1	碟中谍	1.5
  3. 1	禁闭岛	4.0
  4. 2	王的盛宴	2.5
  5. 2	盗梦空间	5.0
  6. 2	肖申克的救赎	3.0
  7. 2	禁闭岛	2.5
  8. 3	教父	3.5
  9. 3	盗梦空间	5.0
  10. 3	007	4.5
  11. 3	星球大战	5.0
  12. 3	华尔街之狼	2.5
  13. 3	禁闭岛	1.5
  14. 3	碟中谍	2.0
  15. 4	碟中谍	2.5
  16. 4	禁闭岛	1.5
  17. 4	007	2.0
  18. 5	沉默的羔羊	4.5
  19. 5	肖申克的救赎	5.0
  20. 5	碟中谍	3.0
  21. 6	沉默的羔羊	5.0
  22. 6	碟中谍	4.0
  23. 6	王的盛宴	4.0
  24. 7	王的盛宴	5.0
  25. 7	碟中谍	1.5
  26. 7	肖申克的救赎	3.5
  27. 7	华尔街之狼	2.5
  28. 8	禁闭岛	3.0
  29. 8	盗梦空间	4.0
  30. 8	教父	2.5
  31. 8	星球大战	3.5
  32. 8	肖申克的救赎	3.0
  33. 8	王的盛宴	3.0
  34. 8	华尔街之狼	2.0
  35. 9	沉默的羔羊	5.0
  36. 9	禁闭岛	4.0
  37. 9	教父	5.0
  38. 9	盗梦空间	4.5
  39. 9	星球大战	4.0
  40. 9	王的盛宴	1.5
  41. 9	华尔街之狼	3.0
  42. 10	盗梦空间	3.5
  43. 10	沉默的羔羊	5.0
  44. 10	禁闭岛	2.5
  45. 10	肖申克的救赎	2.0
  46. 10	王的盛宴	4.0
  47. 10	教父	2.0
  48. 10	碟中谍	1.5
  49. 11	禁闭岛	3.0
  50. 11	碟中谍	2.5
  51. 11	盗梦空间	3.0
  52. 11	肖申克的救赎	3.0
  53. 12	华尔街之狼	3.0
  54. 12	星球大战	3.5
  55. 12	碟中谍	1.5
  56. 13	教父	3.5
  57. 13	肖申克的救赎	2.5
  58. 13	华尔街之狼	5.0
  59. 13	星球大战	5.0
  60. 13	沉默的羔羊	1.5
  61. 13	盗梦空间	3.0
  62. 13	禁闭岛	3.0
  63. 14	007	4.0
  64. 14	星球大战	2.5
  65. 14	华尔街之狼	1.5
  66. 14	教父	4.5
  67. 14	盗梦空间	3.0
  68. 14	沉默的羔羊	3.5
  69. 15	沉默的羔羊	4.0
  70. 15	华尔街之狼	2.5
  71. 15	肖申克的救赎	5.0
  72. 16	肖申克的救赎	2.0
  73. 16	007	5.0
  74. 16	盗梦空间	3.5
  75. 17	星球大战	4.5
  76. 17	禁闭岛	1.5
  77. 17	007	4.5
  78. 18	007	4.5
  79. 18	华尔街之狼	5.0
  80. 18	沉默的羔羊	1.5
  81. 18	盗梦空间	2.0
  82. 19	星球大战	4.5
  83. 19	华尔街之狼	3.0
  84. 19	肖申克的救赎	5.0
  85. 19	007	2.0
  86. 19	王的盛宴	4.0
  87. 19	碟中谍	2.5
  88. 19	沉默的羔羊	3.0
  89. 20	007	2.0
  90. 20	教父	4.0
  91. 20	星球大战	2.5
  92. 20	盗梦空间	4.5
  93. 20	华尔街之狼	3.0
  94. 20	碟中谍	4.5
  95. 20	肖申克的救赎	3.0
  96. 20	禁闭岛	2.0
  97. 21	王的盛宴	2.0
  98. 21	碟中谍	2.5
  99. 21	禁闭岛	2.5
  100. 21	盗梦空间	1.5
  101. 21	肖申克的救赎	4.5
  102. 22	沉默的羔羊	2.0
  103. 22	教父	4.0
  104. 22	肖申克的救赎	3.5
  105. 22	王的盛宴	1.5
  106. 22	禁闭岛	1.5
  107. 23	盗梦空间	3.5
  108. 23	华尔街之狼	4.0
  109. 23	007	2.0
  110. 23	肖申克的救赎	4.5
  111. 24	007	4.0
  112. 24	华尔街之狼	5.0
  113. 24	教父	1.5
  114. 24	禁闭岛	1.5
  115. 25	王的盛宴	3.0
  116. 25	星球大战	2.0
  117. 25	沉默的羔羊	5.0
  118. 25	禁闭岛	2.0
  119. 26	007	2.0
  120. 26	肖申克的救赎	3.5
  121. 26	星球大战	4.5
  122. 26	教父	4.5
  123. 27	沉默的羔羊	5.0
  124. 27	禁闭岛	1.5
  125. 27	肖申克的救赎	5.0
  126. 28	007	5.0
  127. 28	星球大战	5.0
  128. 28	盗梦空间	3.0
  129. 28	王的盛宴	4.0
  130. 28	沉默的羔羊	2.0
  131. 28	教父	2.5
  132. 28	华尔街之狼	5.0
  133. 28	肖申克的救赎	4.0
  134. 29	肖申克的救赎	3.0
  135. 29	盗梦空间	3.0
  136. 29	星球大战	3.5
  137. 29	王的盛宴	5.0
  138. 29	碟中谍	3.5
  139. 29	禁闭岛	1.5
  140. 30	沉默的羔羊	4.5
  141. 30	星球大战	1.5
  142. 30	教父	1.5
  143. 31	盗梦空间	3.0
  144. 31	肖申克的救赎	4.0
  145. 31	王的盛宴	3.0
  146. 32	碟中谍	2.0
  147. 32	禁闭岛	2.5
  148. 32	盗梦空间	3.0
  149. 33	禁闭岛	5.0
  150. 33	教父	3.0
  151. 33	肖申克的救赎	4.5
  152. 33	华尔街之狼	4.5
  153. 33	盗梦空间	4.0
  154. 34	星球大战	2.0
  155. 34	沉默的羔羊	3.0
  156. 34	007	5.0
  157. 34	禁闭岛	2.0
  158. 35	华尔街之狼	4.5
  159. 35	007	1.5
  160. 35	盗梦空间	3.5
  161. 35	星球大战	1.5
  162. 35	教父	2.5
  163. 36	碟中谍	2.0
  164. 36	肖申克的救赎	4.0
  165. 36	教父	1.5
  166. 36	王的盛宴	5.0
  167. 37	肖申克的救赎	2.0
  168. 37	沉默的羔羊	4.0
  169. 37	王的盛宴	2.5
  170. 37	盗梦空间	5.0
  171. 37	教父	2.5
  172. 38	华尔街之狼	1.5
  173. 38	星球大战	4.0
  174. 38	王的盛宴	3.0
  175. 39	007	3.5
  176. 39	教父	2.0
  177. 39	盗梦空间	3.5
  178. 39	王的盛宴	3.5
  179. 40	华尔街之狼	3.0
  180. 40	沉默的羔羊	4.5
  181. 40	盗梦空间	5.0
  182. 40	007	2.5
  183. 40	碟中谍	3.5
  184. 40	星球大战	1.5
  185. 40	教父	3.0
  186. 40	王的盛宴	2.0
  187. 41	教父	2.5
  188. 41	禁闭岛	4.5
  189. 41	007	1.5
  190. 41	沉默的羔羊	1.5
  191. 41	肖申克的救赎	2.0
  192. 41	盗梦空间	3.0
  193. 41	星球大战	4.0
  194. 42	华尔街之狼	1.5
  195. 42	王的盛宴	1.5
  196. 42	教父	4.0
  197. 43	华尔街之狼	3.5
  198. 43	教父	5.0
  199. 43	碟中谍	4.5
  200. 44	沉默的羔羊	5.0
  201. 44	教父	4.5
  202. 44	肖申克的救赎	4.0
  203. 44	盗梦空间	2.5
  204. 44	碟中谍	4.5
  205. 44	星球大战	1.5
  206. 44	王的盛宴	5.0
  207. 45	华尔街之狼	3.0
  208. 45	王的盛宴	4.5
  209. 45	禁闭岛	2.0
  210. 46	王的盛宴	2.5
  211. 46	盗梦空间	4.0
  212. 46	星球大战	4.5
  213. 46	007	2.0
  214. 46	教父	1.5
  215. 47	教父	2.5
  216. 47	华尔街之狼	3.0
  217. 47	007	5.0
  218. 47	碟中谍	1.5
  219. 47	禁闭岛	4.0
  220. 48	星球大战	5.0
  221. 48	教父	4.5
  222. 48	盗梦空间	2.5
  223. 49	沉默的羔羊	4.0
  224. 49	肖申克的救赎	5.0
  225. 49	王的盛宴	2.5
  226. 49	星球大战	1.5
  227. 49	碟中谍	2.0
  228. 49	华尔街之狼	4.5
  229. 49	盗梦空间	4.5
  230. 50	盗梦空间	2.0
  231. 50	禁闭岛	1.5
  232. 50	沉默的羔羊	2.0

思路：

step1：过滤得到每个用户看过的所有电影

输出：key:用户1  value:{ 1 盗梦空间:4.0,碟中谍:1.5,禁闭岛:4.0}

  1. 1	盗梦空间:4.0,碟中谍:1.5,禁闭岛:4.0
  2. 2	王的盛宴:2.5,盗梦空间:5.0,肖申克的救赎:3.0,禁闭岛:2.5
  3. 3	碟中谍:2.0,教父:3.5,盗梦空间:5.0,007:4.5,星球大战:5.0,华尔街之狼:2.5,禁闭岛:1.5
  4. 4	碟中谍:2.5,禁闭岛:1.5,007:2.0
  5. 5	沉默的羔羊:4.5,肖申克的救赎:5.0,碟中谍:3.0
  6. 6	沉默的羔羊:5.0,碟中谍:4.0,王的盛宴:4.0
  7. 7	王的盛宴:5.0,碟中谍:1.5,肖申克的救赎:3.5,华尔街之狼:2.5
  8. 8	禁闭岛:3.0,盗梦空间:4.0,教父:2.5,星球大战:3.5,肖申克的救赎:3.0,王的盛宴:3.0,华尔街之狼:2.0
  9. 9	禁闭岛:4.0,教父:5.0,盗梦空间:4.5,沉默的羔羊:5.0,星球大战:4.0,王的盛宴:1.5,华尔街之狼:3.0
  10. 10	肖申克的救赎:2.0,盗梦空间:3.5,沉默的羔羊:5.0,禁闭岛:2.5,王的盛宴:4.0,教父:2.0,碟中谍:1.5
  11. 11	禁闭岛:3.0,碟中谍:2.5,盗梦空间:3.0,肖申克的救赎:3.0
  12. 12	华尔街之狼:3.0,星球大战:3.5,碟中谍:1.5
  13. 13	华尔街之狼:5.0,教父:3.5,肖申克的救赎:2.5,星球大战:5.0,沉默的羔羊:1.5,盗梦空间:3.0,禁闭岛:3.0
  14. 14	星球大战:2.5,007:4.0,华尔街之狼:1.5,教父:4.5,盗梦空间:3.0,沉默的羔羊:3.5
  15. 15	沉默的羔羊:4.0,华尔街之狼:2.5,肖申克的救赎:5.0
  16. 16	肖申克的救赎:2.0,007:5.0,盗梦空间:3.5
  17. 17	禁闭岛:1.5,星球大战:4.5,007:4.5
  18. 18	007:4.5,华尔街之狼:5.0,沉默的羔羊:1.5,盗梦空间:2.0
  19. 19	星球大战:4.5,华尔街之狼:3.0,肖申克的救赎:5.0,007:2.0,王的盛宴:4.0,碟中谍:2.5,沉默的羔羊:3.0
  20. 20	007:2.0,教父:4.0,星球大战:2.5,盗梦空间:4.5,华尔街之狼:3.0,碟中谍:4.5,肖申克的救赎:3.0,禁闭岛:2.0
  21. 21	碟中谍:2.5,禁闭岛:2.5,盗梦空间:1.5,肖申克的救赎:4.5,王的盛宴:2.0
  22. 22	禁闭岛:1.5,沉默的羔羊:2.0,教父:4.0,肖申克的救赎:3.5,王的盛宴:1.5
  23. 23	盗梦空间:3.5,华尔街之狼:4.0,007:2.0,肖申克的救赎:4.5
  24. 24	007:4.0,华尔街之狼:5.0,教父:1.5,禁闭岛:1.5
  25. 25	星球大战:2.0,禁闭岛:2.0,沉默的羔羊:5.0,王的盛宴:3.0
  26. 26	肖申克的救赎:3.5,星球大战:4.5,教父:4.5,007:2.0
  27. 27	沉默的羔羊:5.0,禁闭岛:1.5,肖申克的救赎:5.0
  28. 28	华尔街之狼:5.0,007:5.0,星球大战:5.0,盗梦空间:3.0,王的盛宴:4.0,沉默的羔羊:2.0,教父:2.5,肖申克的救赎:4.0
  29. 29	肖申克的救赎:3.0,盗梦空间:3.0,星球大战:3.5,王的盛宴:5.0,碟中谍:3.5,禁闭岛:1.5
  30. 30	沉默的羔羊:4.5,星球大战:1.5,教父:1.5
  31. 31	盗梦空间:3.0,肖申克的救赎:4.0,王的盛宴:3.0
  32. 32	禁闭岛:2.5,碟中谍:2.0,盗梦空间:3.0
  33. 33	教父:3.0,肖申克的救赎:4.5,华尔街之狼:4.5,盗梦空间:4.0,禁闭岛:5.0
  34. 34	星球大战:2.0,沉默的羔羊:3.0,007:5.0,禁闭岛:2.0
  35. 35	教父:2.5,华尔街之狼:4.5,007:1.5,盗梦空间:3.5,星球大战:1.5
  36. 36	碟中谍:2.0,肖申克的救赎:4.0,教父:1.5,王的盛宴:5.0
  37. 37	肖申克的救赎:2.0,沉默的羔羊:4.0,王的盛宴:2.5,盗梦空间:5.0,教父:2.5
  38. 38	华尔街之狼:1.5,星球大战:4.0,王的盛宴:3.0
  39. 39	教父:2.0,007:3.5,盗梦空间:3.5,王的盛宴:3.5
  40. 40	盗梦空间:5.0,007:2.5,沉默的羔羊:4.5,碟中谍:3.5,星球大战:1.5,教父:3.0,华尔街之狼:3.0,王的盛宴:2.0
  41. 41	007:1.5,教父:2.5,禁闭岛:4.5,沉默的羔羊:1.5,肖申克的救赎:2.0,盗梦空间:3.0,星球大战:4.0
  42. 42	华尔街之狼:1.5,王的盛宴:1.5,教父:4.0
  43. 43	华尔街之狼:3.5,教父:5.0,碟中谍:4.5
  44. 44	王的盛宴:5.0,沉默的羔羊:5.0,教父:4.5,肖申克的救赎:4.0,盗梦空间:2.5,碟中谍:4.5,星球大战:1.5
  45. 45	华尔街之狼:3.0,禁闭岛:2.0,王的盛宴:4.5
  46. 46	007:2.0,王的盛宴:2.5,盗梦空间:4.0,星球大战:4.5,教父:1.5
  47. 47	教父:2.5,华尔街之狼:3.0,007:5.0,碟中谍:1.5,禁闭岛:4.0
  48. 48	星球大战:5.0,教父:4.5,盗梦空间:2.5
  49. 49	沉默的羔羊:4.0,肖申克的救赎:5.0,王的盛宴:2.5,星球大战:1.5,碟中谍:2.0,华尔街之狼:4.5,盗梦空间:4.5
  50. 50	盗梦空间:2.0,禁闭岛:1.5,沉默的羔羊:2.0

step2: 根据  step-out    通过所有用户看过的电影矩阵

输出：007:007 19(电影出现的次数)

  1. 007:007	19
  2. 007:华尔街之狼	11
  3. 007:教父	12
  4. 007:星球大战	12
  5. 007:沉默的羔羊	7
  6. 007:王的盛宴	5
  7. 007:盗梦空间	12
  8. 007:碟中谍	6
  9. 007:禁闭岛	8
  10. 007:肖申克的救赎	7
  11. 华尔街之狼:007	11
  12. 华尔街之狼:华尔街之狼	23
  13. 华尔街之狼:教父	14
  14. 华尔街之狼:星球大战	13
  15. 华尔街之狼:沉默的羔羊	9
  16. 华尔街之狼:王的盛宴	10
  17. 华尔街之狼:盗梦空间	13
  18. 华尔街之狼:碟中谍	9
  19. 华尔街之狼:禁闭岛	9
  20. 华尔街之狼:肖申克的救赎	10
  21. 教父:007	12
  22. 教父:华尔街之狼	14
  23. 教父:教父	25
  24. 教父:星球大战	15
  25. 教父:沉默的羔羊	11
  26. 教父:王的盛宴	12
  27. 教父:盗梦空间	17
  28. 教父:碟中谍	8
  29. 教父:禁闭岛	11
  30. 教父:肖申克的救赎	12
  31. 星球大战:007	12
  32. 星球大战:华尔街之狼	13
  33. 星球大战:教父	15
  34. 星球大战:星球大战	23
  35. 星球大战:沉默的羔羊	12
  36. 星球大战:王的盛宴	11
  37. 星球大战:盗梦空间	15
  38. 星球大战:碟中谍	8
  39. 星球大战:禁闭岛	10
  40. 星球大战:肖申克的救赎	10
  41. 沉默的羔羊:007	7
  42. 沉默的羔羊:华尔街之狼	9
  43. 沉默的羔羊:教父	11
  44. 沉默的羔羊:星球大战	12
  45. 沉默的羔羊:沉默的羔羊	21
  46. 沉默的羔羊:王的盛宴	11
  47. 沉默的羔羊:盗梦空间	12
  48. 沉默的羔羊:碟中谍	7
  49. 沉默的羔羊:禁闭岛	9
  50. 沉默的羔羊:肖申克的救赎	12
  51. 王的盛宴:007	5
  52. 王的盛宴:华尔街之狼	10
  53. 王的盛宴:教父	12
  54. 王的盛宴:星球大战	11
  55. 王的盛宴:沉默的羔羊	11
  56. 王的盛宴:王的盛宴	23
  57. 王的盛宴:盗梦空间	14
  58. 王的盛宴:碟中谍	10
  59. 王的盛宴:禁闭岛	9
  60. 王的盛宴:肖申克的救赎	14
  61. 盗梦空间:007	12
  62. 盗梦空间:华尔街之狼	13
  63. 盗梦空间:教父	17
  64. 盗梦空间:星球大战	15
  65. 盗梦空间:沉默的羔羊	12
  66. 盗梦空间:王的盛宴	14
  67. 盗梦空间:盗梦空间	29
  68. 盗梦空间:碟中谍	11
  69. 盗梦空间:禁闭岛	15
  70. 盗梦空间:肖申克的救赎	17
  71. 碟中谍:007	6
  72. 碟中谍:华尔街之狼	9
  73. 碟中谍:教父	8
  74. 碟中谍:星球大战	8
  75. 碟中谍:沉默的羔羊	7
  76. 碟中谍:王的盛宴	10
  77. 碟中谍:盗梦空间	11
  78. 碟中谍:碟中谍	20
  79. 碟中谍:禁闭岛	10
  80. 碟中谍:肖申克的救赎	11
  81. 禁闭岛:007	8
  82. 禁闭岛:华尔街之狼	9
  83. 禁闭岛:教父	11
  84. 禁闭岛:星球大战	10
  85. 禁闭岛:沉默的羔羊	9
  86. 禁闭岛:王的盛宴	9
  87. 禁闭岛:盗梦空间	15
  88. 禁闭岛:碟中谍	10
  89. 禁闭岛:禁闭岛	24
  90. 禁闭岛:肖申克的救赎	12
  91. 肖申克的救赎:007	7
  92. 肖申克的救赎:华尔街之狼	10
  93. 肖申克的救赎:教父	12
  94. 肖申克的救赎:星球大战	10
  95. 肖申克的救赎:沉默的羔羊	12
  96. 肖申克的救赎:王的盛宴	14
  97. 肖申克的救赎:盗梦空间	17
  98. 肖申克的救赎:碟中谍	11
  99. 肖申克的救赎:禁闭岛	12
  100. 肖申克的救赎:肖申克的救赎	25

step3: 根据 step-out  用户评分矩阵

输出： 007  用户40：2.5

  1. 007	40:2.5
  2. 007	41:1.5
  3. 007	35:1.5
  4. 007	46:2.0
  5. 007	17:4.5
  6. 007	4:2.0
  7. 007	23:2.0
  8. 007	28:5.0
  9. 007	47:5.0
  10. 007	16:5.0
  11. 007	19:2.0
  12. 007	14:4.0
  13. 007	18:4.5
  14. 007	39:3.5
  15. 007	24:4.0
  16. 007	3:4.5
  17. 007	26:2.0
  18. 007	20:2.0
  19. 007	34:5.0
  20. 华尔街之狼	38:1.5
  21. 华尔街之狼	7:2.5
  22. 华尔街之狼	47:3.0
  23. 华尔街之狼	40:3.0
  24. 华尔街之狼	15:2.5
  25. 华尔街之狼	23:4.0
  26. 华尔街之狼	19:3.0
  27. 华尔街之狼	24:5.0
  28. 华尔街之狼	18:5.0
  29. 华尔街之狼	49:4.5
  30. 华尔街之狼	13:5.0
  31. 华尔街之狼	28:5.0
  32. 华尔街之狼	45:3.0
  33. 华尔街之狼	12:3.0
  34. 华尔街之狼	3:2.5
  35. 华尔街之狼	9:3.0
  36. 华尔街之狼	33:4.5   .。。。。。

step4: 根据step3-out和step4-out  计算推荐结果列表（计算电影的评分，根据电影出现的数据*用户对应得评分）

输入：007:007 19/007 40:2.5

输出：19 华尔街之狼,22.0

  1. 34	教父,60.0
  2. 23	教父,24.0
  3. 24	教父,48.0
  4. 35	教父,18.0
  5. 46	教父,24.0
  6. 47	教父,60.0
  7. 14	教父,48.0
  8. 26	教父,24.0
  9. 16	教父,60.0
  10. 39	教父,42.0
  11. 17	教父,54.0
  12. 28	教父,60.0
  13. 18	教父,54.0
  14. 19	教父,24.0
  15. 3	教父,54.0
  16. 4	教父,24.0
  17. 40	教父,30.0
  18. 41	教父,18.0
  19. 20	教父,24.0
  20. 34	碟中谍,30.0
  21. 23	碟中谍,12.0
  22. 24	碟中谍,24.0
  23. 35	碟中谍,9.0
  24. 46	碟中谍,12.0
  25. 47	碟中谍,30.0
  26. 14	碟中谍,24.0
  27. 26	碟中谍,12.0
  28. 16	碟中谍,30.0
  29. 39	碟中谍,21.0
  30. 17	碟中谍,27.0
  31. 28	碟中谍,30.0
  32. 18	碟中谍,27.0
  33. 19	碟中谍,12.0
  34. 3	碟中谍,27.0
  35. 4	碟中谍,12.0
  36. 40	碟中谍,15.0
  37. 41	碟中谍,9.0
  38. 20	碟中谍,12.0
  39. 34	王的盛宴,25.0
  40. 23	王的盛宴,10.0
  41. 24	王的盛宴,20.0
  42. .....

step5: 根据step-out4  合并所有数据

输出：19 华尔街之狼,289.0

  1. 1	碟中谍,114.0
  2. 1	教父,124.0
  3. 1	肖申克的救赎,132.5
  4. 1	王的盛宴,107.0
  5. 1	盗梦空间,192.5
  6. 1	禁闭岛,171.0
  7. 1	007,89.0
  8. 1	华尔街之狼,101.5
  9. 1	沉默的羔羊,94.5
  10. 1	星球大战,112.0
  11. 2	碟中谍,138.0
  12. 2	教父,178.5
  13. 2	王的盛宴,192.0
  14. 2	肖申克的救赎,225.0
  15. 2	盗梦空间,268.5
  16. 2	禁闭岛,193.5
  17. 2	007,113.5
  18. 2	华尔街之狼,142.5
  19. 2	沉默的羔羊,146.0
  20. 2	星球大战,157.5
  21. 3	教父,369.0
  22. 3	碟中谍,227.5
  23. 3	王的盛宴,248.0
  24. 3	肖申克的救赎,273.5
  25. 3	盗梦空间,410.5
  26. 3	禁闭岛,278.0
  27. 3	007,299.0
  28. 3	华尔街之狼,317.5
  29. 3	沉默的羔羊,240.0
  30. 3	星球大战,360.0
  31. 4	教父,60.5
  32. 4	碟中谍,77.0
  33. 4	王的盛宴,48.5
  34. 4	肖申克的救赎,59.5
  35. 4	盗梦空间,74.0
  36. .....

step6: 根据step5-out   排除用户看过得电影，然后把类似得，评分高得优先推荐(排序)。

输出： 1 肖申克的救赎 132.5 1 教父 124.0 1 星球大战 112.0 1 王的盛宴 107.0 1 华尔街之狼 101.5

  1. Movie [userid=1, movieName=肖申克的救赎, score=132.5]
  2. Movie [userid=1, movieName=教父, score=124.0]
  3. Movie [userid=1, movieName=星球大战, score=112.0]
  4. Movie [userid=1, movieName=王的盛宴, score=107.0]
  5. Movie [userid=1, movieName=华尔街之狼, score=101.5]
  6. Movie [userid=1, movieName=沉默的羔羊, score=94.5]
  7. Movie [userid=1, movieName=007, score=89.0]
  8. Movie [userid=2, movieName=教父, score=178.5]
  9. Movie [userid=2, movieName=星球大战, score=157.5]
  10. Movie [userid=2, movieName=沉默的羔羊, score=146.0]
  11. Movie [userid=2, movieName=华尔街之狼, score=142.5]
  12. Movie [userid=2, movieName=碟中谍, score=138.0]
  13. Movie [userid=2, movieName=007, score=113.5]
  14. Movie [userid=3, movieName=肖申克的救赎, score=273.5]
  15. Movie [userid=3, movieName=王的盛宴, score=248.0]
  16. Movie [userid=3, movieName=沉默的羔羊, score=240.0]
  17. Movie [userid=4, movieName=盗梦空间, score=74.0]
  18. Movie [userid=4, movieName=教父, score=60.5]
  19. Movie [userid=4, movieName=星球大战, score=59.0]
  20. Movie [userid=4, movieName=华尔街之狼, score=58.0]
  21. Movie [userid=4, movieName=王的盛宴, score=48.5]
  22. Movie [userid=4, movieName=沉默的羔羊, score=45.0]
  23. Movie [userid=5, movieName=盗梦空间, score=172.0]
  24. Movie [userid=5, movieName=王的盛宴, score=149.5]
  25. Movie [userid=5, movieName=教父, score=133.5]
  26. Movie [userid=5, movieName=禁闭岛, score=130.5]
  27. Movie [userid=5, movieName=星球大战, score=128.0]
  28. Movie [userid=5, movieName=华尔街之狼, score=117.5]
  29. Movie [userid=5, movieName=007, score=84.5]
  30. Movie [userid=6, movieName=盗梦空间, score=160.0]
  31. Movie [userid=6, movieName=肖申克的救赎, score=160.0]
  32. Movie [userid=6, movieName=星球大战, score=136.0]
  33. Movie [userid=6, movieName=教父, score=135.0]
  34. Movie [userid=6, movieName=华尔街之狼, score=121.0]
  35. Movie [userid=6, movieName=禁闭岛, score=121.0]
  36. Movie [userid=6, movieName=007, score=79.0]
  37. Movie [userid=7, movieName=盗梦空间, score=178.5]
  38. Movie [userid=7, movieName=教父, score=149.0]
  39. Movie [userid=7, movieName=星球大战, score=134.5]
  40. Movie [userid=7, movieName=沉默的羔羊, score=130.0]
  41. Movie [userid=7, movieName=禁闭岛, score=124.5]
  42. Movie [userid=7, movieName=007, score=86.0]
  43. Movie [userid=8, movieName=沉默的羔羊, score=231.5]
  44. Movie [userid=8, movieName=碟中谍, score=203.0]
  45. Movie [userid=8, movieName=007, score=202.0]
  46. Movie [userid=9, movieName=肖申克的救赎, score=335.5]
  47. Movie [userid=9, movieName=007, score=269.5]
  48. Movie [userid=9, movieName=碟中谍, score=238.5]
  49. Movie [userid=10, movieName=星球大战, score=243.5]
  50. .....

代码：

  1. package com.huhu.day06;
  3. import java.io.DataInput;
  4. import java.io.DataOutput;
  5. import java.io.IOException;
  7. import org.apache.hadoop.io.WritableComparable;
  9. public class Movie implements WritableComparable<Movie> {
  11. 	private int userid;
  12. 	private String movieName;
  13. 	private float score;
  15. 	public Movie() {
  16. 		super();
  17. 	}
  19. 	public Movie(int userid, String movieName, float score) {
  20. 		super();
  21. 		this.userid = userid;
  22. 		this.movieName = movieName;
  23. 		this.score = score;
  24. 	}
  26. 	public int getUserid() {
  27. 		return userid;
  28. 	}
  30. 	public void setUserid(int userid) {
  31. 		this.userid = userid;
  32. 	}
  34. 	public String getMovieName() {
  35. 		return movieName;
  36. 	}
  38. 	public void setMovieName(String movieName) {
  39. 		this.movieName = movieName;
  40. 	}
  42. 	public float getScore() {
  43. 		return score;
  44. 	}
  46. 	public void setScore(float score) {
  47. 		this.score = score;
  48. 	}
  50. 	@Override
  51. 	public int hashCode() {
  52. 		final int prime = 31;
  53. 		int result = 1;
  54. 		result = prime * result + ((movieName == null) ? 0 : movieName.hashCode());
  55. 		result = prime * result + Float.floatToIntBits(score);
  56. 		result = prime * result + userid;
  57. 		return result;
  58. 	}
  60. 	@Override
  61. 	public boolean equals(Object obj) {
  62. 		if (this == obj)
  63. 			return true;
  64. 		if (obj == null)
  65. 			return false;
  66. 		if (getClass() != obj.getClass())
  67. 			return false;
  68. 		Movie other = (Movie) obj;
  69. 		if (movieName == null) {
  70. 			if (other.movieName != null)
  71. 				return false;
  72. 		} else if (!movieName.equals(other.movieName))
  73. 			return false;
  74. 		if (Float.floatToIntBits(score) != Float.floatToIntBits(other.score))
  75. 			return false;
  76. 		if (userid != other.userid)
  77. 			return false;
  78. 		return true;
  79. 	}
  81. 	@Override
  82. 	public String toString() {
  83. 		return "Movie [userid=" + userid + ", movieName=" + movieName + ", score=" + score + "]";
  84. 	}
  86. 	@Override
  87. 	public void readFields(DataInput in) throws IOException {
  88. 		this.userid = in.readInt();
  89. 		this.movieName = in.readUTF();
  90. 		this.score = in.readFloat();
  91. 	}
  93. 	@Override
  94. 	public void write(DataOutput out) throws IOException {
  95. 		out.writeInt(userid);
  96. 		out.writeUTF(movieName);
  97. 		out.writeFloat(score);
  98. 	}
  100. 	@Override
  101. 	public int compareTo(Movie o) {
  102. 		if (this.userid == o.getUserid()) {
  103. 			if (this.score == o.score) {
  104. 				return this.movieName.compareTo(o.movieName);
  105. 			} else {
  106. 				return (int) (o.getScore() - this.score);
  107. 			}
  108. 		} else {
  109. 			return this.userid - o.getUserid();
  110. 		}
  111. 	}
  113. }

  1. package com.huhu.day06;
  3. import java.io.IOException;
  5. import org.apache.hadoop.conf.Configuration;
  6. import org.apache.hadoop.fs.Path;
  7. import org.apache.hadoop.io.IntWritable;
  8. import org.apache.hadoop.io.LongWritable;
  9. import org.apache.hadoop.io.Text;
  10. import org.apache.hadoop.mapreduce.Job;
  11. import org.apache.hadoop.mapreduce.Mapper;
  12. import org.apache.hadoop.mapreduce.Reducer;
  13. import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
  14. import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
  16. /**
  17.  * 输入： 1 盗梦空间 4.0
  18.  *
  19.  * 输出 ： 1 盗梦空间:4.0,碟中谍:1.5,禁闭岛:4.0
  20.  *
  21.  * @author huhu_k
  22.  *
  23.  */
  24. public class Step1 {
  26. 	static class MyMapper extends Mapper<LongWritable, Text, IntWritable, Text> {
  27. 		@Override
  28. 		protected void map(LongWritable key, Text value, Mapper<LongWritable, Text, IntWritable, Text>.Context context)
  29. 				throws IOException, InterruptedException {
  30. 			String[] line = value.toString().split("\t");
  31. 			// k:用户 v: item电影名称：分数
  32. 			context.write(new IntWritable(Integer.valueOf(line[0])), new Text(line[1] + ":" + line[2]));
  33. 		}
  34. 	}
  36. 	// 相同key的数据相遇 k:1 v:{}
  37. 	static class MyReduce extends Reducer<IntWritable, Text, IntWritable, Text> {
  39. 		Text va = new Text();
  41. 		@Override
  42. 		protected void reduce(IntWritable key, Iterable<Text> values, Context context)
  43. 				throws IOException, InterruptedException {
  44. 			StringBuffer br = new StringBuffer();
  45. 			for (Text v : values) {
  46. 				br.append("," + v.toString());
  47. 			}
  48. 			va.set(br.toString().replaceFirst(",", ""));
  49. 			// k:用户id v：电影1：评分,电影2：评分.....
  50. 			// 1 盗梦空间:4.0,碟中谍:1.5,禁闭岛:4.0
  51. 			context.write(key, va);
  52. 		}
  53. 	}
  55. 	public Job getJob(Configuration conf) throws Exception {
  56. 		Path inpath = new Path("hdfs://ry-hadoop1:8020/in/items.txt");
  57. 		Path outpath = new Path("hdfs://ry-hadoop1:8020/out/day06/step1");
  59. 		Job job = Job.getInstance(conf, this.getClass().getSimpleName());
  61. 		job.setJarByClass(this.getClass());
  62. 		job.setMapperClass(MyMapper.class);
  63. 		job.setMapOutputKeyClass(IntWritable.class);
  64. 		job.setMapOutputValueClass(Text.class);
  66. 		job.setReducerClass(MyReduce.class);
  67. 		job.setOutputKeyClass(IntWritable.class);
  68. 		job.setOutputValueClass(Text.class);
  70. 		FileInputFormat.addInputPath(job, inpath);
  71. 		FileOutputFormat.setOutputPath(job, outpath);
  73. 		return job;
  74. 	}
  75. }

  1. package com.huhu.day06;
  3. import java.io.IOException;
  5. import org.apache.hadoop.conf.Configuration;
  6. import org.apache.hadoop.fs.Path;
  7. import org.apache.hadoop.io.LongWritable;
  8. import org.apache.hadoop.io.Text;
  9. import org.apache.hadoop.mapreduce.Job;
  10. import org.apache.hadoop.mapreduce.Mapper;
  11. import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
  12. import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
  14. /**
  15.  * 输入：1 盗梦空间:4.0,碟中谍:1.5,禁闭岛:4.0
  16.  *
  17.  * 输出 ：007 40:2.5
  18.  *
  19.  * @author huhu_k
  20.  *
  21.  */
  22. public class Step3 {
  24. 	static class MyMapper extends Mapper<LongWritable, Text, Text, Text> {
  25. 		@Override
  26. 		protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
  27. 			String[] line = value.toString().split("\t");
  28. 			String userid = line[0];
  29. 			String[] item = line[1].split(",");
  30. 			for (String it : item) {
  31. 				context.write(new Text(it.split(":")[0]), new Text(userid + ":"+new Text(it.split(":")[1])));
  32. 			}
  33. 		}
  34. 	}
  36. 	public Job getJob(Configuration conf) throws Exception {
  37. 		Path inpath = new Path("hdfs://ry-hadoop1:8020/out/day06/step1");
  38. 		Path outpath = new Path("hdfs://ry-hadoop1:8020/out/day06/step3");
  40. 		Job job = Job.getInstance(conf, this.getClass().getSimpleName());
  42. 		job.setJarByClass(Step3.class);
  43. 		job.setMapperClass(MyMapper.class);
  44. 		job.setMapOutputKeyClass(Text.class);
  45. 		job.setMapOutputValueClass(Text.class);
  47. 		FileInputFormat.addInputPath(job, inpath);
  48. 		FileOutputFormat.setOutputPath(job, outpath);
  50. 		return job;
  51. 	}
  52. }

  1. package com.huhu.day06;
  3. import java.io.IOException;
  5. import org.apache.hadoop.conf.Configuration;
  6. import org.apache.hadoop.fs.Path;
  7. import org.apache.hadoop.io.IntWritable;
  8. import org.apache.hadoop.io.LongWritable;
  9. import org.apache.hadoop.io.Text;
  10. import org.apache.hadoop.mapreduce.Job;
  11. import org.apache.hadoop.mapreduce.Mapper;
  12. import org.apache.hadoop.mapreduce.Reducer;
  13. import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
  14. import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
  16. /**
  17.  * 商品同现矩阵 输出 ：1 盗梦空间:4.0,碟中谍:1.5,禁闭岛:4.0
  18.  *
  19.  * 输出：007:007 19
  20.  *
  21.  * @author huhu_k
  22.  *
  23.  */
  24. public class Step2 {
  26. 	static class MyMapper extends Mapper<LongWritable, Text, Text, IntWritable> {
  27. 		private Text k = new Text();
  28. 		private final IntWritable one = new IntWritable(1);
  30. 		@Override
  31. 		protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
  32. 			//盗梦空间:4.0		 碟中谍:1.5 	禁闭岛:4.0
  33. 			String[] line = value.toString().split("\t")[1].split(",");
  34. 			System.err.println(line+"----------------------");
  35. 			for (int i = 0; i < line.length; i++) {
  36. 				for (int j = 0; j < line.length; j++) {
  37. 					k.set(line[i].split(":")[0] + ":" + line[j].split(":")[0]);
  38. 					// k: 盗梦空间:碟中谍 1 每个人看过所有电影的乘积
  39. 					context.write(k, one);
  40. 				}
  41. 			}
  42. 		}
  43. 	}
  45. 	static class MyReducer extends Reducer<Text, IntWritable, Text, IntWritable> {
  46. 		// k: 盗梦空间:碟中谍 1
  47. 		@Override
  48. 		protected void reduce(Text key, Iterable<IntWritable> values, Context context)
  49. 				throws IOException, InterruptedException {
  50. 			int sum = 0;
  51. 			for (IntWritable v : values) {
  52. 				sum += v.get();
  53. 			}
  54. 			// k:007:007 v:19
  55. 			context.write(key, new IntWritable(sum));
  56. 		}
  57. 	}
  59. 	public Job getJob(Configuration conf) throws Exception {
  60. 		Path inpath = new Path("hdfs://ry-hadoop1:8020/out/day06/step1");
  61. 		Path outpath = new Path("hdfs://ry-hadoop1:8020/out/day06/step2");
  63. 		Job job = Job.getInstance(conf, this.getClass().getSimpleName());
  65. 		job.setJarByClass(this.getClass());
  66. 		job.setMapperClass(MyMapper.class);
  67. 		job.setMapOutputKeyClass(Text.class);
  68. 		job.setMapOutputValueClass(IntWritable.class);
  70. 		job.setReducerClass(MyReducer.class);
  71. 		job.setOutputKeyClass(Text.class);
  72. 		job.setOutputValueClass(IntWritable.class);
  74. 		FileInputFormat.addInputPath(job, inpath);
  75. 		FileOutputFormat.setOutputPath(job, outpath);
  77. 		return job;
  78. 	}
  79. }
  1. package com.huhu.day06;
  3. import java.io.IOException;
  5. import org.apache.hadoop.conf.Configuration;
  6. import org.apache.hadoop.fs.Path;
  7. import org.apache.hadoop.io.LongWritable;
  8. import org.apache.hadoop.io.Text;
  9. import org.apache.hadoop.mapreduce.Job;
  10. import org.apache.hadoop.mapreduce.Mapper;
  11. import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
  12. import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
  14. /**
  15.  * 输入：1 盗梦空间:4.0,碟中谍:1.5,禁闭岛:4.0
  16.  * 
  17.  * 输出 ：007 40:2.5
  18.  * 
  19.  * @author huhu_k
  20.  *
  21.  */
  22. public class Step3 {
  24. 	static class MyMapper extends Mapper<LongWritable, Text, Text, Text> {
  25. 		@Override
  26. 		protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
  27. 			String[] line = value.toString().split("\t");
  28. 			String userid = line[0];
  29. 			String[] item = line[1].split(",");
  30. 			for (String it : item) {
  31. 				context.write(new Text(it.split(":")[0]), new Text(userid + ":"+new Text(it.split(":")[1])));
  32. 			}
  33. 		}
  34. 	}
  36. 	public Job getJob(Configuration conf) throws Exception {
  37. 		Path inpath = new Path("hdfs://ry-hadoop1:8020/out/day06/step1");
  38. 		Path outpath = new Path("hdfs://ry-hadoop1:8020/out/day06/step3");
  40. 		Job job = Job.getInstance(conf, this.getClass().getSimpleName());
  42. 		job.setJarByClass(Step3.class);
  43. 		job.setMapperClass(MyMapper.class);
  44. 		job.setMapOutputKeyClass(Text.class);
  45. 		job.setMapOutputValueClass(Text.class);
  47. 		FileInputFormat.addInputPath(job, inpath);
  48. 		FileOutputFormat.setOutputPath(job, outpath);
  50. 		return job;
  51. 	}
  52. }
  1. package com.huhu.day06;
  3. import java.io.IOException;
  4. import java.util.HashMap;
  5. import java.util.Iterator;
  6. import java.util.Map;
  8. import org.apache.hadoop.conf.Configuration;
  9. import org.apache.hadoop.fs.Path;
  10. import org.apache.hadoop.io.IntWritable;
  11. import org.apache.hadoop.io.LongWritable;
  12. import org.apache.hadoop.io.Text;
  13. import org.apache.hadoop.mapreduce.Job;
  14. import org.apache.hadoop.mapreduce.Mapper;
  15. import org.apache.hadoop.mapreduce.Reducer;
  16. import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
  17. import org.apache.hadoop.mapreduce.lib.input.FileSplit;
  18. import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
  20. /**
  21.  * step4: 计算推荐结果列表 输入：007:007 19 输入：007 40:2.5
  22.  *
  23.  * 输出：19 华尔街之狼,22.0
  24.  *
  25.  * @author huhu_k
  26.  *
  27.  */
  28. public class Step4 {
  30. 	static class MyMapper extends Mapper<LongWritable, Text, Text, Text> {
  31. 		String filename = "";
  33. 		@Override
  34. 		protected void setup(Context context) throws IOException, InterruptedException {
  36. 			FileSplit inputSplit = (FileSplit) context.getInputSplit();
  37. 			// 获取父文件名
  38. 			filename = inputSplit.getPath().getParent().getName();
  39. 		}
  41. 		@Override
  42. 		protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
  43. 			String[] line = value.toString().split("\t");
  44. 			if ("step2".equals(filename)) {
  45. 				String[] v1 = line[0].split(":");
  46. 				String item1 = v1[0];
  47. 				String item2 = v1[1];
  48. 				String num = line[1];
  49. 				context.write(new Text(item1), new Text("A:" + item2 + "," + num));
  50. 			} else if ("step3".equals(filename)) {
  51. 				String item = line[0];
  52. 				String userid = line[1].split(":")[0];
  53. 				String score = line[1].split(":")[1];
  54. 				context.write(new Text(item), new Text("B:" + userid + "," + score));
  55. 			}
  56. 		}
  57. 	}
  59. 	// 相同key的数据相遇 k:1 v:{}
  60. 	static class MyReduce extends Reducer<Text, Text, Text, Text> {
  61. 		// k: 电影名称 v：A:007,20 来自于商品同现矩阵
  62. 		// k: 电影名称 v：B:1,4 来自于用户评分矩阵
  63. 		String[] info = null;
  65. 		@Override
  66. 		protected void reduce(Text key, Iterable<Text> values, Context context)
  67. 				throws IOException, InterruptedException {
  68. 			Map<String, String> mapA = new HashMap<>();
  69. 			Map<String, String> mapB = new HashMap<>();
  70. 			for (Text va : values) {
  71. 				String src = va.toString();
  72. 				if (src.startsWith("A:")) {
  73. 					// A:电影名称，次数
  74. 					info = src.substring(2).split(",");
  75. 					// mapA k: 电影名称 v:次数
  76. 					mapA.put(info[0], info[1]);
  77. 				} else if (src.startsWith("B:")) {
  78. 					// B:用户，评分
  79. 					info = src.substring(2).split(",");
  80. 					// mapB k: 用户 v:评分
  81. 					mapB.put(info[0], info[1]);
  82. 				}
  83. 			}
  85. 			float result = 0;
  86. 			Iterator<String> iterator = mapA.keySet().iterator();
  87. 			while (iterator.hasNext()) {
  88. 				String item = iterator.next();
  89. 				int num = Integer.parseInt(mapA.get(item));
  90. 				Iterator<String> iterator2 = mapB.keySet().iterator();
  91. 				while (iterator2.hasNext()) {
  92. 					String userid = iterator2.next();
  93. 					float score = Float.valueOf(mapB.get(userid));
  94. 					result = score * num;
  95. 					context.write(new Text(userid), new Text(item + "," + result));
  96. 				}
  97. 			}
  98. 		}
  99. 	}
  101. 	public Job getJob(Configuration conf) throws Exception {
  102. 		Path inpath1 = new Path("hdfs://ry-hadoop1:8020/out/day06/step2");
  103. 		Path inpath2 = new Path("hdfs://ry-hadoop1:8020/out/day06/step3");
  104. 		Path outpath = new Path("hdfs://ry-hadoop1:8020/out/day06/step4");
  106. 		Job job = Job.getInstance(conf, this.getClass().getSimpleName());
  108. 		job.setJarByClass(Step4.class);
  109. 		job.setMapperClass(MyMapper.class);
  110. 		job.setMapOutputKeyClass(Text.class);
  111. 		job.setMapOutputValueClass(Text.class);
  113. 		job.setReducerClass(MyReduce.class);
  114. 		job.setOutputKeyClass(Text.class);
  115. 		job.setOutputValueClass(Text.class);
  117. 		FileInputFormat.addInputPath(job, inpath1);
  118. 		FileInputFormat.addInputPath(job, inpath2);
  119. 		FileOutputFormat.setOutputPath(job, outpath);
  121. 		return job;
  122. 	}
  123. }
  1. package com.huhu.day06;
  3. import java.io.IOException;
  4. import java.util.HashMap;
  5. import java.util.Map;
  7. import org.apache.hadoop.conf.Configuration;
  8. import org.apache.hadoop.fs.Path;
  9. import org.apache.hadoop.io.IntWritable;
  10. import org.apache.hadoop.io.LongWritable;
  11. import org.apache.hadoop.io.Text;
  12. import org.apache.hadoop.mapreduce.Job;
  13. import org.apache.hadoop.mapreduce.Mapper;
  14. import org.apache.hadoop.mapreduce.Reducer;
  15. import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
  16. import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
  18. /**
  19.  * step5: 合并结果列表 输入：19 华尔街之狼,22.0
  20.  *
  21.  * 输出：19 华尔街之狼,229.0
  22.  *
  23.  * @author huhu_k
  24.  *
  25.  */
  26. public class Step5 {
  28. 	static class MyMapper extends Mapper<LongWritable, Text, IntWritable, Text> {
  29. 		@Override
  30. 		protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
  31. 			String[] line = value.toString().split("\t");
  32. 			context.write(new IntWritable(Integer.parseInt(line[0])), new Text(line[1]));
  33. 		}
  34. 	}
  36. 	// 相同key的数据相遇 k:1 v:{}
  37. 	static class MyReduce extends Reducer<IntWritable, Text, IntWritable, Text> {
  38. 		// k: 电影名称 v：A:007,20 来自于商品同现矩阵
  39. 		// k: 电影名称 v：B:1,4 来自于用户评分矩阵
  40. 		@Override
  41. 		protected void reduce(IntWritable key, Iterable<Text> values, Context context)
  42. 				throws IOException, InterruptedException {
  43. 			Map<String, Float> map = new HashMap<>();
  44. 			for (Text v : values) {
  45. 				String[] str = v.toString().split(",");
  46. 				String item = str[0];
  47. 				float score = Float.valueOf(str[1]);
  48. 				if (map.containsKey(item)) {
  49. 					map.put(item, map.get(item) + score);
  50. 				} else {
  51. 					map.put(item, score);
  52. 				}
  53. 			}
  55. 			for (Map.Entry<String, Float> m : map.entrySet()) {
  56. 				context.write(key, new Text(m.getKey() + "," + m.getValue()));
  57. 			}
  58. 		}
  60. 	}
  62. 	public Job getJob(Configuration conf) throws Exception {
  63. 		Path inpath1 = new Path("hdfs://ry-hadoop1:8020/out/day06/step4");
  64. 		Path outpath = new Path("hdfs://ry-hadoop1:8020/out/day06/step5");
  66. 		Job job = Job.getInstance(conf, this.getClass().getSimpleName());
  68. 		job.setJarByClass(Step5.class);
  69. 		job.setMapperClass(MyMapper.class);
  70. 		job.setMapOutputKeyClass(IntWritable.class);
  71. 		job.setMapOutputValueClass(Text.class);
  73. 		job.setReducerClass(MyReduce.class);
  74. 		job.setOutputKeyClass(IntWritable.class);
  75. 		job.setOutputValueClass(Text.class);
  77. 		FileInputFormat.addInputPath(job, inpath1);
  78. 		FileOutputFormat.setOutputPath(job, outpath);
  80. 		return job;
  81. 	}
  82. }
  1. package com.huhu.day06;
  3. import java.io.BufferedReader;
  4. import java.io.FileReader;
  5. import java.io.IOException;
  6. import java.net.URI;
  7. import java.util.HashMap;
  8. import java.util.Map;
  9. import java.util.TreeSet;
  11. import org.apache.hadoop.conf.Configuration;
  12. import org.apache.hadoop.fs.Path;
  13. import org.apache.hadoop.io.IntWritable;
  14. import org.apache.hadoop.io.LongWritable;
  15. import org.apache.hadoop.io.NullWritable;
  16. import org.apache.hadoop.io.Text;
  17. import org.apache.hadoop.mapreduce.Job;
  18. import org.apache.hadoop.mapreduce.Mapper;
  19. import org.apache.hadoop.mapreduce.Reducer;
  20. import org.apache.hadoop.mapreduce.filecache.DistributedCache;
  21. import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
  22. import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
  24. /**
  25.  * 输入：排除 用户看过的电影，并且 排序输出 降序 输入：19 华尔街之狼,289.0
  26.  *
  27.  * 输出 ：1 肖申克的救赎 132.5 1 教父 124.0 1 星球大战 112.0 1 王的盛宴 107.0 1 华尔街之狼 101.5
  28.  *
  29.  * @author huhu_k
  30.  *
  31.  */
  32. public class Step6 {
  34. 	static class MyMapper extends Mapper<LongWritable, Text, IntWritable, Text> {
  36. 		private Map<Integer, String> map;
  37. 		private Path[] localFiles;
  39. 		@Override
  40. 		protected void setup(Context context) throws IOException, InterruptedException {
  41. 			map = new HashMap<>();
  42. 			Configuration conf = context.getConfiguration();
  43. 			localFiles = DistributedCache.getLocalCacheFiles(conf);
  44. 			for (Path p : localFiles) {
  45. 				BufferedReader br = new BufferedReader(new FileReader(p.toString()));
  46. 				String word = "";
  47. 				while ((word = br.readLine()) != null) {
  48. 					String[] s = word.split("\t");
  49. 					int userid = Integer.parseInt(s[0]);
  50. 					String item = s[1];
  51. 					if (map.containsKey(userid)) {
  52. 						// 1 007;008
  53. 						map.put(userid, map.get(userid) + ";" + item);
  54. 					} else {
  55. 						// 1 007
  56. 						map.put(userid, item);
  57. 					}
  58. 				}
  59. 				br.close();
  60. 			}
  61. 		}
  63. 		@Override
  64. 		protected void map(LongWritable key, Text value, Mapper<LongWritable, Text, IntWritable, Text>.Context context)
  65. 				throws IOException, InterruptedException {
  66. 			String[] line = value.toString().split("\t");
  67. 			// 19 华尔街之狼,289.0
  68. 			int userid = Integer.valueOf(line[0]);
  69. 			String movie = line[1].split(",")[0];
  70. 			String movieList = map.get(userid);
  71. 			// map得到null 第一次来 没有任何数据
  72. 			if (movieList == null || movieList.length() == 0 || movieList == "" || !movieList.contains(movie)) {
  73. 				context.write(new IntWritable(userid), new Text(line[1]));
  74. 			}
  75. 		}
  76. 	}
  78. 	// 相同key的数据相遇 k:1 v:{}
  79. 	static class MyReduce extends Reducer<IntWritable, Text, Movie, NullWritable> {
  80. 		private TreeSet<Movie> set = new TreeSet<>();
  82. 		@Override
  83. 		protected void reduce(IntWritable key, Iterable<Text> values, Context context)
  84. 				throws IOException, InterruptedException {
  85. 			for (Text v : values) {
  86. 				Movie m = new Movie(Integer.parseInt(key.toString()), v.toString().split(",")[0],
  87. 						Float.parseFloat(v.toString().split(",")[1]));
  88. 				set.add(m);
  89. 			}
  90. 		}
  92. 		@Override
  93. 		protected void cleanup(Context context) throws IOException, InterruptedException {
  94. 			for (Movie m : set) {
  95. 				context.write(m, NullWritable.get());
  96. 			}
  97. 		}
  98. 	}
  100. 	public Job getJob(Configuration conf) throws Exception {
  101. 		Path inpath = new Path("hdfs://ry-hadoop1:8020/out/day06/step5");
  102. 		Path outpath = new Path("hdfs://ry-hadoop1:8020/out/day06/step6");
  103. 		DistributedCache.addCacheFile(new URI("hdfs://ry-hadoop1:8020/in/items.txt"), conf);
  104. 		Job job = Job.getInstance(conf, this.getClass().getSimpleName());
  106. 		job.setJarByClass(Step6.class);
  107. 		job.setMapperClass(MyMapper.class);
  108. 		job.setMapOutputKeyClass(IntWritable.class);
  109. 		job.setMapOutputValueClass(Text.class);
  111. 		job.setReducerClass(MyReduce.class);
  112. 		job.setOutputKeyClass(Movie.class);
  113. 		job.setOutputValueClass(NullWritable.class);
  115. 		FileInputFormat.addInputPath(job, inpath);
  116. 		FileOutputFormat.setOutputPath(job, outpath);
  118. 		return job;
  119. 	}
  120. }

  1. package com.huhu.day06;
  3. import org.apache.hadoop.conf.Configuration;
  4. import org.apache.hadoop.mapreduce.lib.jobcontrol.ControlledJob;
  5. import org.apache.hadoop.mapreduce.lib.jobcontrol.JobControl;
  6. import org.apache.hadoop.util.Tool;
  7. import org.apache.hadoop.util.ToolRunner;
  9. public class Movie_App extends ToolRunner implements Tool {
  11. 	private Configuration con;
  13. 	public static void main(String[] args) throws Exception {
  14. 		Movie_App m = new Movie_App();
  15. 		int num = ToolRunner.run(m.getConf(), m, args);
  16. 		System.exit(num);
  17. 	}
  19. 	@Override
  20. 	public Configuration getConf() {
  21. 		if (con == null) {
  22. 			return new Configuration();
  23. 		}
  24. 		return con;
  25. 	}
  27. 	@Override
  28. 	public void setConf(Configuration arg0) {
  30. 	}
  32. 	@Override
  33. 	public int run(String[] arg0) throws Exception {
  35. 		Step1 step1 = new Step1();
  36. 		Step2 step2 = new Step2();
  37. 		Step3 step3 = new Step3();
  38. 		Step4 step4 = new Step4();
  39. 		Step5 step5 = new Step5();
  40. 		Step6 step6 = new Step6();
  42. 		ControlledJob controlledJob1 = new ControlledJob(step1.getJob(getConf()).getConfiguration());
  43. 		ControlledJob controlledJob2 = new ControlledJob(step2.getJob(getConf()).getConfiguration());
  44. 		ControlledJob controlledJob3 = new ControlledJob(step3.getJob(getConf()).getConfiguration());
  45. 		ControlledJob controlledJob4 = new ControlledJob(step4.getJob(getConf()).getConfiguration());
  46. 		ControlledJob controlledJob5 = new ControlledJob(step5.getJob(getConf()).getConfiguration());
  47. 		ControlledJob controlledJob6 = new ControlledJob(step6.getJob(getConf()).getConfiguration());
  49. 		controlledJob2.addDependingJob(controlledJob1);
  50. 		controlledJob3.addDependingJob(controlledJob1);
  51. 		controlledJob4.addDependingJob(controlledJob2);
  52. 		controlledJob4.addDependingJob(controlledJob3);
  53. 		controlledJob5.addDependingJob(controlledJob4);
  54. 		controlledJob6.addDependingJob(controlledJob5);
  56. 		JobControl jobControl = new JobControl("Movive");
  57. 		jobControl.addJob(controlledJob1);
  58. 		jobControl.addJob(controlledJob2);
  59. 		jobControl.addJob(controlledJob3);
  60. 		jobControl.addJob(controlledJob4);
  61. 		jobControl.addJob(controlledJob5);
  62. 		jobControl.addJob(controlledJob6);
  64. 		Thread t = new Thread(jobControl);
  65. 		t.start();
  66. 		while (!jobControl.allFinished()) {
  67. 			t.sleep(1000);
  68. 		}
  69. 		jobControl.stop();
  70. 		return 0;
  72. 	}
  73. }

关于什么是矩阵：我看了两篇比较好得，推荐给大家。

https://blog.csdn.net/xyilu/article/details/9066973

https://blog.csdn.net/liuxinghao/article/details/39958957

MapRedcue的demo(协同过滤)的更多相关文章

  1. win7下使用Taste实现协同过滤算法

    如果要实现Taste算法,必备的条件是: 1) JDK,使用1.6版本.需要说明一下,因为要基于Eclipse构建,所以在设置path的值之前要先定义JAVA_HOME变量. 2) Maven,使用2 ...

  2. 基于Python协同过滤算法的认识

    Contents    1. 协同过滤的简介    2. 协同过滤的核心    3. 协同过滤的实现    4. 协同过滤的应用 1. 协同过滤的简介 关于协同过滤的一个最经典的例子就是看电影,有时候 ...

  3. SparkMLlib—协同过滤之交替最小二乘法ALS原理与实践

    SparkMLlib-协同过滤之交替最小二乘法ALS原理与实践 一.Spark MLlib算法实现 1.1 显示反馈 1.1.1 基于RDD 1.1.2 基于DataFrame 1.2 隐式反馈 二. ...

  4. SparkMLlib—协同过滤推荐算法，电影推荐系统，物品喜好推荐

    SparkMLlib-协同过滤推荐算法,电影推荐系统,物品喜好推荐 一.协同过滤 1.1 显示vs隐式反馈 1.2 实例介绍 1.2.1 数据说明 评分数据说明(ratings.data) 用户信息( ...

  5. 推荐系统-协同过滤在Spark中的实现

    作者:vivo 互联网服务器团队-Tang Shutao 现如今推荐无处不在,例如抖音.淘宝.京东App均能见到推荐系统的身影,其背后涉及许多的技术.本文以经典的协同过滤为切入点,重点介绍了被工业界广 ...

  6. MapReduce实现倒排索引（类似协同过滤）

    一.问题背景 倒排索引其实就是出现次数越多,那么权重越大,不过我国有凤巢....zf为啥不管,总局回应推广是不是广告有争议... eclipse里ctrl+t找接口或者抽象类的实现类,看看都有啥方法, ...

  7. [Recommendation System] 推荐系统之协同过滤（CF）算法详解和实现

    1 集体智慧和协同过滤 1.1 什么是集体智慧(社会计算)? 集体智慧 (Collective Intelligence) 并不是 Web2.0 时代特有的,只是在 Web2.0 时代,大家在 Web ...

  8. 协同过滤和简单SVD优化

    协同过滤(collaborative filtering) 推荐系统: 百度百科的定义是:它是利用电子商务网站向客户提供商品信息和建议,帮助用户决定应该购买什么产品,模拟销售人员帮助客户完成购买过程主 ...

  9. 推荐系统（协同过滤，slope one）

    1.推荐系统中的算法: 协同过滤: 基于用户 user-cf 基于内容 item –cf slop one 关联规则 (Apriori 算法,啤酒与尿布) 2.slope one 算法 slope o ...

随机推荐

  1. SQLAlchemy（包含有Flask-Migrate知识点）

    what's the SQLAlchemy SQLAlchemy是一个基于Python实现的ORM框架.该框架建立在 DB API之上,使用关系对象映射进行数据库操作,简言之便是:将类和对象转换成SQ ...

  2. nuxtJs中直接使用自带的@nuxtjs/axios

    最初我以为在nuxtjs中是需要重新npm install axios,但是其实nuxtjs自己集成了这个数据渲染方法 你只需在nuxt.config.js中配置一下就可以了 modules: [ / ...

  3. 027-Session状态提供程序

    Session分三种:1.InProc(进程内)-默认就是这种-速度快/但内存小/易丢失进程外:可以在IIS或ASPNET服务意外关闭时继续保持状态,注意此时存储到session中的对象必须支持序列化 ...

  4. nginx rewrite 指令

    ginx通过ngx_http_rewrite_module模块支持url重写.支持if条件判断,但不支持else. 该模块需要PCRE支持,应在编译nginx时指定PCRE源码目录, nginx安装方 ...

  5. make pycaffe时候报错：Makefile:501: recipe for target 'python/caffe/_caffe.so' failed

    安装caffe-ssd编译环境的时候报错: python/caffe/_caffe.cpp:10:31: fatal error: numpy/arrayobject.h: No such file ...

  6. 再解炸弹人，dfs&bfs

    输入样例: 13 13 3 3##############GG.GGG#GGG.####.#G#G#G#G##.......#..G##G#.###.#G#G##GG.GGG.#.GG##G#.#G# ...

  7. 第十篇——Struts2的拦截器栈

    拦截器栈: 从结构上看:拦截器栈相当于多个拦截器的组合: 从功能上看:拦截器栈也是拦截器. 默认拦截器栈: 在struts-core.jar包中的struts-default.xml中自定义了一个de ...

  8. Java 五大原则

    1.单一职责 不论是在设计类,接口还是方法,单一职责都会处处体现,单一职责的定义:我们把职责定义为系统变化的原因.所有在定义类,接口,方法的时候.定义完以后再去想一想是不能多于一个的动机去改变这个类, ...

  9. docker容器与大数据组件的冲突点

    1.容器里面安装spark,外面的程序(安装spark主机的容器)会连接不上集群.理由:这个组件用的akka,连接上集群,会提示: akka.ErrorMonitor: dropping messag ...

  10. draw9patch图片拉伸

    在此吐槽Android studio的稳定性,我用的Android studio已经完全不能用了.只要新建项目资源文件就会变成乱码.解决无果,忍无可忍的我只能重新下了一个低版本的.虽然还是有点毛病,但 ...