package wikipedia import org.apache.spark.SparkConf import org.apache.spark.SparkContext import org.apache.spark.SparkContext._ import org.apache.spark.rdd.RDD import org.apache.log4j.{Level,Logger} case class WikipediaArticle(title: String, text: St…

Spark版本 1.6.0 Scala版本 2.11.7 Zookeeper版本 3.4.7 配置虚拟机 3台虚拟机,sm,sd1,sd2 1. 关闭防火墙 systemctl stop firewalld systemctl stop firewalld 如果不关闭防火墙,需要为防火墙添加进站出站规则,否则无法访问spark的管理页面 2. 修改机器名 hostnamectl set-hostname sm 其他2台机器同上 3. 修改host vim /etc/hosts 4. 配置ssh免…

从Ⅱ到Ⅳ都在讲的是线性回归,其中第Ⅱ章讲得是简单线性回归(simple linear regression, SLR)(单变量),第Ⅲ章讲的是线代基础,第Ⅳ章讲的是多元回归(大于一个自变量). 本文的目的主要是对Ⅱ章中出现的一些算法进行实现,适合的人群为已经看完本章节Stanford课程的学者.本人只是一名初学者,尽可能以白话的方式来说明问题.不足之处,还请指正. 在开始讨论具体步骤之前,首先给出简要的思维路线: 1.拥有一个点集,为了得到一条最佳拟合的直线: 2.通过“最小二乘法”来衡量拟合程…

Spark小课堂Week1 Hello Spark 看到Spark这个词,你的第一印象是什么? 这是一朵"火花",官方的定义是Spark是一个高速的.通用的.分布式计算系统!!! 用途:进行大数据计算,这里要注意,大数据是一个相对概念,并没有绝对的量化指标,一般我们认为在业务特定场景要求下,一台机器处理不了的数据都能称为大数据. 前身:大数据计算的开山鼻祖Hadoop,Spark和Hadoop的主要区别就是更快,更通用. 功能:Spark内核设计的非常通用,具有很高的扩展性,目前已经发…

小组成员介绍 组长:黄剑锟       11061164 组员:顾泽鹏        11061160 组员:周辰光         11061154 组员:龚少波        11061167 组员:赵骞           11061155 组员:孙时           11061146 组员:彭佟              11061182…

这次我们采访了一位大四的学姐,让她简单地谈了谈去年学习软件工程的经历和感受. 在完成软件工程大作业的过程中,由于计划安排与实际脱节,导致时间前松后紧,平均每周花在这门课上的时间大约有8个小时. 项目完成情况并不是很理想,预期的版本最终并没有实现,提交的版本仅仅实现了一部分的功能,这也与前期的计划设定过大过高有关,平均每个人的代码量在1500行左右. 感觉最有用的部分就是我们小组经历了一个从立项,设计到最终提交产品的完整的软件开发过程,这对我们大有帮助. 感觉最没用的部分就是课程学习和实践操作的脱…

  我们研究了学长的项目:百度3D地图API的调用.下面是我们对该项目的一些看法: 优点: 界面清晰 各类之间调用及其他关系容易理清. 缺点: 前段html代码过于冗杂,很多(div)块间的层次关系不够明确. 代码长度可以更加精简. 可能改进方式: 理清html中层次结构,重新组织div格式关系. 代码实现可以寓繁于简 总结: 这次对学长代码的研究,让我们更加明白代码测试的重要性,以及代码质量的提升空间.通过反复改进既往代码,可以更好的提高运行效率. 编辑:刘强…

在组内成员的共同努力,我们采访了几个学长学姐,顺利完成任务.反馈信息如下: 平均每周花在这门课上的时间 平均写的代码总行数 学到的最有用的部分 最没用的部分 <软件工程>最应该改进的地方 由于作业难度较高,平均每天都要花至少2个小时在软件工程上面 接近2000 面向对象的软件制作方法,团队合作的重要性,对于队友一定要相信,同时自己也会尽努力提升自己帮助队友,这样使大家都处于非常努力地状态. 到了团队合作的时候每周都要写一个上周的工作总结,下周的工作计划等等等等,但是这个性价比非常低,据学长们反…

王洛书 我是来自浙江的王洛书.热爱历史,热爱美食,热爱代码,热爱博物馆.很喜欢软件工程这门课的上课方式,也很喜欢组里的这些同学.希望能大家一起努力,在这门课上真正地收获能力上的提升!   陈睿翊…

试用了一下学长黄杨等人开发的<shield star>游戏.                      其实作为一个学弟,我对cocos2d-x引擎还算是比较了解,所以对于这样一款很“典型”的cocos游戏,我想从优点和缺点两个方面来说: 优点 画面很炫,这是不得不承认的.因为游戏中的技能,炮弹等主要是cocos2d-x的自带特效,唯一的自己做的美工“飞机”,也是经过引擎的渲染,所以也没有什么好说的. 引擎跨平台:学长很明智的选择了跨Android,IOS,WP8, Windows Store…