作业要求来自:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/3339 一.Hadoop综合大作业 要求: 1.将爬虫大作业产生的csv文件上传到HDFS 爬取的数据总共有10个表格(分别是不同类别) 2.对CSV文件进行预处理生成无标题文本文件 对字段进行预处理: 查看生成的table.txt: 3.把hdfs中的文本文件最终导入到数据仓库Hive中 启动hdfs: 4.在Hive中查看并分析数据 5.用Hive对爬虫大作业产生的

明天就要去上海大学参加 2015赛季 ACM/ICPC最后一场比赛 —— EC-Final,在这之前,顺利地把期末大作业赶出来了. 在这种期末大作业10个人里面有9个是从网上下载的国内计算机水平五六流大学里学习编程,我感到压力很大. (Update:前几天交了一份移动开发技术的期末大作业,老师说文档比App重要) 但我依然选择作死——纯手工打造.庆幸的是,历时四天,翘课无数,现在基本完工了. 做个作业真不容易,音乐要自己找,图片要自己P,代码也要自己写... ... 早起晚睡,脖子酸... ..

邻近期末,忙于刷题之余意识到期末大作业来不及了,匆匆赶下了作业,虽说做的很是粗糙,但完全原创的 下载链接 https://pan.baidu.com/s/1cCNLr4 大体的做大约3天完成了: 第一天:确定了主题做消消乐,网上找素材P图,确定布局 第二天:正式开做,上午大约把整体绘制出来了,实现了基础的交换,下午重点攻克了交换和下落的动画效果,这点确实感觉有点难 第三天:加了点花哨的技能积分金钱和音乐 时间真的有限,草草的完成了作业,可能bug比较多,发现可以联系我,不胜感激. 在网上的素材中

QQ飞车手游是我非常喜欢的游戏,也是我现在为数不多的常在玩的游戏,刚好我Web程序设计基础的大作业是要做一套网站,我就借此机会模仿飞车S联赛官网的页面自己做了一个网页,又加了一些自己的元素,由于我做这个的时候,刚好处于车神赏金赛的阶段,因此图片也用的是赏金赛的图片. 文件说明 首页 index1.html:首页 index1.css:首页的css样式文件 模块页 1.club.html:模块页1(俱乐部介绍) club.css:模块页1(俱乐部介绍)css文件 2.news.html:模块页2(

博士期间估计这可能是唯一一个要编程的作业,搞了半天弄出这个东西,放这里为以后用到的时候查找方便. 说来也是可笑,读博士期间发现大家对上课也都没什么兴趣,老师也是那么回事,都说博士期间学的课程是要有助于以后科研工作用的,但是为什么大家都是呵呵的态度,对于期末的编程作业大家连题目都难以做到记得无误,也是真心无奈. (1) 给出判断一个图是无爪图正则(每个点的度数相同)4-连通的算法,并给出时间复杂性. 该问题其实应该是这样问的,给定一个4连通正则图,如何判断其是否为无爪图,并且该图是无K4图. 由于

都过了半年的作业了,觉得做过去得留下点什么,所以整理了代码发一下博客. 声明:程序在DevC++下用c文件模式可以正常编译使用.(控制台程序) 程序结构:

作业要求来自:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/3339 Hadoop综合大作业 要求: 1.将爬虫大作业产生的csv文件上传到HDFS 此处选取的是爬虫大作业——对猫眼电影上<小偷家族>电影的影评. 此处选取的是comment.csv文件,共计20865条数据. 将comment.csv上传到HDFS 2.对CSV文件进行预处理生成无标题文本文件 编辑pre_deal.sh文件对csv文件进行数据预处理. 使得pr

作业要求源于:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3363 一.将爬虫大作业产生的csv文件上传到HDFS (1)在/usr/local路径下创建bigdatacase目录,bigdatacase下创建dataset目录,再在 windows 通过共享文件夹将爬取的census_all_data.csv文件传进 Ubuntu ,使用cp命令讲census_all_data.csv文件复制到/usr/local/bigda

作业要求来源于:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/3339 1.将爬虫大作业产生的csv文件上传到HDFS 此次作业选取的是爬虫<人性的弱点全集>短评数据生成的cm.csv文件:爬取的数据总数为10991条. cm.csv文件数据如下图所示: 将cm.csv文件上存到HDFS 2.对CSV文件进行预处理生成无标题文本文件 csv文件数据预处理,删除第一行字段名称 编辑pre_deal.sh文件进行数据的取舍处理 让p

学生信息管理系统(大作业) 2018-12-21:此文章已在我的网站更新,添加视图介绍等信息,源码请移步下载https://www.jeson.xin/javaweb-sims.html PS:首先不得不吐槽一下我们学校的课程安排,先学Java Web,再学Javascript,最后学Html,所以...我们还要提前学一遍以后要学的内容... 其次,由于是近2个月之后才上传..所以可能出现一些错误,另是初次完成可以说是一个完整的小小小项目,希望可以给和我一样的小白一些参考,不喜勿喷 首先大概介绍

Hadoop综合大作业 要求: 用Hive对爬虫大作业产生的文本文件(或者英文词频统计下载的英文长篇小说)词频统计. 用Hive对爬虫大作业产生的csv文件进行数据分析 1. 用Hive对爬虫大作业产生的文本文件 这里的具体操作步骤如下: 将网页上的歌词段落爬取下来 通过jieba分词后将结果用txt文件保存, 将txt文件放入Hadoop分布式文件系统 使用hive将文件作为表数据导入 使用hive查询统计歌词中单词的出现次数 首先,Python爬虫程序代码如下: import jieba i

作业的要求来自于:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/3339 Hadoop综合大作业 1.以下是爬虫大作业产生的csv文件 把csv上传到HDFS 2.对CSV文件进行预处理生成无标题文本文件 3.把hdfs中的文本文件最终导入到数据仓库Hive中,在Hive中查看并分析数据. 4.用Hive对爬虫大作业产生的进行数据分析 查询公司的类型,对公司的整体情况进行一个对比,了解哪些公司更具发展性: 根据岗位的类型查询.此处

作业要求来自于:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/3339 我主要的爬取内容是关于热门微博文章“996”与日剧<我要准时下班>的联系,其中包括两个csv文件— —996与<我要准时下班>.csv与996与<我要准时下班>uid.csv.其中996与<我要准时下班>.csv的内容是用户的id.发表微博的内容.微博的点赞数,996与<我要准时下班>.csv的内容是基于996

本次作业的要求来自:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/3339 前言 本次作业是在<爬虫大作业>的基础上进行的,在<爬虫大作业>中,我主要对拉勾网python岗位的招聘信息进行的数据爬取,最终得到了2641条数据存在一个名为lagoupy.xls中.本次作业的任务主要有以下三点: 1.对CSV文件进行预处理生成无标题文本文件,将爬虫大作业产生的csv文件上传到HDFS 2.把hdfs中的文本文件最终导入到

Hadoop综合大作业 作业来源:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3363 1.将爬虫大作业产生的csv文件上传到HDFS 爬取豆瓣网战狼2电影的影评数据 把爬取到的csv文件存放到ubuntn系统中,并创建存放的文件夹bigdatacase.dataset: 把下载好的影评test.csv文件文本拷贝到dataset目录下并查看文件 查看文件的前五条数据 删除表头 2.对CSV文件进行预处理生成无标题文本文件 每个

作业要求来源:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/3339 本次作业是在期中大作业的基础上利用hadoop和hive技术进行大数据分析 1. 准备数据(下图为SCV截图): 把CSV添加到/bigdatacase/dataset中 查看前十条数据看是否添加成功 可以看到已经添加成功了 表格预处理: 删除第一行表头并查看是否删除成功: 编辑pre_deal.sh以进行文件预处理: #!/bin/bashinfile=$1o

本次作业来源于:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3363 一.课程评分标准: 分数组成: 考勤 10 平时作业 30 爬虫大作业 25 Hadoop生态安装与配置 10 分布式文件系统HDFS 分布式并行计算MapReduce Hadoop综合大作业 25 评分标准: 难易程度 数据量 文章质量:描述.分析与总结 1.将爬虫大作业产生的csv文件上传到HDFS

这个是项目一来是数据库大作业,另一方面也算是再对falsk和python熟悉下,好久不用会忘很快. 界面相比上一个项目好看很多,不过因为时间紧加上只有我一个人写,所以有很多地方逻辑写的比较繁琐,如果是想学习flask还是推荐之前的项目,地址:http://www.cnblogs.com/INnoVationv2/p/5837495.html 寒假回去我会重构下代码,然后再po出来. 不知道怎么做数据库大作业的也可以参考: 所有功能: 三类用户模式: 一.管理员 1.查看所有档案 2.修改档案信息

鸽了那么久总算期中过[爆]去[炸]了...该是时候写写大作业了 [总不能丢给他们不会写的来做吧 一.三阶魔方的几个基本定义 ↑就像这样,可以定义面的称呼:上U下D左L右R前F后B UD之间的叫E,LR之间的叫S,FB之间的叫M 这样子棱就可以定义为UF啊UR啊之类的[咦?UR? 角就是用三个面定义:UFR.URB.DBR[按照逆时针来写三个面 然后就是各种旋转,对于一个面有三种旋转方式(以U为例):U,U',U2分别表示上面顺时针旋转90°,逆时针旋转90°,旋转180° 所以各种公式就是一串U

大作业NABC分析结果 这次的大作业计划制作一款关于七巧板的游戏软件.关于编写的APP的NABC需求分析: N:需求 ,本款软件主要面向一些在校的大学生,他们在校空闲时间比较多,而且热衷于一些益智类游戏来锻炼自己思维的灵活性 A:方法 ,游戏主要包括两个板块,其一,是采用常规的闯关模式;另一方面,是采用论坛交流的方式,游戏用户,可以上传任何图片,供其他游戏者拼出图片的图形 B:给用户带来的利益或好处是界面简单容易操作,满足了大学生锻炼思维的需求,同时为他们提供了迎接挑战的机会,可以获得成功的成就