8. SparkSQL综合作业
综合练习：学生课程分数
网盘下载sc.txt文件，分别创建RDD、DataFrame和临时表/视图；
分别用RDD操作、DataFrame操作和spark.sql执行SQL语句实现以下数据分析:
总共有多少学生？
总共开设了多少门课程？
每个学生选修了多少门课？
每门课程有多少个学生选？
- 每门课程>95分的学生人数
课程'Python'有多少个100分？
Tom选修了几门课？每门课多少分？
Tom的成绩按分数大小排序。
Tom选修了哪几门课？
Tom的平均分。
'OperatingSystem'不及格人数
'OperatingSystem'平均分
'OperatingSystem'90分以上人数
'OperatingSystem'前3名
每个分数按比例+20平时分。
求每门课的平均分
选修了7门课的有多少个学生？
每门课大于95分的学生数
- 每门课的选修人数、平均分、不及格人数、通过率
- 优秀、良好、通过和不合格各有多少人？
- 同时选修了DataStructure和 DataBase 的学生
- 选修了DataStructure 但没有选修 DataBase 的学生
- 选修课程数少于3门的同学
- 选修6门及以上课程数的同学
- 查询平均成绩大于等于60分的姓名和平均成绩
- 找出平均分最高的10位同学
RDD操作
1、总共有多少学生？
2、总共开设了多少门课程？
3、每个学生选修了多少门课？
4、每门课程有多少个学生选？
5、每门课程>95分的学生人数
6、课程'Python'有多少个100分？
7、Tom选修了几门课？每门课多少分？
8、Tom的成绩按分数大小排序。
9、Tom选修了哪几门课？
10、Tom的平均分。
11、'OperatingSystem'不及格人数
12、'OperatingSystem'平均分
13、'OperatingSystem'90分以上人数
14、'OperatingSystem'前3名
15、每个分数按比例+20平时分。
16、求每门课的平均分
17、选修了7门课的有多少个学生？
18、每门课大于95分的学生数
19、每门课的选修人数、平均分、不及格人数、通过率
20、优秀、良好、通过和不合格各有多少人？
21、同时选修了DataStructure和 DataBase 的学生
22、选修了DataStructure 但没有选修 DataBase 的学生
23、选修课程数少于3门的同学
24、选修6门及以上课程数的同学
25、查询平均成绩大于等于60分的姓名和平均成绩
26、找出平均分最高的10位同学
DataFrame操作
1、总共有多少学生？
2、总共开设了多少门课程？
3、每个学生选修了多少门课？
4、每门课程有多少个学生选？
5、每门课程>95分的学生人数
6、课程'Python'有多少个100分？
7、Tom选修了几门课？每门课多少分？
8、Tom的成绩按分数大小排序。
9、Tom选修了哪几门课？
10、Tom的平均分。
11、'OperatingSystem'不及格人数
12、'OperatingSystem'平均分
13、'OperatingSystem'90分以上人数
14、'OperatingSystem'前3名
15、每个分数按比例+20平时分。
16、求每门课的平均分
17、选修了7门课的有多少个学生？
18、每门课大于95分的学生数
19、每门课的选修人数、平均分、不及格人数、通过率
20、优秀、良好、通过和不合格各有多少人？
21、同时选修了DataStructure和 DataBase 的学生
22、选修了DataStructure 但没有选修 DataBase 的学生
23、选修课程数少于3门的同学
24、选修6门及以上课程数的同学
25、查询平均成绩大于等于60分的姓名和平均成绩
26、找出平均分最高的10位同学
spark.sql执行SQL语句操作
创造临时表
1、总共有多少学生？
2、总共开设了多少门课程？
3、每个学生选修了多少门课？
4、每门课程有多少个学生选？
5、每门课程>95分的学生人数
6、课程'Python'有多少个100分？
7、Tom选修了几门课？每门课多少分？
8、Tom的成绩按分数大小排序。
9、Tom选修了哪几门课？
10、Tom的平均分。
11、'OperatingSystem'不及格人数
12、'OperatingSystem'平均分
13、'OperatingSystem'90分以上人数
14、'OperatingSystem'前3名
15、每个分数按比例+20平时分。
16、求每门课的平均分
17、选修了7门课的有多少个学生？
18、每门课大于95分的学生数
19、每门课的选修人数、平均分、不及格人数、通过率
20、优秀、良好、通过和不合格各有多少人？
21、同时选修了DataStructure和 DataBase 的学生
22、选修了DataStructure 但没有选修 DataBase 的学生
23、选修课程数少于3门的同学
24、选修6门及以上课程数的同学
25、查询平均成绩大于等于60分的姓名和平均成绩
26、找出平均分最高的10位同学
8. SparkSQL综合作业的更多相关文章
- 【爬虫综合作业】猫眼电影TOP100分析
作业的要求来自于:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/3075 一.爬虫对象 猫眼电影TOP100排行榜 二.代码如下 im ...
- python综合作业要求
要求: 1.课程成绩数据(学号尾数为0,1同学完成) 至少要完成内容:分析每年不同班级平均成绩情况.不同年份总体平均成绩情况.不同性别学生成绩情况,并用一定图表展示. 2.集美大学各省录取分数数据(学 ...
- 大数据应用期末总评Hadoop综合大作业
作业要求来源于:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/3339 1.将爬虫大作业产生的csv文件上传到HDFS 此次作业选取的 ...
- C语言博客作业--结构体，文件
1.本章学习总结(2分) 1.1 学习内容总结 (1)结构体如何定义.成员如何赋值 结构体的一般形式为: struct 结构体名 { 数据类型 成员名1: 数据 ...
- C博客作业03——函数
0.展示PTA总分 截图展示: 1.本章学习总结 1.1学习内容总结 (a)函数的定义 1)函数是一个完成特定工作的独立程序模块,包括库函数和自定义函数两种,scanf(),printf()等为库函数 ...
- day11 本日作业+周末作业
目录 一.今日作业 1.编写文件copy工具 2.编写登录程序,账号密码来自于文件 3.编写注册程序,账号密码来存入文件 二.周末综合作业: 1.编写用户登录接口 2.编写程序实现用户注册后,可以登录 ...
- 现在开始(Do It Now)
现在开始(Do It Now) 很多年前读大学的时候,我决定制定一个计划挑战自己:只用三个学期完成其他人通常花费四年的课程,能否毕业.这篇文章(此文为翻译)详细的说明了我在成功实现该目标过程中的所有时 ...
- lingo运筹学上机实验指导
<运筹学上机实验指导>分为两个部分,第一部分12学时,是与运筹学理论课上机同步配套的4个实验(线性规划.灵敏度分析.运输问题与指派问题.最短路问题和背包问题)的Excel.LONGO和LI ...
- 接着继续(OO博客第四弹)
.测试与JSF正确性论证 测试和JSF正确性论证是对一个程序进行检验的两种方式.测试是来的最直接的,输入合法的输入给出正确的提示,输入非法的输入给出错误信息反馈,直接就能很容易的了解程序的运行情况.但 ...
随机推荐
- js call与bind和apply的区别
介绍 在JS中,这三者都是用来改变函数的this对象的指向的,他们有什么样的区别呢. 在说区别之前还是先总结一下三者的相似之处: 1.都是用来改变函数的this对象的指向的. 2.第一个参数都是thi ...
- “如何实现集中管理、灵活高效的CI/CD”在线研讨会精彩内容分享
"如何实现集中管理.灵活高效的CI/CD"在线研讨会精彩片段分享 片段主讲人:李培(西瓜刀) 大家好,我是李培.前面听文老师讲DevOps,包括CI/CD 的一些理论,也是挺有 ...
- Neo4j数据和Cypher查询语法笔记
Cypher数据结构 Cypher的数据结构: 属性类型, 复合类型和结构类型 属性类型 属性类型 Integer Float String: 'Hello', "World" B ...
- vue - Vue脚手架
今天的内容vue脚手架,越来越有内味了,也慢慢地开始有点难度了哈哈,但是没有关系,慢慢学慢慢琢磨,我倒是感觉有点越来越像node了,不知道怎么回事,这是要向后端发展的节奏啊 一.初始化Vue脚手架 1 ...
- 真香警告！JitPack 开源库集成平台
前言: 请各大网友尊重本人原创知识分享,谨记本人博客:南国以南i 简介 官方介绍: JitPack 是一个用于 JVM 和 Android 项目的新颖的包存储库.它按需构建 Git 项目并为您提供即用 ...
- 【mq】从零开始实现 mq-10-消费者拉取消息回执 pull message ack
前景回顾 [mq]从零开始实现 mq-01-生产者.消费者启动 [mq]从零开始实现 mq-02-如何实现生产者调用消费者? [mq]从零开始实现 mq-03-引入 broker 中间人 [mq]从零 ...
- 谈谈markdown
谈谈markdown 欢迎关注我的博客,️点他即可. 最近一年开始学习有关编程的内容了. 迷上代码的我开始接触到一些好玩的东西,我发现很多事情都可以由代码来完成,甚至是ppt.同学就经常说我疯掉了,连 ...
- OAuth2密码模式已死，最先进的Spring Cloud认证授权方案在这里
旧的Spring Security OAuth2停止维护已经有一段时间了,99%的Spring Cloud微服务项目还在使用这些旧的体系,严重青黄不接.很多同学都在寻找新的解决方案,甚至还有念念不忘密 ...
- Go基础3：函数、结构体、方法、接口
目录 1. 函数 1.1 函数返回值 同一种类型返回值 带变量名的返回值 函数中的参数传递 函数变量 1.2 匿名函数--没有函数名字的函数 在定义时调用匿名函数 将匿名函数赋值给变量 匿名函数用作回 ...
- MySQL（8） - MySQL的事务机制
MySQL数据库的事务机制 1.1.事务的概念和特性 1.2.事务的隔离级别 repeatable read是mysql默认的事务隔离级别 #事务A #事务A,临时修改工资,未commit, STAR ...