Spark Streaming揭秘 Day30 集群模式下SparkStreaming日志分析 今天通过集群运行模式观察.研究和透彻的刨析SparkStreaming的日志和web监控台. Day28已经分析过local模式下的日志,集群模式会比较类似,这次主要是对集群模式在的web监控台,进行统一的深度刨析. 我们从wordcount程序开始,代码如下,为了展示出SparkStreaming在集群中的运行,Batch Duration设置为5分钟. 系统作业 为了观察持续运行的情况,我们运行了…

一.纸牌游戏                                                                                                先来回顾一下,昨天的内容 1. import 一个模块相当于执行这个py文件2.模块不会被重复导入3.导入的模块存到sys.modules里4.导入模块的之后发生了什么: 先看看模块在不在sys.modules里,如果不在: 生成一个属于模块的命名空间 执行py文件 创建一个与py文件同名的变量…

课堂代码:https://github.com/liyongsan/git_class/tree/master/day30…

day30 基于TCP协议的socket循环通信 server import socket phone = socket.socket() phone.bind(("127.0.0.1", 8080)) phone.listen() conn, addr = phone.accept() from_client_data = conn.recv(1024) print(f"来自客户端的消息:{from_client_data.decode('utf-8')}") c…

day30线程(Threads) 1.开启线程 一.什么是线程: 1.进程是资源分配的最小单位,线程是CPU调度的最小单位.每一个进程中至少有一个线程. 2.主进程中的线程称为主线程,其他开启的线程称为子线程 二.为什么用线程: 进程有两个缺点: 1.进程只能在一个时间干一件事,如果想同时干两件事或多件事,进程就无能为力了. 2.进程在执行的过程中如果遇到阻塞,例如等待输入,整个过程就会挂起.即使进程中有些工作不依赖于输入的数据,也将无法执行. # 而这就是为什么还要用线程 代码: from t…

这不是关于技术的文章,它偏离了我原来的计划轨迹.但,我相信这将是远远超出了技术的意义使我无论什么价格值. 高考已经开始,不知道在这片宁静的夜空下有多少人已经美美的睡了,香甜憨然.又有多少人这睡着的眼角还挂着泪滴,偶尔蹙起眉头,却也记载不下那梦里的挣扎.好想说句祝福的话,可这几家欢喜几家愁的结果终究无法改变.有人爬上去了.注定要有人被踩在脚下.非常残酷.但非常现实. 进入这个行业.从培训到工作,加起来也有一年的时间了,好像会了些什么,又好像什么都不会.实话说,最初进入这一行业还是出于个人浪漫主义的…

一.网络编程 软件开发 c/s架构 c:客户端 s:服务端 b/s架构 b:浏览器 s:服务端 本质:b/s其实也是c/s 服务端:24小时不间断提供服务,谁来救服务谁 客户端:想什么时候体验服务,就去找服务端 网络编程起源于美国军事,主要是想实现远程数据传输 而要想实现远程通信,第一个需要具备的条件就是:物理连接介质 其次还需要一个共同的标准:协议 OSI七层协议(模型) 应用层 表示层 会话层 传输层 网络层 数据链路层 物理连接层 可以将其分为五层 应用层 传输层 网络层 数据链路层 物理…

进程点进去 线程点进去 协程点进去 什么是进程 进程(有时称为重量级进程)是一个执行中的程序.每个进程都拥有自己的地址空间.内存.数据栈以及其他用于跟踪执行的辅助数据.同一个程序执行两次,属于是两个不同进程. 什么是线程 线程,有时被称为轻量级进程(Lightweight Process,LWP),是程序执行流的最小单元.与同属一个进程的其它线程共享进程所拥有的全部资源. 一个线程可以创建和撤消另一个线程,同一进程中的多个线程之间可以并发执行.由于线程之间的相互制约,致使线程在运行中呈现出间断性…

作业 #__author : 'liuyang' #date : 2019/4/11 0011 下午 12:36 # 这两天 1.软件开发规范 不写 没法做新作业 #2. 认证+上传 +下载 + 校验文件的一致性 # 3. socketserver 实现一个并发的上传 # 4. 选做: #进度条 # 5.默写 并发的socketserver # 内置函数 print import time for i in range(0,101,2): time.sleep(0.1) char_num = i…

今天来看看Map家族的另一名大将——TreeMap.前面已经介绍过Map家族的两名大将,分别是HashMap,LinkedHashMap.HashMap可以高效查找和存储元素,LinkedHashMap可以在高效查找的基础上对元素进行有序遍历,那么TreeMap又有什么特点呢?别急别急,看完这篇你就知道了. 本篇主要从以下几个方面对TreeMap进行介绍: 1.TreeMap的特性以及使用栗子 2.TreeMap继承结构简介 3.TreeMap源码分析 本篇预计食用10分钟,请各位食客合理分配时…