Spark Streaming揭秘 Day32 WAL框架及实现 今天会聚焦于SparkStreaming中非常重要的数据安全机制WAL(预写日志). 设计要点 从本质点说,WAL框架是一个存储系统,可以简单的认为是一个文件系统,其作用类似于BlockManager, 我们首先看一下官方的说明: 这里有三个要点: 总体上,sparksteaming是用WAL去保存接收到的数据,并且在写入数据后,要把元数据汇报给Driver,这样失败了才能恢复起来. 每当写入一个log,就返回一个handle,h…

上午: # 1 开启子进程 #target #args # if __name__ == '__main__' #start() # 2.其它的方法: #方法: #terminate() #is_alive() #属性 #pid #name # 3. 开启多个子进程 # 4.join #阻塞等待一个子进程结束 #阻塞等待多个子进程结束 #5. 守护进程 #6.面向对象的方式实现多进程 1内容回顾 #__author : 'liuyang' #date : 2019/4/15 0015 上午 9:…

今日内容 1.基于TCP协议(通信循环) 2.基于TCP协议(连接循环) 3.粘包问题 4.模拟SSH实现远程执行命令 服务器端 ############################################################################################### from socket import *import jsonimport struct Sever = socket(AF_INET, SOCK_STREAM)IP = '19…

day32 进程的基础 程序 一堆静态的代码文件 进程 一个正在运行的程序进程.抽象的概念 被谁运行? 由操作系统操控调用交于CPU运行 ​ 操作系统 管理控制协调计算机中硬件与软件的关系 操作系统的作用? 如果没有操作系统:你们在开发软件 第一层:对硬件(CPU,内存,磁盘等等)协调,调用 第二层:如何调用各种接口,去编程 第一个作用 将一些对硬件操作的复杂丑陋的接口,变成简单美丽的接口.例:open函数 第二个作用 多个进程抢占一个(CPU)资源时,从操作系统会将你的执行变得合理有序 阻塞:…

day32 HTML 什么是前端 只要是跟用户打交道的界面都可以称之为前端 # eg:电脑界面, 手机界面,平板界面, 什么是后端? eg:python, java,php,go, 不跟用户直接打交道的都可以称为后端 为什么学前端 为了成为全栈工程师 前端,后端, 数据库,Linux 但是,前端不会学的特别深, 要求看得懂别人写的一些简单页面和自己搭建一些简单的页面就可以了 前端的学习历程 # 前端三剑客 1. HTML:网页的骨架,没有任何的样式 2. CSS:美化网页,给网页骨架添加样式的…

这一晚上看的我是头疼不已啊,为什么呢? 终究是半路出家,我对javascript的理解仅仅停留在:调用javascript,改变页面样式,元素和实现一些事件的响应,尽管须要的时候可能会用,可是到底使用的原理却不是非常明确,至于DOM,这么专业的词汇,还是省省吧. 只是一晚上也不是毫无收获,先记录下临时自己的理解,可能存在偏差,随着之后应用的增多慢慢理解吧,先烙个印再说. 1.DOM它是什么? 最直接的回答:"Document Object Model"的缩写,简称"文档对象模…

1 类的__slots__ #!/usr/bin/env python # __Author__: "wanyongzhen" # Date: 2017/4/25 # 只能定义__slots__中规定的属性 #__slots__ 用于统一管理所有属性的定义 # 类变量,变量值可以是列表,元祖,或者可迭代对象,也可以是一个字符串(意味着所有实例只有一个数据属性) class People: __slots__ = ['x','y','z'] p = People() p.x = 1 p.…

递归 定义:一个函数在 内部调用自己,就称为递归. # 如何让10不停的除以2,直到不能除为止. n = 10 while True: n = int(n /2) print(n) if n == 0: break # 使用while循环可以实现.但是如果不用循环,该怎么实现呢? def calc(n): n = int(n/2) print(n) if n == 0: return n calc(n) calc(10) # 上面就是不使用循环,来实现的代码.在函数内调用自己.就称为递归. 应用…

昨日作业: 服务端: 服务端: from socket import * from multiprocessing import Process def server(ip,port): server = socket(AF_INET, SOCK_STREAM) server.setsockopt(SOL_SOCKET, SO_REUSEADDR, 1) server.bind((ip,port)) server.listen(5) while True: conn, addr = server…

客户端 from socket import *import structimport json client = socket(AF_INET, SOCK_STREAM)client.connect(('127.0.0.1', 8081)) # 通信循环while True: cmd=input('>>: ').strip() if len(cmd) == 0:continue client.send(cmd.encode('utf-8')) #1. 先收4bytes,解出报头的长度 hea…