Spark Streaming揭秘 Day32 WAL框架及实现 今天会聚焦于SparkStreaming中非常重要的数据安全机制WAL(预写日志). 设计要点 从本质点说,WAL框架是一个存储系统,可以简单的认为是一个文件系统,其作用类似于BlockManager, 我们首先看一下官方的说明: 这里有三个要点: 总体上,sparksteaming是用WAL去保存接收到的数据,并且在写入数据后,要把元数据汇报给Driver,这样失败了才能恢复起来. 每当写入一个log,就返回一个handle,h…

上午: # 1 开启子进程 #target #args # if __name__ == '__main__' #start() # 2.其它的方法: #方法: #terminate() #is_alive() #属性 #pid #name # 3. 开启多个子进程 # 4.join #阻塞等待一个子进程结束 #阻塞等待多个子进程结束 #5. 守护进程 #6.面向对象的方式实现多进程 1内容回顾 #__author : 'liuyang' #date : 2019/4/15 0015 上午 9:…

今日内容 1.基于TCP协议(通信循环) 2.基于TCP协议(连接循环) 3.粘包问题 4.模拟SSH实现远程执行命令 服务器端 ############################################################################################### from socket import *import jsonimport struct Sever = socket(AF_INET, SOCK_STREAM)IP = '19…

day32 进程的基础 程序 一堆静态的代码文件 进程 一个正在运行的程序进程.抽象的概念 被谁运行? 由操作系统操控调用交于CPU运行 ​ 操作系统 管理控制协调计算机中硬件与软件的关系 操作系统的作用? 如果没有操作系统:你们在开发软件 第一层:对硬件(CPU,内存,磁盘等等)协调,调用 第二层:如何调用各种接口,去编程 第一个作用 将一些对硬件操作的复杂丑陋的接口,变成简单美丽的接口.例:open函数 第二个作用 多个进程抢占一个(CPU)资源时,从操作系统会将你的执行变得合理有序 阻塞:…

day32 HTML 什么是前端 只要是跟用户打交道的界面都可以称之为前端 # eg:电脑界面, 手机界面,平板界面, 什么是后端? eg:python, java,php,go, 不跟用户直接打交道的都可以称为后端 为什么学前端 为了成为全栈工程师 前端,后端, 数据库,Linux 但是,前端不会学的特别深, 要求看得懂别人写的一些简单页面和自己搭建一些简单的页面就可以了 前端的学习历程 # 前端三剑客 1. HTML:网页的骨架,没有任何的样式 2. CSS:美化网页,给网页骨架添加样式的…

这一晚上看的我是头疼不已啊,为什么呢? 终究是半路出家,我对javascript的理解仅仅停留在:调用javascript,改变页面样式,元素和实现一些事件的响应,尽管须要的时候可能会用,可是到底使用的原理却不是非常明确,至于DOM,这么专业的词汇,还是省省吧. 只是一晚上也不是毫无收获,先记录下临时自己的理解,可能存在偏差,随着之后应用的增多慢慢理解吧,先烙个印再说. 1.DOM它是什么? 最直接的回答:"Document Object Model"的缩写,简称"文档对象模…

1 类的__slots__ #!/usr/bin/env python # __Author__: "wanyongzhen" # Date: 2017/4/25 # 只能定义__slots__中规定的属性 #__slots__ 用于统一管理所有属性的定义 # 类变量,变量值可以是列表,元祖,或者可迭代对象,也可以是一个字符串(意味着所有实例只有一个数据属性) class People: __slots__ = ['x','y','z'] p = People() p.x = 1 p.…

递归 定义:一个函数在 内部调用自己,就称为递归. # 如何让10不停的除以2,直到不能除为止. n = 10 while True: n = int(n /2) print(n) if n == 0: break # 使用while循环可以实现.但是如果不用循环,该怎么实现呢? def calc(n): n = int(n/2) print(n) if n == 0: return n calc(n) calc(10) # 上面就是不使用循环,来实现的代码.在函数内调用自己.就称为递归. 应用…

昨日作业: 服务端: 服务端: from socket import * from multiprocessing import Process def server(ip,port): server = socket(AF_INET, SOCK_STREAM) server.setsockopt(SOL_SOCKET, SO_REUSEADDR, 1) server.bind((ip,port)) server.listen(5) while True: conn, addr = server…

客户端 from socket import *import structimport json client = socket(AF_INET, SOCK_STREAM)client.connect(('127.0.0.1', 8081)) # 通信循环while True: cmd=input('>>: ').strip() if len(cmd) == 0:continue client.send(cmd.encode('utf-8')) #1. 先收4bytes,解出报头的长度 hea…

今天来介绍一个不太常见也不太常用的类——ArrayDeque,这是一个很不错的容器类,如果对它还不了解的话,那么就好好看看这篇文章吧. 看完本篇,你将会了解到: 1.ArrayDeque是什么? 2.ArrayDeque如何使用? 3.ArrayDeque的内部结构是怎样的? 4.ArrayDeque的各个方法是如何实现的? 5.ArrayDeque是如何扩容的? 6.ArrayDeque的容量有什么限制? 7.ArrayDeque和LinkedList相比有什么优势? 8.ArrayDeque…

一.知识回顾 正则模块 正则表达式 元字符 : . 匹配除了回车以外的所有字符 \w 数字字母下划线 \d 数字 \n \s \t 回车 空格 和 tab ^ 必须出现在一个正则表达式的最开始,匹配开头 $ 必须出现在一个正则表达式的最后,匹配结尾 | 或 a|b 要么取左边的要么取右边的 ()|() 分组中的或 一定是长的在前面 短的在后面 [] 在同一个位置上可能出现的所有字符都放在组里 [^] 在同一个位置上不能出现的所有字符都放在组里 () 对于一整个组做量词约束 : python 分组…

1.管道 格式: conn1,conn2 = Pipe() 管道的两端可以进行全双工通信   如图 进程2创建了管道,它就拥有管道两端的信息,每个端点都能收发信息,它把端点信息传给进程1和进程3 ,它们之间就能实现相互通信了 只要有通道两个端点的信息就可以实现两个进程之间的通信(前提是这两个进程拥有的端点信息不是同一个端点,同一个端点是不能在两个进程之间进行收和发的,会报错) 2.数据共享 格式: m = Manager() dic = m.dict( { "num" : 2 } )…

今日主要内容: 1.管道(Pipe) 数据接收一次就没有了 2.事件(Event) 3.基于事件的进程通信 4.信号量(Semaphore) 5. 进程池(重点) 6.进程池的同步方法和异步方法 7. 进程池的回调函数,( pool.apply_async(f1,args=(1,),callback=f2) ) ,回调函数是在异步进程中的函数 1.管道(Pipe) 数据接收一次就没有了 Pipe() #创建管道,全双工,返回管道的两端,但是一端发送消息,只能是另一端才能接受到,自己这一端是接收不…

并发编程 并发编程的理论 python中实现多进程 进程测试 import os import time while True: time.sleep(0.5) print("hahaha") print("self", os.getpid()) #获取自己的进程id print("parent",os.getppid()) #parent 获取父进程的id 开启进程的两种方式 from multiprocessing import Proces…

校验用户名.密码.密码一直性. <style> .error { color: red } .success { color: green } </style> <script type="text/javascript" src="${pageContext.request.contextPath }/js/jquery-1.8.3.js"></script> <script type="text/j…

第09天 JDBC连接池&DBUtils工具类 今日内容介绍 u c3p0连接池 u dbcp连接池 u DBUtils工具类 第1章   c3p0连接池 1.1  连接池概述 实际开发中“获得连接”或“释放资源”是非常消耗系统资源的两个过程,为了解决此类性能问题,通常情况我们采用连接池技术,来共享连接Connection.这样我们就不需要每次都创建连接.释放连接了,这些操作都交给了连接池 l  概念 用池来管理Connection,这样可以重复使用Connection.有了池,所以我们就不用自…

1.module.export.import是什么,有什么作用? module.export.import是ES6用来统一前端模块化方案的设计思路和实现方案. export.import的出现统一了前端模块化的实现方案, 整合规范了浏览器/服务端的模块化方法, 用来取代传统的AMD/CMD.requireJS.seaJS.commondJS 等等一系列前端模块不同的实现方案,使前端模块化更加统一规范, JS也能更加能实现大型的应用程序开发. import引入的模块是静态加载(编译阶段加载)而不是…

一 multiprocessing模块介绍 python中的多线程无法利用多核优势,如果想要充分地使用多核CPU的资源(os.cpu_count()查看),在python中大部分情况需要使用多进程. Python提供了multiprocessing.     multiprocessing模块用来开启子进程,并在子进程中执行我们定制的任务(比如函数),该模块与多线程模块threading的编程接口类似.  multiprocessing模块的功能众多:支持子进程.通信和共享数据.执行不同形式的同…

进程间通信 进程彼此之间互相隔离,要实现进程间通信(IPC),multiprocessing模块支持两种形式:队列和管道,这两种方式都是使用消息传递的. 进程队列queue 不同于线程queue,进程queue的生成是用multiprocessing模块生成的. 在生成子进程的时候,会将代码拷贝到子进程中执行一遍,及子进程拥有和主进程内容一样的不同的名称空间. 示例1: import multiprocessing def foo(): q.put([11,'hello',True]) prin…

第一部分:金融与量化投资 股票: 股票是股份公司发给出资人的一种凭证,股票的持有者就是股份公司的股东. 股票的面值与市值 面值表示票面金额 市值表示市场价值 上市/IPO: 企业通过证券交易所公开向社会增发股票以募集资金 股票的作用: 出资证明.证明股东身份.对公司经营发表意见 公司分红.交易获利 股票的分类 股票按业绩分类: 蓝筹股:资本雄厚.信誉优良的公司的股票 绩优股:业绩优良公司的股票 ST股:特别处理股票,连续两年亏损或每股净资产低于股票面值 股票按上市地区分类: A股:中国大陆上市,…

背景知识 顾名思义,进程即一个软件正在进行的过程.进程是对正在运行程序的一个抽象. 进程的概念起源于操作系统,是操作系统最核心的概念,也是操作系统提供的最古老的也是最重要的抽象概念之一.操作系统的其他所有内容都是围绕进程的概念展开的.所以想要真正了解进程,必须先了解操作系统 #一 操作系统的作用: 1:隐藏丑陋复杂的硬件接口,提供良好的抽象接口 2:管理.调度进程,并且将多个进程对硬件的竞争变得有序 #二 多道技术: 1.产生背景:针对单核,实现并发 ps: 现在的主机一般是多核,那么每个核都会…

1.     线程是什么,有了进程为什么还要线程 进程有很多优点,它提供了多道编程,让我们感觉我们每个人都拥有自己的CPU和其他资源,可以提高计算机的利用率.很多人就不理解了,既然进程这么优秀,为什么还要线程呢?其实,仔细观察就会发现进程还是有很多缺陷的,主要体现在两点上: 进程只能在一个时间干一件事,如果想同时干两件事或多件事,进程就无能为力了. 进程在执行的过程中如果阻塞,例如等待输入,整个进程就会挂起,即使进程中有些工作不依赖于输入的数据,也将无法执行. 如果这两个缺点理解比较困难的话,举…

一:跨域问题 1.同源策略(浏览器的安全策略) 只允许当前页面朝当前域下发请求,如果向其他域发请求,请求可以正常发送,数据也可以拿回,但是被浏览器拦截了 2.cors:只要服务器实现了CORS,就可以实现跨域资源共享 (1)简单请求 只发一次请求 (2)非简单请求: 发两次请求:一次预检(OPTION请求),只有服务端允许发请求,才能继续发第二次正常请求,一次真正的请求 3.服务端如何处理: (1)写在中间件中: from django.utils.deprecation import Midd…

1 . 文件管理 1.1 标C文件处理和UC文件处理函数的比較: 标C文件处理函数比UC的文件处理函数速度快.由于标C内部独立输入输出缓冲区, 会积累一定数量之后再写入文件,因此读写效率比較高 使用time命令能够获取进程的执行时间 time b.out real  0m0.081s  =>真实时间 user  => 用户态时间 sys => 内核时间 1.2 文件描写叙述符: 进程 => 文件描写叙述符表=>文件表=>V字节(包括I字节) 文件描写叙述符就是一个整数,…

TCP服务端支持并发 解决方式:开多线程 服务端 基础版 import socket """ 服务端 1.要有固定的IP和PORT 2.24小时不间断提供服务 3.能够支持并发 """ server = socket.socket() server.bind(('127.0.0.1',8080)) server.listen(5) def talk(conn): while True: try: data = conn.recv(1024) if…

1.最大半连接数 什么是最大半连接数 半连接:在进行TCP协议通信时,客户端与服务器端进行三次握手建立连接,但是有时客户端与服务器端进行了连接申请,服务器端也同意了申请(既已经完成三次握手的两次),此时只需要客户端再次进行确认即可建立连接,但是此时客户端未进行确认,就会进入半连接状态 最大半连接数:三次握手没有完全执行完毕的连接的最大数量 为什么需要最大半连接数? 在根据TCP协议进行网络通讯时,会进行三次握手建连接,四次挥手断连接,但是有时当连接服务端的客户端较多时,会大量占用服务器端的资源,…

转行学开发,代码100天——2018-04-17 关于多列布局,前期已经梳理过,今天的培训课程学习中再次提及,趁此也做个总结和检验. 多列布局的介绍参考: day08—css布局解决方案之多列布局   关于多列布局的类型和方法: 常用的网页多列布局有: 1.定宽+自适应 2.多列定宽+自适应 3.不定宽+自适应 4.等宽布局 5.等高布局 其实现方法如下图:…

时隔多久,我又回来写博客了,最近忙于两个课设,五周,搞得头发都不知道掉了多少根了,还没成为程序员就开始掉了,等我成为一名程序员的时候岂不是要秃头了,IT界的人会不会帮我当成大佬了,哈哈哈哈,希望我以后也可以成为一名IT界的大佬,虽然有点不现实,但是梦想还是要有的,万一不经意间就实现了也说不定,加油~ 字符流 当使用字节流读取文本文件时,可能会有一个小问题.就是遇到中文字符时,可能不会显示完整的字符,那是因为一个中文字符可能占用多个字节存储.所以Java提供一些字符流类,以字符为单位读写数据,专门…

目录 一.异常处理 1 什么是异常 2 为什么要处理异常 3 如何处理异常 3.1 语法错误 3.2 逻辑错误 3.3 两种处理逻辑异常的方式 3.3.1 可预知型错误 3.3.2 不可预知型错误 4 制造异常 二.网络编程 1 网络通信原理 2 osi七层协议 2.1 物理层 2.2 数据链路层 2.3 网络层 一.异常处理 1 什么是异常 异常是程序发生错误的信号,程序一旦出错就会抛出异常,程序就会终止运行 异常的三个特征: 异常的追踪信息 异常的类型 异常的内容 而错误分成两种 一种是语法…