Spark Streaming揭秘 Day29 深入理解Spark2.x中的Structured Streaming 在Spark2.x中,Spark Streaming获得了比较全面的升级,称为Structured Streaming,和之前的很不同,功能更强大,效率更高,跟其他的组件整合性也更好. 连续应用程序continuous application 首先,也是最重要的,在2.x中,提出了一个叫做continuous applications连续应用程序的概念. 如下图所示,数据从Kaf…

day29课堂代码:https://github.com/liyongsan/git_class/tree/master/day29 课堂笔记: 通过原生Ssh 记录会话1. 在我们自己的堡垒机交互脚本里,嵌入原生ssh 2. 每启动一次Ssh 回话,就自动启动strace监测指令,监测会话记录 1. 为避免步骤2阻塞, 导致Strace拿不到进程号,所以先启动Session_tracker.sh脚本,等待步骤2执行 1.1 多个ssh会话会导致拿到多个pid, 解决办法是每个会话加一个唯一标示…

day29 socket套接字 socket是处于应用层与传输层之间的抽象层,他是一组操作起来非常简单的接口(接受数据)此接口接受数据之后,交由操作系统. 为什么存在socket抽象层? 如果直接与操作系统数据交互非常麻烦,繁琐,socket对这些繁琐的操作高度的封装,简化. socket在python中就是一个模块. 基于TCP协议的socket简单通信 服务端 import socket # 买电话 phone = socket.socket(socket.AF_INET,socket.SO…

元类及异常处理 元类 什么是元类 在python中,一切皆对象,对象是由类产生的,那么类是不是对象呢? 举例: class A: pass print(type(A)) # <class 'type'> 从上例中可以看出,在python中,类也是对象,是由某个兑现实例化来的,而且这个类的名字叫做type,那么这个类又是什么呢?这个类就是元类 元类就是产生类的的类 实例化类对象 普通的类是由元类实例化产生的,那么我们如何按照普通类的方式去生成类对象呢? 由于定义类时会使用class关键字,实际上…

day29并发编程 1.进程锁 一.使用锁维护执行顺序 代码: from multiprocessing import Process,Lock import os import time def task(i,lock): # 开始上锁 lock.acquire() print('第%s个:进程id号:%s进来了'%(i,os.getpid())) time.sleep(3) print('第%s个:进程ID号:%s走了'%(i,os.getpid())) # 释放锁 lock.release…

一.eval内置函数eval内置函数的使用场景: 1.执行字符串会得到相应的执行结果 2.一般用于类型转换,得到dict.list.tuple例: dic_str = ''{'a':1,'b':2}'' print(eval(dic_str)) # {'a':1,'b':2} with open(txt,'r',encoding='utf-8')as f: data_str = f.read() res = eval(data_str)二.exec内置函数exec应用场景: 1.执行字符串,没有…

一.eval.exec内置函数 1.eval函数 eval内置函数的使用场景: ①执行字符串会得到相应的执行结果 ②一般用于类型转换得到dict.list.tuple等 2.exec函数 exec应用场景 用来辅助了解元类的概念 ①执行字符串没有执行结果(没有返回值) ②将执行的字符串中产生的名字形成对应的局部名称空间 # 解析exec函数 # exec函数帮我们运行字符串中的代码,把字符串中产生的名字放到名称空间里 # 自己定义全局作用域中的名字和字典,自己定义局部作用域的名字和字典 # 将所…

信号量:semaphore 信号量是用来控制线程并发数的.(理解:虽然GIL任意时刻都只有一个线程被执行,但是所有线程都有资格去抢,semaphore就是用来控制抢的GIL的数量,只有获取了semaphore的线程才有资格去抢GIL,起到了限制线程并发数的作用) import threading import time class MyThread(threading.Thread): def run(self): if semap.acquire(): print(semap) print(s…

网络通信原理: http://www.cnblogs.com/linhaifeng/articles/5937962.html 一.操作系统基础 二.网络通信原理 2.1 互联网的本质就是一系列的网络协议 结论:英语成为世界上所有人通信的统一标准,如果把计算机看成分布于世界各地的人,那么连接两台计算机之间的internet实际上就是 一系列统一的标准,这些标准称之为互联网协议,互联网的本质就是一系列的协议,总称为‘互联网协议’(Internet Protocol Suite). 互联网协议的功能…

单例模式的四种实现模式单例模式实现方式一: import settings class MySQL:  __instance=None  def __init__(self, ip, port):   self.ip = ip   self.port = port  @classmethod  def from_conf(cls):   if cls.__instance is None:    cls.__instance=cls(settings.IP, settings.PORT)   r…

当当当当当当当,本来打算出去浪来着,想想还是把这个先一起写完吧,毕竟这篇的主角跟我一样是一个超级偷懒的角色——LinkedHashSet,有多偷懒?看完你就知道了. 本篇将从以下几个方面对LinkedHashSet进行介绍: 1.LinkedHashSet中的特性 2.LinkedHashSet源码分析 3.LinkedHashSet应用场景 本篇预计需要食用10分钟,快的话五分钟也够了,完全取决于各位看官心情. LinkedHashSet中的特性 前面已经介绍过了HashSet,本篇要介绍的L…

本质上 "==" 调用的内部方法就是 __eq__() 正常情况下,两个名字相同的变量比较的是内存地址,内存地址当然是不一样的可以使用__eq__来改变成名字相同就相等 1 class A: def __init__(self,name): self.name = name def __eq__(self, other): if self.name == other.name: return True else: return False ob1 = A("suyang&qu…

上周内容回顾 初始面向对象 class 类名(父类1,父类2): 静态属性 = "" # 静态属性,类方法 def __init__(self): # 初始化方法 def func(self): pass # 动态属性,方法 对象.类名 # 实例化,找init里面要对应 对象.方法名() 对象.属性名 组合 什么有什么,一个类的属性是另一个类的对象 # ***** class Course: def __init__(self,name,price,period): self.name…

__str__()__repr__()__len__() str() 转字符串repr() 让字符原形毕露的方法len() 计算长度 内置的方法很多,但是并不是全部都在object中,比如len(),__len__(),比如说数字,时间,还有对象都是无法计算长度 # __del__ 析构函数 # 删除,python解释器本身也会自动删除 class A: def __del__(self): print("执行我啦") a = A() # del a # 这里不些括号也行 del(a)…

一.昨日作业讲解 先来回顾一下昨日的内容 1.os模块 和操作系统交互 工作目录 文件夹 文件 操作系统命令 路径相关的 2.模块 最本质的区别 import会创建一个专属于模块的名字, 所有导入模块中的都会在这个空间中 import from import as 起别名 * 和 __all__ 作业讲解:os.listdir() 返回一个列表,里面的每一个元素都是相对路径值就是文件,或者文件夹 使用递归的方式实现 import os def get_size(dir): sum_size =…

今日所学 一.ftp上传简单实例 二.socketsever的固定用法 三.验证合法性连接 1.ftp上传实例 这个题目是我们现在网络编程比较基础一点的题目 下面我们只写简单上传的代码 上传服务端的代码 import socket import struct import json sever=socket.socket() ip_port=('127.0.0.1',8008) sever.bind(ip_port) sever.listen() conn,addr=sever.accept()…

作业: 1\ 默写 黏包协议 2\ 上传大文件(文件\视频\图片) 3\ 和你的同桌调通 从你的计算机上传一个视频到你同桌的电脑上 4\ 进阶 : 带上登录 Server #Server #!/usr/bin/env python # encoding: utf-8 # Author: meimeilong <2559184081@qq.com> # Create Date: 2019-04-10 13:29:26 # Last Modified: 2019-04-10 13:29:26 #…

通常使用xStream工具. 将集合,数组,对象转成XML. 导入两个包: xpp3_min-1.1.4c.jar xstream-1.4.4.jar 自定义一个类 package com.baidu; public class User { private int id; private String name; public int getId() { return id; } public void setId(int id) { this.id = id; } public String…

第06天 MySQL数据库 今日内容介绍 u MySQL单表查询 u SQL约束 u 多表操作 第1章   MySQL单表查询 1.1  SQL单表查询--排序 1.1.1 排序格式 通过order by语句,可以将查询出的结果进行排序.放置在select语句的最后. 格式: SELECT * FROM 表名 ORDER BY 排序字段 ASC|DESC; ASC 升序 (默认) DESC 降序 #1.使用价格排序(降序) SELECT * FROM product ORDER BY price…

1.https协议的优点? 使用HTTPS协议可认证用户和服务器, 确保数据发送到正确的客户机和服务器: HTTPS协议是由SSL+HTTP协议构建的可进行加密传输. 身份认证的网络协议,要比http协议安全, 可防止数据在传输过程中不被窃取.改变,确保数据的完整性. HTTPS是现行架构下最安全的解决方案, 虽然不是绝对安全,但它大幅增加了中间人攻击的成本. 谷歌曾在2014年8月份调整搜索引擎算法, 并称“比起同等HTTP网站,采用HTTPS加密的网站在搜索结果中的排名将会更高”. 2.ht…

今日内容: 异常处理 元类介绍 元类(通过元类中的__init__方法,改变实例化获得的类) 元类(通过元类中的__call__方法,改变实例化获得的类实例化出来的对象) 1.异常处理: 什么是异常处理? 异常:异常就是错误发出的信号,一旦程序出错就会产生一个异常,如果该异常应用程序不处理,那么异常就会被抛出来,程序也会随之终止. 异常包含三部分: 1.traceback异常的追踪信息 2.异常的信息 3.异常的类型 异常分为两大类: 语法异常:应该在程序执行前就被修改 逻辑异常 为何用异常处理…

我们经常把socket翻译为套接字,socket是在应用层和传输层之间的一个抽象层,它把TCP/IP层复杂的操作抽象为几个简单的接口供应用层调用已实现进程在网络中通信. socket起源于UNIX,在Unix一切皆文件哲学的思想下,socket是一种"打开—读/写—关闭"模式的实现,服务器和客户端各自维护一个"文件",在建立连接打开后,可以向自己文件写入内容供对方读取或者读取对方内容,通讯结束时关闭文件. 五 套接字发展史及分类 套接字起源于 20 世纪 70 年代…

顾名思义.所谓"掉落弹出层".就是出现一个弹出层,而出现的位置是从上方向下掉落.掉落到指定的位置停止,这样分析起来.和"右下角弹出提醒对话框"比起来,确有异曲同工之妙啊,一个从上向下.一个由下及上. 实现原理: 我们最好还是肢解了这个动作来看,能够大概分为这几个部分: 1.弹出弹出层,弹出层位置在屏幕上方不可见. 2.弹出层从上而下的降落: 3.弹出层到达指定位置,停止降落. 假设加上缓冲弹跳效果的话,就是四部分: 4.出现缓冲弹跳效果.直到精巧,而弹跳效果简单了说…

1. 在centos6系统里,我们可以使用ntsysv关闭不需要开机启动的服务,当然也可以使用chkconfig工具来实现. 写一个shell脚本,用chkconfig工具把不常用的服务关闭.脚本需要写成交互式的,需要我们给它提供关闭的服务名字. 参考答案#!/bin/bash#这个脚本用来关闭服务#作者:猿课-阿铭 www.apelearn.com#日期:2018-12-14 LANG=en while :do chkconfig --list 2>/dev/null|grep '3:on'…

概念 进程:进程就是一个程序在一个数据集上的一次动态执行过程 程序:代码 数据集:程序执行过程中需要的资源 进程控制块:完成状态保存的单元 线程:线程是寄托在进程之上,为了提高系统的并发性 线程是进程的实体 进程是一个资源管理单元.线程是最小的执行单元 线程和进程的关系 (1)一个线程只能属于一个进程,而一个进程可以有多个线程,但至少有一个线程.(2)资源分配给进程,同一进程的所有线程共享该进程的所有资源.(3)CPU分给线程,即真正在CPU上运行的是线程. 进程/线程切换原则:切换的操作者,操…

一.客户端/服务器架构 1.硬件c/s架构(打印机) 2.软件c/s架构 互联网中处处是c/s架构 浏览的网页就是如此 C/S架构与socket的关系 socket就是为了完成c/s架构的开发 二.socket是什么 Socket是应用层与TCP/IP协议族通信的中间软件抽象层,它是一组接口.在设计模式中,Socket其实就是一个门面模式,它把复杂的TCP/IP协议族隐藏在Socket接口后面,对用户来说,一组简单的接口就是全部,让Socket去组织数据,以符合指定的协议. 所以,我们无需深入理…

1..操作系统知识 顾名思义,进程即正在执行的一个过程.进程是对正在运行程序的一个抽象. 进程的概念起源于操作系统,是操作系统最核心的概念,也是操作系统提供的最古老也是最重要的抽象概念之一.操作系统的其他所有内容都是围绕进程的概念展开的. 所以想要真正了解进程,必须事先了解操作系统. PS:即使可以利用的cpu只有一个(早期的计算机确实如此),也能保证支持(伪)并发的能力.将一个单独的cpu变成多个虚拟的cpu(多道技术:时间多路复用和空间多路复用+硬件上支持隔离),没有进程的抽象,现代计算机将…

什么叫日志日志 是用来记录用户行为或者代码的执行过程 # import logging # logging.debug('debug message') #低级别的 排除信息 # logging.info('info message') #正常信息 # logging.warning('warning message') #告警信息 # logging.error('error message') #错误信息 # logging.critical('critical message') #高级别…

一:视图 1.视图的几种方式: (1) 第一种 from rest_framework.mixins import ListModelMixin, CreateModelMixin class PublishView(GenericAPIView, ListModelMixin, CreateModelMixin): queryset = Publish.objects.all() serializer_class = PublishSerializers def get(self, reque…

#异常与错误# 什么是异常?# 异常就是程序运行时发生错误的信号,在程序出现错误时,则会产生异常,若没有程序处理,则会抛出异常# 导致程序在异常语句处崩溃终止# Traceback 追踪异常信号:****Error 异常类:********异常值三部分构成# 错误分为语法错误(低级错误).逻辑错误(编程思维错误)# 异常就是错误引发的结果,处理的目的就是让程序在异常后跳转到其他的逻辑执行,不让程序崩溃#———————————————————————————————————————————————…