Spark Streaming揭秘 Day27 Job产生机制 今天主要讨论一个问题,就是除了DStream action以外,还有什么地方可以产生Job,这会有助于了解Spark Streaming的本质. 我们从一个print方法触发,来看一下常用的action操作方式: 传统流程 一般来说,产生Job需要DStream的action操作,比如print方法 第一步,在print方法中,返回了一个ForeachDStream 第二步,在ForeachDStream中,通过被DStreamGr…

python 之路,Day27 - 主机管理+堡垒机系统开发   本节内容 需求讨论 构架设计 表结构设计 程序开发 1.需求讨论 实现对用户的权限管理,能访问哪些机器,在被访问的机器上有哪些权限 实现可以通过web页面对指定主机列表 进行 批量发布命令.文件 实现对用户操作进行纪录 2.架构设计 3. 表结构设计 参考 http://www.cnblogs.com/alex3714/articles/5286889.html   分类: Python自动化开发之路   好文要顶 关注我 收藏该…

27.01 反射(类的加载概述和加载时机) 1.类的加载 当程序要使用某个类时,如果该类还未加载到内存中,系统会通知加载,连接,初始化三步来实现对这个类初始化 a.加载 是指将.class文件读入内存中,并创建一个class对象.任何类被使用时系统都会建立一个class对象 b.连接 验证:是否有正确的内部结构,并和其他类协调一致 准备:负责为类的静态成员分配内存,并设置默认初始化值 解析:将类的二进制数据中的符号引用替换为直接引用   c.初始化 2.加载时机 创建类的实例 访问类的静态变量,…

课程目录:deleteactionpop up window嵌入crm项目 权限(未讲)学员交作业发邮件 代码路径:https://github.com/liyongsan/git_class/tree/master/day27/LuffyCRM 权限预习:http://www.cnblogs.com/alex3714/articles/6661911.html…

day27 面向对象的总结 异常处理 错误的分类 语法错误 if if 2>1 print(222) dic = {"name"; "alex"} 逻辑错误 num = int(input("请输入数字")) dic = {"name": "海狗", "age": 18} dic["hobby"] 什么是异常? 代码发生异常错误之后,你的程序就中断了 异常处理?…

day27 面向对象 目录 day27 面向对象 一.面相对象介绍 1 什么是对象 2 类于对象 二.实现面向对象编程 1 先定义类 2 属性访问 2.1 调用dict方法 2.2 类.属性 3 调用类产生对象 4 对象的自定义属性 5 类的函数和对象的绑定方法 扩展:python中万物皆对象 一.面相对象介绍 1 什么是对象 面相对象是一种编程思想,而对象的核心就是把程序'整合' 定义:对象是一种'容器',用来盛放数据(变量)与功能(函数) 2 类于对象 定义:类也是一种容器,用来存放同类别对…

目录 认识异常处理 1.程序错误的种类    2.异常的分类 3.AssertionError(断言assert语句失败) 异常处理的基本语法 1.异常处理的基本语法 2.带有分支的异常处理 3.处理迭代器异常错误 异常处理的其他写法 1.try ... finally ... 2.try ... except ... else ... 3.try ... except ... else ... finally ... raise:主动抛出异常 1.关于raise你需要知道 2.raise的基本…

理解RESTful架构 越来越多的人开始意识到,网站即软件,而且是一种新型的软件. 这种"互联网软件"采用客户端/服务器模式,建立在分布式体系上,通过互联网通信,具有高延时(high latency).高并发等特点. 网站开发,完全可以采用软件开发的模式.但是传统上,软件和网络是两个不同的领域,很少有交集:软件开发主要针对单机环境,网络则主要研究系统之间的通信.互联网的兴起,使得这两个领域开始融合,现在我们必须考虑,如何开发在互联网环境中使用的软件. RESTful架构,就是目前最流行…

选课系统 作业要求 角色:学校.学生.课程.讲师 要求: 1. 创建北京.上海 2 所学校 ----> 创建学校 2. 创建linux , python , go 3个课程 , linux\py 在北京开, go 在上海开 ---> 创建课程.课程绑定给学 3. 管理员 创建学校,老师,课程 ---> 管理员功能 4. 课程包含课程名称(周期,价格等属性) ---> 课程信息 5. 学校包含学校名称,地址等属性 ----> 学校的信息 6. 创建 老师角色 要关联学校 ---…

1, # 面向对象的三大特性:继承,多态和封装 # 继承: # 单继承: **** # 父类(超类,基类) # 子类(派生类) 派生方法和派生属性 # 子类的对象在调用方法和属性:先用自己的,自己没有,采用父类的 # 多继承:(面试) # 不会超过三个父类,不要超过三层 *** # 如果子类自己有用自己的,如果没有就用离子类最近的那个父类的 # 抽象类和接口类 ** # 经典类和新式类 继承规则不同,深度优先和广度优先 ***** (面试) # super 只有在python3中使用 mro *…

socketserver模块源码中没找到get_request()的方法,原因???? 服务器端-------------------------------------------------- import socketserver class MyServer(socketserver.BaseRequestHandler): # 定义一个类,必须要继承括号中的类 def handle(self): # 这个方法名字只能是这个,因为父类中也有这个方法,此处是重写这个方法的. # while…

面向对象所有内容回顾: # 面向对象 # 类 :一类具有相同属性和方法的事物 #类的定义:class #类中可以定义的方法种类: #普通方法 self 对象 #类方法 cls @classmethod 类/对象 #静态方法 @staticmethod 类/对象 #属性方法 self @property 对象 #私有方法 self __方法名 self/cls #类中可以定义的属性: 静态属性 类 # 对象 #实例化 : 类名() #创造对象 #初始化对象 __init__ #返回一个对象 #对象…

这次介绍一下List接口的另一个践行者——LinkedList,这是一位集诸多技能于一身的List接口践行者,可谓十八般武艺,样样精通,栈.队列.双端队列.链表.双向链表都可以用它来模拟,话不多说,赶紧一起来看看吧. 本篇将从以下几个方面对LinkedList进行解析: 1.LinkedList整体结构. 2.LinkedList基本操作使用栗子. 3.LinkedList与ArrayList的对比分析. 4.LinkedList整体源码分析. LinkedList整体结构 先来看看Linked…

广义上的面向对象的封装: 代码的保护,面向对象思想本身就是一种封装 只让自己的对象调用自己类的方法 狭义的封装: 面向对象的三大特性之一,其他两个是继承和多态. 属性和方法都可以藏起来不让你看到 class Person : __key = 123 # 私有静态属性 def __init__(self,name,passwd): self.name = name self.__passwd = passwd # 加__变成私有属性 def get_pwd(self): print(self.__…

# 没有使用super的时候的多继承,如果父类的名字变了.或者有什么更改,需要全部都一起改 class FooParent: def bar(self, message): print(message) class FooChild(FooParent): def bar(self, message): FooParent.bar(self, message) # 如果FooParent 改成 BooParent 这也要要改 FooChild().bar("Hello, Python."…

简单来说:多态就是指一个相同的方法名在不同的对象调用的时候实现一样或者不一样的方法实例1: 动物类有个方法 "嚎叫" 狗类也有个方法 "嚎叫" 猫类继承了动物类也可以调用 "嚎叫" 狗调用"嚎叫"和猫调用"嚎叫"有什么区别呢? 有区别: 两个嚎叫的内存地址是不一致的, 实现效果也会根据各自的定义不一致而实现效果不同 当然你如果定义了相同的实现效果可以实现一致 但是这并不影响猫类还是狗类都可以调用"…

一.复习 看下面一段代码,假如运行结果有问题,那么就需要在每一步计算时,打印一下结果 b = 1 c = 2 d = 3 a = b+c print(a) e = a + d print(e) 执行输出: 36 但是线上的程序,是不允许随便print的,这个时候,就需要用到logging模块 import logging logging.basicConfig(level=logging.DEBUG,filename = 'userinfo.log') b = 1 c = 2 d = 3 a =…

2018-07-23  08:43:17…

今日主要内容: 一.网络通信协议 二.tcp udp协议下的socket 一.网络通信协议 1.1互联网的本质就是一系列的网络协议 本机IP地址('127.0.0.1',xxxx) 互联网连接的电脑互相通信的是电信号, 互联网协议的功能: 定义计算机如何接入Internet ,以及接入Internet的计算机通信的标准. 1.2 osi七层协议 互联网协议按照功能不同分为osi七层或tcp/udp五层或tcp/ip四层 socket 在五层通讯的应用层和传输层之间(又叫socket抽象层) so…

元类补充 class MyMeta(type): # 用于新建类对象 def __new__(cls,*args,**kwargs) print(MyMeta) print(*args) # 调用type通过的__new__方法来创建一个空的类对象,已经将类的三个组成部分都放到类对象中了 res=type.__new__(cls,*args,**kwargs) def __init__(self,class_name,bases,namespace): print('init run') pri…

使用内省方式来实现beanUtils往对象里面存值 public class BeanInfoUtil2 { public static void setPropertyByIntrospector(Object userInfo, Map<String,Object> map) throws Exception { //map key=name value=value BeanInfo beanInfo = Introspector.getBeanInfo(userInfo.getClass…

内省 内省:底层是使用反射机制实现的,是对于反射的进一步封装. 反射:通过类名来获取类中的所有属性和方法及类中的所有隐藏的方法. 内省:通过一个标准类(javabean类)来获取bean中的字段.get/set方法. JavaBean:就是一个满足了特定格式的Java类: * 需要提供无参数的构造方法: * 属性私有 * 对私有的属性提供public的get/set方法. 创建一个Student标准类 public class Student { private String name; pri…

第04天 java基础加强 今日内容介绍 u Xml的综合案例 u 注解 u 类的加载 u 动态代理 第1章   注解 1.1  注解概述 l  什么是注解:Annotation注解,是一种代码级别的说明.它是JDK1.5及以后版本引入的一个特性,与类.接口.枚举是在同一个层次 n  对比注释:注释是给开发人员阅读的,注解是给计算机提供相应信息的. l  注解的作用: 编译检查:通过代码里标识注解,让编译器能够实现基本的编译检查.例如:@Override 代码分析:通过代码里标识注解,对代码进行…

1.浏览器缓存? 浏览器缓存分为强缓存和协商缓存.当客户端请求某个资源时,获取缓存的流程如下: 先根据这个资源的一些 http header 判断它是否命中强缓存, 如果命中,则直接从本地获取缓存资源,不会发请求到服务器: 当强缓存没有命中时,客户端会发送请求到服务器, 服务器通过另一些request header验证这个资源是否命中协商缓存,称为http再验证, 如果命中,服务器将请求返回,但不返回资源, 而是告诉客户端直接从缓存中获取,客户端收到返回后就会从缓存中获取资源: 强缓存和协商缓存…

logging模块 函数式简单配置 import logging logging.debug('debug message') logging.info('info message') logging.warning('warning message') logging.error('error message') logging.critical('critical message') 默认情况下Python的logging模块将日志打印到了标准输出中,且只显示了大于等于WARNING级别的日…

反射(类的加载概述和加载时机) 反射(类加载器的概述和分类) 反射(反射概述) 反射(Class.forName()读取配置文件举例) 反射(通过反射获取带参构造方法并使用) 反射(通过反射获取成员变量并使用) 反射(通过反射获取方法并使用) 反射(通过反射越过泛型检查) 反射(通过反射写一个通用的设置某个对象的某个属性为指定的值) 反射(练习) 反射(动态代理的概述和实现) 设计模式(模版(Template)设计模式概述和使用) JDK5新特性(自己实现枚举类) JDK5新特性(通过enum实…

1.API验证分析 API三关验证 客户端和服务端中都存放一份相同的随机字符串,客户端发请求的时候把随机字符串和当前时间进行MD5加密,同时带着当前时间通过请求头发送到API,进入三关验证. 第一关是时间验证 (验证服务器当前时间和客户端发送过来的时间,超过10s后,验证不通过)第二关是MD5规则验证(服务端把自己的密钥同客户端发送过来的时间进行MD5加密,进行密文的比较)第三关是访问列表验证(从访问列表中查询是否存在,如果存在,验证不通过,否则把当前值存到列表中,并设置超时时间),这里的时间可…

一.错误和异常 part1: 1.语法错误(这种错误,根本过不了python解释器的语法检测,必须在程序执行前就改正) #语法错误示范一 if #语法错误示范二 def test: pass #语法错误示范三 print(haha 语法错误 语法错误 2.逻辑错误(逻辑错误) #用户输入不完整(比如输入为空)或者输入非法(输入不是数字) num=input(">>: ") int(num) #无法完成计算 res1=1/0 res2=1+'str' 逻辑错误 逻辑错误 pa…

1.   粘包现象 先了解一个词MTU MTU是Maximum Transmission Unit的缩写.意思是网络上传送的最大数据包.MTU的单位是字节. 大部分网络设备的MTU都是1500个字节,也就是1500B.如果本机一次需要发送的数据比网关的MTU大,大的数据包就会被拆开来传送,这样会产生很多数据包碎片,增加丢包率,降低网络速度 超出缓冲区大小会报下面的错误,或者udp协议的时候,你的一个数据包的大小超过了你一次recv能接受的大小,也会报下面的错误,tcp不会,但是超出缓存区大小的时…

复习 class 类名(父类,父类2): 静态属性 = '' #静态属性 类属性 def __init__(self): #初始化方法 self.name = 'alex' def func(self): print(self,age) #动态属性 方法对象 = 类名()对象.方法名()对象.属性名对象.name对象.age = 18对象.func()组合:表达的是什么有什么 ***** 一个类的属性是另外一个类的对象命名空间:类和对象分别存在不同的命名空间中面向对象的三大特性:继承.多态.封装…