Spark Streaming揭秘 Day35 Spark core思考 Spark上的子框架,都是后来加上去的.都是在Spark core上完成的,所有框架一切的实现最终还是由Spark core来做的.抛开任何具体的东西,现在考虑下Spark core是个什么东西. 解析rdd 程序就是数据+代码.所以首先,我们需要考虑spark core由什么数据结构构成,一共就三种:rdd,broadcast,accumulator,最重要.最核心的是rdd. rdd可以简单的认为是一个数组,只不过是一…

Activity是如何挂载Pargment的Day35 mebile5.0 1.Fragment优化早上任务 思路 一个主Activity 短信群发器 中秋给朋友发短信,都能够加上他们的姓名,这样他们就不知道是群发的了. 查询到所有手机所有联系人. 问题堆栈 1. 添加动画.给4个点. 2. Activity是如何挂载Pargment的, 的. onAttach()当fragment被加入到Activity时调用. onCreatView()当Avtivity想要得到fragement的layo…

一.TCP协议 粘包现象 和解决方案 黏包现象让我们基于tcp先制作一个远程执行命令的程序(命令ls -l ; lllllll ; pwd)执行远程命令的模块 需要用到模块subprocess subprocess通过子进程来执行外部指令,并通过input/output/error管道,获取子进程的执行的返回信息. import os import subprocess ret = os.popen('dir').read() print(ret) print('*'*50) ret = sub…

爬虫概要 - pip3 install requests - pip3 install beautifulsoup4 基本爬虫: - Python实现浏览器行为,requests - beautifulsoup4,对Html内容进行分析 - Http相关知识: - cookie csrf 请求头 性能相关: - 线程池 - 进程池 - 异步非阻塞, - (异步=回调,非阻塞=不等待)遇到IO请求不等待,继续执行其他任务,如果IO请求响应内容回来了,自动回调执行某个函数 - 协程 - twiste…

day35 进程:生产者消费者模型 编程思想,模型,设计模式,理论等等,都是交给你一种编程的方法,以后你遇到类似的情况,套用即可 生产者消费者模型的三要素 生产者:产生数据的 消费者:接收数据做进一步处理的 容器:盆(队列) 队列容器起到什么作用? 起到缓冲的作用,平衡生产力与消费力,解耦 from multiprocessing import Process from multiprocessing import Queue import time import random def prod…

day35 守护进程.互斥锁.IPC 1.守护进程 # 守护进程:当父进程执行完毕后,设置的守护进程也会跟着结束# 当一个进程被设置为守护进程后,其不能再产生子进程​ from multiprocessing import Process import time ​ def test(): print("妃子入宫了") time.sleep(5) print("子进程挂了") ​ if __name__ == '__main__': p = Process(targ…

day35前端基础之BOM和DOM BOM操作 简介 BOM(Browser Object Model)是指浏览器对象模型,它使 JavaScript 有能力与浏览器进行"对话". DOM (Document Object Model)是指文档对象模型,通过它,可以访问HTML文档的所有元素. window的子对象 一.window的子对象:navigator对象 navigator.appName # Web浏览器全称 navigator.appVersion # Web浏览器厂商和…

在您开始建立自己的,感觉应该先录一个概念:内核的浏览器. 兼容性问题之前多次提及,而在平时经常会遇到兼容性问题.原因,就在于它:浏览器内核.这是比較通俗的说法,事实上应该把它描写叙述的专业点:Rendering Engine解释引擎.它负责网页语法进行解释,并对其内容和格式进行渲染(就是显示,用个词就感觉专业好多),而不同浏览器内核对网页语法的解释是不同的,就造成了所谓的"兼容问题". 这里不多谈兼容的问题.但明确其原因.知晓其解决的一些办法就好了,而解决的最好办法就是,针对不同的内核…

一.数据库管理系统DBMS 软件,存储数据 认证,授权,限制 SqlServer --- 微软(收费) Oracle,sqlite,access...MySQL 服务端和客户端 想要使用MySQL来存储并操作数据,则需要做几件事情: a. 安装MySQL服务端 b. 安装MySQL客户端 b. [客户端]连接[服务端] c. [客户端]发送命令给[服务端MySQL]服务的接受命令并执行相应操作(增删改查等) 二.MySQL安装 WIN版本安装: 1.下载:http://dev.mysql.com…

今日内容: 1. 代码: 简易版socketsever 2.数据库(mysql)简单介绍和分类介绍 3.mysql root修改密码 4.修改字符集编码 5.初识sql语句 1.简易版socketsever import socket from threading import Thread class MySocket: def __init__(self,sever_addr): self.sever_addr=sever_addr self.socket=socket.socket() #…