atop分析小记 atop这个工具相当NB 项目中需要用到它的磁盘使用率统计值,为了一探究竟,挖了下它的代码 atopsar atopsar实际就是atop的一个链接指向. 从atop.c的main源码可以看到 int main(int argc, char *argv[]) { char *p; if ((p = strrchr(argv[0], '/'))) p++; else p = argv[0]; if (memcmp(p, "atopsar", 7) == 0) retur…

(一)hadoop 相关安装部署 1.hadoop在windows cygwin下的部署: http://lib.open-open.com/view/1333428291655 http://blog.csdn.net/ruby97/article/details/7423088 http://blog.csdn.net/savechina/article/details/5656937 2.hadoop 伪分布式安装: http://www.thegeekstuff.com/2012/02/…

 …

Master类位置所在:spark-core_2.11-2.1.0.jar的org.apache.spark.deploy.master下的Master类 /** * driver调度机制原理代码分析Schedule the currently available resources among waiting apps. This method will be called * every time a new app joins or resource availability change…

原理图解: Master类位置所在:spark-core_2.11-2.1.0.jar的org.apache.spark.deploy.master下的Master类   //截取了部分代码 //处理Application注册的请求 case RegisterApplication(description, driver) => //如果master的状态是standby,也就是当前这个master,是standby master,不是active master //那么Application来…

aaarticlea/png;base64,iVBORw0KGgoAAAANSUhEUgAABfEAAAJwCAYAAAAp7ysfAAAAAXNSR0IArs4c6QAAAARnQU1BAACxjw…

窄依赖: Narrow Dependency : 一个RDD对它的父RDD,只有简单的一对一的依赖关系.RDD的每个partition仅仅依赖于父RDD中的一个partition,父RDD和子RDD的partition之间的对应关系是一对一的.   宽依赖 shuffle Dependency : 本质就是shuffle,每一个父RDD的partition中的数据,都可能会传输到下一个RDD的每个partition中,此时就会出现,父RDD和子RDD的partition之间,具有交互错综复杂的关…

  首先会将jar包上传到机器(服务器上)     1.在这台机器上会产生一个Application(也就是自己的spark程序)     2.然后通过spark-submit(shell) 提交程序的时候         2.1会启动一个driver(进程):spark-submit使用我们之前一直使用的那种提交模式去提交的时候,我们之前的提交模式,叫做Standalone,其实会通过反射的方式,创建和构造一个DriverActor进程出来         driver进程会执行我们的Appl…

前言 在windows 下 系统核心态程序蓝屏,会产生dump文件. 用户级程序在设置后,程序崩溃也会产生dump文件.以方便开发者用windbg进行分析. so,linux 系统也有一套这样的东东----->Linux Core Dump Linux Core Dump 引用 文章 <Linux Core Dump>  http://www.cnblogs.com/hazir/p/linxu_core_dump.html 的话: 当程序运行的过程中异常终止或崩溃,操作系统会将程序当时的…

广州PostgreSQL用户会技术交流会小记 2015-9-19 今天去了广州PostgreSQL用户会组织的技术交流会 分别有两个session 第一个讲师介绍了他公司使用PostgreSQL-X2的情况 第二个讲师介绍了PostgreSQL里面的一些执行计划分析 我个人比较关注第一个session,因为涉及到真正的应用案例 网上有对PostgreSQL-X2的简短介绍,我先转载过来 转载:http://francs3.blog.163.com/blog/static/405767272012…

     一直以来的自我感觉:自己是个记性偏弱的人.反正从小读书就喜欢做笔记(可自己的字写得巨丑无比,尼玛不科学呀),抄书这事儿真的就常发生俺的身上. 因为那时经常要背诵课文之类,反正为了怕自己忘记,所以一边抄书一边背书.延伸到现在就变成做读书笔记,把书中喜欢的段落和句子都记录下来,偶尔穿插自己的感受,所以读书小记是我的最爱,不过只有好书才值得这么做(遇到一本好书本身就是件幸福的事情,且读且珍惜).      PS:我会告诉你其实笔记在某些关键时刻就变身为“小超”木 :)        在未婚之…

上篇文章 小记了: 关于 Poco::TCPServer框架 (windows 下使用的是 select模型) 学习笔记. http://www.cnblogs.com/bleachli/p/4352959.html 这儿继续学习下,poco在linux 下用cmake 编译. 从文档开始编译出错 从poco的 README 文件上可知: " BUILDING ON UNIX/LINUX/MAC OS X=============================== For building o…

引言 Linux以其稳定性,越来越多地被用作服务器的操作系统(当然,有人会较真地说一句:Linux只是操作系统内核:).但使用了Linux作为底层的操作系统,是否我们就能保证我们的服务做到7*24地稳定呢?非也,要知道业务功能是由系统上跑的程序实现的,要实现业务功能的稳定性,选择Linux只是迈出的第一步,我们更多地工作是不让业务程序成为稳定性的短板. 当我们的服务器出现问题的时候,外在的表现是业务功能不能正常提供,内在的原因,从程序的角度看,可能是业务程序的问题(程序自身的bug),也可能是服…

5259月228日,在大连理工的伯川图书馆举办了一次HTML5峰会,小记一下这次峰会的内容. 名为HTML5峰会,其本质就是一次各大赞助商的轮番登场,产品介绍间隙插播一下HTML5.但是并不影响这次峰会的对我的影响,我们知道native的东西我们其实可以通过网络书籍晓得,但是和各个产品经理的交流,听听他对于动态的分析,对于产品的解读则是只有会场才能感受到的. 首先是微软的梁建(音)介绍了一下IE11的情况,IE11支持W3C几乎全部的标准,这里我终于感到IE走上了正途,此前版本都是微软自己来玩,…

this小记 太久没有研究底层的js相关,今晚差点被紫红爸爸上课了. 正题 var net=new Object(); //定义一个全局变量net net.AjaxRequest=function(url,onload,onerror,method,params){//创建一个构造函数 this.req=null; this.onload=onload; this.onerror=(onerror) ? onerror : this.defaultError; this.loadDate(url…

原文:js 正则学习小记之匹配字符串优化篇 昨天在<js 正则学习小记之匹配字符串>谈到 个字符,除了第一个 个,只有 个转义( 个字符),所以 次,只有 次成功.这 次匹配失败,需要回溯后用 [^"] 才能匹配成功,当然最后一个 " 会直接匹配成功. 很明显,正常的字符串不可能全是转义,正常的字符串才是主流,当然不排除有人故意全转义的情况.所以这个正则需要次回溯后才能匹配完成,如果字符串增长到 1K 1M 肿么破呢?所以我们要修改下这个正则,前后换下位置么?难道是 /&q…

一.绪论 所谓的JAVA序列化与反序列化,序列化就是将JAVA 对象以一种的形式保持,比如存放到硬盘,或是用于传输.反序列化是序列化的一个逆过程. JAVA规定被序列化的对象必须实现java.io.Serializable这个接口,而我们分析的目标ArrayList同样实现了该接口. 通过对ArrayList源码的分析,可以知道ArrayList的数据存储都是依赖于elementData数组,它的声明为: transient Object[] elementData; 注意transient修饰…

爬虫小记 学习玩python正则之后,想利用正则知识学学网络爬虫. 需求分析 按照自己平时浏览的网页,留意下哪个网页的信息对自己有价值,分析要爬取哪些网页信息.这里我先爬取简单的静态网页,豆瓣网经典电影排名及详细信息. 爬取目标信息:排名,电影名,导演,评分,评价人数 具体步骤 设计下载html网页的函数 设计正则规则 存储爬取信息 #!/usr/bin/env python #coding:utf8 import requests import re import json def downl…

最近朋友面试被问到了 JS 闭包的问题,本人一时语塞,想起了袁华的一句话:“这道题太难了,我不会做,不会做啊!”. JS 闭包属于面向对象的一个重要知识点,特此本人又开始了一段说走就走的旅程. 闭包就是外层函数的作用域(AO)对象被内层函数所引用,无法被释放. 上面那句话听起来可能不是很理解,本人在之前写过一篇 <Python 闭包小记 >的关于 Python 闭包的一些知识的文章,里面写了百度百科对于闭包的理解,虽然由于才疏学浅大部分都是引用的他人的知识架构,但语言这种东西都是相通的,我们不…

[转]一文掌握 Linux 性能分析之内存篇 前面我们已经学习了 CPU 篇,这篇来看下内存篇. 01 内存信息 同样在分析内存之前,我们得知到怎么查看系统内存信息,有以下几种方法. 1.1 /proc/meminfo 这个文件记录着比较详细的内存配置信息,使用 cat /proc/meminfo 查看. 我们比较关心的是下面几个字段: MemTotal:系统总内存,由于 BIOS.内核等会占用一些内存,所以这里和配置声称的内存会有一些出入,比如我这里配置有 2G,但其实只有 1.95G 可用.…

本文首发于我的公众号 Linux云计算网络(id: cloud_dev),专注于干货分享,号内有 10T 书籍和视频资源,后台回复「1024」即可领取,欢迎大家关注,二维码文末可以扫. 前面我们已经学习了 CPU 篇,这篇来看下内存篇. 01 内存信息 同样在分析内存之前,我们得知到怎么查看系统内存信息,有以下几种方法. 1.1 /proc/meminfo 这个文件记录着比较详细的内存配置信息,使用 cat /proc/meminfo 查看. 我们比较关心的是下面几个字段: MemTotal:系…

前言 Contour 是一款比较优秀的编剧辅助软件,按理说这篇文章应该归类到mac小记中,但其操作非常简单,基本上以写作提示为主.只怪所有提示都是英语,而且很多,每次使用打开 Contour 个别单词都要重新查字典,于是决心花点时间整理和背诵,既学了单词又学了编剧,一举多得. Ideas && Guide 其实在 Contour 中有一点比较遗憾,类别名都是英语,而且不可更改,这在创作主体是中文的情况下有点别扭.先说Ideas吧, 这可以说是一个灵感库,经常想忘记的单词是:Concept…

@20119-01-29 [小记] STM32擦除内部FLASH时间过长导致IWDG复位分析…

临时处理一个Numpy的二进制文件,分析知道里面是dict类型,简单小记一下,如果Numpy和Python基础不熟悉可以看我之前写的文章 In [1]: %%time import numpy as np   Wall time: 135 ms In [2]: %%time import pandas as pd   Wall time: 351 ms In [3]: %%time df = pd.DataFrame(np.load("data.npy")) # 通过narry创建Da…

引言 Linux以其稳定性,越来越多地被用作服务器的操作系统(当然,有人会较真地说一句:Linux只是操作系统内核:).但使用了Linux作为底层的操作系统,是否我们就能保证我们的服务做到7*24地稳定呢?非也,要知道业务功能是由系统上跑的程序实现的,要实现业务功能的稳定性,选择Linux只是迈出的第一步,我们更多地工作是不让业务程序成为稳定性的短板. 当我们的服务器出现问题的时候,外在的表现是业务功能不能正常提供,内在的原因,从程序的角度看,可能是业务程序的问题(程序自身的bug),也可能是服…

原文链接https://www.cnblogs.com/zhouzhendong/p/AtCoder-Grand-Contest-from-1-to-10.html 考虑到博客内容较多,编辑不方便的情况,我决定把做题小记拆开写. 题解中的低级错误请指出,但是由于这里写的都是简要题解,所以具体细节就不要问我了. 咕咕咕 AGC009E 突然发现 AGC001F 怎么没做 AGC001 D 出现奇数的个数大于2时一定无解(构造图,从图的连通性方面考虑).然后,如果有奇数,把他们放到头尾,然后 b 数…

[时间:2018-03] [状态:Open] [关键词:linux, 进程,proc,top] 0 引言 最近在分析安卓程序上的monkey测试日志时发现,需要了解下Linux进程资源占用情况及其查看方法.之前在windows上有ProcessExplorer可以直接查看,在Linux下就没这么方便了,只能通过命令行来查看. 所以本文的目标就在于:在你知道你要分析的进程名之后,通过命令行工具读取进程的PID.CPU占用情况.内存占用情况.已打开文件描述符.网络情况. 1 找到进程PID 目前使用…

logstash 学习小记 标签(空格分隔): 日志收集 Introduce Logstash is a tool for managing events and logs. You can use it to collect logs, parse them, and store them for later use (like, for searching). – http://logstash.net 自从2013年logstash被ES公司收购之后,ELK stask正式称为官方用语.非…

什么是JPA JPA之于ORM(持久层框架,如MyBatis.Hibernate等)正如JDBC之于数据库驱动. JDBC是Java语言定义的一套标准,规范了客户端程序访问关系数据库(如MySQL.Oracle.Postgres.SQLServer等)的应用程序接口,接口的具体实现(即数据库驱动)由各关系数据库自己实现. 随着业务系统的复杂,直接用JDBC访问数据库对开发者来说变得很繁琐,代码难以维护,为解决此问题,ORM(Object Relation Mapping)框架出现了,如MyBat…

算法-动态规划DP小记 动态规划算法是一种比较灵活的算法,针对具体的问题要具体分析,其宗旨就是要找出要解决问题的状态,然后逆向转化为求解子问题,最终回到已知的初始态,然后再顺序累计各个子问题的解从而得到最终问题的解. 关键点就是找到状态转移方程和初始边界条件,说白了就是要找到"递推公式"和初始值,然后计算时保存每一步中间结果,最后累加判断得到结果. 0.求数组最值 求数组最值方法很多,这里使用动态规划的思想来尝试处理,以便更好地理解DP的思想.为了方便这里假设数组a[i]大小为n,要找…