fastboot oem part-resize misc: fastboot oem part-resize recovery: fastboot oem part-resize boot: fastboot oem part-resize sboot: fastboot oem part-resize system: fastboot oem part-resize cache: fastboot oem part-resize userdata: fastboot oem part-com…
内核启动并初始化后,最终目的是像Windows一样能启动应用程序,在windows中每个应用程序都存在C盘.D盘等,而linux中每个应用程序是存放在根文件系统里面,那么挂载根文件系统在哪里,怎么实现最终目的运行应用程序? 1.内核运行应用程序步骤: 1.1首先是进入stext函数启动内核: ENTRY(stext): ... ... //启动内核 b start_kernel //跳转start_kernel() 1.2然后进入strat_kernel()初始化: asmlinkage voi…
1.在上章-移植uboot里.我们来分析下uboot是如何进入到内核的 首先,uboot启动内核是通过bootcmd命令行实现的,在我们之前移植的bootcmd命令行如下所示: bootcmd=nand read 0x30000000 kernel; bootm 0x30000000 //bootm:从0x30000000处启动内核 1.1然后我们进入cmd_bootm.c,找到对应的bootm命令对应的do_bootm(): int do_bootm(cmd_tbl_t *cmdtp, int…
随着互联网的发展,各方面的数据越来越多,从最近两年大数据越来越强的呼声中就可见一斑. 我们所做的项目虽算不上什么大项目,但是由于业务量的问题,数据也是相当的多. 数据一多,就很容易出现性能问题,而为了解决这个问题我们通常很容易想到集群.分片等. 但是在某些时候却不一定必须要用集群.分片,也可以适当的使用数据分区. 什么是分区? (以下引用自:http://wangweiak47.blog.51cto.com/2337362/1602422/) MySQL在未启用分区功能时,数据库的单个表内容是以…
0. 说明 设置分区数量 && 编写自定义分区代码 1. 设置分区数量 分区(Partition) 分区决定了指定的 Key 进入到哪个 Reduce 中 分区目的:把相同的 Key 发送给同一个 Reduce 默认 hash 分区,算法 // 返回的分区号 (key.hashCode() & Integer.MAX_VALUE) % numReduceTasks 设置分区数 job.setNumReduceTasks(3); 2. 代码编写 在 [MapReduce_1] 运行…
0. 说明 数据倾斜及解决方法的介绍与代码实现 1. 介绍 [1.1 数据倾斜的含义] 大量数据发送到同一个节点进行处理,造成此节点繁忙甚至瘫痪,而其他节点资源空闲 [1.2 解决数据倾斜的方式] 重新设计 Key(配合二次 MR 使用) 随机分区 伪代码如下: RandomPartition extends Partitioner{ return r.nextInt() } 2. 重新设计 Key 代码编写 [2.1 WCMapper.java] package hadoop.mr.datas…
记录一下分区代码: 1.建立存储过程,将原表按照时间转化为分区表,并建立当天分区 #alter table to partition table DELIMITER $$ USE `dc_log`$$ DROP PROCEDURE IF EXISTS `create_partition_today`$$ CREATE PROCEDURE `create_partition_today`(IN_SCHEMANAME VARCHAR(), IN_TABLENAME VARCHAR()) BEGIN…
第一部分 分区简述(比如国家由省市来划分) 分区:map的输出经过partitioner分区进行下一步的reducer.一个分区对应一个reducer,就会使得reducer并行化处理任务.默认为1 1. Partitioner是partitioner的基类,如果需要定制partitioner也需要继承该类. 2. HashPartitioner是mapreduce的默认partitioner.计算方法是 which reducer=(key.hashCode() & Integer.MAX_V…
作者:Syn良子 出处:http://www.cnblogs.com/cssdongl/p/6831884.html 转载请注明出处 虽然之前已经用过很多次hive的分区表,但是还是找时间快速回顾总结一下加深理解. 举个栗子,基本需求就是Hive有一张非常详细的原子数据表original_device_open,而且还在不断随着时间增长,那么我需要给它进行分区,为什么要分区?因为我想缩小查询范围,提高速度和性能. 分区其实是物理上对hdfs不同目录进行数据的load操作,0.7之后的版本都会自动…
@ 目录 问题引出 默认Partitioner分区 自定义Partitioner步骤 Partition分区案例实操 分区总结 问题引出 要求将统计结果按照条件输出到不同文件中(分区). 比如:将统计结果按照手机归属地不同省份输出到不同文件中(分区) 默认Partitioner分区 public class HashPartitioner<K,V> extends Partitioner<K,V>{ public int getPartition(K key,V value, in…
写在前面 本文将会详细记录LFS中,构建分区,构建文件系统和挂载分区的全过程 准备新硬盘 为了更加符合"从零开始构建Linux"的要求,我在虚拟机中,新建了一个磁盘 我们将会在这个新磁盘上构建所需的分区和文件系统,并对其进行挂载 创建新磁盘后,我们启动虚拟机,输入sudo fdisk -l,查看当前虚拟机磁盘的情况 复制出来的信息如下所示: 1 alphainf@ubuntu:~$ sudo fdisk -l 2 [sudo] password for alphainf: 3 Disk…
这几天对于操作系统是如何引导启动的特征的感兴趣,已经到了不能自拔的状态了,所以索性好好了解一下: 前面已经说过了,MBR对于系统启动的重要性,这是不多啰嗦:  现在介绍一个 grub ,启动管理器,它可以用于引导不同的系统: grub 是一个怎么样的引导原理? 通过我的实验,我得到的结论就是: 整个grub启动管理器其实也算是有点大的,引导扇区里是放不开的:  所以,grub会往引导扇区(可以是MBR, 也可以是每一个分区里面的引导扇区)里面写入部分内容,对于剩余的部分,它会写入到我们的硬盘分区…
版权声明:本文原创,转载需声明作者ID和原文链接地址. Hi!大家好,我是CrazyCatJack.今天给大家带来的是Linux内核启动过程概述.希望能够帮助大家更好的理解Linux内核的启动,并且创造出自己的内核^_^ Linux的启动代码真的挺大,从汇编到C,从Makefile到LDS文件,需要理解的东西很多.毕竟Linux内核是由很多人,花费了巨大的时间和精力写出来的.而且直到现在,这个世界上仍然有成千上万的程序员在不断完善Linux内核的代码.今天我们主要讲解的是Linux-2.6.22…
新入一二手X240 ,直接格式化,装archLinux. 一.引导程序安装--------------- 1.首先搞清楚什么是UEFI Under UEFI下的引导顺序 System switched on. The Power On Self Test (POST) is executed. UEFI firmware is loaded. Firmware initializes the hardware required for booting. Firmware reads the bo…
Linux内核启动过程概述 Linux的启动代码真的挺大,从汇编到C,从Makefile到LDS文件,需要理解的东西很多.毕竟Linux内核是由很多人,花费了巨大的时间和精力写出来的.而且直到现在,这个世界上仍然有成千上万的程序员在不断完善Linux内核的代码.今天我们主要讲解的是Linux-2.6.22.6这个内核版本.说句实话,博主也不确定自己能够讲好今天这个题目,因为这个题目太大太难.但是博主有信心,将自己学会的内容清楚地告诉大家,希望大家也能够有所收获. 1.启动文件head.S和hea…
一. 1.解压    tar xjf linux-2.6.22.6.tar.bz2 2.打补丁  patch -p1 < ../linux-2.6.22.6_jz2440.patch 3.配置 a. make menuconfig b. 使用默认的在上面修改 c.使用厂家的配置文件 b: find -name "*defconfig*" 在/arch/arm/configs找到相似的配置文件 xxx_defconfig make xxx_defconfig       结果是co…
http://blog.jobbole.com/71858/ 逻辑卷管理LVM是一个多才多艺的硬盘系统工具.无论在Linux或者其他类似的系统,都是非常的好用.传统分区使用固定大小分区,重新调整大小十分麻烦.但是,LVM可以创建和管理“逻辑”卷,而不是直接使用物理硬盘.可以让管理员弹性的管理逻辑卷的扩大缩小,操作简单,而不损坏已存储的数据.可以随意将新的硬盘添加到LVM,以直接扩展已经存在的逻辑卷.LVM并不需要重启就可以让内核知道分区的存在. LVM使用分层结构,如下图所示. 图中顶部,首先是…
逻辑卷管理LVM是一个多才多艺的硬盘系统工具.无论在Linux或者其他类似的系统,都是非常的好用.传统分区使用固定大小分区,重新调整大小十分麻烦.但是,LVM可以创建和管理“逻辑”卷,而不是直接使用物理硬盘.可以让管理员弹性的管理逻辑卷的扩大缩小,操作简单,而不损坏已存储的数据.可以随意将新的硬盘添加到LVM,以直接扩展已经存在的逻辑卷.LVM并不需要重启就可以让内核知道分区的存在. LVM使用分层结构,如下图所示. 图中顶部,首先是实际的物理磁盘及其划分的分区和其上的物理卷(PV).一个或多个…
Scut快速开发(2) Python脚本开发 1   开发环境 Scut Lib版本:5.2.3.2 需要安装的软件 a)        IIS和消息队列(MSMQ) 进入控制面板,程序和功能 b)        SQL Server2005 c)        VS2010开发工具 d)        Python2.6(ScutGame官网下载IronPython2.6.1 RC1 for .NET 4.0插件) 工具 a)        协议工具(目录Source\Tools\Contra…
Java之webService知识 1 webservice基础知识 1.1 webService请求的本质 一次webService本质请求,如下所示: 1.2 wsdl文档解析 wsdl文档元素结果,及相应关系如下:…
通用权限框架--web 首页 1.首页截图 2.首页views 布局分为三部分top,left,main 引入easyui和jquery的js以及相关的css 使用easyui进行布局,分区代码body设置class="easyui-layout" <body class="easyui-layout" > <div region="north"  id="">top</div> <d…
Scut游戏服务器免费开源框架--快速开发(3) Scut快速开发(3) 1        开发环境 需要安装的软件 a)        消息队列 b)        数据库,Sql2005以上版本 c)        VS2010开发工具(.Net Framework 4.0以上) 2        代码框架 项目划分三层:实体层,组件层,业务逻辑层(脚本层):模型层主要是数据实体映射,自定义缓存结构:组件层主要负责实现中层层扩展功能:业务逻辑层主要负责实现游戏功能: 2.1     数据库创…
转载请在页首明显处注明作者与出处 http://www.cnblogs.com/zhuxiaojie/p/7224772.html 一:说明 此为大数据系列的一些博文,有空的话会陆续更新,包含大数据的一些内容,如hadoop,spark,storm,机器学习等. 当前使用的hadoop版本为2.6.4 上一篇:hadoop系列二:HDFS文件系统的命令及JAVA客户端API 在下面可以看到统计一本小说(斗破苍穹)哪些词语出现了最多. 本来mapreducer只想写一篇的,可是发现写一篇太长了,所…
在描述完电路之后,我们需要进行对代码进行验证,主要是进行功能验证.现在验证大多是基于UVM平台写的systemverilog,然而我并不会sv,不过我会使用verilog进行简单的验证,其实也就是所谓的仿真.这里就来记录一下一些验证的基础吧. 一.验证基础与仿真原理 ①综合中的语法,都适用于仿真,在仿真中,Verilog语句是串行的,其面向硬件的并行特性则是通过其语义(语言含义)来实现的,因此并不会丢失代码的并行含义和特征. ②仿真的关键元素有:仿真时间.事件驱动.队列.调度等. ③仿真时间:指…
PE文件格式详解,第三讲,可选头文件格式,以及节表 作者:IBinary出处:http://www.cnblogs.com/iBinary/版权所有,欢迎保留原文链接进行转载:) 一丶可选头结构以及作用 typedef struct _IMAGE_OPTIONAL_HEADER { WORD Magic; /*机器型号,判断是PE是32位还是64位*/ BYTE MajorLinkerVersion; /*连接器版本号高版本*/ BYTE MinorLinkerVersion; /*连接器版本号…
1. 背景 某天,我在写代码的时候,无意中点开了 String hashCode 方法.然后大致看了一下 hashCode 的实现,发现并不是很复杂.但是我从源码中发现了一个奇怪的数字,也就是本文的主角31.这个数字居然不是用常量声明的,所以没法从字面意思上推断这个数字的用途.后来带着疑问和好奇心,到网上去找资料查询一下.在看完资料后,默默的感叹了一句,原来是这样啊.那么到底是哪样呢?在接下来章节里,请大家带着好奇心和我揭开数字31的用途之谜. 2. 选择数字31的原因 在详细说明 String…
刚开始写博客不足之处望大家多多指点,少一些质疑多一些帮助,我们就能成为朋友. 上一篇:<.NET程序员我是如何通过一个产品在2年内买车买房>有很多同为程序员的小伙伴们给我留言,从整体的留言中我能看到有很多迷茫的小伙伴活在上班拿工资的夹缝中,首先能挣到外快固然是好,如没有挣到还是努力把自己的事做好,成功并非都是顺理成章而是偶然,能通过从事技术这份工作抓住机会才是你职场中应该学的,比如:你的每一任老板都是一个商机,他是怎么做的你也可以这样做,为什么不能,应该是执行力不够,上一篇我也讲到过我通过自媒…
一.Maptask并行度与决定机制 1.一个job任务的map阶段的并行度默认是由该任务的大小决定的: 2.一个split切分分配一个maprask来并行处理: 3.默认情况下,split切分的大小等于blocksize大小: 4.切片不是mapper类中对单词的切片,而是对每一个处理文件的单独切片. eg.  默认情况下,一个maptask处理的文件大小为128M,比如一个400M的数据文件,就需要4个maptask并行来处理,而500M的数据文件也是需要4个maptask. 二.Maptas…
首先呢我们需要添加一个硬盘,如下所示: 接着我们需要新建一个硬盘 代码如下: mkdir /bak fdisk -l 接着我们继续第二步,分区 代码如下: fdisk /dev/sdb n   add a new partition 由于硬盘是新的,并无任意分区,所以选择创建新的分区 在上图指令列表中,我们可以看到输入n是创建新的分区 w   write table to disk and exit 输入w保持退出 结束后输入fdisk –l看看效果 接着第三步,格式化为ext4 (NTFS)…
上一篇testbench我自己也沒怎麽搞懂,再來一篇學習特權同學的方法. 課程:Lesson 7 BJ EPM240学习板实验1——分频计数实验 鏈接:https://www.youtube.com/edit?o=U&video_id=YbNEKMLUCyI  (科學上網) 前奏:創建工程,蜂鳴器code,引脚配置,編譯,等等忽略 module fp_verilog(clk, rst_n, fm); input clk;//時鐘信號,50Mhz input rst_n;//復位信號,低電平有效…