Google服务器架构图解简析

无疑是互联网时代最闪亮的明星.截止到今天为止,Google美国主站在Alexa排名已经连续3年第一,Alexa Top100中,各国的Google分站竟然霸占了超过20多个名额,不得不令人感叹Google的强大.不论何时,不论何地,也不论你搜索多么冷门的词汇,只要你的电脑连接互联网,只要你轻轻点击"google搜索",那么这一切相关内容google都会在1秒钟之内全部搞定,这甚至比你查询"我的文档"都要快捷.这也就是为什么Google创业12年,市值超过2000亿美…

从网络架构方面简析循环神经网络RNN

一.前言 1.1 诞生原因在普通的前馈神经网络(如多层感知机MLP,卷积神经网络CNN)中,每次的输入都是独立的,即网络的输出依赖且仅依赖于当前输入,与过去一段时间内网络的输出无关.但是在现实生活中,许多系统的输出不仅依赖于当前输入,还与过去一段时间内系统的输出有关,即需要网络保留一定的记忆功能,这就给前馈神经网络提出了巨大的挑战.除此之外,前馈神经网络难以处理时序数据,比如视频.语音等,因为时序数据的序列长度一般是不固定的,而前馈神经网络要求输入.输出的维度都是固定的,不能任意改变.出于这两…

hive架构原理简析-mapreduce部分

整个处理流程包括主要包括,语法解析(抽象语法树,AST,采用antlr),语义分析(sematic Analyzer生成查询块),逻辑计划生成(OP tree),逻辑计划优化,物理计划生成(Task tree),以及物理计划执行组成. 下面这张图(不知道是谁画的)简要的说明了整个处理的流程这里重点说一下物理计划生成,以及执行. 物理计划的生成是根据逻辑操作树(operator)来生成的,物理计划由Task对象执行的,每个task有一个woker对象,work代表物理计划的描述. 主要有Fetc…

[转帖]简析数据中心三大Overlay技术

简析数据中心三大Overlay技术 http://www.jifang360.com/news/20161010/n225987768.html 搭建大规模的云计算环境需要数据中心突破多种技术难题,其中虚拟化是云计算最为显著的特征.要满足虚拟机在数据中心任意网络位置之间都可以无感知迁移,就需要引入一些新的网络技术,Overlay技术就是在这样的背景下产生的.Overlay技术指的是一种网络架构上叠加的虚拟化技术模式,其大体框架是对基础网络不进行大规模修改的条件下,实现应用在网络上的承载,并能与其…

Linux VFS机制简析（一）

Linux VFS机制简析(一) 本文主要基于Linux内核文档,简单分析Linux VFS机制,以期对编写新的内核文件系统(通常是给分布式文件系统编写内核客户端)的场景有所帮助. 个人渊源切入正文之前先扯点别的,舰队我在04年刚接触Linux时就深入分析了VFS,当时刚毕业入职一家做NAS存储的公司,需要对VFS.block device.MD等内核模块深入了解.时隔10几年之后的今天,因给一个分布式文件系统做内核客户端,重拾VFS发现一切还是熟悉的味道.这十几年过去了,内核版本从2.6到4…

简析 .NET Core 构成体系

简析 .NET Core 构成体系 Roslyn 编译器 RyuJIT 编译器 CoreCLR & CoreRT CoreFX(.NET Core Libraries) .NET Core 代码开发.部署.运行过程总结前文介绍了.NET Core 在整个.NET 平台所处的地位,以及与.NET Framework的关系(原文链接),本文将详细介绍.NET Core 框架的构成和各模块主要功能,以及如何实现跨平台. 上图描述了 .NET Core的系统构成,最上层是应用层,是开发基于UI应用的…

zxing二维码扫描的流程简析（Android版）

目前市面上二维码的扫描似乎用开源google的zxing比较多,接下去以2.2版本做一个简析吧,勿喷... 下载下来后定位两个文件夹,core和android,core是一些核心的库,android是针对android的一些代码. 我们先看核心库,在package com.google.zxing中的一些生成二维码的类关系接口Writer里面有两个encode的重载函数,不同的格式的二维码有各自的类实现了Writer接口,MultiformatWriter类比较特殊,根据代码的注释可见其其实是…

简析TCP的三次握手与四次分手【转】

转自简析TCP的三次握手与四次分手 | 果冻想http://www.jellythink.com/archives/705 TCP是什么? 具体的关于TCP是什么,我不打算详细的说了:当你看到这篇文章时,我想你也知道TCP的概念了,想要更深入的了解TCP的工作,我们就继续.它只是一个超级麻烦的协议,而它又是互联网的基础,也是每个程序员必备的基本功.首先来看看OSI的七层模型: 我们需要知道TCP工作在网络OSI的七层模型中的第四层——Transport层,IP在第三层——Network层,AR…

AFNetworking封装思路简析

http://blog.csdn.net/qq_34101611/article/details/51698473 一.AFNetworking的发展 1. AFN 1.0版本 AFN 的基础部分是 AFURLConnectionOperation,一个 NSOperation 子类,实现了基于NSURLConnection 相关的delegate+blocks,网络部分是由 NSURLConnection 完成,然后利用 NSOperation 的 state(isReady→isExecu…

无服务器架构(Faas/Serverless)

摘要无服务器架构(Faas/Serverless),是软件架构领域的热门话题. AWS,Google Cloud和Azure - 在无服务器上投入了大量资金,已经在看到了大量专门针对Faas/Serverless的文章.书籍,开源项目,会议. 但什么是无服务器,为什么(或不是)值得考虑? 文章参考文末链接很多,网上也能找到文章粗糙的翻译(也许因为文章实在太长了吧)原文中有些内容也不是很新,结合一些个人理解,希望能够对这些问题进行一些启发讨论. 1. What is Serverless?无服务器…

PHP单一文件入口框架简析

<?php /** * PHP单一文件框架设计简析 * 1.MVC架构实现 * 2.URL路由原理 */ //URL路由原理 /** * 路由作用 * 获取url中的c和a变量,执行c类对应的方法a,实现不同的路由 */ class App { public $c; public $a; public function run() { $c = isset($_GET['c']) ? $_GET['c'] : "Index"; //url提供类名字的变量名 $a = isset(…

Linux 目录结构学习与简析 Part2

linux目录结构学习与简析 by:授客 QQ:1033553122 ---------------接Part 1-------------- #1.查看CPU信息 #cat /proc/cpuinfo processor : 0 #每个逻辑cpu 唯一编号0-N,编号到N则说明有N个逻辑CPU vendor_id : GenuineIntel #CPU制造商标,GenuineIntel表因特尔处理器 cpu family : 6 #CPU厂家生产的…

Linux 目录结构学习与简析 Part1

linux目录结构学习与简析 by:授客 QQ:1033553122 说明: / linux系统目录树的起点 =============== /bin User Binaris,存放二进制可执行文件,系统所有用户使用的linux命令,如ls,ps =============== /sbin System Binaries 存放二进制可执行文件,与/bin不同,这里的命令只有系统管理员才可用,如reboot /sbin/shadowconfig 影子口令…

Linux 磁盘分区方案简析

Linux 磁盘分区方案简析 by:授客 QQ:1033553122 磁盘分区任何硬盘在使用前都要进行分区.硬盘的分区有两种类型:主分区和扩展分区.一个硬盘上最多只能有4个主分区,其中一个主分区可以用一个扩展分区来替换.也就是说主分区可以有1~4个,扩展分区可以有0-1个,而扩展分区中可以划分出诺干个逻辑分区. 目前常用的硬盘主要有两大类:IDE接口硬盘和SCSI接口硬盘.IDE接口的硬盘读写速度比较慢,但价格相对便宜,家用PC常用的硬盘类型.SCSI接口的硬盘读写速度比较快,但价格相对较…

[Spring] 学习Spring Boot之一：基本使用及简析

一.简介使用 Spring Boot 目的主要是用来简化 Spring 应用的搭建及开发过程,因为使用 Spring 及 SpringMVC 框架时需要手动配置的地方非常多(各种包之间的依赖.各种配置).有一句话叫“约定大于配置”,即有些地方应该设置合理的默认值,减少手动配置,而使用 Spring Boot 可以让 Spring 项目只需要很少的配置就能运行. 另外 Spring Boot 内嵌了 Web 服务器 (Tomcat/Jetty) 的可执行框架,即项目不需要打成 war 包部署到…

XMR恶意挖矿案例简析

前言数字货币因其技术去中性化和经济价值等属性,逐渐成为大众关注的焦点,同时通过恶意挖矿获取数字货币是黑灰色产业获取收益的重要途径.本文简析通过蜜罐获取的XMR恶意挖矿事件:攻击者通过爆破SSH获取系统权限,配置root用户免密登录,并下载及执行XMR 挖矿程序,及XMR 网页挖矿程序.XMR挖矿程序耗肉鸡CPU/GPU资源,网页挖矿程序耗访问肉鸡服务器JS 网页的客户端资源 . 2018年10月11日,攻击者使用恶意IP(223.89.72.8)暴力破解Victim的SSH服务成功,获取系统账…

DiskGenius注册算法简析

初次接触DiskGenius已经成为遥远的记忆,那个时候还只有DOS版本.后来到Windows版,用它来处理过几个找回丢失分区的案例,方便实用.到现在它的功能越来越强大,成为喜好启动技术和桌面支持人员的必备工具之一. 回想起好几年前的一个案例,一个用了很久的老机器突然崩盘,磁盘引导部分物理损坏,无法启动系统.一般的数据当然可以用DiskGenius等工具来恢复,但重点已经不在这里了,因为大部分数据我有备份.让人焦虑的是我有一个EFS加密的文件和Outlook邮件偏偏就没有备份.里面含有个人和公司…

3D文件压缩库——Draco简析

3D文件压缩库——Draco简析今年1月份时,google发布了名为“Draco”的3D图形开源压缩库,下载了其代码来看了下,感觉虽然暂时用不到,但还是有前途的,故简单做下分析. 注:Draco 代码地址: https://github.com/google/draco 基本使用编译 cmake . + make 编译源码,生成 draco_encoder 和 draco_decoder 两个可执行文件编码/压缩使用 draco_encoder 压缩 obj 或 ply 的文件: ./d…

简析 Tomcat 、Nginx 与 Apache 的区别

简析 Tomcat .Nginx 与 Apache 的区别本文讲的是简析 Tomcat .Nginx 与Apache的区别, 经常在用 apache 和 tomcat 等这些服务器,可是总感觉还是不清楚他们之间有什么关系,在用 tomcat 的时候总出现 apache,总是感到迷惑.这可能是很多初学服务器应用技术的同学遇到的问题. 一.定义: Apache Apache HTTP服务器是一个模块化的服务器,可以运行在几乎所有广泛使用的计算机平台上.其属于应用服务器.Apache支持支持模块多,…

TCP/UDP,SOCKET,HTTP,FTP 简析

(一)TCP/UDP,SOCKET,HTTP,FTP简析 TCP/IP是个协议组,可分为三个层次:网络层.传输层和应用层: 网络层:IP协议.ICMP协议.ARP协议.RARP协议和BOOTP协议传输层:TCP协议与UDP协议应用层:FTP.HTTP.TELNET.SMTP.DNS等协议 (二)Socket连接与HTTP连接区别 [Socket] 由于通常情况下Socket连接就是TCP连接,因此Socket连接一旦建立,通信双方即可开始相互发送数据内容,直到双方连接断开. 但在实际网络应用…

DNS使用的是TCP协议还是UDP协议简析

DNS使用的是TCP协议还是UDP协议简析 DNS同时占用UDP和TCP端口53是公认的,这种单个应用协议同时使用两种传输协议的情况在TCP/IP栈也算是个另类.但很少有人知道DNS分别在什么情况下使用这两种协议. 先简单介绍下TCP与UDP. TCP是一种面向连接的协议,提供可靠的数据传输,一般服务质量要求比较高的情况,使用这个协议.UDP---用户数据报协议,是一种无连接的传输层协议,提供面向事务的简单不可靠信息传送服务. TCP与UDP的区别: UDP和T…

Linux内存管理机制简析

Linux内存管理机制简析本文对Linux内存管理机制做一个简单的分析,试图让你快速理解Linux一些内存管理的概念并有效的利用一些管理方法. NUMA Linux 2.6开始支持NUMA( Non-Uniform Memory Access )内存管理模式.在多个CPU的系统中,内存按CPU划分为不同的Node,每个CPU挂一个Node,其访问本地Node比访问其他CPU上的Node速度要快很多. 通过numactl -H查看NUMA硬件信息,可以看到2个node的大小和对应的CPU核,以及…

Android -- 多媒体播放之MediaPlayer使用内部实现简析

Android -- MediaPlayer内部实现简析在之前的博客中,已经介绍了使用MediaPlayer时要注意的内容.如今,这里就通过一个MediaPlayer代码实例,来进一步分析MediaPlayer内部是怎样运作.实现的:当然这里的分析仅仅截止究竟层调用播放器之前,由于播放器这块实在是没搞懂. 我们使用的样例来源于之前MediaPlayer Playback译文中的官方实例: String url = "http://........"; // your URL here…

OpenStack之Glance源码简析

Glance简介 OpenStack镜像服务器是一套虚拟机镜像发现.注册.检索. glance架构图: Glance源码结构: glance/api:主要负责接收响应镜像管理命令的Restful请求,分析消息请求信息并分发其所带的命令(如新增,删除,更新等).默认绑定端口是9292. glance/registry:主要负责接收响应镜像元数据命令的Restful请求.分析消息请求信息并分发其所带的命令(如获取元数据,更新元数据等).默认绑定的端口是9191. glance/db:主要负责与数据库…