今搭建spark集群, conf/spark-env.sh 配制如下 export SPARK_MASTER_IP=masterexport SPARK_MASTER_PORT=7077export SPARK_WORKER_MEMORY=1024m export SCALA_HOME=/usr/local/scala-2.11.2export JAVA_HOME=/usr/local/jdk1.7.0_60 sbin/start-all.sh 启动后, 通过jps 查看各slave 机 均存在…

如果出现Error -27796: Failed to connect to server "ip地址": [10060] Connection timed out 这样的错误,如下图所示 则解决办法一是: (1)1.  修改run time setting中的请求超时时间Preferences 中点击Options 其中有三项的参数可以一次都修改了,HTTP-request connect timeout,HTTP-request receieve timeout,Step down…

首先,我自己梳理一下,其实除了应对以后的笔试,还有需要应对的是自己在编程中对于api的选择,我在满足需求时采取哪种方案更好. 首先,我需要了解的是tcp/ip是一个协议组,有三大层: ip 对应于网络层 tcp 和 udp 对应于传输层 http 对应于应用层 socket 属于api ,是对tcp/ip的封装. 其中,应用层存在的意义是使tcp/ip传输过来的数据内容能够识别出来. 通过socket 我们才能使用tcp/ip协议 CSDN上有个比较形象的描述:HTTP是轿车,提供了封装或者显示…

百度云链接:https://pan.baidu.com/s/1kUPdf5H(无密码) 截图: <HTTP权威指南> [豆瓣书评]:此书第一部分是HTTP的概略,如果你没有时间,通读第一部分就能让你应付普通的日常开发工作.第二部分主要讲现实世界中HTTP的架构,也可以看作HTTP的全景图,包括Web Server/Cache/Proxy/Gateway,是全书中精华的部分. 第三部分主要是HTTP安全,其中Basic和Digest概略看下即可,现实世界中用的应该不多.看HTTPs最好有一些计算…

DNS,TCP,IP,HTTP,socket,Servlet概念整理   常见的协议虽然很容易理解,但是看了之后过一段时间不看还是容易忘,笔记如下,比较零碎,勉强供各位复习.如有错误欢迎指正.   DNS协议   DNS 协议的作用是将域名解析为IP,域名的数量非常多,域名和ip的对应关系也经常变化,所以就需要专门的DNS服务器,用来将域名解析为IP. windows下,nslookup命令可以查看域名解析的结果.nslookup +网址. 世界各地有很多DNS服务器,也有一些大型公用的DNS服…

这篇文章主要是来做(da)推(guang)介(gao)的!由于这两年接触到了比较多的这方面的知识,不想忘了,我决定把他们记录下来,所以决定在GitBook用半年时间上面写下来,这是目前写的一节,后面会不断更新,主要是在写完之前欢迎各位给出指正的意见.最最重要的,地址在这里:https://www.gitbook.com/book/rogerzhu/-tcp-udp-ip/,或者在gitbook上搜索“三十天学不会TCP,UDP/IP编程”. MAC 地址 到了数据链路层,就开始有了数据的整合管理…

我又来了,这篇文章还是来做(da)推(guang)介(gao)我自己的!俗话说事不过三,我觉得我下次得换个说法了,不然估计要被厌恶了,但是我是好心呐,一定要相信我纯洁的眼神.由于这两年接触到了比较多的这方面的知识,不想忘了,我决定把他们记录下来,所以决定在GitBook用半年时间上面写下来,这是目前写的一节,后面会在gitbook上不断更新,欢迎大家star,主要是在写完之前欢迎各位给出指正的意见.最最重要的,地址在这里:https://www.gitbook.com/book/rogerzhu…

继续来做(da)推(guang)介(gao)我自己的!由于这两年接触到了比较多的这方面的知识,不想忘了,我决定把他们记录下来,所以决定在GitBook用半年时间上面写下来,这是目前写的一节,目前已完成了九篇啦.后面会在gitbook上不断更新,欢迎大家star,主要是在写完之前欢迎各位给出指正的意见.最最重要的,地址在这里:https://www.gitbook.com/book/rogerzhu/-tcp-udp-ip/,或者在gitbook上搜索“三十天学不会TCP,UDP/IP编程”. 我…

基础篇 .Neter玩转Linux系列之一:初识Linux .Neter玩转Linux系列之二:Linux下的文件目录及文件目录的权限 .Neter玩转Linux系列之三:Linux下的分区讲解 .Neter玩转Linux系列之四:Linux下shell介绍以及TCP.IP基础 .Neter玩转Linux系列之五:crontab使用详解和Linux的进程管理以及网络状态监控 .Neter玩转Linux系列之六:Linux下MySQL的安装.配置.使用 实战篇 Ubuntu16.04.1上搭建分布…

TCP/IP协议概述 术语 广域网 WAN 局域网 LAN TCP/IP四层网络模型 TCP/IP通常被认为是一个四层协议系统 网络接口层 包括arp,rarp协议,包括操作系统中的网卡驱动程序和对应的网络接口卡,一起处理数据在电缆之间传输的细节,这一层是同一个链路网络内,不同接口之间通过mac地址通信.arp协议是根据ip地址,请求对应的mac地址,rarp协议是根据mac地址,请求ip地址(可以用来做开机获取ip地址,实际现在已经不这么做了),二层的典型设备是交换机,交换机内有一张mac地址…

前言:在看面试题之前,先了解一下基本定义. HTTP.TCP.IP协议基本定义 HTTP: (HyperText Transport Protocol)是超文本传输协议的缩写,它用于传送WWW方式的数据,关于HTTP协议的详细内容请参考RFC2616.HTTP协议采用了请求/响应模型. TCP: (Transmission Control Protocol 传输控制协议)是一种面向连接的.可靠的.基于字节流的传输层通信协议,由IETF的RFC 793定义.在简化的计算机网络OSI模型中,它完成第…

主要名词定义: IPIP层接收由更低层(网络接口层例如以太网设备驱动程序)发来的数据包,并把该数据包发送到更高层---TCP或UDP层:相反,IP层也把从TCP或UDP层接收来的数据包传送到更低层.IP数据包是不可靠的,因为IP并没有做任何事情来确认数据包是否按顺序发送的或者有没有被破坏,IP数据包中含有发送它的主机的地址(源地址)和接收它的主机的地址(目的地址).高层的TCP和UDP服务在接收数据包时,通常假设包中的源地址是有效的.也可以这样说,IP地址形成了许多服务的认证基础,这些服务相信数…

一.MAC帧头定义 /数据帧定义,头14个字节,尾4个字节/ typedef struct _MAC_FRAME_HEADER { ]; //目的mac地址 ]; //源mac地址 short m_cType; //上一层协议类型,如0x0800代表上一层是IP协议,0x0806为arp }__attribute__((packed))MAC_FRAME_HEADER,*PMAC_FRAME_HEADER; typedef struct _MAC_FRAME_TAIL { unsigned in…

要写网络程序就必须用Socket,这是程序员都知道的.而且,面试的时候,我们也会问对方会不会Socket编程?一般来说,很多人都会说,Socket编程基本就是listen,accept以及send,write等几个基本的操作.是的,就跟常见的文件操作一样,只要写过就一定知道. 对于网络编程,我们也言必称TCP/IP,似乎其它网络协议已经不存在了.对于TCP/IP,我们还知道TCP和UDP,前者可以保证数据的正确和可靠性,后者则允许数据丢失.最后,我们还知道,在建立连接前,必须知道对方的IP地址和…

一,协议: 计算机与网络设备之间如果要相互通信,双方必须基于相同的方法.比如说,怎么探测到通讯目标,哪一方发起通信,使用哪一种语言通信,怎么结束通信,都需要事先规定.不同硬件,操作系统之间的通信需要一个规则.我们把这种规则称之为协议(protocol). (iOS的小伙伴有木有沸腾?此协议非OC中的protocol,但是作用是相似的,都是一种行为规范)   二,TCP/IP协议 TCP/IP协议是互联网相关的各种协议族的总称. 协议中存在各式各样的内容.从电缆的规格到 IP 地址的选定方法.寻找…

注意:这里的第n层是依照OSI协议来的 I   网桥--2层交换机.数据链路层面上链接两个网络的设备.它可以识别数据链路层中的数据帧. II  路由器-3层交换机.网络层面上连接两个网络,并对分组报文进行转发的设备 III 4-7层交换机,负责处理OSI模型中从传输层至应用层的数据.假设用TCP/IP分层模型来表述,4-7曾交换机就是以TCP等协议的传输层及其上面的应用层为基础,分析手法数据并对其进行特定的处理. 事实上际的应用场景:        1)均衡负载器. 并发訪问量很大的一个企业级W…

HTTP.TCP.IP协议基本定义 HTTP: (HyperText Transport Protocol)是超文本传输协议的缩写,它用于传送WWW方式的数据,关于HTTP协议的详细内容请参考RFC2616.HTTP协议采用了请求/响应模型. TCP: (Transmission Control Protocol 传输控制协议)是一种面向连接的.可靠的.基于字节流的传输层通信协议,由IETF的RFC 793定义.在简化的计算机网络OSI模型中,它完成第四层传输层所指定的功能,用户数据报协议(UD…

1.网络基本概念 1.1 什么是网络:一些网络设备按照一定的通讯规则(网络协议)进行通讯的系统. 1.2 VPN(虚拟私有网络)加密,相当于专线,从分支机构到总部. 1.3 资源共享的功能和特点: 数据和应用程序 资源 网络存储 备份设备 1.4 常见的网络物理组件: 1.5 用户应用程序对网络的影响: 批处理应用程序: FTP.TFTP.库存更新 无需直接人工交互 带宽很重要,但并非关键性因素 交互式应用程序: 库存查询.数据库更新 人机交互 因为用户需等待响应,所以响应时间很重要,但并非关键…

七层:应用层.表示层.会话层.传输层.网络层.数据链路层.物理层 应用层:与通信无关的功能 表示层:例如转换编码格式 会话层:采用哪种连接方法 传输层以下: 传输层:确立连接与断开连接重发 网络层:从主机A到主机B的数据通信处理 数据路层.物理层:将数据的0.1转换为电压和脉冲光传输给物理的传输介质,使用MAC地址实现传输. 分组交换(蓄积交换) 交换机 网桥:2层交换机,数据链路层 路由器:3层交换机,网络层面 Internet 指国际网The Internet 指互联网 以太网以时钟频率决定…

一.目的: 自己拼接IP头,TCP头,计算效验和,将生成的报文用原始套接字发送出去. 若使用tcpdump能监听有对方服务器的包回应,则证明TCP报文是正确的! 二.数据结构: TCP首部结构图: struct tcphdr结构体定义: struct tcphdr //在#include <netinet/tcp.h>中定义 { u_int16_t source; //源端口 16位 u_int16_t dest; //目的端口 16位 u_int32_t seq; //序列号 32位 u_i…

看到有道题目要问:tcp头多少字节?哪些字段?(必问) 这个... 看了这篇文章做参考:http://blog.163.com/tianshuai11@126/blog/static/618945432011101110497885/ 开宗明义 IP报文头的长度一般在20到60个字节之间,而一个IP分组的最大长度则不能超过65535个字节. TCP报头如下: UDP报头如下:…

转载自:阮一峰 我们每天使用互联网.你是否想过,它是怎样实现的? 全世界几十亿台电脑,连接在一起,两两通信. 上海的某一块网卡送出信号,洛杉矶的还有一块网卡竟然就收到了.两者实际上根本不知道对方的物理位置.你不认为这是非常奇妙的事情吗? 互联网的核心是一系列协议,总称为"互联网协议"(Internet Protocol Suite). 它们对电脑怎样连接和组网,做出了详尽的规定.理解了这些协议,就理解了互联网的原理. 以下就是我的学习笔记.由于这些协议实在太复杂.太庞大,我想整理一个简…

1.点击 开始 --> 所有程序 --> Microsoft SQL Server2008 --> 配置工具-->SQL Server  configuration Manager- 选择左边 SQL Server 2008 网络配置 -->双击 MSSQLSERVER 协议--> 选中 TCP/IP 右键 点击启用: 2.选择左边 SQLServer 2008 服务 --> 选择右边SQL Server(MSSQLSERVER) --> 右击选择重新启动…

如果对和程序员有关的计算机网络知识,和对计算机网络方面的编程有兴趣,欢迎去gitbook(https://www.gitbook.com/@rogerzhu/)star我的这一系列文章,虽然说现在这种“看不见”的东西真正能在实用中遇到的机会不多,但是我始终觉得无论计算机的语言,热点方向怎么变化,作为一个程序员,很多基本的知识都应该有所了解.而当时在网上搜索资料的时候,这方面的资料真的是少的可怜,所以,我有幸前两年接触了这方面的知识,我觉得我应该把我知道的记录下来,虽然写的不一定很好,但是希望能给…

新年快乐,继续来部分粘贴复制我的这一系列文章啦,如果对和程序员有关的计算机网络知识,和对计算机网络方面的编程有兴趣,欢迎去gitbook(https://www.gitbook.com/@rogerzhu/)star我的这一系列文章,虽然说现在这种“看不见”的东西真正能在实用中遇到的机会不多,但是我始终觉得无论计算机的语言,热点方向怎么变化,作为一个程序员,很多基本的知识都应该有所了解.而当时在网上搜索资料的时候,这方面的资料真的是少的可怜,所以,我有幸前两年接触了这方面的知识,我觉得我应该把我…

TCP/IP(TransmissionControlProtocol/InternetProtocol的简写,中文译名为传输控制协议/互联网络协议). 简单地说,就是由底层的IP协议和TCP协议组成的.TCP/IP其实是两个网络基础协议:IP协议.TCP协议名称的组合.下面谈谈这两个无处不在的协议. IP协议: IP(InternetProtocol)协议的英文名直译就是:因特网协议.从这个名称我们就可以知道IP协议的重要性.在现实生活中,我们进行货物运输时都是把货物包装成一个个的纸箱或者是集装…

入门 用户发了一个HTTP的请求,想要访问我们网站的首页,这个HTTP请求被放在一个TCP报文中,再被放到一个IP数据报中,最终的目的地就是我们的115.39.19.22. 进阶 IP数据报其实是通过数据链路层发过来的,使用ARP协议,把一个IP地址(115.39.19.22)给广播出去,然后具有此IP机器就会回复自己的MAC地址. 图解 图片来源"码农翻身"公众号…

1. 什么是 TCP/IP? TCP/IP 是一类协议系统,它是用于网络通信的一套协议集合． 传统上来说 TCP/IP 被认为是一个四层协议 1) 网络接口层: 主要是指物理层次的一些接口,比如电缆等． 2) 网络层: 提供独立于硬件的逻辑寻址,实现物理地址与逻辑地址的转换． 在 TCP / IP 协议族中,网络层协议包括 IP 协议(网际协议),ICMP 协议( Internet 互联网控制报文协议),以及 IGMP 协议( Internet 组管理协议). 3) 传输层: 为网络提供了流量控…

tcp是传输层协议,ip是网络层协议,http是应用层协议,简单说就是tcp是传输数据,而http是封装数据. rpc与http的区别是项目大的话,接口间调用变多的话,采用rpc的话,不用像http那样,采用三次握手,从而减少网络的开销,而且,rpc框架有注册中心,便于维护.…

1.1 TCP是什么? TCP是Tranfer Control Protocol的简称,TCP协议是一种面向连接的.可靠的.基于字节流的运输层通信协议.通过TCP协议传输,得到的是一个顺序的无差错的数据流.发送方和接收方的成对的两个socket之间必须建立连接,以便在TCP协议的基础上进行通信,当一个socket(通常都是server socket)等待建立连接时,另一个socket可以要求进行连接,一旦这两个socket连接起来,它们就可以进行双向数据传输,双方都可以进行发送或接收操作.  首…