作者:Harry Zhu 链接:https://zhuanlan.zhihu.com/p/21574497 来源:知乎 著作权归作者所有.商业转载请联系作者获得授权,非商业转载请注明出处. 相关内容: sparklyr包:实现Spark与R的接口,会用dplyr就能玩Spark 概述 大数据时代,做数据分析的人才辈出,Java.Scala.Go.Julia.Python.JavaScript都不断涌现出很多数据分析的新工具,然而对于数据分析来说,这些工具都不是分析的核心,分析的核心在于对市场业务…

2013年,云计算领域从此多了一个名词“Docker”.以轻量著称,更好的去解决应用打包和部署.之前我们一直在构建Iaas,但通过Iaas去实现统一功  能还是相当复杂得,并且维护复杂.将特殊性封装到镜像中实现几乎一致得部署方法,它就是“Docker”,以容器为技术核心,实现了应用的标准化.企业可  以快速生成研发.测试环境,并且可以做到快速部署.实现了从产品研发环境到部署环境的一致化.Docker让研发更加专注于代码的编写,并且以“镜像”作  为交付.极大的缩短了产品的交付周期和实施周期. 课…

好早的时候就打算写这篇文章,可是还是參加阿里大数据竞赛的第一季三月份的时候实验就完毕了.硬生生是拖到了十一假期.自己也是醉了... 找工作不是非常顺利,希望写点东西回想一下知识.然后再攒点人品吧,仅仅能如此了. 一.问题背景 二.基于用户的协同过滤算法介绍 三.数据结构和实验过程设计 四.代码 一.问题背景 首先介绍一下问题的背景.如今我有四个月的用户.品牌数据<user,brand>.即用户在这四个月中的某一天购买了某个品牌(当然为了简化算法模型.将购买时间省去,后面再说). 即如今有这四个…

环境 [root@centos181001 ~]# cat /etc/centos-release CentOS Linux release 7.6.1810 (Core) [root@centos181001 ~]# docker -v Docker version 18.09.1, build 4c52b90 第一步:搜索和拉取官方MariaDB镜像 https://hub.docker.com/_/mariadb 基于ubuntu:trusty ### 搜索镜像 docker search…

前言 上一篇把常用命令演示了一遍,其中也提到容器的隔离性,默认情况下,容器内应用产生的数据都是由容器本身独有,如果容器被删除,对应的数据文件就会跟着消失.从隔离性的角度来看,数据就应该和容器共存亡:但在实际用场景中,更多需要将数据持久化,即容器被删除,数据也应该正常存在:另外也有很多场景需要容器之间共享数据,那该怎么做呢,接下来说说容器数据卷. 正文 1. 手动保存数据 通常手动有两种方式,一是通过命令就行拷贝,二是将容器提交为镜像.接下来通过拉取centos镜像,运行演示 通过命令形式 主机和…

前言 使用第三方镜像肯定不是学习Docker的最终目的,最想要的还是自己构建镜像:将自己的程序.文件.环境等构建成自己想要的应用镜像,方便后续部署.启动和维护:而Dockerfile就是专门做这个事的,通过类似简单编码的形式,最终就可以构建出属于自己的镜像,所以必须学起来. 正文 1. Dockerfile简介 在日常开发过程中,需要编写对应的程序文件,最后通过编译打包生成对应的可执行文件或是类库:这里的Dockerfile文件就好比平时我们编写的程序文件,但内部的语法和关键字并没有程序那么复杂…

前言 现在对于Docker容器的隔离性都有所了解了,但对容器IP地址的分配.容器间的访问等还是有点小疑问,如果容器的IP由于新启动导致变动,那又怎么才能保证原有业务不会被影响,这就和网络有挂钩了,接下来就大概说说. 正文 1. Docker网络模式简介 当Docker进程启动时,会在主机上创建一个名为docker0的虚拟网桥,此主机上启动的Docker容器默认会连接到这个虚拟网桥上.这样所有容器通过这个虚拟网桥就打通了,所以这里的docker0工作方式和物理交换机很像. 在主机上可以执行命令ip…

docker 基础 什么是Docker Docker 使用 Google 公司推出的 Go 语言 进行开发实现,基于 Linux 内核的 cgroup,namespace,以及 AUFS 类的 Union FS 等技术,对进程进行封装隔离,属于 操作系统层面的虚拟化技术.由于隔离的进程独立于宿主和其它的隔离的进程,因此也称其为容器. Docker 在容器的基础上,进行了进一步的封装,从文件系统.网络互联到进程隔离等等,极大的简化了容器的创建和维护.使得 Docker 技术比虚拟机技术更为轻便.快…

什么是Docker? Docker 使用 Google 公司推出的 Go 语言 进行开发实现,基于 Linux 内核的 cgroup,namespace,以及 AUFS 类的 Union FS 等技术,对进程进行封装隔离,属于 操作系统层面的虚拟化技术.由于隔离的进程独立于宿主和其它的隔离的进程,因此也称其为容器. Docker 在容器的基础上,进行了进一步的封装,从文件系统.网络互联到进程隔离等等,极大的简化了容器的创建和维护.使得 Docker 技术比虚拟机技术更为轻便.快捷. 记住最重要的…

前言 Docker系列文章: 此篇是Docker系列的第八篇,大家一定要按照我做的Demo都手敲一遍,印象会更加深刻的,加油! 为什么要学习Docker Docker基本概念 Docker镜像基本原理 Docker容器数据卷 Dockerfile Docker单机网络上 Docker单机网络下 基本命令 img --net网络模式验证 img bridge模式已在在网络初探的小节已经验证过了,这里就不再进行验证,接下来我们主要验证的是剩下的三总模式: none 后台方式启动一个版本为最新的cen…