一.pd.merge() pd.merge()的常用参数 参数 说明 left 参与合并的左侧DataFrame right 参与合并的右侧DataFrame how 如何合并.值为{'left','right','outer','inner'},默认为'inner' left: 仅保留左侧DataFrame中存在的键 right:仅保留右侧DataFrame中存在的键 outer:保留左右DataFrame键的交集 inner:保留左右DataFrame键的并集 on 用于连接的列名,默认是两…

不多说,直接上干货! 很多地方都需用到这个知识点,比如Tableau里.   通常可以采取如python 和 r来作为数据处理的前期. Tableau学习系列之Tableau如何通过数据透视表方式读取数据文件(图文详解) 如何用Python来处理数据表的长宽转换(图文详解) 数据长宽转换是很常用的需求,特别是当是从Excel中导入的汇总表时,常常需要转换成一维表(长数据)才能提供给图表函数或者模型使用. 在R语言中,提供数据长宽转换的包主要有两个: reshape2::melt/dcast ti…

legend3---Windows 7/8/10 系统下Laravel框架的开发环境安装及部署详解(Vagrant + Homestead) 一.总结 一句话总结: 1.安装的话就是下载好git,vagrant,vitualbox,homestead,及运行一些安装命令,使用的话编程在虚拟机上和真实机上都行,可以完全和之间的编程一样, 2.homestead所提供的方便就是不用装php,apache,mysql,nginx等等等等 1.windows下的~目录的位置是什么? 用户目录:~/.ss…

df命令详细用法 a:显示全部的档案系统和各分割区的磁盘使用情形 i:显示i -nodes的使用量 k:大小用k来表示 (默认值) t:显示某一个档案系统的所有分割区磁盘使用量 x:显示不是某一个档案系统的所有分割区磁盘使用量 T:显示每个分割区所属的档案系统名称 常用命令:df -hi 操作详解 引用 指令 df 可以显示目前所有档案系统的最大可用空间及使用情形,请看下列这个例子: # df -h Filesystem Size Used Avail Capacity Mounted on /…

不多说,直接上干货! 很多地方都需用到这个知识点,比如Tableau里.   通常可以采取如python 和 r来作为数据处理的前期. Tableau学习系列之Tableau如何通过数据透视表方式读取数据文件(图文详解) 数据长宽转换是很常用的需求,特别是当是从Excel中导入的汇总表时,常常需要转换成一维表(长数据)才能提供给图表函数或者模型使用. python中,我这里只讲两个函数: melt #数据宽转长 pivot_table #数据长转宽 Python中的Pandas包提供了与R语言中…

Spark工作机制以及API详解 本篇文章将会承接上篇关于如何部署Spark分布式集群的博客,会先对RDD编程中常见的API进行一个整理,接着再结合源代码以及注释详细地解读spark的作业提交流程,调度机制以及shuffle的过程,废话不多说,我们直接开始吧! 1. Spark基本API解读 首先我们写一段简单的进行单词统计的代码,考察其中出现的API,然后做出整理: import org.apache.spark.SparkConf; import org.apache.spark.api.j…

一.inode块,Unix文件的核心. 首先需要明白的是,在Unix操作系统中的任何资源都被当作文件来管理.如目录.光驱.终端设备等等,都被当作是一种文件.从这方面来说,Unix操作系统中的所有的目录.硬件设备跟普通文件一样,具有共同的属性.而这些属性的话,就是保存在inode块中. Inode块中保存了一个文件系统中的全部Inode节点.也就是说,当系统创建了一个文件(或者添加了一个新设备)时,系统就会从这个块中给 这个文件分配一个Inode结点.在这个结点中存储了这个文件的大部分属性,如创建…

引言 在上一篇 大数据学习系列之四 ----- Hadoop+Hive环境搭建图文详解(单机) 和之前的大数据学习系列之二 ----- HBase环境搭建(单机) 中成功搭建了Hive和HBase的环境,并进行了相应的测试.本文主要讲的是如何将Hive和HBase进行整合. Hive和HBase的通信意图 Hive与HBase整合的实现是利用两者本身对外的API接口互相通信来完成的,其具体工作交由Hive的lib目录中的hive-hbase-handler-*.jar工具类来实现,通信原理如下图…

注意! laravel/homestead box项目地址已经不再是原来的 https://atlas.hashicorp.com/laravel/boxes/homestead 而已经变更成 https://app.vagrantup.com/laravel/boxes/homestead 如果是刚刚接触Laravel的朋友,请直接按文中步骤操作.需要更新及重装的朋友们请注意使用第二个地址来进行文中操作. 虽然我通常习惯在Linux环境下工作,但对于一个从小就接触Windows的人来说,能够在…

复习 hibernate框架 简介j及其搭建: hibernate是一个开源框架,它是对象关联关系映射的框架,它对JDBC做了轻量级的封装,而我们java程序员可以使用面向对象的思想来操纵数据库. 1.什么是框架 提高我们的开发效率.可以理解成是一个半成品项目. 2.hibernate框架 dao层框架 操作数据库. 以面向对象的方式操作数据库. orm 思想. 对象关系映射. 通过映射文件配置对象与数据库中表的关系. 3.hibernate框架搭建 1> 导包 required+驱动包 2>…