iceberg学习日记(1)

2024-10-20

Iceberg学习日记(1) 定位两个线上Iceberg查不到文件的问题

前言 Iceberg是我们去年年底(2020)开始调研,目前上线了130多张表.主要用于流量日志清洗,数据报表,推荐特征基础数据.至今为也算是积累了一些使用及定位问题经验. 这篇文章会介绍两个线上Iceberg表查不到数据/快照文件的问题,希望对大家有帮助. 一.Rewrite操作有可能会误删数据文件现象: 如图: 线上一张Iceberg表的合并任务运行一段时间后开始报错找不到数据文件. 当时找到运维查看删文件的用户和机器,定位出来是合并文件程序所在的机器.最后在合并任务日志中发现了这个异

Linux学习日记-使用EF6 Code First(四)

一.在linux上使用EF 开发环境 VS2013+mono 3.10.0 +EF 6.1.0 先检测一下EF是不是6的如果不是请参阅 Linux学习日记-EF6的安装升级(三) 由于我的数据库已经建好了所以我直接是 ”从数据库生成Code First“ 如下图

android学习日记05--Activity间的跳转Intent实现

Activity间的跳转 Android中的Activity就是Android应用与用户的接口,所以了解Activity间的跳转还是必要的.在 Android 中,不同的 Activity 实例可能运行在一个进程中,也可能运行在不同的进程中.因此我们需要一种特别的机制帮助我们在 Activity 之间传递消息.Android 中通过 Intent 对象来表示一条消息,一个 Intent 对象不仅包含有这个消息的目的地,还可以包含消息的内容,这好比一封 Email,其中不仅应该包含收件地址,还可以

android学习日记03--常用控件Dialog

常用控件 9.Dialog 我们经常会需要在Android界面上弹出一些对话框,比如询问用户或者让用户选择.这些功能我们叫它Android Dialog对话框对话框,要创建对话框之前首先要创建Builder类创建者,Builder是AlertDialog的子类,而且还是它的内部类. setPositiveButton --设置最左边的按钮setNeutralButton --设置中间的按钮setNegativeButton --设置最右边的按钮 builder = new Builder(Ma

android学习日记03--常用控件checkbox/radiobutton

常用控件3.checkbox 复选框,确定是否勾选,点击一下勾选,点击第二下取消,当有一系列备选项时适合用checkbox控件,方便用户提交数据. 贴上例子Activity的java代码 package com.example.checkbox; import android.os.Bundle; import android.app.Activity; import android.view.Menu; import android.widget.CheckBox; import androi

android学习日记03--常用控件button/imagebutton

常用控件控件是对数据和方法的封装.控件可以有自己的属性和方法.属性是控件数据的简单访问者.方法则是控件的一些简单而可见的功能.所有控件都是继承View类介绍android原生提供几种常用的控件button/imagebutton.checkbox/radiobutton.progressbar/seekbar.tabSpec/tabHost.ListView.Dialog,主要为了掌握控件使用的一般规律. 1.button 按钮 Button是各种UI中最常用的控件之一,用户可以通过触摸它来

Zend Framework学习日记(2)--HelloWorld篇(转)

Zend Framework学习日记(2)--HelloWorld篇这一篇主要演示如何用zf命令行工具建立一个基于Zend Framework框架的工程,也是我初学Zend Framework的小练习. (1)新建工程(Windows环境下) 打开CMD,将目录切换到你将要新建工程所在的目录下,输入“zf create project HelloWorld”,如下 D:/workphp/www>zf create project HelloWorld Creating project at D

Zend Framework学习日记(1)--环境搭建篇(转)

Zend Framework学习日记(1)--环境搭建篇 (1)开发工具 Zend Framework框架:http://framework.zend.com/download/latest 包含2个目录bin和library,bin目录里面有zf命令行工具(包括Windows和Mac OS X平台),而library目录就是Zend Framework的各种组件放置的地方,可以复制该目录到PHP工程下,方便IDE可以查找到Zend Framework相关文件,以免报错. Zend Studio

Python 学习日记（第三周）

知识回顾在上一周的学习里,我学习了一些学习Python的基础知识下面先简短的回顾一些: 1Python的版本和和安装 Python的版本主要有2.x和3.x两个版本这两个版本在语法等方面有一定的区别.在安装的的时候需要注意.剩下的就是在官网选择适合自己操作系统版本的Python安装即可 2Python的内容编码接下来就有关Python的内容编码的问题 .Python2.x默认是acsll编码.因此不支持中文.Python 3 则不存在这个问题因此在Python2.x环境中需要在代码的开始加

配置ssh免密码登录——集群学习日记

度过了难熬的考试月时期之后,最近和小伙伴一起参加的的比赛进入了紧张的准备时期.在进行工作的时候,发现有很多基础的知识点,自己不是很清楚以及了解,所以在想,要不就边学习的时候边写下学习日记,以供自己后来不懂的时候查看,同时以希望自己的一些所得能帮助到其他人.共勉之~ 前言 Secure Shell(缩写为SSH),是一项创建在应用层和传输层基础上的安全协议,为计算机上的Shell(壳层)提供安全的传输和使用环境.传统的网络服务程序,如rsh.FTP.POP和Telnet其本质上都是不安全的:因为它

Hadoop-2.7.2集群的搭建——集群学习日记

前言因为比赛的限制是使用Hadoop2.7.2,估在此文章下面的也是使用Hadoop2.7.2,具体下载地址为Hadoop2.7.2 开始的准备目前在我的实验室上有三台Linux主机,因为需要参加一个关于spark数据分析的比赛,所以眼见那几台服务器没有人用,我们团队就拿来配置成集群.具体打算配置如下的集群主机名 IP地址(内网) SparkMaster 10.21.32.106 SparkWorker1 10.21.32.109 SparkWorker2 10.21.32.112 首先进

Python学习日记 --day2

Python学习日记 --day2 1.格式化输出:% s d (%为占位符 s为字符串类型 d为数字类型) name = input('请输入姓名') age = int(input('请输入年龄')) height = input('请输入身高') job = input('请输入工作') hobbie = input('我的爱好是') msg = '''-------info of %s -------- 姓名: %s 年龄: %d 身高: %s 工作: %s 爱好: %s ------

前端学习日记之HTML、CSS 简单总结

前端学习日记之HTML.CSS 简单总结标签(空格分隔): html css 前端学习日记 html超文本标记语言一. h标题标签 h1-h7 <!DOCTYPE html> <html> <head> <meta charset="utf-8"> <meta name="keywords" content="11"> <meta name="description&

JavaWeb学习日记----XML基础

1.XML基础: XML全称为eXtensible Markup Language;即可扩展标记型语言,同HTML一样使用标签来操作.它的可扩展性体现在标签可以由自己定义,可以是中文标签. XML用途: 同HTML一样可用于显示数据,但是不是XML的主要用途.XML我们多用来存储数据. 应用: 1).不同应用之间数据的传输,利于程序之间的维护 2).用来表示生活中具有层级关系的数据 3).多用于文件配置 XML语法: 1).XML的文档声明: 创建一个文件,后缀名为.xml 在写XML之前,首先

JavaWeb学习日记----表单提交方式

1.表单提交方式 (1) 使用input控件中的submit提交代码如下: <!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <title>Title</title> </head> <body> <form action="#" method="get&qu

python学习日记（基础数据类型及其方法01）

数字 int 主要是用于计算的,常用的方法有一种 #既十进制数值用二进制表示时,最少使用的位数i = 3#3的ASCII为:0000 0011,即两位 s = i.bit_length() print(s) 布尔值 bool True/False while True: 等价于: while 1: ###较简便 while 1: print('all trule') 字符串 str 字符串的索引与切片索引:索引既下标,字符串元素从第一个开始,初始索引为0.以此类推. s = 'sdfjs

Entity Framework Code First 学习日记（1）精

我最近几天正在学习Entity Framework Code First.我打算分享一系列的学习笔记,今天是第一部分: 为什么要使用Code First: 近年来,随着domain driven design的推广,以前那种先建好数据库,然后再编写代码的方式受到了越来越多的质疑.因为使用这种开发方式很难适应领域内业务逻辑的改变,它需要当每次领域发生改变的时候,先改变数据库,然后再改变业务逻辑和实体的代码,开发周期比较长,而且不利于单元测试.所以随着domain driven design一同

Linux 学习日记 1

这是我第一次系统地学习Linux,希望通过这个学习日记收获一些东西把-- @_@ Grub - 启动管理器在启动时让用户选择要启动的系统.(但是windows比较霸道--重装windows后会将Grub赶出,装上自己的启动程序,下一次就直接启动windows了@_@) Grub的配置:其中GRUB_DFFAULT = 0 指的是Grub让用户选择系统时的显示顺序. $ sudo gedit /etc/default/grub gedit - 和Windows记事本差不多,功能稍微好点.

Linux学习日记——字符处理

(菜鸡学习日记各种使用命令只列举了常用几种,发现错误望指正) 一.管道在Linux 中,管道就是一个固定大小的缓冲区,大小为一页4K.它是一种通信的机制,可以使用管道符“ | ” 来连接进程,连接的进程可以自动运行.它的实现方式其实就是将前一个输出当做后一个进程的输入. 二.grep grep 是Linux 中基于行的文本搜索工具,输出为匹配到的所有符合条件的行.使用方式以及常用参数如下: grep [-icnv] '匹配的字符' filename(-i:忽略大小写 -c:统计包含条件的

SQL学习日记

目录 SQL学习日记 1. 常见的数据库对象 2. DDL 定义语句 3. DML 操作语句 4. DQL 查询语句 5. DCL 控制语句 SQL学习日记 1. 常见的数据库对象对象名关键字描述表 table 存储数据的逻辑单元,以行和列存在,行是数据记录,列是(属性)字段系统表(数据字典) 存放数据库相关信息的表程序员只可查看,不可修改约束 constraint 执行数据校验和保证数据完整性的规则视图 view 一个或多个数据表(table)的逻辑显示,视图并不存储数据索引

iceberg学习日记(1)

热门专题