SPARK-SQL内置函数之字符串函数
转载请注明转自:http://www.cnblogs.com/feiyumo/p/8763186.html
1.concat对于字符串进行拼接
concat(str1, str2, ..., strN) - Returns the concatenation of str1, str2, ..., strN.
Examples:> SELECT concat('Spark', 'SQL');
SparkSQL
2.concat_ws在拼接的字符串中间添加某种格式
concat_ws(sep, [str | array(str)]+) - Returns the concatenation of the strings separated by sep
.
Examples:> SELECT concat_ws(' ', 'Spark', 'SQL');
Spark SQL
3.decode转码
decode(bin, charset) - Decodes the first argument using the second argument character set.
Examples: > SELECT decode(encode('abc', 'utf-8'), 'utf-8');
abc
4.encode设置编码格式
encode(str, charset) - Encodes the first argument using the second argument character set.
Examples: > SELECT encode('abc', 'utf-8');
abc
5.format_string/printf 格式化字符串
format_string(strfmt, obj, ...) - Returns a formatted string from printf-style format strings.
Examples:> SELECT format_string("Hello World %d %s", 100, "days");
Hello World 100 days
6.initcap将每个单词的首字母变为大写,其他字母小写; lower全部转为小写,upper大写
initcap(str) - Returns str
with the first letter of each word in uppercase. All other letters are in lowercase. Words are delimited by white space.
Examples:> SELECT initcap('sPark sql');
Spark Sql
7.length返回字符串的长度
Examples:> SELECT length('Spark SQL ');
10
8.levenshtein编辑距离(将一个字符串变为另一个字符串的距离)
levenshtein(str1, str2) - Returns the Levenshtein distance between the two given strings.
Examples:> SELECT levenshtein('kitten', 'sitting');
3
9.lpad返回固定长度的字符串,如果长度不够,用某种字符补全,rpad右补全
lpad(str, len, pad) - Returns str
, left-padded with pad
to a length of len
. If str
is longer than len
, the return value is shortened to len
characters.
Examples:> SELECT lpad('hi', 5, '??');
???hi
10.ltrim去除空格或去除开头的某些字符,rtrim右去除,trim两边同时去除
ltrim(str) - Removes the leading space characters from str
.
ltrim(trimStr, str) - Removes the leading string contains the characters from the trim string
Examples:
> SELECT ltrim(' SparkSQL '); SparkSQL
> SELECT ltrim('Sp', 'SSparkSQLS'); arkSQLS
11.regexp_extract 正则提取某些字符串,regexp_replace正则替换
Examples:> SELECT regexp_extract('100-200', '(\d+)-(\d+)', 1);
100
Examples: > SELECT regexp_replace('100-200', '(\d+)', 'num'); num-num
12.repeat复制给的字符串n次
Examples: > SELECT repeat('123', 2);
123123
13.instr返回截取字符串的位置/locate
instr(str, substr) - Returns the (1-based) index of the first occurrence of substr
in str
.
Examples:> SELECT instr('SparkSQL', 'SQL');
6
Examples:>
SELECT locate('bar', 'foobarbar'); 4
14.space 在字符串前面加n个空格
space(n) - Returns a string consisting of n
spaces.
Examples:> SELECT concat(space(2), '1');
1
15.split以某些字符拆分字符串
split(str, regex) - Splits str
around occurrences that match regex
.
Examples:> SELECT split('oneAtwoBthreeC', '[ABC]');
["one","two","three",""]
16.substr截取字符串,substring_index
Examples:
> SELECT substr('Spark SQL', 5); k SQL
> SELECT substr('Spark SQL', -3); SQL
> SELECT substr('Spark SQL', 5, 1); k
> SELECT substring_index('www.apache.org', '.', 2); www.apache
17.translate 替换某些字符串为
Examples: > SELECT translate('AaBbCc', 'abc', '123'); A1B2C3
18.get_json_object
get_json_object(json_txt, path) - Extracts a json object from path
.
Examples:> SELECT get_json_object('{"a":"b"}', '$.a'); b
19.unhex
unhex(expr) - Converts hexadecimal expr
to binary.
Examples:> SELECT decode(unhex('537061726B2053514C'), 'UTF-8');
Spark SQL
20.to_json
to_json(expr[, options]) - Returns a json string with a given struct value
Examples:
> SELECT to_json(named_struct('a', 1, 'b', 2)); {"a":1,"b":2}
> SELECT to_json(named_struct('time', to_timestamp('2015-08-26', 'yyyy-MM-dd')), map('timestampFormat', 'dd/MM/yyyy')); {"time":"26/08/2015"}
> SELECT to_json(array(named_struct('a', 1, 'b', 2)); [{"a":1,"b":2}]
> SELECT to_json(map('a', named_struct('b', 1))); {"a":{"b":1}}
> SELECT to_json(map(named_struct('a', 1),named_struct('b', 2))); {"[1]":{"b":2}}
> SELECT to_json(map('a', 1)); {"a":1}
> SELECT to_json(array((map('a', 1)))); [{"a":1}]
Since: 2.2.0
SPARK-SQL内置函数之字符串函数的更多相关文章
- Spark SQL内置函数
Spark SQL内置函数官网API:http://spark.apache.org/docs/latest/api/scala/index.html#org.apache.spark.sql.fun ...
- [转] Spark sql 内置配置(V2.2)
[From] https://blog.csdn.net/u010990043/article/details/82842995 最近整理了一下spark SQL内置配.加粗配置项是对sparkSQL ...
- Hive学内置条件和字符串函数
https://blog.csdn.net/skywalker_only/article/details/38752003 条件函数 下表为Hive支持的一些条件函数. 返回类型 函数名 描述 T i ...
- sql内置函数pivot强大的行转列功能
原文:sql内置函数pivot强大的行转列功能 语法: PIVOT用于将列值旋转为列名(即行转列),在SQL Server 2000可以用聚合函数配合CASE语句实现 PIVOT的一般语法是:PIVO ...
- SQL函数大全(字符串函数).
SQL Server 2005 函数大全 字符串函数 字符串函数 SubString在SQL和C#中不同, 一,select substring('abcde',-1,3) select LEN( ...
- python内置常用高阶函数(列出了5个常用的)
原文使用的是python2,现修改为python3,全部都实际输出过,可以运行. 引用自:http://www.cnblogs.com/duyaya/p/8562898.html https://bl ...
- jquery (内置遍历数组的函数,事件)
内置遍历数组的函数: 1. $.map(array, function() { }); 取到数组或者对象array中每一项进行遍历 然后在function中处理: var attr = [1,2,3 ...
- SQL Server系统函数:字符串函数
原文:SQL Server系统函数:字符串函数 1.字符转化为ASCII,把ASCII转化为字符,注意返回的值是十进制数 select ASCII('A'),ASCII('B'),ASCII('a') ...
- SQL serve 聚合函数、字符串函数
1.聚合函数 sum,avg,max,min,count having后面只能跟聚合函数 2.数学函数和字符串函数 3.练习: 1)新建一个学生信息表,根据问题写出程序. 2)新建一个超 ...
- SQL server聚合函数、数学函数、字符串函数
一.基础语句 二.数学函数与字符串函数 三.练习 1.创建一个学生信息表,根据要求写出程序 2.新建一个超市表,进了十种商品,个数都是十件
随机推荐
- Python爬虫笔记【一】模拟用户访问之webdriver用户登入——第三次(8)
经过post方法之后,因为有动态的value值所以再此回到用webdriver的解决上,但是在下载图片上会打开新打开一个链接,导致与网页图片不同即验证码同步问题,没办法只能想了一个笨法子,网页截图,唉 ...
- 简单易学的机器学习算法——基于密度的聚类算法DBSCAN
一.基于密度的聚类算法的概述 最近在Science上的一篇基于密度的聚类算法<Clustering by fast search and find of density peaks> ...
- HBase入门实例: Table中Family和Qualifier的关系与区别
Table中Family和Qualifier的关系与区别 就像用MySQL一样,我们要做的是表设计,MySQL中的表,行,列的在HBase已经有所区别了,在HBase中主要是Table和Family和 ...
- 9.2专项测试-Android性能测试黑盒分析-1
1. 专项测试 业务测试:面向新需求 回归测试:面向已交付需求 专项测试:面向非功能需求的各类质量唯独特征 表现 用户维度 技术维度 崩溃 crash,弱网 检测崩溃1.某个页面,因为研发处理不合适, ...
- JS 生成二维码和加上logo图片
参考链接:https://www.cnblogs.com/chiyi/p/5710324.html,http://www.jq22.com/jquery-info294 demo链接:demo查看 d ...
- JS面向对象--你真的理解闭包了吗?
JS中的闭包,可能在实际开发中我们用的很少,但是面试的时候是必问的.所以今儿个总结一下什么是闭包. 首先,我们定义一个变量.会分为两种情况,1是定义在全局中,我们关闭程序的时候变量会从内存中释放.2是 ...
- 引入样式表(css)的四种方式
一.使用style属性: 将style属性直接加在html标签里. <标签 style="属性1: 设定值1; 属性2: 设定值2; "> 例如: <td sty ...
- 阿里云maven中央仓库
1.配置文件路径:config/settings.xml 2.<mirrors>镜像集合中添加镜像 <mirror> <id>alimaven</id> ...
- GitHub and Git
book:https://git-scm.com/book/zh/v2 Git使用简易指南:https://www.bootcss.com/p/git-guide
- c++中merge的操作
merge:将两个有序序列合并成一个新的序列,并对新的序列排序 所在库:<algorithm> 注意:排序规则必须和原序列规则相同.存储时下标从0开始. 函数参数:merge(first1 ...