转载请注明转自:http://www.cnblogs.com/feiyumo/p/8763186.html

1.concat对于字符串进行拼接

concat(str1, str2, ..., strN) - Returns the concatenation of str1, str2, ..., strN.

Examples:> SELECT concat('Spark', 'SQL');  SparkSQL

2.concat_ws在拼接的字符串中间添加某种格式

concat_ws(sep, [str | array(str)]+) - Returns the concatenation of the strings separated by sep.

Examples:> SELECT concat_ws(' ', 'Spark', 'SQL');  Spark SQL

3.decode转码

decode(bin, charset) - Decodes the first argument using the second argument character set.

Examples: > SELECT decode(encode('abc', 'utf-8'), 'utf-8');   abc

4.encode设置编码格式

encode(str, charset) - Encodes the first argument using the second argument character set.

Examples: > SELECT encode('abc', 'utf-8');abc

5.format_string/printf 格式化字符串

format_string(strfmt, obj, ...) - Returns a formatted string from printf-style format strings.

Examples:> SELECT format_string("Hello World %d %s", 100, "days");  Hello World 100 days

6.initcap将每个单词的首字母变为大写,其他字母小写; lower全部转为小写,upper大写

initcap(str) - Returns str with the first letter of each word in uppercase. All other letters are in lowercase. Words are delimited by white space.

Examples:> SELECT initcap('sPark sql');  Spark Sql

7.length返回字符串的长度

Examples:> SELECT length('Spark SQL ');  10

8.levenshtein编辑距离(将一个字符串变为另一个字符串的距离)

levenshtein(str1, str2) - Returns the Levenshtein distance between the two given strings.

Examples:> SELECT levenshtein('kitten', 'sitting');   3

9.lpad返回固定长度的字符串,如果长度不够,用某种字符补全,rpad右补全

lpad(str, len, pad) - Returns str, left-padded with pad to a length of len. If str is longer than len, the return value is shortened to len characters.

Examples:> SELECT lpad('hi', 5, '??');   ???hi

10.ltrim去除空格或去除开头的某些字符,rtrim右去除,trim两边同时去除

ltrim(str) - Removes the leading space characters from str.

ltrim(trimStr, str) - Removes the leading string contains the characters from the trim string

Examples:

> SELECT ltrim('    SparkSQL   ');   SparkSQL
> SELECT ltrim('Sp', 'SSparkSQLS');   arkSQLS

11.regexp_extract 正则提取某些字符串,regexp_replace正则替换

Examples:> SELECT regexp_extract('100-200', '(\d+)-(\d+)', 1);   100

Examples: > SELECT regexp_replace('100-200', '(\d+)', 'num');   num-num

12.repeat复制给的字符串n次

Examples: > SELECT repeat('123', 2);  123123

13.instr返回截取字符串的位置/locate

instr(str, substr) - Returns the (1-based) index of the first occurrence of substr in str.

Examples:> SELECT instr('SparkSQL', 'SQL');  6

Examples:SELECT locate('bar', 'foobarbar');   4

14.space 在字符串前面加n个空格

space(n) - Returns a string consisting of n spaces.

Examples:> SELECT concat(space(2), '1');  1

15.split以某些字符拆分字符串

split(str, regex) - Splits str around occurrences that match regex.

Examples:> SELECT split('oneAtwoBthreeC', '[ABC]');      ["one","two","three",""]

16.substr截取字符串,substring_index

Examples:

> SELECT substr('Spark SQL', 5);  k SQL
> SELECT substr('Spark SQL', -3);  SQL
> SELECT substr('Spark SQL', 5, 1);   k
> SELECT substring_index('www.apache.org', '.', 2);   www.apache

17.translate 替换某些字符串为

Examples: > SELECT translate('AaBbCc', 'abc', '123');   A1B2C3

18.get_json_object

get_json_object(json_txt, path) - Extracts a json object from path.

Examples:> SELECT get_json_object('{"a":"b"}', '$.a');  b

19.unhex

unhex(expr) - Converts hexadecimal expr to binary.

Examples:> SELECT decode(unhex('537061726B2053514C'), 'UTF-8');   Spark SQL

20.to_json

to_json(expr[, options]) - Returns a json string with a given struct value

Examples:

> SELECT to_json(named_struct('a', 1, 'b', 2));   {"a":1,"b":2}
> SELECT to_json(named_struct('time', to_timestamp('2015-08-26', 'yyyy-MM-dd')), map('timestampFormat', 'dd/MM/yyyy'));   {"time":"26/08/2015"}
> SELECT to_json(array(named_struct('a', 1, 'b', 2));   [{"a":1,"b":2}]
> SELECT to_json(map('a', named_struct('b', 1)));  {"a":{"b":1}}
> SELECT to_json(map(named_struct('a', 1),named_struct('b', 2)));   {"[1]":{"b":2}}
> SELECT to_json(map('a', 1));  {"a":1}
> SELECT to_json(array((map('a', 1))));  [{"a":1}]

Since: 2.2.0

SPARK-SQL内置函数之字符串函数的更多相关文章

  1. Spark SQL内置函数

    Spark SQL内置函数官网API:http://spark.apache.org/docs/latest/api/scala/index.html#org.apache.spark.sql.fun ...

  2. [转] Spark sql 内置配置(V2.2)

    [From] https://blog.csdn.net/u010990043/article/details/82842995 最近整理了一下spark SQL内置配.加粗配置项是对sparkSQL ...

  3. Hive学内置条件和字符串函数

    https://blog.csdn.net/skywalker_only/article/details/38752003 条件函数 下表为Hive支持的一些条件函数. 返回类型 函数名 描述 T i ...

  4. sql内置函数pivot强大的行转列功能

    原文:sql内置函数pivot强大的行转列功能 语法: PIVOT用于将列值旋转为列名(即行转列),在SQL Server 2000可以用聚合函数配合CASE语句实现 PIVOT的一般语法是:PIVO ...

  5. SQL函数大全(字符串函数).

    SQL Server 2005  函数大全 字符串函数 字符串函数 SubString在SQL和C#中不同, 一,select  substring('abcde',-1,3) select LEN( ...

  6. python内置常用高阶函数(列出了5个常用的)

    原文使用的是python2,现修改为python3,全部都实际输出过,可以运行. 引用自:http://www.cnblogs.com/duyaya/p/8562898.html https://bl ...

  7. jquery (内置遍历数组的函数,事件)

    内置遍历数组的函数: 1. $.map(array, function() { }); 取到数组或者对象array中每一项进行遍历  然后在function中处理: var attr = [1,2,3 ...

  8. SQL Server系统函数:字符串函数

    原文:SQL Server系统函数:字符串函数 1.字符转化为ASCII,把ASCII转化为字符,注意返回的值是十进制数 select ASCII('A'),ASCII('B'),ASCII('a') ...

  9. SQL serve 聚合函数、字符串函数

    1.聚合函数 sum,avg,max,min,count        having后面只能跟聚合函数 2.数学函数和字符串函数 3.练习: 1)新建一个学生信息表,根据问题写出程序. 2)新建一个超 ...

  10. SQL server聚合函数、数学函数、字符串函数

    一.基础语句 二.数学函数与字符串函数 三.练习 1.创建一个学生信息表,根据要求写出程序 2.新建一个超市表,进了十种商品,个数都是十件

随机推荐

  1. k8s 各个概念解释

    pods ,  k8s 的核心, 所有的的操作都是围绕 pod , pod 可以认为是多个容器的捆绑.pod 里的容器里共享 cpu 网络  存储.                          ...

  2. java基础之异常。

    异常: (1)异常:异常就是Java程序在运行过程中出现的错误. 异常由来:问题也是现实生活中一个具体事务,也可以通过java 的类的形式进行描述,并封装成对象.其实就是Java对不正常情况进行描述后 ...

  3. Python移动自动化测试面试

    Python移动自动化测试面试 整个课程都看完了,这个课程的分享可以往下看,下面有链接,之前做java开发也做了一些年头,也分享下自己看这个视频的感受,单论单个知识点课程本身没问题,大家看的时候可以关 ...

  4. Django--csrf跨站请求伪造、Auth认证模块

    form表单中使用跨站请求伪造 { % csrf_token % } 会动态生成一个input框,内部的value是随机刷新的 如果不想校验csrf from django.views.decorat ...

  5. JasperReports报表变量13

    报表变量是建立在报表表达式之上的特殊对象.报表变量简化以下任务: 报表,其中大量使用在整个报告模板表达式.这些表达式可以通过使用报表变量只能声明一次. 计数,求和,平均,最低,最高,方差等:报表变量可 ...

  6. 读取复杂结构的yml配置项

    1.yml配置项示例:(List的集合在第一项前面加 “-”) rabbitmqsetting: exchangeList: - name: e1 type: topic bindingList: - ...

  7. SSM2-搭建maven常见的错误以及解决方法

    1.项目中的jdk版本电脑自带的jdk版本不一致 mavne-parent 的pom.xml文件 <!-- java编译插件 --> <plugin> <groupId& ...

  8. 前端(jQuery)(6)-- jQuery的扩展与noConflict

    1.jQuery的扩展 <!DOCTYPE html> <html lang="en"> <head> <meta charset=&qu ...

  9. java并发系列(二)-----线程之间的协作(wait、notify、join、CountDownLatch、CyclicBarrier)

    在java中,线程之间的切换是由操作系统说了算的,操作系统会给每个线程分配一个时间片,在时间片到期之后,线程让出cpu资源,由其他线程一起抢夺,那么如果开发想自己去在一定程度上(因为没办法100%控制 ...

  10. Liferay 7.1发布啦

    下载地址: https://cdn.lfrs.sl/releases.liferay.com/portal/7.1.0-m1/liferay-ce-portal-tomcat-7.1-m1-20180 ...