前置
Oracle中INSTR的用法：
INSTR(源字符串, 要查找的字符串, 从第几个字符开始, 要找到第几个匹配的序号)
例如：INSTR('CORPORATE FLOOR','OR', 3, 2)中，
源字符串为'CORPORATE FLOOR', 在字符串中查找'OR'，
从第三个字符位置开始查找"OR"，取第三个字后第2个匹配项的位置。
oracle的substr函数的用法：
取得字符串中指定起始位置和长度的字符串
substr( string, start_position, [ length ] )
如:
substr('This is a test', 6, 2) would return 'is'
import org.apache.spark.sql.functions._
场景1：我们想要对DataFrame a Column 进行进行字符串的长度截取
方式一：Function "expr"
val data = List("first", "second", "third")
val testDF = sc.parallelize(data).toDF("col")
val result = testDF.withColumn("newcol", expr("substring(col, 1, length(col)-1)"))
result.show(false)
方式二： use $"COLUMN".substr
val testDF = sc.parallelize(List("first", "second", "third")).toDF("col")
val result = testDF.withColumn("newcol", $"col".substr(org.apache.spark.sql.functions.lit(1), length($"col")-1))
result.show(false)
场景2：我们想要对DataFrame a Column 进行进行字段的拆分【某一列变多列，原始列保留】
val testDF = sc.parallelize(List("first|1", "second|2", "third|3")).toDF("col")
val result = testDF.withColumn("newcol",split(col("col"), "\\|") )
scala> result.show(false)
+--------+-----------+
|col |newcol |
+--------+-----------+
|first|1 |[first, 1] |
|second|2|[second, 2]|
|third|3 |[third, 3] |
+--------+-----------+
val result2 = testDF.withColumn("newcol1",split(col("col"), "\\|")(0) ).withColumn("newcol2",split(col("col"), "\\|").getItem(1) )
scala> result2.show(false)
+--------+-------+-------+
|col |newcol1|newcol2|
+--------+-------+-------+
|first|1 |first |1 |
|second|2|second |2 |
|third|3 |third |3 |
+--------+-------+-------+
上面的拆分的那列如果不想要，当然也可以通过通过drop进行删除
split()的结果可以使用(0) 和 getItem(0) 的方式进行获取
场景3：我们想要对DataFrame a Column 进行进行字段的拆分【原始仅有一列，且不用保留原始列】
val testDF = sc.parallelize(List("a.b.c", "d.e.f", "g.h.i")).toDF("columnToSplit")
val result = testDF.withColumn("_tmp", split($"columnToSplit", "\\.")).select(
$"_tmp".getItem(0).as("col1"),
$"_tmp".getItem(1).as("col2"),
$"_tmp".getItem(2).as("col3")
).drop("_tmp")
scala> result.show(false)
+----+----+----+
|col1|col2|col3|
+----+----+----+
|a |b |c |
|d |e |f |
|g |h |i |
+----+----+----+
场景4
case class Message(others: String, text: String)
val r1 = Message("foo1", "a.b.c")
val r2 = Message("foo2", "d.e.f")
val records = Seq(r1, r2)
val df = spark.createDataFrame(records)
val result = df.withColumn("col1", split(col("text"), "\\.").getItem(0)).withColumn("col2", split(col("text"), "\\.").getItem(1)).withColumn("col3", split(col("text"), "\\.").getItem(2))
scala> result.show(false)
+------+-----+----+----+----+
|others|text |col1|col2|col3|
+------+-----+----+----+----+
|foo1 |a.b.c|a |b |c |
|foo2 |d.e.f|d |e |f |
+------+-----+----+----+----+
转播
