Spark 从RDD构建Dataframe

论坛 期权论坛 脚本     
匿名技术用户   2020-12-29 08:37   11   0
from pyspark.sql.types import StringType,StructField,StructType

StructField:用来生成dataframe的列名(fields)

根据数据来生成fields,少的时候可是徒手输入,多了就要自动构建了

fields = [StructField("f"+str(i),StringType(),True) for i in range(55)]

schema = StructType(fields)

构建fields时候,最好都先要把类型设置为StringType(),之后再进行转换。StringType()毕竟靠谱,不会报错。

分享到 :
0 人收藏
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

积分:7942463
帖子:1588486
精华:0
期权论坛 期权论坛
发布
内容

下载期权论坛手机APP