您可以使用
Column.isNull/
Column.isNotNull:
df.where(col("dt_mvmt").isNull())df.where(col("dt_mvmt").isNotNull())如果你想简单地丢弃
NULL值,您可以使用
na.drop与
subset参数:
df.na.drop(subset=["dt_mvmt"])
基于等式的比较
NULL将无法正常工作,因为在SQL
NULL中未定义,因此任何将其与另一个值进行比较的尝试都将返回
NULL:
sqlContext.sql("SELECT NULL = NULL").show()## +-------------+## |(NULL = NULL)|## +-------------+## | null|## +-------------+sqlContext.sql("SELECT NULL != NULL").show()## +-------------------+## |(NOT (NULL = NULL))|## +-------------------+## | null|## +-------------------+与值进行比较的唯一有效方法
NULL是
IS/
IS NOT,它等效于
isNull/
isNotNull方法调用。



