栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 面试经验 > 面试问答

在pyspark中找不到col函数

面试问答 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

在pyspark中找不到col函数

它存在。只是没有明确定义。从中导出的函数

pyspark.sql.functions
是围绕JVM代码的精简包装,除少数需要特殊处理的异常外,这些函数是使用辅助方法自动生成的。

如果您仔细检查来源,就会发现其中

col
列出了其他来源
_functions
。此字典会进一步迭代,
_create_function
并用于生成包装器。每个生成的函数都直接分配给中的相应名称
globals

最后

__all__
,它定义了从模块导出的项目的列表,仅导出
globals
除黑名单中包含的项目以外的所有项目。

如果仍然不清楚这种机制,则可以创建一个玩具示例:

  • 创建

    foo.py
    带有以下内容的Python模块:

    # Creates a function assigned to the name foo

    globals()[“foo”] = lambda x: “foo {0}”.format(x)

    Exports all entries from globals which start with foo

    all = [x for x in globals() if x.startswith(“foo”)]

  • 将其放置在Python路径上的某个位置(例如,在工作目录中)。

  • 导入

    foo

    from foo import foo

    foo(1)

这种元编程方法的不良副作用是,纯依赖于静态代码分析的工具可能无法识别已定义的功能。这不是关键问题,在开发过程中可以安全地忽略它。

根据IDE的不同,安装类型注释可以解决该问题(例如,请参见zero323 / pyspark-
stubs#172
)。



转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/641058.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号