Gensim具有高效的tf-idf模型,不需要一次将所有内容存储在内存中。
您的语料库只需要是可迭代的,因此不需要一次将整个语料库存储在内存中。
根据评论,make_wiki脚本可在笔记本电脑上约5,000万英里的维基百科上运行。
上一篇 禁止在__init__之外创建新属性
下一篇 “深度复制”嵌套列表,不使用深度复制功能
版权所有 (c)2021-2022 MSHXW.COM
ICP备案号:晋ICP备2021003244-6号