栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 面试经验 > 面试问答

在Neo4J中插入大量节点

面试问答 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

在Neo4J中插入大量节点

万一这里有人遇到这个问题,我想记录一下自己和同事能够解决的问题,以提高速度。首先要注意一两个关于数据的注释:

  • 有大量用户,他们大约占节点的30%
  • 由于人们倾向于对几乎所有内容进行哈希处理,因此还有大量的标签
  • 这两个必须保证唯一

现在,这已不至于进行优化。首先,最重要的是,您需要确保每次插入节点时插入循环完成。没有真正的例子可供我们看,因此最初的代码看起来像这样(伪代码)

Transaction beginWhile(record.next()){   parse record   create unique user   create unique hashtag   create comment   insert into graph}Transaction successTransaction finish

虽然这行之有效,并且对于小型数据集而言相对较快完成,但扩展性不好。因此,我们研究了每个函数的用途,并将代码重构为如下所示:

While(record.next()){   Transaction begin   parse record   create unique user   create unique hashtag   create comment   insert into graph   Transaction success   Transaction finish}

这大大加快了速度,但对我的同事来说还远远不够。因此,他发现可以在节点属性上创建Lucene索引,并且我们可以在唯一节点工厂中引用这些索引。这给了我们另一个明显的提速。如此之多,以至于我们可以在10秒钟之内插入1,000,000个节点,而无需使用批处理加载器。感谢大家的帮助。



转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/464199.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号