栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 面试经验 > 面试问答

Apache Nutch:FetcherJob在Gora中引发NoSuchElementException

面试问答 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

Apache Nutch:FetcherJob在Gora中引发NoSuchElementException

我确认问题出在MemStore。

在0.6.1中存在一个错误:https :
//github.com/apache/gora/blob/apache-gora-0.6.1/gora-
core/src/main/java/org/apache/gora/memory/store
/MemStore.java#L128

这已经在master中解决:https :
//github.com/apache/gora/blob/master/gora-
core/src/main/java/org/apache/gora/memory/store/MemStore.java#L155,对#firstKey()的访问具有保护#isEmpty()

但是,不要尝试更新到Gora 0.7-SNAPSHOT,因为Nutch到目前为止尚未适应它。

编辑

如果您想在Nutch 2.x中使用Gora-0.7-SNAPSHOT,也许您可​​以这样做:

  1. 下载版本为0.7-SNAPSHOT的Gora主分支
  2. 不要
    mvn install
    在山/安装它在Maven的本地仓库
  3. 将此补丁应用到Nutch:https : //paste.apache.org/jjqz,以便Nutch 2.3.1将与Gora 0.7-SNAPSHOT一起使用
  4. 做Nutch的教学资料

我希望它能起作用:)

编辑2

关于使用Hbase,进行本地安装非常容易。

  1. 如Nutch2Tutorial中所述,下载Hbase 0.98.8-hadoop2
  2. 在目录中添加tar.gz文件,例如:
    /home/you/hbase
  3. cd /home/you/hbase/bin
  4. ./start-hbase.sh

现在,您可以启动并运行Hbase。配置Nutch:

ivy / ivy.xml:查看@Emmanuel关于Hbase的ivy依赖项配置的评论。

gora.properties:

gora.datastore.default=org.apache.gora.hbase.store.HbaseStoregora.datastore.autocreateschema=truegora.datastore.scanner.caching=100

nutch-site.xml:

<configuration><property> <name>storage.data.store.class</name> <value>org.apache.gora.hbase.store.HbaseStore</value> <description>Default class for storing data</description></property></configuration>

做完了 它将采用Hbase的所有默认配置:localhost,/ tmp / …,blablabla



转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/428306.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号