这是一些中间件示例代码，该代码将sqlite3表中的url加载
(Id INT, urlTEXT)到集合中，然后对照该集合检查请求url，以确定是否应忽略该url。修改此代码以使用MySQL和Memcache应该相当简单，但是如果您有任何问题或疑问，请告诉我。:)
import sqlite3from scrapy.exceptions import IgnoreRequestclass IgnoreDuplicates(): def __init__(self): self.crawled_urls = set() with sqlite3.connect('C:devscrapy.db') as conn: cur = conn.cursor() cur.execute("""SELECt url FROM CrawledURLs""") self.crawled_urls.update(x[0] for x in cur.fetchall()) print self.crawled_urls def process_request(self, request, spider): if request.url in self.crawled_urls: raise IgnoreRequest() else: return None在不常见的情况下，您会遇到像我这样的导入问题并准备打您的显示器，上面的代码位于
middlewares.py文件中，该文件位于具有以下
DOWNLOADER_MIDDLEWARES设置的顶级项目文件夹中
DOWNLOADER_MIDDLEWARES = { 'myproject.middlewares.IgnoreDuplicates': 543, 'scrapy.contrib.downloadermiddleware.httpproxy.HttpProxyMiddleware': 500,}
