如何使用scrapy中的CrawlSpider单击带有javascript onclick的链接？

实际方法如下：

1. 发布你的请求以访问该页面（在执行操作时）
2. 从该特定响应中提取指向下一页的链接

3. 如果可能，请简单地请求下一页，或者在适用的情况下再次使用FormRequest
   所有这些都必须通过服务器响应机制来简化，例如：
   

4. 你可以尝试

   dont_click = true

   在

   FormRequest.from_response

5. 或者，你可能想处理来自服务器的重定向（302）（在这种情况下，你将不得不在元数据中提到你还要求将句柄重定向请求发送到回调。）
   现在，如何解决所有问题： 使用诸如fiddler之类的Web调试器，或者使用Firefox插件FireBug，或直接在IE 9中按F12键；并检查用户在网站上实际发出的请求是否与你抓取网页的方式匹配。