Scrapy无法解释javascript。
如果你绝对必须与页面上的javascript进行交互，则希望使用Selenium。
如果使用Scrapy，问题的解决方案取决于按钮的作用。
如果只是显示以前隐藏的内容，则可以毫无问题地抓取数据，也不会出现在浏览器中，HTML仍然存在。
如果它是在按下按钮时通过AJAX动态获取内容的，那么最好的办法就是使用Firebug等工具查看按下按钮时发出的HTTP请求。然后，你可以直接从该URL请求数据。
我是否必须使用诸如机械化或lxml之类的外部库？
如果要解释javascript，是的，你需要使用其他库，尽管这两者都不适合。他们俩都不了解javascript。Selenium是要走的路。
如果你可以提供要抓取的页面的URL，我可以看一下。
