完全不要设置allowed_domains。
查看此scrapy文件中的get_host_regex()函数:
https://github.com/scrapy/scrapy/blob/master/scrapy/contrib/spidermiddleware/offsite.py

完全不要设置allowed_domains。
查看此scrapy文件中的get_host_regex()函数:
https://github.com/scrapy/scrapy/blob/master/scrapy/contrib/spidermiddleware/offsite.py