Screaming Frog SEO Spider

之前看到有朋友在问，有什么工具能把一个网站上所有url链接下载下来？换句话说，就是想爬取整站URL，或者叫整站URL提取工具，目的是将网页里面所有的url提取出来，便于后期做一些辅助性的SEO优化工作，比如最有用当属生成整站的sitemap...