抓取

这是一个存在多年、经常出现但又从来没有标准解决办法的问题：搜索引擎爬虫（尤其是百度）抓取JS、CSS、JSON文件，robots屏蔽依然抓取的情况。 这就引出了几个问题： 1、爬虫抓取JS、CSS是干什么的？ 2、爬虫能否执行JS？ 3、爬...