这是一个存在多年、经常出现但又从来没有标准解决办法的问题：搜索引擎爬虫（尤其是百度）抓取JS、CSS、JSON文件，robots屏蔽依然抓取的情况。 这就引出了几个问题： 1、爬虫抓取JS、CSS是干什么的？ 2、爬虫能否执行JS？ 3、爬...
SEO好文章GoGo闯：【SEO】关于爬虫抓取JS、CSS、JSON
阅读全文
爬虫
SEO好文章
其他杂项【牛逼！】爬了3000万QQ用户数据，挖出了花千骨赵丽颖的QQ号
文|.NET程序猿小伍 两周前，做的一个项目需要模拟一批用户评价数据，如果想让数据看着真实点，那就得使用随机的用户昵称和头像啊。要是头像或者昵称全都差不多，那别人一看就看出来这是做的数据了。 于是乎我就写了个从我QQ空间开始的蜘蛛网式的爬虫...