【亲测好用!】shell批量采集百度下拉框关键词

一直想写一篇用shell采集百度下拉框关键词的教程,个人感觉用shell来采集的话速度和效率都会更高一点。因为前面写过一篇用火车头采集百度下拉框关键词的教程,操作步骤稍微多了些,很多朋友看完了仍然不知道怎么做,然后QQ问我,教程都写得很清楚明了,只要对照着来做,一定会成功的。

-------------------------------2015年5月22日补充-------------------------------

刚看到小五给了一个可以批量采集百度下拉框的百度接口,简单修改下,已经用shell实现了批量采集,代码如下:

采集单个词测试一下:

curl -s "https://sp0.baidu.com/5a1Fazu8AA54nxGko9WTAnF6hhy/su?wd=seo"|iconv -f gbk -t utf-8|awk -F":" '{print $4}'|grep -oP '(?<=").*?(?=")'|sed 's/,//g'

效果如下图所示:

shell采集百度下拉框关键词

指定一批母词,批量采集代码:

cat kws.txt|while read line;do curl -s "https://sp0.baidu.com/5a1Fazu8AA54nxGko9WTAnF6hhy/su?wd=$line"|iconv -f gbk -t utf-8|awk -F":" '{print $4}'|grep -oP '(?<=").*?(?=")'|sed 's/,//g';done 

效果如下图,如果你的母词很多的话,建议在代码后面加一个重定向命令,将结果实时写入到文件中,这样比较好复制一些。给出完整代码吧:

cat kws.txt|while read line;do curl -s "https://sp0.baidu.com/5a1Fazu8AA54nxGko9WTAnF6hhy/su?wd=$line"|iconv -f gbk -t utf-8|awk -F":" '{print $4}'|grep -oP '(?<=").*?(?=")'|sed 's/,//g';done >ok.txt

结果会实时写入ok.txt文件中。

【亲测好用!】shell批量采集百度下拉框关键词

shell批量采集百度下拉框关键词另一个可用的百度API:

cat kws.txt|while read line;do curl -s http://suggestion.baidu.com/su?wd=$line=$line|iconv -f gbk -t utf-8|grep -oP '(?<=").*?(?=")'|egrep -v "baidu|,";done

效果如下图:

采集效率如下图,217个母词,不到一分钟采集到了416个下拉词,效率如何?

  • 版权声明:除非注明,本博客均为北京SEO方法的原创文章,转载或引用请以超链接形式标明本文地址,否则会在SEO圈内公开此种不尊重版权的行为,谢谢合作!本文地址:http://seofangfa.com/seo-tool/shell-baidu-xiala.html
    本文信息:于2年前,由方法SEO发表,共 1106字。

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen:

目前评论:12   其中:访客  8   博主  0   引用   4

  1. avatar 西安SEO

    博主的文章不错!!

  2. avatar 杨超SEO

    保存的ok.txt里面默认不会换行啊?

  3. avatar 商标查询

    -bash: sad: 未找到命令

  4. avatar 商标查询

    不好使- -。

  5. avatar 陌小雨

    补充一下母词文本的k***s.txt的写法就更好了

  6. avatar green

    不懂shell,可否进一步傻瓜化呢?

  7. avatar 出不来词咋办啊啊

    词出不来啊啊啊啊啊啊

  8. 来自外部的引用: 4

    • 分享一个百度下拉框关键词采集工具【仍然好用!附详细教程】_SEO工具_【方法SEO博客】
    • 【高清视频!】cygwin及cygwin下常用工具安装使用教程_SEO教程_【方法SEO顾问】
    • 【高清视频!】win7系统Cygwin安装教程及常用工具安装使用教程_SEO教程_【方法SEO顾问】
    • 【亲测好用!】百度、360、搜狗下拉框关键词批量采集_shell学习笔记_【方法SEO顾问】