很早之前记的一个笔记了，之前只是记录了两句代码，放出来的话也是一个低质量的页面，于是设置为了仅自己可见，今晚抽空补充一下。 记得当的情景应该是提交sitemap时百度老提示有错误的URL，导致sitemap不能正常被抓取，于是在想办法解决这...
shell学习笔记用shell找出网站的空页面和404错误页面
阅读全文
shell学习笔记
shell学习笔记
shell学习笔记shell批量查询IP地址归属地
最近在搞代理IP（见上一篇“shell小技巧：用curl批量验证代理IP是否可用”）的时候遇到一个小问题，我需要知道收集到的几百个可用的代理IP地址归属地是哪儿的，然后根据我的需求选择该用哪个IP地址。比较的笨的办法是，把IP地址扔到百度里...
shell学习笔记shell神器curl用法笔记
curl可以模仿浏览器，可以当下载器，当你只是在处理一些shell工作时、测试，要图形界面干嘛？或者，要一个下载器干嘛。 基本用法（配合sed/awk/grep） $curl http: //bpsky.net 下载保存 $curl htt...
SEO教程shell快速批量获取百度商情关键词【带指数】
------------2015年3月31日补充开始--------------- 看到下面有朋友留言说用不了，我就纳闷了，怎么就用不了？每次有人说用不了，我都会测试一下，结果明明是可用的。于是我把代码打包成了一个sh脚本文件shangqi...
shell学习笔记shell实现字符串反转
需求 在做关键词清洗过程中，需要将一类不符合某个字结尾的词过滤出来，思路是把这一批词按最后一个字排序，于是想到了先把这些词反转一下，如把12345转为54321，好像以前在夜息的文章里看过用shell可以实现，就百度了一下，找到几个可行的解...
shell学习笔记shell小技巧：用curl批量验证代理IP是否可用
我们做SEO的有时候有一些奇怪的需求，比如批量查2000个词的排名什么的，如果同一个IP查的话，百度很容易屏蔽我们，这时候我们就需要一些代理IP来配合我们工作，那我们如何搞到一些可用的代理IP呢？ 思路 1、用proxyfire（没听说过的...
shell学习笔记shell常用命令之curl： -w,–write-out参数详解
顾名思义，write-out的作用就是输出点什么。curl的-w参数用于在一次完整且成功的操作后输出指定格式的内容到标准输出。 输出格式由普通字符串和任意数量的变量组成，输出变量需要按照%{variable_name}的格式，如果需要输出%...
shell学习笔记shell批量采集爱站关键词库
shell批量采集爱站关键词库，心血来潮写着玩的，还不完善，先放出来，后期慢慢更新，功能虽然简单，同类工具也很多现成的，但毕竟是自己写出来的工具，感觉还是很不一样滴！ for i in $(seq 1 50);do curl -s http...
shell学习笔记shell压缩解压命令：gzip、zip、tar
shell 压缩 gzip 和 gunzip 压缩: gzip filename 文件即会被压缩，并被保存为 filename.gz 解压缩: gunzip filename.gz filename.gz 会被删除，...
shell学习笔记Shell的几个问题——WC命令、for循环
最近遇到几个shell问题，让以前觉得shell用的不错的我大吃一惊。 比如wc命令可以统计一个文件的行数，如果要知道本目录所有文件的行数和总行数，使用命令： wc -l * 2> /dev/null 如果本目录有子目录，...
shell学习笔记shell批量添加扩展名的两种可用方法
方法1： for file in `ls`; do mv $file $file.txt; done 方法2： find . -type f |xargs -i mv {} {}.txt 还有一些试验不成功的，先记录在此。 1....
shell学习笔记用shell快速生成xml格式sitemap【亲测好用！】
用shell快速生成xml格式的sitemap地图文件，中小型网站适用。在本次案例中，生成12053条URL的sitemap文件，仅用时4.3秒！shell代码如下： cat sitemap.txt|awk 'BEGIN{print "&l...