很早之前记的一个笔记了，之前只是记录了两句代码，放出来的话也是一个低质量的页面，于是设置为了仅自己可见，今晚抽空补充一下。 记得当的情景应该是提交sitemap时百度老提示有错误的URL，导致sitemap不能正常被抓取，于是在想办法解决这...
shell学习笔记用shell找出网站的空页面和404错误页面
阅读全文
Shell
shell学习笔记
shell学习笔记shell批量查询IP地址归属地
最近在搞代理IP（见上一篇“shell小技巧：用curl批量验证代理IP是否可用”）的时候遇到一个小问题，我需要知道收集到的几百个可用的代理IP地址归属地是哪儿的，然后根据我的需求选择该用哪个IP地址。比较的笨的办法是，把IP地址扔到百度里...
shell学习笔记shell神器curl用法笔记
curl可以模仿浏览器，可以当下载器，当你只是在处理一些shell工作时、测试，要图形界面干嘛？或者，要一个下载器干嘛。 基本用法（配合sed/awk/grep） $curl http: //bpsky.net 下载保存 $curl htt...
SEO教程shell快速批量获取百度商情关键词【带指数】
------------2015年3月31日补充开始--------------- 看到下面有朋友留言说用不了，我就纳闷了，怎么就用不了？每次有人说用不了，我都会测试一下，结果明明是可用的。于是我把代码打包成了一个sh脚本文件shangqi...
shell学习笔记shell实现字符串反转
需求 在做关键词清洗过程中，需要将一类不符合某个字结尾的词过滤出来，思路是把这一批词按最后一个字排序，于是想到了先把这些词反转一下，如把12345转为54321，好像以前在夜息的文章里看过用shell可以实现，就百度了一下，找到几个可行的解...
shell学习笔记shell小技巧：用curl批量验证代理IP是否可用
我们做SEO的有时候有一些奇怪的需求，比如批量查2000个词的排名什么的，如果同一个IP查的话，百度很容易屏蔽我们，这时候我们就需要一些代理IP来配合我们工作，那我们如何搞到一些可用的代理IP呢？ 思路 1、用proxyfire（没听说过的...
shell学习笔记shell批量采集爱站关键词库
shell批量采集爱站关键词库，心血来潮写着玩的，还不完善，先放出来，后期慢慢更新，功能虽然简单，同类工具也很多现成的，但毕竟是自己写出来的工具，感觉还是很不一样滴！ for i in $(seq 1 50);do curl -s http...
shell学习笔记shell压缩解压命令：gzip、zip、tar
shell 压缩 gzip 和 gunzip 压缩: gzip filename 文件即会被压缩，并被保存为 filename.gz 解压缩: gunzip filename.gz filename.gz 会被删除，...
shell学习笔记shell批量添加扩展名的两种可用方法
方法1： for file in `ls`; do mv $file $file.txt; done 方法2： find . -type f |xargs -i mv {} {}.txt 还有一些试验不成功的，先记录在此。 1....
其他杂项shell文本过滤之awk命令
如果要格式化报文或从一个大的文本文件中抽取数据包，那么awk可以完成这些任务。 为了获取所需信息，文本必须格式化，也就是说要使用域分隔符来划分抽取域，分隔符可以使任意字符。 awk语言的最基本功能是在文件或字符串中基于指定规格浏览和抽取信息...
shell学习笔记用shell快速生成xml格式sitemap【亲测好用！】
用shell快速生成xml格式的sitemap地图文件，中小型网站适用。在本次案例中，生成12053条URL的sitemap文件，仅用时4.3秒！shell代码如下： cat sitemap.txt|awk 'BEGIN{print "&l...
SEO基础入门SEO需要懂的相关个人技能【转】
随着SEO行业经验的增长，越来越觉得这是一门类似太极拳的功夫：易学难精。因为其中涉及到很多技术相关的细节，如果你不了解这些细节，虽然也能做好一些工作，可是始终有它的局限性，可能很多时候你得求着技术来配合你做一些改动什么的，比较郁闷。所以一直...