sitemap生成器:python生成百万级URL的sitemap文件 python笔记

sitemap生成器:python生成百万级URL的sitemap文件

手里有一批百万级别的URL没有收录,想做成sitemap提交一下,[email protected],在我的“变态”要求之下,这个程序近乎完美,无论你给定多少URL,程序会自动判断,按最多50000条URL成生多个sitemap.x...
阅读全文
搭建或者升级Python环境笔记,吐血记录! python笔记

搭建或者升级Python环境笔记,吐血记录!

搭建或者升级Python环境笔记,吐血记录! 每次在新的Centos上折腾Python时,在参考之前的两篇文章(见本文结尾文章推荐)之后,总是会遇到这样那样的问题,原来是一些Python所依赖的包没有安装好,导致又得重新make&m...
阅读全文
Python挖词脚本,挖出几十万关键词不是梦 带搜索量 python笔记

Python挖词脚本,挖出几十万关键词不是梦 带搜索量

[email protected],貌似是百度商情的关键词数据。 方法博客中用的是ssh,几行代码就搞定了挖词,但是我试了一下,挖出来有一些错乱也有一些重复。于是就用python做了一个版本。拿出来分享一下。 方法的原文:http:/...
阅读全文
python批量删除5000个txt文件的第一行 python笔记

python批量删除5000个txt文件的第一行

今天为了做那个验证百度站长平台抓取诊断工具能否收录二级URL的SEO实验,我批量搞了一批页面,大概有200个左右,然而在源文件里,每个html文件顶部都有一句无用的代码,又不能用正则表达式给批量删除掉,那怎么办呢?原本想用shell看能不能...
阅读全文