sitemap生成器:python生成百万级URL的sitemap文件 python笔记

sitemap生成器:python生成百万级URL的sitemap文件

手里有一批百万级别的URL没有收录,想做成sitemap提交一下,[email protected],在我的“变态”要求之下,这个程序近乎完美,无论你给定多少URL,程序会自动判断,按最多50000条URL成生多个sitemap.x...
阅读全文
【张亚楠】Python读取大文件 SEO好文章

【张亚楠】Python读取大文件

1. 前言 前几天在做日志分析系统,需要处理几十G的文件,我尝试用原来的for line in open(filepath).readlines()处理,但停顿好久也没变化,可见占用不小的内存。在网上搜索了下,找到了两种方法来读取大文件。 ...
阅读全文