SEO好文章【张亚楠】python requests的安装与简单运用 requests是python的一个HTTP客户端库,跟urllib,urllib2类似,那为什么要用requests而不用urllib2呢?官方文档中是这样说明的: python的标准库urllib2提供了大部分需要的HTTP功能,但是A... 11月18日 993 发表评论 阅读全文
SEO好文章【张亚楠】ETag简介与在SEO方面的应用 之前在《高性能网站建设指南》中了解过ETag,但一直没有应用。昨晚看到百度站长平台在大力推荐ETag,忽然有一种凌凌漆接到国家任务的感觉。 1. 什么是ETag ETag全称为Entity Tag,中文名为实体标签,是Web服务器和浏览器用... 11月18日 962 发表评论 阅读全文
SEO好文章【张亚楠】Python在我SEO工作中的应用(1) 1. 本系列前言 一直想写Python与SEO的系列文章,因为随着SEO工作的开展,以及自身Python水平的提高,Python在SEO中的应用越来越多,使用的范畴也越来越广。 本系列暂时计划分为几个主题,将在近几周完成: 数据采集 关键词... 11月18日 1,411 发表评论 阅读全文
SEO好文章【张亚楠】Scrapy数据保存为excel 背景 Scrapy默认是可以保存为csv的,可以用excel打开,使用scrapy crawl spider_name -o data.csv即可。但csv格式有诸多不便,比如中文编码问题,比如说逗号分隔,虽然都能解决,但对一般用户来说还是... 11月18日 2,910 发表评论 阅读全文
SEO好文章【张亚楠】[翻]使用requests和lxml进行web抓取 web抓取 web站点是由HTML语言编写,这意味着每个网页都是结构化文档。有时,我们可利用当前结构获取所需数据并保留数据格式,但通常都不能以合适的结构获取数据(不像csv和json)。 web抓取适时而出。web抓取可利用计算机程序过滤网... 11月18日 902 发表评论 阅读全文
SEO好文章【张亚楠】Python读取大文件 1. 前言 前几天在做日志分析系统,需要处理几十G的文件,我尝试用原来的for line in open(filepath).readlines()处理,但停顿好久也没变化,可见占用不小的内存。在网上搜索了下,找到了两种方法来读取大文件。 ... 11月18日 940 1 阅读全文
SEO好文章【张亚楠】django-crontab实现Django定时任务 1. 前言 为了做一些报表,最近需要每日从爱站上抓取竞争对手的百度流量和移动流量,从我能实现的技术来看,大致有三种实现形式: 火车头定时抓取; python+crontab定时抓取,保存在txt或cav或数据库中; django定时任务,用... 11月18日 2,577 1 阅读全文
SEO好文章【张亚楠】用Python简单实现Google Analytics API SEO需要经常看网站各种数据,如Visits,Keywords,landing page等,但总要登录Google Analytics(之后简称GA)查看,而且无法与其他系统数据结合。这时,就需要GA API了。GA API自动获取各种数据... 11月18日 1,329 1 阅读全文
shell学习笔记【亲测好用!】Centos6.5安装Sublime text 3 Centos大多数情况下是用来做服务器的,但是由于各种原因我现在要用Centos做开发机,所以当然要安装开发神奇Sublime textle. 注意:安装目录因人而异,我的安装目录是/opt/sublime_text_3. 一、建立软件安装... 11月16日 3,479 1 阅读全文
shell学习笔记【阿里云ECS安装桌面成功!】CentOS6.5安装vncserver实现图形界面操作 一. 安装gnome图形化桌面 #yum groupinstall -y "X Window System" #yum groupinstall -y "Desktop" #yum groupinstall -y "Chinese Supp... 11月16日 7,818 发表评论 阅读全文
SEO工作【北京SEO招聘】跟谁学12K招聘SEO主管 很久没发SEO招聘相关的文章了,有朋友问题我怎么最近没有SEO工作了呢?刚好昨天有朋友让帮发一个新鲜出炉的SEO招聘信息,内容如下,有意向的,请把简历发我QQ邮箱。 职位信息: 【SEO主管】 薪水:10-12K 【SEO专员】 薪水:6-... 11月10日 1,109 1 阅读全文
shell学习笔记30多条mysql数据库优化方法,千万级数据库记录查询轻松解决 1.对查询进行优化,应尽量避免全表扫描,首先应考虑在 where 及 order by 涉及的列上建立索引。 2.应尽量避免在 where 子句中对字段进行 null 值判断,否则将导致引擎放弃使用索引而进行全表扫描, Sql 代码 : s... 11月06日 1,212 1 阅读全文