从零开始写一只爬虫 · 虫子爬爬

从零开始写一只爬虫 · 虫子爬爬

经过前面的步骤,一个小巧的虫子就出炉了。下面是它的全部身子骨:

诚然,这个爬虫不能与Apache Nutch或者WebMagic相比,并且功能什么的也都很弱,没有进度监控、没有自动调度,各种简陋。不过,作为练习数据结构、练习Python语法、临时有点什么体力活需要自动解决、满足自己好奇心的时候,它还是很有效的。

下面是一些爬取成果:

抓取结果
抓取结果

另外还可以把它改造成为一个图片抓取器什么的。谁会改写代码的话可以帮帮忙。

当然,有些神人还能通过抓取QQ空间啊什么的获得了TX的3000W好友关系数据。唔……大神请收下我中了一箭的膝盖。

好,本次教程就到这里,第一次写连载教程也就到这里。如果有什么建议的话,请联系我。

发表评论

电子邮件地址不会被公开。 必填项已用*标注