爬虫笔记(11)性能问题

1. 过年吧从未啥事干,继续捣鼓爬虫。开始是准备爬豆瓣电影之,豆瓣存在一些反爬机制,爬一会就爬不动了。当然后面是突破了这界定,使用随机bid,设置cookie。据说见面面世验证码,我爬了几万总统影片也绝非起这问题。初期的想法是采用代理ip,网络及的免费代办ip大都不指谱,懒得捣鼓。 在豆瓣电影是爬虫中,我骨子里是使简单单步骤来执行。第一有些是按部就班年标签查找电影,从1900到2017年,将每个电[…]

继续阅读 …