重构人人贷爬虫程序(released)

重构已经完成并发布,在原项目地址,有空之后再写新版本的说明


之前曾经写过一个爬取人人贷交易数据的爬虫,主要用到了 urllib2 包进行请求,通过re包正则表达式进行提取数据,考虑到需要登陆进行爬取时,urllib2 不如requests 更稳定,同时较为复杂的正则表达式效率较低,准备通过 requests 包和bs4 进行重构,特开贴记录重构过程中的问题和思考。

原项目地址:View on Github

TODO

  • 重构 urllib2 模块
  • 重构 re 模块
  • 兼容 Python 2 / 3

重构人人贷爬虫程序(released)
https://blog.yuhaogao.com/2016/07/20/重构人人贷爬虫程序/
作者
宇皓
发布于
2016年7月21日
许可协议