这篇文章讲解一下yunshare项目的爬虫模型。使用 nodejs 开发爬虫很简单,不需要类似 python 的 scrapy 这样的爬虫框架,只需要用 request 或者 superagent 这样的 http 库就能完成大部分的爬虫工作了。使用 nodejs 开发爬虫半年左... 全文

2016-12-05 23:40 来自版块 - 前端案例

今天开源了一个百度云网盘爬虫项目,地址是https://github.com/callmelanmao/yunshare。百度云分享爬虫项目github上有好几个这样的开源项目,但是都只提供了爬虫部分,这个项目在爬虫的基础上还增加了保存数据,建立elasticsearch索引的模... 全文

2016-11-24 11:46 来自版块 - 前端案例

返回顶部