- 使用phantom抓取动态页面
- 使用pm2作为任务管理
- 使用schedule作为定时服务
cnpm install 安装依赖
pm2 start app.js 开启服务
pm2 stop app.js 停止服务
pm2更多命令请参考http://www.jianshu.com/p/fdc12d82b661
启动项目会创建images文件夹，并且首先向里面放入12*54张以前的bing图片 然后开启定时服务，每天在晚上23：40抓取今天的图片
-
Notifications
You must be signed in to change notification settings - Fork 0
vivatoviva/webCrawler
Folders and files
| Name | Name | Last commit message | Last commit date | |
|---|---|---|---|---|
Repository files navigation
About
爬虫相关项目，主要使用技术为Scrapy和node
Resources
Stars
Watchers
Forks
Releases
No releases published
Packages 0
No packages published