已经在python3.4、python3.5、python3.6测试通过 ， 技术栈：urllib+BeautifulSoup4+SQLite，用到的py库：beautifulsoup4、configparser，以后增加图表显示的功能
python写的爬虫，爬取51job前程无忧、智联招聘的大城市（北京、上海、深圳、广州、杭州、成都、武汉、长沙、珠海）各种编程语言职位的总条数。
目前的岗位有：人工智能, 大数据, java, 前端, Android, iOS, python, php, go语言、node.js、区块链、c++、c#、产品经理。
爬取后分别保存到sqlite数据库与txt文本文件中。sqlite数据库一天只保存一次。但jobs.txt一天可以写入多次爬取的记录。
-
Notifications
You must be signed in to change notification settings - Fork 36
python写的爬虫，爬取51job前程无忧、智联招聘的大城市（北京、上海、深圳、广州、杭州、成都、武汉、长沙、珠海）各种编程岗位的职位数。
License
Tim9Liu9/python_spider_jobs
Folders and files
| Name | Name | Last commit message | Last commit date | |
|---|---|---|---|---|
Repository files navigation
About
python写的爬虫，爬取51job前程无忧、智联招聘的大城市（北京、上海、深圳、广州、杭州、成都、武汉、长沙、珠海）各种编程岗位的职位数。
Resources
License
Stars
Watchers
Forks
Releases
No releases published
Packages 0
No packages published