New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

Sign up for GitHub

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

채용공고 사이트 크롤링 #2

Closed

4 of 6 tasks

heehehe opened this issue Oct 22, 2023 · 2 comments

Assignees

Labels

Owner

heehehe commented Oct 22, 2023 •

edited

Loading

사람인 - 사람인 채용공고 크롤링 #5
점핏 - 점핏 크롤링 #10
잡플래닛 - 잡플래닛 크롤링 #19
원티드 - 원티드 크롤링 #9
잡코리아 - 기술스택이 나눠져있긴 한데 data engineer는 좀 적음
로켓펀치 - 로켓펀치 크롤링 #8

보류 대상

linkedin (다른 블로그에서 제한 걸린적 있다고 함)
프로그래머스 (페이지 하단에 크롤링 금지한다고 써있음)

heehehe self-assigned this

Owner Author

heehehe commented Oct 27, 2023 •

edited

Loading

References

(merona99 이분이 채용공고 크롤링해서 진행하는 프로젝트를 하신 것 같음 👀)

linkedin 채용공고 크롤링 : https://merona99.tistory.com/322 (250~500개 하다가 밴 당했다는..^_ㅠ)
사람인 채용공고 크롤링 : https://merona99.tistory.com/336
프로그래머스 채용공고 크롤링 : https://merona99.tistory.com/335

Owner Author

heehehe commented Oct 27, 2023 •

edited

Loading

사이트별 url 형식

(일단 하나만 먼저 진행해보기)

사람인 : https://www.saramin.co.kr/zf_user/jobs/relay/view?rec_idx=46734588
- 아니면 데이터 엔지니어 직군만 먼저 살펴볼지 (모든 채용공고는 굳이.. 수도콘 니즈에도 어긋날듯🧐)
  + 해보고 데이터 직군 > 개발 직군으로 확장
- https://www.saramin.co.kr/zf_user/search?cat_kewd=83
- ~~이걸로 selenium 통해 크롤링? (간단하게 requests로만 하고 싶긴 한데.. 특정 직군을 살펴보려면 selenium 써야할듯)~~
  - https://www.saramin.co.kr/zf_user/search?cat_kewd=83&recruitPage=2 등으로 recruitPage 돌면서 진행해보기

heehehe added Epic crawling labels

heehehe closed this as completed

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment