免责声明:本文所记录的技术手段及实现过程,仅作为爬虫技术学习使用,不对任何人完全或部分地依据本文的全部或部分内容从事的任何事情和因其任何作为或不作为造成的后果承担任何责任。
爬取需求:从网站上,任意查询条件下,爬取前5页工作岗位的企业名称、工作岗位、薪资水平、工作地点等信息;
爬取工具:chrome浏览器、pycharm
Python库:requests、BeautifulSoup
01
网站结构分析
通过输入url,打开实习僧网站,点击按钮打开查询结果页面
通过翻页按钮找到每页对应的url链接信息: