Python网络爬虫第一篇
(一):为什么要学习网络爬虫?
大数据成为当今时代的热门话题之一,在数据量爆发增长的互联网时代,网站与用户沟通实质为数据的交换。如果大量的数据得以分析,我们能够对事件的看法,解决方案做出更好的决策。而网络爬虫技术,则是大数据分析领域的第一个环节。
(二):能从网络上爬取什么数据?
所有在网页能见到的数据都可以通爬虫程序保存下来。
(三):python爬虫的流程
获取网页——解析网页(提取数据)——存储数据
1:获取网页:给一个网址发送请求,该网址会返回整个网页的数据。
基础技术:requests模块、urllib模块、selenium模块
进阶技术:多进程多线程抓取、登录抓取、突破IP封禁、使用服务器抓取。
2:解析网页:从整个网页中提取想要的数据。
基础技术:re正则表达式、BeautifulSoup和lxml。
进阶技术:解决中文乱码
3:存储数据:把数据存储下来,可存放到数据库,也可存在csv中。
基础技术:存入txt文件和存入csv文件
进阶技术:存入MySQL数据库和MongoDB数据库
(四)编写第一个网络爬虫
1:使用pip安装第三方库:pip是Python安装第三方库(package)的工具,安装的第三方库:bs4:使用其中的BeautifulSoup解析网页。
requests:获取网页地址。
2:使用编辑器Pycharm编程。(如有小伙伴遇到安装问题,请联系小编,小编在所不辞)
3:请开始你的表演:
第一步:获取页面:
importrequests#导入第三方库
link=