北京中科白癜风医院善行天下 http://www.gpitp.gd.cn/mei/20180426/74058.html这是一篇详细介绍Python爬虫入门的教程，从实战出发，适合初学者。读者只需在阅读过程紧跟文章思路，理清相应的实现代码，30分钟即可学会编写简单的Python爬虫。这篇Python爬虫教程主要讲解以下5部分内容：了解网页；使用requests库抓取网站数据；使用BeautifulSoup解析网页；清洗和组织数据；爬虫攻防战；今天给大家讲第一课了解网页；以中国旅游网首页为例，抓取中国旅游网首页首条信息（标题和链接），数据以明文的形式出面在源码中。在中国旅游网首页，按快捷键打开源码页面，如图1所示。图1中国旅游网首页源码认识网页结构网页一般由三部分组成，分别是HTML（超文本标记语言）、CSS（层叠样式表）和JScript（活动脚本语言）。HTMLHTML是整个网页的结构，相当于整个网站的框架。带“＜”、“＞”符号的都是属于HTML的标签，并且标签都是成对出现的。常见的标签如下：CSSCSS表示样式，图1中第13行＜styletype=＂text/css＂＞表示下面引用一个CSS，在CSS中定义了外观。JScriptJScript表示功能。交互的内容和各种特效都在JScript中，JScript描述了网站中的各种功能。如果用人体来比喻，HTML是人的骨架，并且定义了人的嘴巴、眼睛、耳朵等要长在哪里。CSS是人的外观细节，如嘴巴长什么样子，眼睛是双眼皮还是单眼皮，是大眼睛还是小眼睛，皮肤是黑色的还是白色的等。JScript表示人的技能，例如跳舞、唱歌或者演奏乐器等。写一个简单的HTML通过编写和修改HTML，可以更好地理解HTML。首先打开一个记事本，然后输入下面的内容：输入代码后，保存记事本，然后修改文件名和后缀名为HTML.html；运行该文件后的效果，如图2所示。这段代码只是用到了HTML，读者可以自行修改代码中的中文，然后观察其变化。关于爬虫的合法性几乎每一个网站都有一个名为robots.txt的文档，当然也有部分网站没有设定robots.txt。对于没有设定robots.txt的网站可以通过网络爬虫获取没有口令加密的数据，也就是该网站所有页面数据都可以爬取。如果网站有robots.txt文档，就要判断是否有禁止访客获取的数据。以淘宝网为例，在浏览器中访问
转载请注明：http://www.aierlanlan.com/cyrz/7769.html
