Python之srcapy介绍
Scrapy是一个健壮的爬虫框架,可以从网站中提取需要的数据。是一个快速、简单、并且可扩展的方法。Scrapy使用了异步网络框架来处理网络通讯,可以获得较快的下载速度,因此,我们不需要去自己实现异步框架。并且,Scrapy包含了各种中间件接口,可以灵活的完成各种需求。所以我们只需要定制开发几个模块就可以轻松的实现一个爬虫,用来抓取网页上的各种内容。
Scrapy爬虫的优点很多:
内建的css选择器和xpath表达式。基于IPython交互shell,方便编写爬虫和debug。健壮的编码支持。扩展性强,可使用signals和api(中间件,插件,管道)添加自定义功能。多用于session,cookies,