Python用了一年多了。python应用程序最流行的场景是快速网络开发、web爬虫和自动运输简单的网站、自动提交脚本、电子邮件发送和接收脚本以及简单的认证码识别脚本。Web爬虫在开发过程中也有很多过程。这里总结一下，以后可以省事。1.基本掌握网站页面。2.使用代理知识产权。在开发web爬虫的过程中，经常关闭IP时，必须使用代理IP。urllib2包中有一个ProxyHandler类，也可以用来设置对网站页面的代理访问。代码片段如下。3.Cookies加工。Cookies是一些网站存储在用户本地终端的数据(通常是加密的)，目的是识别用户的身份并跟踪会话。python提供了cookieslib模块来处理cookie。cookieslib模块的主要功能是提供可以存储cookie的对象，从而配合urrib2模块访问互联网资源。代码段:重要的是，CookieJar()用于管理HTTP。cookie值，存储由HTTP请求生成的cookie的对象，并将cookie添加到已发布的HTTP请求中。Cookies作为一个整体存储在内存中。CookiesJar实例垃圾收集后会丢失cookie，所有进程都不需要单独操作。手动添加cookie。4.冒充浏览器。有些网站不喜欢网络爬虫的访问，拒绝他们的请求。使用urllib2直接访问网站时，经常会出现HTTPEror。被禁止的情况。请特别注意一些由服务器端检查的标头。用户代理的服务器和代理检查该值以确定它是否是浏览器发起的请求。内容类型当使用REST接口时，服务器检查该值以确定HTTPBody的内容。此时，您还可以修改
转载请注明：http://www.aierlanlan.com/rzdk/7771.html
