Scrapy – 请求和响应

---

描述

Scrapy 可以使用Request和Response对象抓取网站。请求对象通过系统，使用蜘蛛来执行请求并在返回响应对象时返回请求。

请求对象

请求对象是生成响应的 HTTP 请求。它有以下类 –

class scrapy.http.Request(url[, callback, method = 'GET', headers, body, cookies, meta,
   encoding = 'utf-8', priority = 0, dont_filter = False, errback])

下表显示了请求对象的参数 –

Sr.No	参数及说明
1	url 它是一个字符串，用于指定 URL 请求。
2	callback 它是一个可调用的函数，它使用请求的响应作为第一个参数。
3	method 它是一个字符串，用于指定 HTTP 方法请求。
4	headers 它是一个带有请求头的字典。
5	body 它是具有请求正文的字符串或 unicode。
6	cookies 它是一个包含请求 cookie 的列表。
7	meta 它是一个包含请求元数据值的字典。
8	encoding 它是一个包含 utf-8 编码的字符串，用于对 URL 进行编码。
9	priority 它是一个整数，调度程序使用优先级来定义处理请求的顺序。
10	dont_filter 它是一个布尔值，指定调度程序不应过滤请求。
11	errback 它是一个可调用的函数，在处理请求时出现异常时被调用。

将附加数据传递给回调函数

当响应作为其第一个参数被下载时，请求的回调函数被调用。

例如 –

def parse_page1(self, response): 
   return scrapy.Request("http://www.something.com/some_page.html", 
      callback = self.parse_page2)  

def parse_page2(self, response): 
   self.logger.info("%s page visited", response.url) 

如果要将参数传递给可调用函数并在第二个回调中接收这些参数，则可以使用Request.meta属性，如下例所示 –

def parse_page1(self, response): 
   item = DemoItem() 
   item['foremost_link'] = response.url 
   request = scrapy.Request("http://www.something.com/some_page.html", 
      callback = self.parse_page2) 
   request.meta['item'] = item 
   return request  

def parse_page2(self, response): 
   item = response.meta['item'] 
   item['other_link'] = response.url 
   return item

使用 errbacks 在请求处理中捕获异常

errback 是一个可调用的函数，当处理请求时出现异常时会被调用。

以下示例演示了这一点 –

import scrapy  

from scrapy.spidermiddlewares.httperror import HttpError 
from twisted.internet.error import DNSLookupError 
from twisted.internet.error import TimeoutError, TCPTimedOutError  

class DemoSpider(scrapy.Spider): 
   name = "demo" 
   start_urls = [ 
      "http://www.httpbin.org/",              # HTTP 200 expected 
      "http://www.httpbin.org/status/404",    # Webpage not found  
      "http://www.httpbin.org/status/500",    # Internal server error 
      "http://www.httpbin.org:12345/",        # timeout expected 
      "http://www.httphttpbinbin.org/",       # DNS error expected 
   ]  
   
   def start_requests(self): 
      for u in self.start_urls: 
         yield scrapy.Request(u, callback = self.parse_httpbin, 
         errback = self.errback_httpbin, 
         dont_filter=True)  
   
   def parse_httpbin(self, response): 
      self.logger.info('Recieved response from {}'.format(response.url)) 
      # ...  
   
   def errback_httpbin(self, failure): 
      # logs failures 
      self.logger.error(repr(failure))  
      
      if failure.check(HttpError): 
         response = failure.value.response 
         self.logger.error("HttpError occurred on %s", response.url)  
      
      elif failure.check(DNSLookupError): 
         request = failure.request 
         self.logger.error("DNSLookupError occurred on %s", request.url) 

      elif failure.check(TimeoutError, TCPTimedOutError): 
         request = failure.request 
         self.logger.error("TimeoutError occurred on %s", request.url) 

Request.meta 特殊键

request.meta 特殊键是由 Scrapy 识别的特殊元键列表。

下表显示了 Request.meta 的一些键 –

Sr.No	键和说明
1	dont_redirect 当设置为 true 时，它​​是一个键，不会根据响应的状态重定向请求。
2	dont_retry 当设置为 true 时，它​​是一个键，不会重试失败的请求，并将被中间件忽略。
3	handle_httpstatus_list 它是一个键，用于定义可以允许每个请求的响应代码。
4	handle_httpstatus_all 它是一个键，用于通过将其设置为true来允许请求的任何响应代码。
5	dont_merge_cookies 它是用于通过将其设置为true来避免与现有 cookie 合并的键。
6	cookiejar 它是用于保持每个蜘蛛的多个 cookie 会话的密钥。
7	dont_cache 它是用于避免在每个策略上缓存 HTTP 请求和响应的键。
8	redirect_urls 它是一个包含请求通过的 URL 的键。
9	bindaddress 它是可用于执行请求的传出 IP 地址的 IP。
10	dont_obey_robotstxt 设置为 true 时是一个键，即使启用 ROBOTSTXT_OBEY，也不会过滤 robots.txt 排除标准禁止的请求。
11	download_timeout 它用于为每个蜘蛛设置超时（以秒为单位），下载器将在超时之前等待。
12	download_maxsize 它用于设置下载器将下载的每个蜘蛛的最大大小（以字节为单位）。
13	proxy 可以为 Request 对象设置 Proxy 来设置 HTTP 代理以供请求使用。

请求子类

您可以通过子类化请求类来实现您自己的自定义功能。内置请求子类如下 –

表单请求对象

FormRequest 类通过扩展基本请求来处理 HTML 表单。它有以下类 –

class scrapy.http.FormRequest(url[,formdata, callback, method = 'GET', headers, body, 
   cookies, meta, encoding = 'utf-8', priority = 0, dont_filter = False, errback])

以下是参数 –

formdata – 它是一个字典，具有分配给请求正文的 HTML 表单数据。

注意– 其余参数与请求类相同，并在请求对象部分进行了解释。

除了请求方法之外，FormRequest对象还支持以下类方法 –

classmethod from_response(response[, formname = None, formnumber = 0, formdata = None, 
   formxpath = None, formcss = None, clickdata = None, dont_click = False, ...])

下表显示了上述类的参数 –

Sr.No	参数及说明
1	response 它是一个对象，用于使用 HTML 响应形式预填充表单字段。
2	formname 如果指定，它将是一个字符串，其中将使用具有 name 属性的表单。
3	formnumber 当响应中有多个表单时，它是要使用的整数表单。
4	formdata 它是用于覆盖的表单数据中的字段字典。
5	formxpath 指定时它是一个字符串，使用与 xpath 匹配的形式。
6	formcss 指定时为字符串，使用与 css 选择器匹配的形式。
7	clickdata 它是一个用于观察点击控件的属性字典。
8	dont_click 当设置为 true 时，表单中的数据将在不单击任何元素的情况下提交。

例子

以下是一些请求使用示例 –

使用 FormRequest 通过 HTTP POST 发送数据

以下代码演示了如何在蜘蛛中复制 HTML 表单 POST 时返回FormRequest对象 –

return [FormRequest(url = "http://www.something.com/post/action", 
   formdata = {'firstname': 'John', 'lastname': 'dave'}, 
   callback = self.after_post)]

使用 FormRequest.from_response() 模拟用户登录

通常，网站使用元素来提供预填充的表单字段。

该FormRequest.form_response（）当你想这些字段是刮的同时自动填充方法可以使用。

以下示例演示了这一点。

import scrapy  
class DemoSpider(scrapy.Spider): 
   name = 'demo' 
   start_urls = ['http://www.something.com/users/login.php']  
   def parse(self, response): 
      return scrapy.FormRequest.from_response( 
         response, 
         formdata = {'username': 'admin', 'password': 'confidential'}, 
         callback = self.after_login 
      )  
   
   def after_login(self, response): 
      if "authentication failed" in response.body: 
         self.logger.error("Login failed") 
         return  
      # You can continue scraping here

响应对象

它是一个对象，指示提供给蜘蛛程序进行处理的 HTTP 响应。它有以下类 –

class scrapy.http.Response(url[, status = 200, headers, body, flags])

下表显示了响应对象的参数 –

Sr.No	参数及说明
1	url 它是一个字符串，用于指定 URL 响应。
2	status 它是一个包含 HTTP 状态响应的整数。
3	headers 它是一个包含响应头的字典。
4	body 它是一个带有响应体的字符串。
5	flags 它是一个包含响应标志的列表。

响应子类

您可以通过继承响应类来实现您自己的自定义功能。内置响应子类如下 –

文本响应对象

TextResponse 对象用于二进制数据，例如图像、声音等，它具有对基本 Response 类进行编码的能力。它有以下类 –

class scrapy.http.TextResponse(url[, encoding[,status = 200, headers, body, flags]])

以下是参数 –

encoding – 它是一个带有编码的字符串，用于对响应进行编码。

注意– 其余参数与响应类相同，在响应对象部分进行了解释。

下表显示了 TextResponse 对象支持的属性以及响应方法 –

Sr.No	属性和描述
1	text 它是一个响应体，其中 response.text 可以被多次访问。
2	encoding 它是一个包含响应编码的字符串。
3	selector 它是在第一次访问时实例化的属性，并使用响应作为目标。

下表显示了除响应方法之外TextResponse对象支持的方法 –

Sr.No	方法和说明
1	xpath (query) 它是 TextResponse.selector.xpath(query) 的快捷方式。
2	css (query) 它是 TextResponse.selector.css(query) 的快捷方式。
3	body_as_unicode() 它是一个可用作方法的响应正文，其中 response.text 可以被多次访问。

HtmlResponse 对象

它是一个通过查看HTML的元 httpequiv属性来支持编码和自动发现的对象。它的参数与响应类相同，在响应对象部分进行了解释。它有以下类 –

class scrapy.http.HtmlResponse(url[,status = 200, headers, body, flags])

XmlResponse 对象

它是一个支持通过查看 XML 行进行编码和自动发现的对象。它的参数与响应类相同，在响应对象部分进行了解释。它有以下类 –

class scrapy.http.XmlResponse(url[, status = 200, headers, body, flags])