Scrapy - 第一个爬虫

描述

Spider 是一个类，它定义了从中提取数据的初始 URL、如何关注分页链接以及如何提取和解析定义在items.py中的字段。Scrapy 提供不同类型的蜘蛛，每种蜘蛛都有特定的目的。

在 first_scrapy/spiders 目录下创建一个名为"first_spider.py"的文件，在其中我们可以告诉 Scrapy 如何找到我们正在寻找的确切数据。为此，你必须定义一些属性 -

• 名称 - 它定义了蜘蛛的唯一名称。

• 允许的域 - 它包含要供蜘蛛爬取的基本 URL。

• 起始 URL - 从其中蜘蛛开始爬取的 URL 列表。

• parse() - 它是一种提取和解析爬取数据的提取方法。

以下代码展示了蜘蛛代码的样子 -

import scrapy  

class firstSpider(scrapy.Spider): 
   name = "first" 
   allowed_domains = ["dmoz.org"] 
   
   start_urls = [ 
      "http://www.dmoz.org/Computers/Programming/Languages/Python/Books/", 
      "http://www.dmoz.org/Computers/Programming/Languages/Python/Resources/" 
   ]  
   def parse(self, response): 
      filename = response.url.split("/")[-2] + '.html' 
      with open(filename, 'wb') as f: 
         f.write(response.body)