Scrapy - Web 服务



描述

运行中的 Scrapy 网络爬虫可以通过JSON-RPC进行控制。它由 `JSONRPC_ENABLED` 设置启用。此服务通过JSON-RPC 2.0协议提供对主爬虫对象的访问。访问爬虫对象的端点是:

https://127.0.0.1:6080/crawler

下表包含一些显示 Web 服务行为的设置:

序号 设置 & 描述 默认值
1

JSONRPC_ENABLED

这是一个布尔值,决定是否启用 Web 服务及其扩展。

True
2

JSONRPC_LOGFILE

这是用于记录发送到 Web 服务的 HTTP 请求的文件。如果未设置,则将使用标准的 Scrapy 日志。

None
3

JSONRPC_PORT

这是 Web 服务的端口范围。如果设置为 None,则端口将动态分配。

[6080, 7030]
4

JSONRPC_HOST

这是 Web 服务应监听的接口。

'127.0.0.1'
广告