如何使用Python中的pywebcopy克隆网页？

---

Python 提供了Pywebcopy 模块，允许我们下载并存储整个网站，包括所有图像、HTML页面和其他文件到我们的机器上。在这个模块中，我们有一个名为save_webpage() 的函数，它允许我们克隆网页。

安装pywebcopy模块

首先，我们必须使用以下代码在Python环境中安装pywebcopy模块。

pip install pywebcopy

安装成功后，我们将获得以下输出：

Looking in indexes: https://pypi.ac.cn/simple, https://us-python.pkg.dev/colab-wheels/public/simple/
Collecting pywebcopy
  Downloading pywebcopy-7.0.2-py2.py3-none-any.whl (46 kB)
     . . . . . . . . . . . . . . . . . . . . . . . . . . 
     . . . . . . . . . . . . . . . . . . . . . . . . . . 
     . . . . . . . . . . . . . . . . . . . . . . . . . . 

Installing collected packages: pywebcopy
Successfully installed pywebcopy-7.0.2

语法

以下是使用Pywebcopy 模块save_webpage() 函数的语法。

from pywebpage import save_webpage
kwargs = {‘bypass_robots’: True, ‘project_name’:’example’}
save_webpage(url,folder,**kwargs)

其中：

• kwargs 是我们下载网页时可以使用的可选关键字参数。

• bypass_robots 是允许下载robot.txt文件以及网页的关键字。

• project_name 是下载网页的名称。

• save_webpage 是函数名。

• URL 是网页的链接。

• Folder 是保存下载文件的路径。

示例

以下是一个示例，我们将向pywebcopy模块的save_webpage() 函数指定网页URL、文件存储位置和附加关键字参数，然后定义的网页将以指定的名称保存在定义的位置。

from pywebcopy import save_webpage
url = 'https://tutorialspoint.com/'
folder = 'Desktop/March 2023'
kwargs = {'bypass_robots': True, 'project_name': 'sample_webpage'}
save_webpage(url, folder, **kwargs)
print("webpage saved in the location:",folder)

输出

当我们运行上述代码时，将生成以下输出：

webpage saved in the location: Desktop/March 2023

示例

让我们看看另一个例子：

from pywebcopy import save_webpage
url = 'https://www.pythonlang.cn/'
folder = 'Articles/March 2023'
kwargs = {'bypass_robots': False, 'project_name': 'webpage'}
save_webpage(url, folder, **kwargs)
print("webpage saved in the location:",folder)

输出

以下是保存网页的输出。

webpage saved in the location: Articles/March 2023