使用套接字编程在 Python 中创建网络爬虫

在本课程中，我们将教你如何编写一个充当机器人的程序，搜索不同的网站以获取您需要的信息。与大多数使用高级模块的网络爬虫和网络抓取课程（实际上您只是复制粘贴代码）不同，在本课程中，我们将首先教你网络爬虫所需的所有网络概念。

网络部分

所以，如果我们想先编写一些代码，我们会先解释代码背后的网络细节，然后说明代码为什么能实现其功能。在理论上解释完所有内容后，我们会实际操作并在 Wireshark 中探索以上所有概念。这样，您将熟悉 TCP/IP、网络地址转换、套接字等概念。在网络部分之后，我们将开始编程部分。

编程部分
在本部分中，我们首先使用像 requests 这样的高级模块。我们将学习如何发送 HTTP 请求并接收相关的 HTTP 响应。之后，我们将深入探讨 Python 中的 socket 模块，它是 Python 网络编程中最重要的模块。因此，我们将创建一个套接字，并学习该模块中的不同方法，借助这些方法，我们将开始向 Web 服务器发送和接收数据，反之亦然。并且我们将学习如何搜索这些数据以获取我们最感兴趣和有用的信息。之后，我们将通过使 Kali Linux 充当 Web 服务器来提供网页，从而创建一个网站，并学习如何搜索不同的页面以查找电子邮件地址、链接等。