
- Python 网络爬虫教程
- Python 网络爬虫 - 首页
- 介绍
- Python 入门
- Python 网络爬虫模块
- 网络爬虫的合法性
- 数据提取
- 数据处理
- 处理图像和视频
- 文本处理
- 抓取动态网站
- 抓取基于表单的网站
- 处理验证码
- 使用爬虫进行测试
- Python 网络爬虫资源
- Python 网络爬虫 - 快速指南
- Python 网络爬虫 - 资源
- Python 网络爬虫 - 讨论
Python 入门
在第一章中,我们学习了网络爬虫的基础知识。在本章中,让我们看看如何使用 Python 实现网络爬虫。
为什么选择 Python 进行网络爬虫?
Python 是一个流行的网络爬虫实现工具。Python 编程语言也用于其他与网络安全、渗透测试以及数字取证相关的有用项目。使用 Python 的基础编程,无需任何其他第三方工具即可执行网络爬虫。
Python 编程语言正越来越受欢迎,使 Python 成为网络爬虫项目的理想选择的原因如下:
语法简洁
与其他编程语言相比,Python 具有最简单的结构。Python 的这一特性使测试更容易,开发者可以更专注于编程。
内置模块
使用 Python 进行网络爬虫的另一个原因是它拥有内置的和外部的有用库。我们可以使用 Python 作为编程基础来执行许多与网络爬虫相关的实现。
开源编程语言
Python 因为是一个开源编程语言,所以得到了社区的大力支持。
广泛的应用范围
Python 可用于各种编程任务,从小型 shell 脚本到企业级 Web 应用程序。
Python 的安装
Python 发行版适用于 Windows、MAC 和 Unix/Linux 等平台。我们只需要下载适用于我们平台的二进制代码即可安装 Python。但是,如果我们的平台没有可用的二进制代码,我们必须拥有 C 编译器,以便可以手动编译源代码。
我们可以按照如下步骤在各种平台上安装 Python:
在 Unix 和 Linux 上安装 Python
您需要按照以下步骤在 Unix/Linux 机器上安装 Python:
步骤 1 - 访问链接 https://pythonlang.cn/downloads/
步骤 2 - 下载上述链接中提供的适用于 Unix/Linux 的压缩源代码。
步骤 3 - 将文件解压到您的计算机上。
步骤 4 - 使用以下命令完成安装:
run ./configure script make make install
您可以在标准位置/usr/local/bin找到已安装的 Python,并在/usr/local/lib/pythonXX找到其库,其中 XX 是 Python 的版本。
在 Windows 上安装 Python
您需要按照以下步骤在 Windows 机器上安装 Python:
步骤 1 - 访问链接 https://pythonlang.cn/downloads/
步骤 2 - 下载 Windows 安装程序python-XYZ.msi文件,其中 XYZ 是我们需要安装的版本。
步骤 3 - 现在,将安装程序文件保存到本地机器并运行 MSI 文件。
步骤 4 - 最后,运行下载的文件以启动 Python 安装向导。
在 Macintosh 上安装 Python
我们必须使用Homebrew在 Mac OS X 上安装 Python 3。Homebrew 易于安装,是一个很棒的软件包安装程序。
也可以使用以下命令安装 Homebrew:
$ ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"
为了更新包管理器,我们可以使用以下命令:
$ brew update
借助以下命令,我们可以在 MAC 机器上安装 Python3:
$ brew install python3
Learn Python in-depth with real-world projects through our Python certification course. Enroll and become a certified expert to boost your career.
设置 PATH
您可以使用以下说明在各种环境中设置路径:
在 Unix/Linux 上设置路径
使用各种命令 shell 设置路径,请使用以下命令:
对于 csh shell
setenv PATH "$PATH:/usr/local/bin/python".
对于 bash shell (Linux)
ATH="$PATH:/usr/local/bin/python".
对于 sh 或 ksh shell
PATH="$PATH:/usr/local/bin/python".
在 Windows 上设置路径
要在 Windows 上设置路径,我们可以在命令提示符中使用路径%path%;C:\Python,然后按 Enter。
运行 Python
我们可以通过以下三种方式启动 Python:
交互式解释器
提供命令行解释器或 shell 的操作系统(如 UNIX 和 DOS)可用于启动 Python。
我们可以按照如下步骤在交互式解释器中开始编码:
步骤 1 - 在命令行中输入python。
步骤 2 - 然后,我们就可以立即在交互式解释器中开始编码了。
$python # Unix/Linux or python% # Unix/Linux or C:> python # Windows/DOS
从命令行运行脚本
我们可以通过调用解释器在命令行中执行 Python 脚本。可以理解为:
$python script.py # Unix/Linux or python% script.py # Unix/Linux or C: >python script.py # Windows/DOS
集成开发环境
如果系统具有支持 Python 的 GUI 应用程序,我们也可以从 GUI 环境运行 Python。下面列出了一些支持各种平台上 Python 的 IDE:
UNIX 的 IDE - UNIX 对于 Python 来说有 IDLE IDE。
Windows 的 IDE - Windows 有 PythonWin IDE,它也有 GUI。
Macintosh 的 IDE - Macintosh 有 IDLE IDE,可以从主网站下载 MacBinary 或 BinHex'd 文件。