面向对象Python - 对象序列化



在数据存储的上下文中,序列化是指将数据结构或对象状态转换为可存储(例如,存储在文件或内存缓冲区中)或传输并在以后重建的格式的过程。

在序列化中,对象被转换为可存储的格式,以便能够在以后反序列化它并从序列化格式中重新创建原始对象。

Pickle

Pickling是一个将Python对象层次结构转换为字节流(通常不可人为阅读)以便写入文件的过程,这也被称为序列化。Unpickling是相反的操作,它将字节流转换回可工作的Python对象层次结构。

Pickle是存储对象的运行时最简单的方法。Python Pickle模块是一种面向对象的方法,可以直接以特殊的存储格式存储对象。

它能做什么?

  • Pickle可以非常轻松地存储和复制字典和列表。
  • 存储对象属性并将它们恢复到相同的状态。

Pickle不能做什么?

  • 它不保存对象的代码。只保存它的属性值。
  • 它不能存储文件句柄或连接套接字。

简而言之,pickling是一种将数据变量存储到文件和从文件中检索数据变量的方法,其中变量可以是列表、类等。

要Pickle某些东西,你必须:

  • import pickle
  • 将变量写入文件,例如
pickle.dump(mystring, outfile, protocol),

其中第3个参数protocol是可选的。要unpickling某些东西,你必须:

Import pickle

将变量写入文件,例如

myString = pickle.load(inputfile)

方法

pickle接口提供四种不同的方法。

  • dump() − dump()方法序列化到一个打开的文件(类文件对象)。

  • dumps() − 序列化到一个字符串

  • load() − 从类文件对象反序列化。

  • loads() − 从字符串反序列化。

基于上述过程,以下是“pickling”的一个示例。

Pickling

输出

My Cat pussy is White and has 4 legs
Would you like to see her pickled? Here she is!
b'\x80\x03c__main__\nCat\nq\x00)\x81q\x01}q\x02(X\x0e\x00\x00\x00number_of_legsq\x03K\x04X\x05\x00\x00\x00colorq\x04X\x05\x00\x00\x00Whiteq\x05ub.'

因此,在上面的例子中,我们创建了一个Cat类的实例,然后我们对其进行了pickling,将我们的“Cat”实例转换为一个简单的字节数组。

这样,我们可以轻松地将字节数组存储在二进制文件或数据库字段中,并在以后从我们的存储支持中将其恢复到原始形式。

此外,如果你想创建一个包含pickled对象的 文件,你可以使用dump()方法(而不是dumps*()*方法),同时传递一个打开的二进制文件,pickling结果将自动存储在文件中。

[….]
binary_file = open(my_pickled_Pussy.bin', mode='wb')
my_pickled_Pussy = pickle.dump(Pussy, binary_file)
binary_file.close()

Unpickling

将二进制数组转换为对象层次结构的过程称为unpickling。

unpickling过程是通过使用pickle模块的load()函数完成的,它从一个简单的字节数组返回一个完整的对象层次结构。

让我们在之前的例子中使用load函数。

Unpicking

输出

MeOw is black
Pussy is white

JSON

JSON(JavaScript对象表示法)是Python标准库的一部分,是一种轻量级的数据交换格式。它易于人类阅读和编写。它易于解析和生成。

由于其简单性,JSON是一种我们存储和交换数据的方式,这是通过其JSON语法实现的,并且在许多Web应用程序中使用。由于它是人类可读的格式,这可能是它用于数据传输的原因之一,此外,在使用API时,它的效率很高。

JSON格式数据的示例如下:

{"EmployID": 40203, "Name": "Zack", "Age":54, "isEmployed": True}

Python使使用Json文件变得简单。用于此目的的模块是JSON模块。此模块应包含在你的Python安装中(内置)。

那么让我们看看如何将Python字典转换为JSON并将其写入文本文件。

JSON到Python

读取JSON意味着将JSON转换为Python值(对象)。json库将JSON解析为Python中的字典或列表。为此,我们使用loads()函数(从字符串加载),如下所示:

Json to Python

输出

Json to Python Output

下面是一个示例json文件:

data1.json
{"menu": {
   "id": "file",
   "value": "File",
   "popup": {
      "menuitem": [
         {"value": "New", "onclick": "CreateNewDoc()"},
         {"value": "Open", "onclick": "OpenDoc()"},
         {"value": "Close", "onclick": "CloseDoc()"}
      ]
   }
}}

以上内容(Data1.json)看起来像一个常规的字典。我们可以使用pickle来存储此文件,但它的输出不是人类可读的格式。

JSON(Java Script对象通知)是一种非常简单的格式,这就是它流行的原因之一。现在让我们通过以下程序查看json输出。

Java Script Object Notification

输出

Java Script Object Notification Output

在上面,我们打开json文件(data1.json)进行读取,获取文件句柄并传递给json.load,并获取对象。当我们尝试打印对象的输出时,它与json文件相同。虽然对象的类型是字典,但它显示为Python对象。写入json就像我们看到的pickle一样简单。在上面,我们加载json文件,添加另一个键值对并将其写回同一个json文件。现在如果我们看到我们的data1.json,它看起来不同,即与我们之前看到的格式不同。

为了使我们的输出看起来相同(人类可读格式),在我们的程序的最后一行中添加几个参数:

json.dump(conf, fh, indent = 4, separators = (‘,’, ‘: ‘))

与pickle类似,我们可以使用dumps打印字符串,使用loads加载。以下是一个例子:

String with Dumps

YAML

YAML可能是所有编程语言中最人性化的数据序列化标准。

Python yaml模块称为pyaml

YAML是JSON的替代方案:

  • 人类可读代码 − YAML是最人类可读的格式,以至于即使它的首页内容也以YAML显示来强调这一点。

  • 紧凑代码 − 在YAML中,我们使用空格缩进来表示结构,而不是括号。

  • 关系数据的语法 − 对于内部引用,我们使用锚点(&)和别名(*)。

  • 它广泛用于查看/编辑数据结构的一个领域 − 例如配置文件、调试期间的转储和文档标题。

安装YAML

由于yaml不是内置模块,我们需要手动安装它。在Windows机器上安装yaml的最佳方法是通过pip。在你的Windows终端上运行以下命令以安装yaml:

pip install pyaml (Windows machine)
sudo pip install pyaml (*nix and Mac)

运行上述命令后,屏幕将显示类似以下内容,具体取决于当前的最新版本。

Collecting pyaml
Using cached pyaml-17.12.1-py2.py3-none-any.whl
Collecting PyYAML (from pyaml)
Using cached PyYAML-3.12.tar.gz
Installing collected packages: PyYAML, pyaml
Running setup.py install for PyYAML ... done
Successfully installed PyYAML-3.12 pyaml-17.12.1

要测试它,请转到Python shell并导入yaml模块,导入yaml,如果没有发现错误,那么我们可以说安装成功。

安装pyaml后,让我们看看下面的代码:

script_yaml1.py
Yaml

在上面,我们创建了三种不同的数据结构:字典、列表和元组。在每个结构上,我们都执行yaml.dump。重要的是屏幕上显示的输出方式。

输出

Yaml Output

字典输出看起来很干净,即键:值。

使用空格分隔不同的对象。

列表用破折号(-)表示。

元组首先用!!Python/tuple表示,然后以与列表相同的格式表示。

加载yaml文件

假设我有一个yaml文件,其中包含:

---
# An employee record
name: Raagvendra Joshi
job: Developer
skill: Oracle
employed: True
foods:
   - Apple
   - Orange
   - Strawberry
   - Mango
languages:
   Oracle: Elite
   power_builder: Elite
   Full Stack Developer: Lame
education:
   4 GCSEs
   3 A-Levels
   MCA in something called com

现在让我们编写一个代码,通过yaml.load函数加载此yaml文件。以下是相同的代码。

Yaml Load Function

由于输出看起来不太可读,我最终使用json对其进行了美化。比较我们得到的输出和我们实际拥有的yaml文件。

输出

Yaml3

软件开发最重要的方面之一是调试。在本节中,我们将看到使用内置调试器或第三方调试器的不同Python调试方法。

PDB – Python调试器

PDB模块支持设置断点。断点是程序的故意暂停,你可以在其中获得更多关于程序状态的信息。

要设置断点,请插入以下行:

pdb.set_trace()

示例

pdb_example1.py
import pdb
x = 9
y = 7
pdb.set_trace()
total = x + y
pdb.set_trace()

我们在这个程序中插入了一些断点。程序将在每个断点处暂停(pdb.set_trace())。要查看变量的内容,只需键入变量名即可。

c:\Python\Python361>Python pdb_example1.py
> c:\Python\Python361\pdb_example1.py(8)<module>()
-> total = x + y
(Pdb) x
9
(Pdb) y
7
(Pdb) total
*** NameError: name 'total' is not defined
(Pdb)

按c或continue继续程序执行,直到下一个断点。

(Pdb) c
--Return--
> c:\Python\Python361\pdb_example1.py(8)<module>()->None
-> total = x + y
(Pdb) total
16

最终,你需要调试更大的程序——使用子例程的程序。有时,你试图查找的问题会出现在子例程中。考虑以下程序:

import pdb
def squar(x, y):
   out_squared = x^2 + y^2
   return out_squared
if __name__ == "__main__":
   #pdb.set_trace()
   print (squar(4, 5))

现在运行上述程序:

c:\Python\Python361>Python pdb_example2.py
> c:\Python\Python361\pdb_example2.py(10)<module>()
-> print (squar(4, 5))
(Pdb)

我们可以使用?来获取帮助,但箭头表示即将执行的行。此时,点击s进入s进入该行很有帮助。

(Pdb) s
--Call--
>c:\Python\Python361\pdb_example2.py(3)squar()
-> def squar(x, y):

这是一个对函数的调用。如果你想了解你代码中所在位置的概述,请尝试l:

(Pdb) l
1 import pdb
2
3 def squar(x, y):
4 -> out_squared = x^2 + y^2
5
6 return out_squared
7
8 if __name__ == "__main__":
9 pdb.set_trace()
10 print (squar(4, 5))
[EOF]
(Pdb)

你可以点击n前进到下一行。此时,你位于out_squared方法内部,并且可以访问函数内部声明的变量,即x和y。

(Pdb) x
4
(Pdb) y
5
(Pdb) x^2
6
(Pdb) y^2
7
(Pdb) x**2
16
(Pdb) y**2
25
(Pdb)

所以我们可以看到^运算符不是我们想要的,相反,我们需要使用**运算符来进行平方。

这样我们就可以在函数/方法内部调试程序了。

日志记录

日志记录模块自Python 2.3版本以来一直是Python标准库的一部分。由于它是一个内置模块,所有Python模块都可以参与日志记录,因此我们的应用程序日志可以包含你自己的消息以及来自第三方模块的消息。它提供了很多灵活性和功能。

日志记录的好处

  • 诊断日志记录 − 它记录与应用程序操作相关的事件。

  • 审计日志记录 − 它记录事件以进行业务分析。

消息按“严重性”级别写入并记录&minu

  • DEBUG (debug()) − 开发诊断消息。

  • INFO (info()) − 标准“进度”消息。

  • WARNING (warning()) − 检测到非严重问题。

  • ERROR (error()) − 遇到错误,可能严重。

  • CRITICAL (critical()) − 通常是致命错误(程序停止)。

让我们看看下面的简单程序:

import logging

logging.basicConfig(level=logging.INFO)

logging.debug('this message will be ignored') # This will not print
logging.info('This should be logged') # it'll print
logging.warning('And this, too') # It'll print

我们在上面按严重性级别记录消息。首先,我们导入模块,调用basicConfig并设置日志级别。我们上面设置的级别是INFO。然后,我们有三个不同的语句:debug语句、info语句和warning语句。

logging1.py 的输出

INFO:root:This should be logged
WARNING:root:And this, too

由于info语句在debug语句之后,我们无法看到debug消息。要在输出终端中也获得debug消息,我们只需要更改basicConfig级别。

logging.basicConfig(level = logging.DEBUG)

在输出中,我们可以看到:

DEBUG:root:this message will be ignored
INFO:root:This should be logged
WARNING:root:And this, too

而且,默认行为意味着如果我们不设置任何日志级别,则为警告。只需注释掉上面程序中的第二行并运行代码。

#logging.basicConfig(level = logging.DEBUG)

输出

WARNING:root:And this, too

Python内置的日志级别实际上是整数。

>>> import logging
>>>
>>> logging.DEBUG
10
>>> logging.CRITICAL
50
>>> logging.WARNING
30
>>> logging.INFO
20
>>> logging.ERROR
40
>>>

我们还可以将日志消息保存到文件中。

logging.basicConfig(level = logging.DEBUG, filename = 'logging.log')

现在所有日志消息都将写入当前工作目录中的文件 (logging.log),而不是屏幕。这是一种更好的方法,因为它允许我们对收到的消息进行后期分析。

我们还可以设置日志消息的日期戳。

logging.basicConfig(level=logging.DEBUG, format = '%(asctime)s %(levelname)s:%(message)s')

输出将类似于:

2018-03-08 19:30:00,066 DEBUG:this message will be ignored
2018-03-08 19:30:00,176 INFO:This should be logged
2018-03-08 19:30:00,201 WARNING:And this, too

基准测试

基准测试或性能分析基本上是为了测试代码的执行速度以及瓶颈在哪里?这样做的主要原因是为了优化。

timeit

Python自带一个名为timeit的内置模块。您可以使用它来计时小的代码片段。timeit模块使用特定于平台的时间函数,以便您可以获得尽可能准确的计时。

因此,它允许我们比较两种代码的执行时间,然后优化脚本以获得更好的性能。

timeit模块具有命令行界面,但也可以导入。

有两种方法可以调用脚本。让我们首先使用脚本,为此,运行以下代码并查看输出。

import timeit
print ( 'by index: ', timeit.timeit(stmt = "mydict['c']", setup = "mydict = {'a':5, 'b':10, 'c':15}", number = 1000000))
print ( 'by get: ', timeit.timeit(stmt = 'mydict.get("c")', setup = 'mydict = {"a":5, "b":10, "c":15}', number = 1000000))

输出

by index: 0.1809192126703489
by get: 0.6088525265034692

我们在上面使用了两种不同的方法,即通过下标和get来访问字典键值。我们执行语句100万次,因为对于非常小的数据,它的执行速度太快了。现在我们可以看到索引访问比get快得多。我们可以多次运行代码,执行时间会有细微的变化,以便更好地理解。

另一种方法是在命令行中运行上述测试。让我们来做吧:

c:\Python\Python361>Python -m timeit -n 1000000 -s "mydict = {'a': 5, 'b':10, 'c':15}" "mydict['c']"
1000000 loops, best of 3: 0.187 usec per loop

c:\Python\Python361>Python -m timeit -n 1000000 -s "mydict = {'a': 5, 'b':10, 'c':15}" "mydict.get('c')"
1000000 loops, best of 3: 0.659 usec per loop

以上输出可能因您的系统硬件以及当前在系统中运行的所有应用程序而异。

如果我们想调用函数,我们可以在下面使用timeit模块。因为我们可以在函数中添加多个语句进行测试。

import timeit

def testme(this_dict, key):
   return this_dict[key]

print (timeit.timeit("testme(mydict, key)", setup = "from __main__ import testme; mydict = {'a':9, 'b':18, 'c':27}; key = 'c'", number = 1000000))

输出

0.7713474590139164
广告