使用电子邮件进行调查

---

---

前面的章节讨论了网络取证的重要性、流程和相关概念。本章，我们将学习电子邮件在数字取证中的作用以及如何使用Python进行电子邮件调查。

电子邮件在调查中的作用

电子邮件在商务沟通中扮演着非常重要的角色，并且已成为互联网上最重要的应用程序之一。它们是发送消息和文档的便捷方式，不仅可以通过计算机，还可以通过其他电子设备，例如手机和平板电脑。

电子邮件的负面影响是犯罪分子可能会泄露有关其公司的重要信息。因此，近年来，电子邮件在数字取证中的作用越来越重要。在数字取证中，电子邮件被视为关键证据，电子邮件标题分析已成为在取证过程中收集证据的重要手段。

调查人员在执行电子邮件取证时有以下目标：

• 识别主要犯罪分子
• 收集必要的证据
• 呈现调查结果
• 构建案件

电子邮件取证中的挑战

电子邮件取证在调查中发挥着非常重要的作用，因为当今时代的大部分沟通都依赖于电子邮件。但是，电子邮件取证调查员在调查过程中可能会面临以下挑战：

虚假电子邮件

电子邮件取证中最大的挑战是使用虚假电子邮件，这些电子邮件是通过操纵和编写脚本标头等创建的。在此类别中，犯罪分子还使用临时电子邮件，这是一种允许注册用户在特定时间段后失效的临时地址接收电子邮件的服务。

欺骗

电子邮件取证中的另一个挑战是欺骗，其中犯罪分子试图将电子邮件伪装成他人的电子邮件。在这种情况下，机器将同时接收虚假和原始IP地址。

匿名转发电子邮件

在这里，电子邮件服务器会在转发电子邮件之前剥离电子邮件消息中的识别信息。这给电子邮件调查带来了另一个巨大挑战。

电子邮件取证调查中使用的技术

电子邮件取证是对电子邮件的来源和内容的研究，作为证据来识别消息的实际发件人和收件人，以及其他一些信息，例如传输日期/时间和发件人的意图。它涉及调查元数据、端口扫描以及关键字搜索。

一些可用于电子邮件取证调查的常用技术包括：

• 标题分析
• 服务器调查
• 网络设备调查
• 发件人邮件指纹
• 软件嵌入式标识符

在接下来的部分中，我们将学习如何使用Python获取信息以进行电子邮件调查。

从EML文件中提取信息

EML文件基本上是文件格式的电子邮件，广泛用于存储电子邮件消息。它们是跨多个电子邮件客户端（例如Microsoft Outlook、Outlook Express和Windows Live Mail）兼容的结构化文本文件。

EML文件将电子邮件标题、正文内容、附件数据存储为纯文本。它使用base64编码二进制数据，并使用Quoted-Printable (QP)编码存储内容信息。下面给出了可用于从EML文件提取信息的Python脚本：

首先，导入如下所示的Python库：

from __future__ import print_function
from argparse import ArgumentParser, FileType
from email import message_from_file

import os
import quopri
import base64

在上面的库中，quopri用于从EML文件解码QP编码的值。任何base64编码的数据都可以借助base64库进行解码。

接下来，让我们为命令行处理程序提供参数。请注意，这里它只接受一个参数，该参数将是EML文件的路径，如下所示：

if __name__ == '__main__':
   parser = ArgumentParser('Extracting information from EML file')
   parser.add_argument("EML_FILE",help="Path to EML File", type=FileType('r'))
   args = parser.parse_args()
   main(args.EML_FILE)

现在，我们需要定义main()函数，在这个函数中，我们将使用email库中名为message_from_file()的方法来读取文件对象。我们将使用名为emlfile的结果变量访问标题、正文内容、附件和其他有效负载信息，如下面的代码所示：

def main(input_file):
   emlfile = message_from_file(input_file)
   for key, value in emlfile._headers:
      print("{}: {}".format(key, value))
print("\nBody\n")

if emlfile.is_multipart():
   for part in emlfile.get_payload():
      process_payload(part)
else:
   process_payload(emlfile[1])

现在，我们需要定义process_payload()方法，在这个方法中，我们将使用get_payload()方法提取消息正文内容。我们将使用quopri.decodestring()函数解码QP编码的数据。我们还将检查内容MIME类型，以便它可以正确处理电子邮件的存储。观察下面的代码：

def process_payload(payload):
   print(payload.get_content_type() + "\n" + "=" * len(payload.get_content_type()))
   body = quopri.decodestring(payload.get_payload())
   
   if payload.get_charset():
      body = body.decode(payload.get_charset())
else:
   try:
      body = body.decode()
   except UnicodeDecodeError:
      body = body.decode('cp1252')

if payload.get_content_type() == "text/html":
   outfile = os.path.basename(args.EML_FILE.name) + ".html"
   open(outfile, 'w').write(body)
elif payload.get_content_type().startswith('application'):
   outfile = open(payload.get_filename(), 'wb')
   body = base64.b64decode(payload.get_payload())
   outfile.write(body)
   outfile.close()
   print("Exported: {}\n".format(outfile.name))
else:
   print(body)

执行上述脚本后，我们将获得控制台上带有各种有效负载的标题信息。

使用Python分析MSG文件

电子邮件有多种不同的格式。MSG是Microsoft Outlook和Exchange使用的此类格式之一。扩展名为MSG的文件可能包含标题和主消息正文的纯ASCII文本，以及超链接和附件。

在本节中，我们将学习如何使用Outlook API从MSG文件提取信息。请注意，以下Python脚本仅适用于Windows。为此，我们需要安装名为pywin32的第三方Python库，如下所示：

pip install pywin32

现在，使用显示的命令导入以下库：

from __future__ import print_function
from argparse import ArgumentParser

import os
import win32com.client
import pywintypes

现在，让我们为命令行处理程序提供一个参数。这里它将接受两个参数，一个是MSG文件的路径，另一个是所需的输出文件夹，如下所示：

if __name__ == '__main__':
   parser = ArgumentParser(‘Extracting information from MSG file’)
   parser.add_argument("MSG_FILE", help="Path to MSG file")
   parser.add_argument("OUTPUT_DIR", help="Path to output folder")
   args = parser.parse_args()
   out_dir = args.OUTPUT_DIR
   
   if not os.path.exists(out_dir):
      os.makedirs(out_dir)
   main(args.MSG_FILE, args.OUTPUT_DIR)

现在，我们需要定义main()函数，在这个函数中，我们将调用win32com库来设置Outlook API，这进一步允许访问MAPI命名空间。

def main(msg_file, output_dir):
   mapi = win32com.client.Dispatch("Outlook.Application").GetNamespace("MAPI")
   msg = mapi.OpenSharedItem(os.path.abspath(args.MSG_FILE))
   
   display_msg_attribs(msg)
   display_msg_recipients(msg)
   
   extract_msg_body(msg, output_dir)
   extract_attachments(msg, output_dir)

现在，定义我们在本脚本中使用的不同函数。下面的代码显示了定义display_msg_attribs()函数，该函数允许我们显示消息的各种属性，例如主题、收件人、密件抄送、抄送、大小、发件人姓名、发送时间等。

def display_msg_attribs(msg):
   attribs = [
      'Application', 'AutoForwarded', 'BCC', 'CC', 'Class',
      'ConversationID', 'ConversationTopic', 'CreationTime',
      'ExpiryTime', 'Importance', 'InternetCodePage', 'IsMarkedAsTask',
      'LastModificationTime', 'Links','ReceivedTime', 'ReminderSet',
      'ReminderTime', 'ReplyRecipientNames', 'Saved', 'Sender',
      'SenderEmailAddress', 'SenderEmailType', 'SenderName', 'Sent',
      'SentOn', 'SentOnBehalfOfName', 'Size', 'Subject',
      'TaskCompletedDate', 'TaskDueDate', 'To', 'UnRead'
   ]
   print("\nMessage Attributes")
   for entry in attribs:
      print("{}: {}".format(entry, getattr(msg, entry, 'N/A')))

现在，定义display_msg_recipeints()函数，该函数迭代消息并显示收件人详细信息。

def display_msg_recipients(msg):
   recipient_attrib = ['Address', 'AutoResponse', 'Name', 'Resolved', 'Sendable']
   i = 1
   
   while True:
   try:
      recipient = msg.Recipients(i)
   except pywintypes.com_error:
      break
   print("\nRecipient {}".format(i))
   print("=" * 15)
   
   for entry in recipient_attrib:
      print("{}: {}".format(entry, getattr(recipient, entry, 'N/A')))
   i += 1

接下来，我们定义extract_msg_body()函数，该函数从消息中提取正文内容、HTML以及纯文本。

def extract_msg_body(msg, out_dir):
   html_data = msg.HTMLBody.encode('cp1252')
   outfile = os.path.join(out_dir, os.path.basename(args.MSG_FILE))
   
   open(outfile + ".body.html", 'wb').write(html_data)
   print("Exported: {}".format(outfile + ".body.html"))
   body_data = msg.Body.encode('cp1252')
   
   open(outfile + ".body.txt", 'wb').write(body_data)
   print("Exported: {}".format(outfile + ".body.txt"))

接下来，我们将定义extract_attachments()函数，该函数将附件数据导出到所需的输出目录。

def extract_attachments(msg, out_dir):
   attachment_attribs = ['DisplayName', 'FileName', 'PathName', 'Position', 'Size']
   i = 1 # Attachments start at 1
   
   while True:
      try:
         attachment = msg.Attachments(i)
   except pywintypes.com_error:
      break

定义所有函数后，我们将使用以下代码行将所有属性打印到控制台：

print("\nAttachment {}".format(i))
print("=" * 15)
   
for entry in attachment_attribs:
   print('{}: {}'.format(entry, getattr(attachment, entry,"N/A")))
outfile = os.path.join(os.path.abspath(out_dir),os.path.split(args.MSG_FILE)[-1])
   
if not os.path.exists(outfile):
os.makedirs(outfile)
outfile = os.path.join(outfile, attachment.FileName)
attachment.SaveAsFile(outfile)
   
print("Exported: {}".format(outfile))
i += 1

运行上述脚本后，我们将获得控制台窗口中消息及其附件的属性以及输出目录中的多个文件。

使用Python构建来自Google Takeout的MBOX文件

MBOX文件是具有特殊格式的文本文件，用于分割其中存储的消息。它们通常与UNIX系统、Thunderbolt和Google Takeouts相关联。

在本节中，您将看到一个Python脚本，我们将使用该脚本构建从Google Takeouts获得的MBOX文件。但在那之前，我们必须了解如何使用我们的Google帐户或Gmail帐户生成这些MBOX文件。

将Google帐户邮箱获取为MBX格式

获取Google帐户邮箱意味着备份我们的Gmail帐户。出于各种个人或专业原因，可以进行备份。请注意，Google提供Gmail数据的备份。要将我们的Google帐户邮箱获取为MBOX格式，您需要按照以下步骤操作：

• 打开我的帐户信息中心。

• 转到“个人信息和隐私”部分，然后选择“控制您的内容”链接。

• 您可以创建一个新的存档或管理现有的存档。如果我们单击创建存档链接，我们将获得一些复选框，用于我们希望包含的每个Google产品。

• 选择产品后，我们将可以自由选择存档的文件类型和最大大小，以及从列表中选择的交付方式。

• 最后，我们将以MBOX格式获得此备份。

Python代码

现在，可以使用Python构建上面讨论的MBOX文件，如下所示：

首先，需要导入Python库，如下所示：

from __future__ import print_function
from argparse import ArgumentParser

import mailbox
import os
import time
import csv
from tqdm import tqdm

import base64

除了用于解析MBOX文件的mailbox库外，所有库都在之前的脚本中使用并解释过。

现在，为命令行处理程序提供一个参数。这里它将接受两个参数：一个是MBOX文件的路径，另一个是所需的输出文件夹。

if __name__ == '__main__':
   parser = ArgumentParser('Parsing MBOX files')
   parser.add_argument("MBOX", help="Path to mbox file")
   parser.add_argument(
      "OUTPUT_DIR",help = "Path to output directory to write report ""and exported content")
   args = parser.parse_args()
   main(args.MBOX, args.OUTPUT_DIR)

现在，将定义main()函数并调用mailbox库的mbox类，借助该类，我们可以通过提供其路径来解析MBOX文件：

def main(mbox_file, output_dir):
   print("Reading mbox file")
   mbox = mailbox.mbox(mbox_file, factory=custom_reader)
   print("{} messages to parse".format(len(mbox)))

现在，为mailbox库定义一个读取器方法，如下所示：

def custom_reader(data_stream):
   data = data_stream.read()
   try:
      content = data.decode("ascii")
   except (UnicodeDecodeError, UnicodeEncodeError) as e:
      content = data.decode("cp1252", errors="replace")
   return mailbox.mboxMessage(content)

现在，创建一些变量以进行进一步处理，如下所示：

parsed_data = []
attachments_dir = os.path.join(output_dir, "attachments")

if not os.path.exists(attachments_dir):
   os.makedirs(attachments_dir)
columns = [
   "Date", "From", "To", "Subject", "X-Gmail-Labels", "Return-Path", "Received", 
   "Content-Type", "Message-ID","X-GM-THRID", "num_attachments_exported", "export_path"]

接下来，使用tqdm生成进度条并跟踪迭代过程，如下所示：

for message in tqdm(mbox):
   msg_data = dict()
   header_data = dict(message._headers)
for hdr in columns:
   msg_data[hdr] = header_data.get(hdr, "N/A")

现在，检查消息是否具有有效负载。如果有，我们将定义write_payload()方法，如下所示：

if len(message.get_payload()):
   export_path = write_payload(message, attachments_dir)
   msg_data['num_attachments_exported'] = len(export_path)
   msg_data['export_path'] = ", ".join(export_path)

现在，需要追加数据。然后我们将调用create_report()方法，如下所示：

parsed_data.append(msg_data)
create_report(
   parsed_data, os.path.join(output_dir, "mbox_report.csv"), columns)
def write_payload(msg, out_dir):
   pyld = msg.get_payload()
   export_path = []
   
if msg.is_multipart():
   for entry in pyld:
      export_path += write_payload(entry, out_dir)
else:
   content_type = msg.get_content_type()
   if "application/" in content_type.lower():
      content = base64.b64decode(msg.get_payload())
      export_path.append(export_content(msg, out_dir, content))
   elif "image/" in content_type.lower():
      content = base64.b64decode(msg.get_payload())
      export_path.append(export_content(msg, out_dir, content))

   elif "video/" in content_type.lower():
      content = base64.b64decode(msg.get_payload())
      export_path.append(export_content(msg, out_dir, content))
   elif "audio/" in content_type.lower():
      content = base64.b64decode(msg.get_payload())
      export_path.append(export_content(msg, out_dir, content))
   elif "text/csv" in content_type.lower():
      content = base64.b64decode(msg.get_payload())
      export_path.append(export_content(msg, out_dir, content))
   elif "info/" in content_type.lower():
      export_path.append(export_content(msg, out_dir,
      msg.get_payload()))
   elif "text/calendar" in content_type.lower():
      export_path.append(export_content(msg, out_dir,
      msg.get_payload()))
   elif "text/rtf" in content_type.lower():
      export_path.append(export_content(msg, out_dir,
      msg.get_payload()))
   else:
      if "name=" in msg.get('Content-Disposition', "N/A"):
         content = base64.b64decode(msg.get_payload())
      export_path.append(export_content(msg, out_dir, content))
   elif "name=" in msg.get('Content-Type', "N/A"):
      content = base64.b64decode(msg.get_payload())
      export_path.append(export_content(msg, out_dir, content))
return export_path

请注意，上述if-else语句易于理解。现在，我们需要定义一个方法，该方法将从msg对象中提取文件名，如下所示：

def export_content(msg, out_dir, content_data):
   file_name = get_filename(msg)
   file_ext = "FILE"
   
   if "." in file_name: file_ext = file_name.rsplit(".", 1)[-1]
   file_name = "{}_{:.4f}.{}".format(file_name.rsplit(".", 1)[0], time.time(), file_ext)
   file_name = os.path.join(out_dir, file_name)

现在，借助以下几行代码，您可以实际导出文件：

if isinstance(content_data, str):
   open(file_name, 'w').write(content_data)
else:
   open(file_name, 'wb').write(content_data)
return file_name

现在，让我们定义一个函数，从message中提取文件名，以准确表示这些文件的名称，如下所示：

def get_filename(msg):
   if 'name=' in msg.get("Content-Disposition", "N/A"):
      fname_data = msg["Content-Disposition"].replace("\r\n", " ")
      fname = [x for x in fname_data.split("; ") if 'name=' in x]
      file_name = fname[0].split("=", 1)[-1]
   elif 'name=' in msg.get("Content-Type", "N/A"):
      fname_data = msg["Content-Type"].replace("\r\n", " ")
      fname = [x for x in fname_data.split("; ") if 'name=' in x]
      file_name = fname[0].split("=", 1)[-1]
   else:
      file_name = "NO_FILENAME"
   fchars = [x for x in file_name if x.isalnum() or x.isspace() or x == "."]
   return "".join(fchars)

现在，我们可以通过定义如下所示的 **create_report()** 函数来编写 CSV 文件：

def create_report(output_data, output_file, columns):
   with open(output_file, 'w', newline="") as outfile:
      csvfile = csv.DictWriter(outfile, columns)
      csvfile.writeheader()
      csvfile.writerows(output_data)

运行上述脚本后，我们将获得 CSV 报告和一个包含附件的目录。