数据结构
网络
关系数据库管理系统 (RDBMS)
操作系统
Java
MS Excel
iOS
HTML
CSS
Android
Python
C 语言编程
C++
C#
MongoDB
MySQL
Javascript
PHP
物理学
化学
生物学
数学
英语
经济学
心理学
社会研究
时尚研究
法学研究如何使用 TensorFlow Text 预处理序列建模？
TensorFlow Text 包含一系列与文本相关的类和操作，可与 TensorFlow 2.0 一起使用。该库有助于文本建模所需的预处理，并包括序列建模所需的其它功能。这些功能在 TensorFlow 中并不存在。
在文本预处理过程中使用这些操作类似于使用 TensorFlow 图表。这意味着用户无需担心训练中的标记化与干扰时的标记化不同。操作也有助于管理预处理脚本。
可以使用以下命令安装它
pip install -q tensorflow-text
TensorFlow Text 需要 TensorFlow 2.0，并且与渴望模式和图模式兼容。
某些操作需要字符串为 UTF-8 编码。如果使用了不同的编码，则可以使用核心 TensorFlow 来转换操作以转换为 UTF-8。如果输入无效，可以使用相同的操作将字符串强制转换为结构上有效的 UTF-8 编码。
更新于：2021年2月22日
浏览量：137
广告