如何使用 TensorFlow Text 預處理序列建模?


TensorFlow Text 包含一系列與文字相關的類和操作,可與 TensorFlow 2.0 一起使用。該庫有助於文字建模所需的預處理,幷包括序列建模所需的其它功能。這些功能在 TensorFlow 中並不存在。

在文字預處理過程中使用這些操作類似於使用 TensorFlow 圖表。這意味著使用者無需擔心訓練中的標記化與干擾時的標記化不同。操作也有助於管理預處理指令碼。

可以使用以下命令安裝它

pip install -q tensorflow-text


TensorFlow Text 需要 TensorFlow 2.0,並且與渴望模式和圖模式相容。

某些操作需要字串為 UTF-8 編碼。如果使用了不同的編碼,則可以使用核心 TensorFlow 來轉換操作以轉換為 UTF-8。如果輸入無效,可以使用相同的操作將字串強制轉換為結構上有效的 UTF-8 編碼。

更新於:2021年2月22日

瀏覽量:137

啟動你的職業生涯

完成課程獲得認證

開始學習
廣告