如何使用 TensorFlow Text 預處理序列建模?
TensorFlow Text 包含一系列與文字相關的類和操作,可與 TensorFlow 2.0 一起使用。該庫有助於文字建模所需的預處理,幷包括序列建模所需的其它功能。這些功能在 TensorFlow 中並不存在。
在文字預處理過程中使用這些操作類似於使用 TensorFlow 圖表。這意味著使用者無需擔心訓練中的標記化與干擾時的標記化不同。操作也有助於管理預處理指令碼。
可以使用以下命令安裝它
pip install -q tensorflow-text
TensorFlow Text 需要 TensorFlow 2.0,並且與渴望模式和圖模式相容。
某些操作需要字串為 UTF-8 編碼。如果使用了不同的編碼,則可以使用核心 TensorFlow 來轉換操作以轉換為 UTF-8。如果輸入無效,可以使用相同的操作將字串強制轉換為結構上有效的 UTF-8 編碼。
廣告