PHP - 分詞器函式

PHP Tokenizer 是一個內建的 PHP 擴充套件，它將 PHP 原始碼分詞（或分割）成單獨的標記。之後，可以檢查和修改這些標記。它對於建立程式碼轉換和分析工具非常有用。

分詞器函式可以提供與 Zend 引擎中嵌入的 PHP 分詞器的介面。透過使用這些函式，我們可以編寫自己的 PHP 原始碼分析或修改工具，而無需在詞法級別處理語言規範。

安裝

分詞器擴充套件通常與 PHP 一起提供，並且預設情況下已啟用。如果您使用的是常規 PHP 安裝，則無需執行任何其他操作。

要檢查分詞器是否已啟用，請使用以下內容生成一個 PHP 檔案（例如，phpinfo.php），並透過 Web 伺服器訪問它：

<?php
   phpinfo();
?> 

並在輸出中檢查 **Tokenizer** 部分。

配置

分詞器擴充套件不需要任何其他配置。它與 PHP 的預設配置一起開箱即用。

預定義常量

當擴充套件編譯到 PHP 中或在執行時動態載入時，解析器標記列表中的標記將指定為常量。

PhpToken 類

PhpToken 類 -

示例

<?php
   if (!defined('T_ML_COMMENT')) {
      define('T_ML_COMMENT', T_COMMENT);
   } else {
      define('T_DOC_COMMENT', T_ML_COMMENT);
   }

   $source = file_get_contents('example.php');
   $tokens = token_get_all($source);

   foreach($tokens as $token) {
      if(is_string($token)) {
         //  simple 1-character token
         echo $token;
      } else {
         //  token array
         list($id, $text) = $token;
         switch ($id) { 
            case T_COMMENT: 
            case T_ML_COMMENT: // we've defined this
            case T_DOC_COMMENT: // and this
            
			//  no action on comments
            break;

            default:
               //  anything else -> output "as is"
               echo $text;
               break;
         }
      }
   }
?>

PhpToken 類函式