頭條搜索Robots協議匹配規則詳解

匹配方式概述

頭條搜索Robots協議的匹配機制主要涵蓋路徑（path）與參數（parameter）兩大核心模塊。系統支持兩種通配符：星號（）與美元符號（$）。其中，星號（）可匹配任意有效字符的0個或多個實例，而美元符號（$）則用于標識網址的結束位置。這種設計確保了匹配規則的靈活性與精準性，能夠適應多樣化的URL結構需求。

路徑匹配規則詳解

路徑部分的匹配邏輯與Google Robots協議保持一致，僅允許以正斜杠（/）或星號（）開頭的規則參與匹配。具體規則如下：

- /：匹配根目錄及其所有下級路徑。例如，可匹配`/`、`/fish/`、`/fish/salmon.html`等。

- /fish/：以`/fish/`開頭的路徑，且末尾斜杠表示匹配該文件夾內的所有內容，如`/fish/`、`/fish/?id=anything`，但不匹配`/fish`或`/fish.html`。

- /.php：匹配所有以`.php`結尾的路徑，如`/filename.php`、`/folder/filename.php`，但不匹配`/windows.PHP`（因大小寫敏感）或`/filename.php?parameters`（因未使用結束符$）。

- /fish.php：匹配`fish`后接任意字符且以`.php`結尾的路徑，如`/fish.php`、`/fishheads/catfish.php`，但不匹配`/Fish.PHP`。

- /fish/：包含字符串`/fish/`的路徑，如`/search/fish/filename.php`，但不匹配`/Fish.PHP`。

需注意，末尾斜杠（如`/fish/`）會被系統忽略，等同于`/fish/`。路徑匹配嚴格區分大小寫，且需遵循“/”或“”開頭的約束條件。

參數匹配規則詳解

參數部分支持無序匹配，且參數的鍵（key）與值（value）均支持星號（）通配符。具體規則如下：

- 無序匹配：參數順序不影響匹配結果，如`/home.php?mod=?`可匹配`/home.php?c=0&mod=939`，無需考慮`mod`與`c`的順序。

- 通配符應用：

- 值通配：`/home.php?mod=?`匹配`mod`參數為任意值；`/home.php?mod=9`匹配`mod`值以`9`結尾的URL；`/home.php?mod=\39`匹配`mod`值以`39`結尾的URL。

- 鍵通配：`/home.php?mod=?`匹配鍵以`mod`結尾的參數（如`smod`）；`/home.php?mod=?`匹配鍵以`mod`開頭的參數（如`mods`）；`/home.php?mod=?`匹配鍵包含`mod`字符串的參數（如`smods`）。

- 完全匹配：`/home.php?mod=9`僅當`mod`值嚴格為`9`時匹配，不匹配`mod=939`。

- 前綴匹配：`/home.php?mod`可匹配`mod`開頭的鍵（如`mods`），但不匹配`smod`；`/home.php?mod`則可同時匹配`mod`和`mods`。

參數匹配時，系統會忽略參數順序，且通配符對鍵和值均生效，確保對復雜URL參數的精準覆蓋。

總結

頭條搜索Robots協議通過路徑與參數的雙模塊匹配設計，結合通配符的靈活應用，實現了對URL結構的精細化控制。其規則兼顧一致性與實用性，既遵循行業通用標準，又針對復雜場景提供了定制化匹配能力，助力站長高效配置抓取策略。