robots.txt在線生成

簡介

robots.txt是網站办理者用來告訴查抄引擎爬蟲哪些頁面可能被抓取,哪些頁面不能被抓取的文件。該文件存放在網站根目錄下,是一種遵守Robots協議的文件,可能把持查抄引擎爬蟲對網站內容的訪問。

內容

本站供给 robots.txt 在線生成东西

参加保藏
xxfseo.com