本身不是從事架設網站的專業人員，
找了一些教學文章但是還是看不太懂，
希望有人可以幫幫忙，感謝不盡,
以下是該網站的robots.txt
User-Agent:*
Disallow: /archive/
Disallow: /libs/
Disallow: /html/
Disallow: /themes/
Disallow: /*/themes/
Disallow: /images/
Disallow: /css/
Disallow: /!OLD/
Disallow: /error_page/
Disallow: /mail_templates/
Sitemap: http://OOXXXX.com/sitemap.xml
-------------------------------------------
我查過教學文章，我發現有幾個問題是:
Disallow: /html/ =>這一條為何要禁止搜尋html以下的內容?
Sitemap: http://OOXXXX.com/sitemap.xml
=> 基本上有提交Sitemap為何還要寫在裡面?
我目前找到可能有的問題。有大大可以賜教哪幾條是不必要的?
或者應該是怎樣編寫才是正確的呢?
個人積分：94分
文章編號：66984790
個人積分：2331分
文章編號：66998109
https://zh.wikipedia.org/wiki/Robots.txt
lingo530 wrote:
我發現有幾個問題是:Disallow: /html/ =＞這一條為何要禁止搜尋html以下的內容
這是禁止html目錄下的檔案被爬，雖然目錄名叫html，目錄裡的檔案不一定要放html吧
sitemap因為各大搜尋網站皆有支援，用總比沒用好，至於Robots.txt的Disallow基本上就是此地無銀三百兩 XD
個人積分：94分
文章編號：67044339
