?
SEO名詞百科 - 投稿申請 - 關于小六 - 網站地圖 不懂SEO,不懂網站優化從何入手?到重慶SEO【小六】SEO教程自學網,小六在這里狂甩SEO干貨,助你自學成才!
當前位置:apex英雄多少钱 > SEO優化 > SEO進階專欄 > 正文

apex英雄图标:robots.txt文件問題攻略大全

時間:2017-08-30 12:02:01 來源:原創 作者:小六SEO 閱讀:次

apex英雄多少钱 www.isrgj.icu robots.txt文件問題攻略大全,本文中小六SEO將大家常遇到的關于robots.txt文件的相關問題進行匯總,希望大家又長知識了。

1、robots.txt是什么?

解答:robots.txt是一個純文本文件。簡單說就是一個互聯網協議,是針對搜索引擎蜘蛛抓取網站時的一個提前聲明。通過robots.txt文件告訴蜘蛛,該網站的哪些文件你能訪問抓取,哪些文件不要去訪問抓取,從而規避一些隱私文件或不想被收錄的文件被蜘蛛爬取到,起到一個引導蜘蛛的作用。

搜索引擎蜘蛛爬取網站的第一個文件會優先選擇robots.txt文件,所以在引導蜘蛛時robots.txt文件就顯得尤為重要。

robots.txt文件很重要

2、robots.txt寫法

解答:robots.txt文件的寫法,小六SEO在robots編寫秘籍一文中有詳細的說明,這里做幾個重點說明。

user-agent:*  這里的星號,代表泛指所有的搜索引擎,如需要特指某個蜘蛛,則將各個搜索引擎蜘蛛的名稱寫下即可。

各大常用搜索引擎蜘蛛名稱如下:

google蜘蛛:googlebot

百度蜘蛛:baiduspider

yahoo蜘蛛:slurp

alexa蜘蛛:ia_archiver

msn蜘蛛:msnbot

bing蜘蛛:bingbot

altavista蜘蛛:scooter

lycos蜘蛛:lycos_spider_(t-rex)

alltheweb蜘蛛:fast-webcrawler

inktomi蜘蛛:slurp

有道蜘蛛:YodaoBot和OutfoxBot

熱土蜘蛛:Adminrtspider

搜狗蜘蛛:sogou spider

SOSO蜘蛛:sosospider

360搜蜘蛛:360spider

 

屏蔽所有蜘蛛寫法:

user-agent:*

disallow: /

提示:這里的斜杠代表網站根目錄。

 

屏蔽單個搜索引擎蜘蛛寫法(如屏蔽谷歌):

user-agent:googlebot

Disallow: /

 

屏蔽單個目錄:

user-agent:*

Disallow: /a/

提示:若a后面不加斜杠/a,表示以a形成的所有文件都屏蔽;加斜杠/a/表示只代表a目錄下的所有文件。

 

屏蔽單個頁面:

user-agent:*

Disallow: /123.html

 

釋放已屏蔽目錄中的某個文件:

user-agent:*

Disallow: /a/

Allow: /a/img/

 

屏蔽所有動態頁面:

user-agent:*

Disallow: /*?*

 

加入網站地圖文件:

user-agent:*

Sitemap: //www.isrgj.icu/sitemap.xml

Sitemap: //www.isrgj.icu/sitemap.html

提示:盡量把鏈接寫完整,免得抓取出錯。

關于robots具體屏蔽那些文件,請閱讀robots具體禁止什么文件一文,文中有詳細闡述,這里不細講。

 

3、robots.txt放在哪里?

解答:robots.txt必須指定放在一個網站的根目錄下,且文件名必須全部小寫。

相應URL地址例如:

//www.isrgj.icu/robots.txt

 

4、robots.txt文件存在限制指令

解答:這個也就是大家,??吹僥承┩?,快照描述寫著“由于該網站的robots.txt文件存在限制指令(限制搜索引擎抓?。?,系統無法提供該頁面的內容”,其實就是該網站屏蔽了搜索引擎抓取,淘寶最為明顯。

網站的robots.txt文件存在限制指令

就是這個寫法:

user-agent:*

disallow: /

解決辦法,進入網站根目錄,找到robots.txt文件,刪除掉里面的“disallow: /”,然后等待快照更新就可以了。

 

5、robots.txt怎么看?

解答:都是進入網站空間,找到根目錄下的robots.txt文件,打開觀察寫法,文件屏蔽,查看是否有誤或新增即可。直接觀察可以在瀏覽器輸入主域名+robots.txt即可觀察,修改還是要到服務器空間或ftp里面處理。

 

6、robots.txt可以刪除嗎?

解答:可以刪除,但是對蜘蛛很不友好,建議不要刪除,且把內容寫完整。

 

7、robots.txt允許收錄

解答:允許收錄也就是寫法,參考第二點寫法規則即可。

 

8、robots.txt安全防滲透說明

解答:一般robots.txt文件中,我們會寫到屏蔽后臺路徑如下:

user-agent:*

Disallow: /admin/

這個路徑我們不能像上面這樣直接寫出來,很容易被別人窺視加以利用,所以一般我們需要設置復雜一點,并用星號泛指來表示。

如下:

user-agent:*

Disallow: /a*n/

將中間部分用泛指表示出來,蜘蛛是可以根據前后對照識別出文件,但別人想要知道就很難了,可防止被攻擊,增加安全性。

 

9、robots.txt文件本身安全嗎?

解答;robots.txt本身是沒安全問題的,但如果空間被入侵,robots.txt文件被修改可能就會出錯了。不過也很容易察覺到,一旦你發現異常了,修改回來就好了,所以robots.txt文件也需要時??純詞欠裼形侍?,做好安全維護工作。

 

好了以上就是這些內容,相信大家已經掌握robots要訣了,還沒明白的就多看幾遍。

本文由小六SEO原創首發,轉載請注明來源和作者。

 

(責任編輯:小六SEO)

頂一下
(14)
87.5%
踩一下
(2)
12.5%

版權聲明:

1、本文由apex英雄多少钱作者-小六SEO原創發布,保留著作所有權,轉載請注明來源,否則謝絕轉載;
2、非原創內容會有明確作者及來源標注。

?