搜索優(yōu)化：robots的寫法

來源:SEO優(yōu)化 2012-06-07

快速提升網(wǎng)站銷量，使用365webcall免費(fèi)在線客服

robots的寫作在網(wǎng)站中起著非常重要的作用,她代表著能否被所有的搜索引擎抓取,在百度上有一個(gè)好的排名。下面我們一起來看一下關(guān)于robots的一些知識。

1. 什么是robots.txt文件?

搜索引擎使用spider程序自動訪問互聯(lián)網(wǎng)上的網(wǎng)頁并獲取網(wǎng)頁信息。spider在訪問一個(gè)網(wǎng)站時(shí),會首先會檢查該網(wǎng)站的根域下是否有一個(gè)叫做 robots.txt的純文本文件,這個(gè)文件用于指定spider在您網(wǎng)站上的抓取范圍。您可以在您的網(wǎng)站中創(chuàng)建一個(gè)robots.txt,在文件中聲明該網(wǎng)站中不想被搜索引擎收錄的部分或者指定搜索引擎只收錄特定的部分。

2.常見蜘蛛形態(tài)

User-Agent:定義搜索引擎的類型· Disallow: 定義禁止搜索引擎收錄的地址 · Allow: 定義允許搜索引擎收錄的地址

案例:允許所有的蜘蛛抓取所有的頁面

User-agent: *Allow:/ /或者根目錄下放置robots.txt空文件

百度的蜘蛛形態(tài)

Baiduspider+(+$

Disallow: /

例10. 禁止訪問網(wǎng)站中所有的動態(tài)頁面

User-agent: *

Disallow: /*?*

例11. 禁止Baiduspider抓取網(wǎng)站上所有圖片

僅允許抓取網(wǎng)頁,禁止抓取任何圖片。