蜘蛛、機器人和爬蟲是你的朋友。如果要進行SE0，你不只需要喜歡它們，同時你真的需要特意地把它們吸引到你的網站上來。

在SE0中，蜘蛛、機器人和爬蟲大體上講的是同一種東兩．但是別過分擔憂——它們都沒有腿和觸角。所以，讓我們統一用“爬蟲(crawler)”這個詞來稱呼它們。請牢記，有時你需要吸引這些機器人．或者把你的網站偽裝成“蜘蛛誘餌”。這都屬于同個原則。

那么，什么是爬蟲，為什么我們要把它請到我的網站上來呢

爬蟲是一種程序，或者是～段自動化的腳本(經常被稱為bot，即robot的縮寫)，它在網上不停辛勤奔跑到各個URL上去。爬蟲通過它們所瀏覽的網頁上面的鏈接從一個URL爬到另一個URL。

主流搜索引擎接連不斷地將它們的爬蟲派出去瀏覽廣闊的互聯網。爬蟲首先找到各個頁面，然后把頁面上的文本和代碼復制并儲存在它們巨大的索引服務器上，這個過程叫做爬行(spidering)。這個巨大的索引，實際上就是一個包含搜索引擎爬蟲可以成功訪問到的所有網站頁面的數據庫。該索引被用來作為當你搜索時，可以非常快速地得到一個結果的倉庫。當你在一個例如Google的搜索引擎上輸入一個搜索詞并提交，你實際搜索的是搜索引擎所索引的全部內容，而不足當時互聯網的實際內容。

當然，網頁會變化。有時，網頁和網站的變化周期非常短。除此以外．新的網站和網頁隨日寸都在快速出現。這也是為什么爬蟲始終都在那里不停地爬行， 一遍又一遍地瀏覽網頁，并且建立和更新搜索引擎的索引信息。

搜索引擎索引庫里面的內容是爬蟲瀏覽網頁時看到的內容。爬蟲所看到的內容可能和～般的訪問者看到的大相徑庭。如果你想查看爬蟲看到的某個網頁的內容是什么，你可以使用IE瀏覽器來訪問它，然后按下Ctrl—A組合鍵，并瀏覽復制下來的內容(如果是Mac系統，則可以使用Apple—u組臺鍵)?；蛘?，你可以借助Google，點擊搜索結果下面的“網頁快照”鏈接，就可以看到爬蟲最近對這個頁面做的快照了。

首先也是最重要的一點是．爬蟲將它們爬過的每個頁面的字和詞組合起來。它們索引文本和鏈接。當你在搜索框中輸入一個搜索詞時，搜索引擎盡量精確地找出和搜索詞組最匹配的網頁。

不同的搜索引擎有它們獨具特色的爬蟲，和你所期料的一樣，它們并不是都以完全樣的方式來運行。有些爬蟲獲取頁面上全部的內容，而有些可能只是對其中的某些部分感興趣。大部分爬蟲都認為，頁面的標題以及靠近頁面頂部的內容，比遠在頁面下面的內容更重要。爬蟲在爬行網站時經常遇到障礙并越過這些障礙，比如說，在網站上．沒有讓它們繼續爬行的鏈接，或者它們遇到了由怪異技術或代碼造成的問題。爬蟲還可能由于遇到技術阻礙，而進入陷阱，從而使它們不能輕易完成工作。

所以，任何SE0工作的第一步的重要部分都是讓爬蟲更容易發現和爬行你的網站。如糶你的網站沒有被爬蟲爬過，它們也就不會建立關于你網站的搜索引擎索引。如果網頁沒有在索引當中，搜索者也不會在搜索引擎中找到它，因為搜索引擎認為那個頁面根本就不存在。與此同時．搜索者可能找到其他網頁，并且很有可能是你的競爭對手的網頁。

鏈接和精心設計的站點結構是建立個體網頁、網站欄目與其他站內網頁和欄目之間關系的橋梁。這將給爬蟲提供清晰的爬行道路。

創建sitemap

建立sitemap是幫助搜索引擎爬蟲抓取網站的最簡單的方法之一。sitemap是個給爬蟲提供網站內容URL清單——至少是網站擁有者希望爬蟲看到的地址清單的文件(通常是XML格式)。sitemap中還可以包括針對每個URL的附加信息，例如指定頁面的最近更新時間、更新頻率，以及相對于網站上其他內容的重要度(舉例來說．首頁比“聯系我們”頁面更為重要)。

sitemap所提供的信息可以幫助搜索引擎爬蟲更智能地抓取網站。Google、MSN、Yahoo!以及Ask都接受網站擁有者提交sitemap的請求。然而需要注意的是，沒有任何一家公司保證sitemap所提交的URL都會被抓取或者被索引。
sitemap對于那些提供不容易被直接瀏覽到的信息的網站來說十分有用，例如有些站點存儲了大量的檔案或者信息數據庫。這些信息是通過用戶檢索才能看到的。請記住，爬蟲只是根據鏈接來抓取信息，而通常情況下，這樣的信息是缺乏鏈接指向的。