Google是如何更新全部索引的？這是一個范圍相當(dāng)寬的問題，大家都知道，Google為確保向用戶提供最具相關(guān)性和質(zhì)量最高的搜索結(jié)果而對其數(shù)據(jù)庫按月進行更新。為了回答上述問題，在本文中我將向大家詳細說明Google更新過程的每個步驟。
有相當(dāng)多的用戶和公司都已經(jīng)發(fā)現(xiàn)，為了在早期的搜索引擎優(yōu)化中，能在Google里有個很好的排名，在認真做計劃之前就要采取一切必要的措施。就免費提交的搜索引擎來說，Google是為數(shù)極少之中的一個，也是最早將網(wǎng)站收錄到數(shù)據(jù)庫的搜索引擎之一。到2003年7月10日為止，Google已經(jīng)成為收錄34億個網(wǎng)頁之多的最廣泛的數(shù)據(jù)庫。其中只有一小部分不能夠被Google訪問，因為這些站點是不能夠被搜索引擎爬蟲或蜘蛛所訪問的。
就象在現(xiàn)實生活中一樣，無論是對網(wǎng)站所有者、網(wǎng)站管理員還是搜索引擎優(yōu)化專家來說，當(dāng)開始一個新產(chǎn)品的市場時，有很大的風(fēng)險和潛在的復(fù)雜性。然而大多數(shù)專家都一致同意在使用Google搜索時，要正確輸入關(guān)鍵字，這樣才可以有效地搜索到你所要查找的信息。因為Google每個月都會更新它的數(shù)據(jù)庫。在這篇文章中，我們要解釋關(guān)于“Google Dance”的信息，還有如何在恰當(dāng)?shù)臅r間理解“Googlebot”。另外，我們也會告訴你如何進行搜索引擎的優(yōu)化。
　　著名的“Google Dance”
如果你想寫封信去參加在Google總部的年度更新過程，那么你可能希望繼續(xù)讀到GooglePlex這篇文章，從中了解Google數(shù)據(jù)庫和搜索引擎機器人是何如工作的。關(guān)于Google每月周期性的更新過程有很多的文檔記錄。而在過去整整一年，Google的這種每個月的周期性更新(如今人們親切稱之為“Google Dance”)對那些焦慮等待的網(wǎng)站所有者和網(wǎng)站管理員來說，都變得愈加復(fù)雜和不可琢磨。
每次的更新都是從Google的一個主要的深層次的爬蟲開始的。我們先把它叫做爬蟲A。它是如何索引到整個網(wǎng)站中至少三四十億的網(wǎng)頁的呢？Google使用了15000多臺位于不同數(shù)據(jù)中心的計算機，來索引全世界范圍內(nèi)的站點。當(dāng)Googlebot來搜索數(shù)據(jù)庫中現(xiàn)有站點時，同時也會搜索到最新的網(wǎng)站。一旦Google完成了爬蟲A這個過程，就會為下一步的更新有效地搜索到所有的網(wǎng)頁，然后便是兩個星期后的第二次更新過程。
最后，Google會更新整個數(shù)據(jù)庫，在www2.google.com和www3.google.com這兩個站點上可以看到最新的更新結(jié)果。在更新的同時，其結(jié)果會很快的連接在主要數(shù)據(jù)庫和第二、第三個數(shù)據(jù)庫之間。由于Google使用的服務(wù)器有15000臺之多，因此在整個更新結(jié)束之前，不同地方的人們所得到的搜索結(jié)果是不同的?！癎oogle Dance”會持續(xù)好幾天，但是不會超過一個星期。除非Google要改變一些主要的規(guī)則，比如2003年4月份的更新。
無論是在Google的每個數(shù)據(jù)庫更新的時候還是在更新之后 只要其中一個數(shù)據(jù)庫進行更新，Google又會開始新一輪的“全面”檢索。我們把它稱做爬蟲B。這次檢索仍然包括數(shù)據(jù)庫中所有已被收錄站點和一些新發(fā)布的網(wǎng)站。GoogleBot的這次檢索完成之后，就是Google下一輪更新的起點，意味著下個月的更新又全面開始了。