Google是如何更新全部索引的？這是一個(gè)范圍相當(dāng)寬的問題，大家都知道，Google為確保向用戶提供最具相關(guān)性和質(zhì)量最高的搜索結(jié)果而對(duì)其數(shù)據(jù)庫按月進(jìn)行更新。為了回答上述問題，在本文中我將向大家詳細(xì)說明Google更新過程的每個(gè)步驟。
有相當(dāng)多的用戶和公司都已經(jīng)發(fā)現(xiàn)，為了在早期的搜索引擎優(yōu)化中，能在Google里有個(gè)很好的排名，在認(rèn)真做計(jì)劃之前就要采取一切必要的措施。就免費(fèi)提交的搜索引擎來說，Google是為數(shù)極少之中的一個(gè)，也是最早將網(wǎng)站收錄到數(shù)據(jù)庫的搜索引擎之一。到2003年7月10日為止，Google已經(jīng)成為收錄34億個(gè)網(wǎng)頁之多的最廣泛的數(shù)據(jù)庫。其中只有一小部分不能夠被Google訪問，因?yàn)檫@些站點(diǎn)是不能夠被搜索引擎爬蟲或蜘蛛所訪問的。
就象在現(xiàn)實(shí)生活中一樣，無論是對(duì)網(wǎng)站所有者、網(wǎng)站管理員還是搜索引擎優(yōu)化專家來說，當(dāng)開始一個(gè)新產(chǎn)品的市場時(shí)，有很大的風(fēng)險(xiǎn)和潛在的復(fù)雜性。然而大多數(shù)專家都一致同意在使用Google搜索時(shí)，要正確輸入關(guān)鍵字，這樣才可以有效地搜索到你所要查找的信息。因?yàn)镚oogle每個(gè)月都會(huì)更新它的數(shù)據(jù)庫。在這篇文章中，我們要解釋關(guān)于“Google Dance”的信息，還有如何在恰當(dāng)?shù)臅r(shí)間理解“Googlebot”。另外，我們也會(huì)告訴你如何進(jìn)行搜索引擎的優(yōu)化。
　　著名的“Google Dance”
如果你想寫封信去參加在Google總部的年度更新過程，那么你可能希望繼續(xù)讀到GooglePlex這篇文章，從中了解Google數(shù)據(jù)庫和搜索引擎機(jī)器人是何如工作的。關(guān)于Google每月周期性的更新過程有很多的文檔記錄。而在過去整整一年，Google的這種每個(gè)月的周期性更新(如今人們親切稱之為“Google Dance”)對(duì)那些焦慮等待的網(wǎng)站所有者和網(wǎng)站管理員來說，都變得愈加復(fù)雜和不可琢磨。
每次的更新都是從Google的一個(gè)主要的深層次的爬蟲開始的。我們先把它叫做爬蟲A。它是如何索引到整個(gè)網(wǎng)站中至少三四十億的網(wǎng)頁的呢？Google使用了15000多臺(tái)位于不同數(shù)據(jù)中心的計(jì)算機(jī)，來索引全世界范圍內(nèi)的站點(diǎn)。當(dāng)Googlebot來搜索數(shù)據(jù)庫中現(xiàn)有站點(diǎn)時(shí)，同時(shí)也會(huì)搜索到最新的網(wǎng)站。一旦Google完成了爬蟲A這個(gè)過程，就會(huì)為下一步的更新有效地搜索到所有的網(wǎng)頁，然后便是兩個(gè)星期后的第二次更新過程。
最后，Google會(huì)更新整個(gè)數(shù)據(jù)庫，在www2.google.com和www3.google.com這兩個(gè)站點(diǎn)上可以看到最新的更新結(jié)果。在更新的同時(shí)，其結(jié)果會(huì)很快的連接在主要數(shù)據(jù)庫和第二、第三個(gè)數(shù)據(jù)庫之間。由于Google使用的服務(wù)器有15000臺(tái)之多，因此在整個(gè)更新結(jié)束之前，不同地方的人們所得到的搜索結(jié)果是不同的?！癎oogle Dance”會(huì)持續(xù)好幾天，但是不會(huì)超過一個(gè)星期。除非Google要改變一些主要的規(guī)則，比如2003年4月份的更新。
無論是在Google的每個(gè)數(shù)據(jù)庫更新的時(shí)候還是在更新之后 只要其中一個(gè)數(shù)據(jù)庫進(jìn)行更新，Google又會(huì)開始新一輪的“全面”檢索。我們把它稱做爬蟲B。這次檢索仍然包括數(shù)據(jù)庫中所有已被收錄站點(diǎn)和一些新發(fā)布的網(wǎng)站。GoogleBot的這次檢索完成之后，就是Google下一輪更新的起點(diǎn)，意味著下個(gè)月的更新又全面開始了。