Google verfolgt eine Strategie der massiven Parallelisierung der Infrastruktur mit einer konsequenten Kosten-/Nutzen-Optimierung. Eine Folge davon ist, dass Komponenten im Cluster ausfallen können, ohne dass dies jemand kurzfristig interessiert.
Nun kommt noch dazu, dass die Index-Dateien und die gespeicherten Base Pages (für den Cache und das Zitat) fies gross sind (Chunk ist über ein TB und ein typischer Lesezugriff ist > 500 MB).
Ein Lösungselement ist ein eigenes Dateisystem welches auf Grösse, Lesezugriffe und Robustheit optimiert ist: Das Google File System mit eingien spannenden Funktionen. Das Dateisystem ist (natürlich) auch gleich ein Cluster.
Und nun gleich zum Artikel: [pdf, 268KB] The Google File System – Paper.
Oder zur Präsentation für Lesefaule: [pdf, 496KB] The Google File System – Presentation
