Architektur für Crawling im Web-Maßstab: verteilte Flotten, Scheduling, Speicherung und Zuverlässigkeit.