Monday, January 14, 2008

High load

http://googlesystem.blogspot.com/2008/01/google-reveals-more-mapreduce-stats.html

The input data for some of the MapReduce jobs run in September 2007 was 403,152 TB (terabytes), the average number of machines allocated for a MapReduce job was 394, while the average completion time was 6 minutes and a half.
Блин, как они это делают... Это же с ума сойти. Любой разработчик в гугле может получить доступ к кластеру, что-то такое посчитать для себя, тут же получит результат, увидеть ошибку, проанализировать, запустить заново и т.п. Наличие такого средства обработки данных - это просто невероятное конкурентное преимущество.