изучал вопрос плотно. долго. ничего не было обнаружено для 50кк+ файлов.
изменяемость 1к файла в минуту.
бэкапить анриал.
халявные не позволяли нормально предохранятся от сбоев или отвалов линков.
экзотика типа мускулов и прочих глустеров - не вкатила по той же причине.
коммерсы выкатывали какието неадекватные ценники под наши хотелки (асинк, восстановление в случае)

написали своё. если вконтактик пишет на два диска на одном сервере. то у нас пишется асинково на два+ сервера в геонезависимых местах. да, теряли 4 диска одновременно в одном сервере)
уходили с нфс-а.

сейчас - заливается на фронт, потом разливается на нужное количество реплик, исходник с фронта удаляется.
там же на фронте реализованы всякие ватермарки-ресайзы-кропы-куты-флипы через энжик)

можем запилить эдж-кэши на основе днс-а. не проблема.