Коллеги,
Если кому интересно:
У нас похожая ситуация на Solaris 10/u8. nginx файлы отдает нормально, правда сейчас не используется на боевых проектах, но при заливке файла через upload module, где-то после 250 мб залипает на 0.5-1 минуту. В связи с большими планами на nginx решили, как раз сегодня, разобраться в чем дело. Оказывается nginx не причем. Все дело в zfs. Забивался ARC и zfs торомзила все процессы до тех пор пока не скинет данные на диски. 1 минута потому что там, помимо тестового сайта с nginx, еще много чего крутится. Лечится переносом временной папки для аплоада на отдельную файловую систему с отключенным кешированием. Кстати, конкретно для upload module пришлось еще и скорость порезать, потому что nginx начинал принимать файлы со скоростью от 62МБ/с, на что естественно наш крутой сервер и его диски не расчитаны :).

ПС. После расследования, выяснилось что и апач залипал переодически тоже. Точнее не он, а система из-за его логов. Пришлось логи тоже перенести на некешируюмую фс.
ППС. Игорю огромное спасибо за nginx. Как говорится, респект и уважуха!