У меня же идея состоит вот в чем. flush нужен для того что бы отработав 1 цикл ставился cookie с нужным значением и дальше отправлялся на следующий цикл. На фронтенде же будет раз в пол секунды браться свежий cookie и отображать значение. Таким образом не надо опрашивать будет сервер 2 раза в секунду. Это самое рациональное решение по отображению прогресса если скрипт долго выполняется. Вот только как написали выше flush и nginx вещи не совместимые.