скорей всего что то свое встроенное, может быть на основе Jetty

надо вскрывать vendor-app-server-1.2.3.jar и смотреть исходники

еще вариант, посмотреть заголовки которые выдает этот сервер в респонсе (если напрямую стучаться по 8080 порту), может быть там будет что то на тему некорректности запроса через прокси. потихоньку урезать кол-во заголовков в запросе и ловить момент когда он перестанет отвечать корректно. curl наверное поможет

> Чем проще всего отснифить обмен между nginx и java? tshark?

тут не подскажу, я на 95% занимаюсь чистым java backend, у меня ситуации проще, так как сам решаю что принимать что выдавать.