Если кратко, то при указании в конфиге IP:PORT приоритет обработки будет у этого конфига, нежели просто PORT или '*'. Если подробно то http://nginx.org/ru/docs/http/request_processing.html