Получилось настроить таким образом:
http {
include mime.types;
default_type application/octet-stream;
sendfile on;
keepalive_timeout 65;

server {
listen 443 ssl; # порт https
server_name localhost; # ваш сайт

ssl_certificate /usr/local/nginx/sert/cert.pem;
ssl_certificate_key /usr/local/nginx/sert/cert.key;
if ( $scheme = "http" ) {
rewrite ^/(.*)$ https://$host/$1 permanent;
}

location / {
root html;
index index.html index.htm;
}
location = /websocket {
proxy_pass http://127.0.0.1:8086;
proxy_http_version 1.1;
proxy_set_header Upgrade $http_upgrade;
proxy_set_header Connection "upgrade";
}

proxy_read_timeout 32000s;
}

В фаерфоксе все соединяется и работает, только на первое подключение выдал предупреждение о том что сертификат левый, поставил галочку доверять и дальше пускает без проблем.
А вот в Хроме проблемы - не соединяется ни в какую, т.е. https://localhost:443 - страница не доступна.
В Хроме добавил вручную сертификат свой и выставил все галочки на доверие ему. Эффекта нет.
ВебКит обертка от Qt - загружает станицу если игнорировать SSL ошибки, но по вебсокету не соединяет.
Что делать?