Попробуй поиграть этим enum Qt::WindowType
flags Qt::WindowFlags, если наследуешся от QMainWindow
Помогло Qt::SubWindow, правда есть один недостаток.
Я использую Qt::CustomizeWindowHint чтобы отключить TitleBar, так вот при добавлении Qt::SubWindow он опять появляется.
Кстати от QMainWindow наследоваться необязательно, можно и от QWidget.