Конструктор диалога имеет вид:
C++ (Qt)
QDialog::QDialog ( QWidget * parent = 0, Qt::WindowFlags f = 0 )
Указать Qt::WindowFlags вот то, что тебе необходимо. Попробуй задать, например, Qt::Popup или Qt::FramelessWindowHint, или Qt::CustomizeWindowHint без Qt::WindowTitleHint
(добавлено 19.01.2010 13:40) и Qt::WindowSystemMenuHint, Qt::WindowMinimizeButtonHint, Qt::WindowMaximizeButtonHint, Qt::WindowMinMaxButtonsHint, Qt::WindowCloseButtonHint, Qt::WindowContextHelpButtonHint