Средствами QSS можно только текущую выделенную
QMenu::item:selected { /* when user selects item using mouse or keyboard */
     background-color: #654321;
 }Если надо только один пункт, то можно сделать финт ушами (но только если совсем приспичит):
    fileMenu->addAction(openAction);
    openAction->setCheckable(true);
    openAction->setChecked(true);
    fileMenu->setStyleSheet("QMenu::item:checked { background-color: #654321; }");
Больше из qss не знаю что выжать..