1. Как сделать подстветку QtableItem над которым в данный момент находится указатель мыши? 
отлавливать событие mouseMoveEvent:
void myTable::mouseMoveEvent(QMouseEvent *e)
{
    QPainer *painter=new QPainter(this);
    //устанваливаешь параметры painter
    painter.setColor(Qt::red);
    ...
    int row=rowAt(e->y());
    int col=columnAt(e->x());
    paintCell(painter, row, col, cellGeometry(row, col));
}
2. Как нарисовать прямоугольник поверх нескольких QTableItem? Скажем, если, например, я хочу выделить несколько айтемов с помощью резинового контура?
аналогично, исппользуя paintCell.
можешь посмотреть пример из qt: statistic