ModelView большое количество данных

[demaker]

Всем доброго времени суток!

Возникла проблема с отображением большого количества строк в QAbstractTableModel.
Прорисовка графики начинает подвисать, когда количество строк в таблице в районе 1500.

Данные берутся из std::unordered_map и затем заполняется std::vector<std::pair<KEY, TYPE>> v и закидывается в модель.

В модели переопределил методы data, flags, rows, columns.

Есть метод upDate(), так как когда вычитываем свежую порцию данных ,то хотим их обновить в модели(например по таймеру 500ms)

Код

C++ (Qt)
TableModel::TableModel(std::vector<std::pair<uint32_t, uint32_t>> *v_ , QObject *parent)
    : QAbstractTableModel(parent)
{
    v = v_;
}
 
 
void TableModel::upDate()
{
    beginResetModel();
    endResetModel();
}
 
 
QVariant TableModel::data(const QModelIndex &index, int role) const
{
    if(!index.isValid() || v->size() == 0){
        return QVariant();
    }else{
        switch(role){
        case Qt::DisplayRole: {
            switch(index.column()){
 
            case 0 :{
                return v->at(index.row()).first;
            }
 
            case 1:{
                return v->at(index.row()).second;
            }
 
            default:
                return QVariant();
            }
        }
        case Qt::TextAlignmentRole:{
            return Qt::AlignCenter;
        }
        case Qt::FontRole: {
            QFont f;
            f.setFamily("monospace");
            f.setStyleHint(QFont::Monospace);
            return f;
        }
        default:
            return QVariant();
        }
    }
}
 

Хотелось бы узнать насколько корректны мои действия в плане обновления данных модели?
Нужно ли именно все данные подгружать в модель? Хочется подгружать именно ту область данных, которая на данный момент отображается на view))
Может есть другие механизмы более правильные?

Может мне стоит использовать canFetchMore, fetchMore?
Не получится ли при этом что добавлю в модель все 1500 строк и опять также графика вновь будет подвисать?

Спасибо!

[Авварон]

demaker
Попробуй использовать QTreeView он чуть проще (не позволяет ресайзить вертикальные хедеры + есть опция uniformRowHeight которая делает отрисовку за O(N) вместо O(N*N))
1500 это не очень большое количество, стандартные вьюги должны тянуть такое если поиграться с опциями. Если я правильно помню, они сносно тянут до 20к строк.
Если надо прямо много (больше 100к, максимально я рисовал 3 миллиона строк), то надо писать свою вьюху - внутри QTableView/QTreeView есть стейт рядов (вектор) который хранит высоту ряда и синхронизируется с моделью. Так как это вектор то его ресайзы занимают значительно время на вставке в середину. Соответственно в модели вместо вектора надо пользовать std::deque. Но опять же это применимо когда рядов хотя бы полмиллиона.

[Авварон]

А, ну и вместо reset советую insert/remove rows

[demaker]

Авварон
Такой вопрос)

Можно ли допустим взять ту же вьюху(QTableView) и выводить в ней столько записей сколько помещается на отображение при этом использовать свой вертикальный скролл бар

Код

C++ (Qt)
class TableView : public QTableView 
{
...
public:
    int numberRows;
}
 
 
bool TableView::viewportEvent(QEvent *event)
{
 if(event->type == QEvent::Paint){
 
   int hrow = rowHeight(0);
 
   if(hrow > 0){
      numberRows = viewport()->size().height() / hrow
  }
  else{
    numberRows = 1;
  }
 
  return QTableView::viewportEvent(event);
 
}
 

Делаем нужную выборку из вектора

Код

C++ (Qt)
 
std::vector<std::pair<Key, Type>> Core::GetTableData(int pos, nrows)
{
    std::vector<std::pair<Key, Type>> v = threadsafe_unordered_map.get_vecctor();
    std::vector<std::pair<Key, Type>> res;
 
    for(int i = 0; i < nrows; ++i)
   {       
      std::pair<Key, Type> p = v[pos + i];
      res.push_back(p);
   }
 
    return res;
}
 

Код

C++ (Qt)
 
class MainWindow : public QMainWindow
{
 
private:
 std::vector<std::pair<Key, Type>> v;
 
}
 
MainWindow::MainWindow(...)
{
   ...
   model = new TableModel(&v, this)
}
 
void MainWindow::UpDateTable()
{
    v =  core.GetTableData(ui->verticalScroll->sliderPosition(), ui->tableView->numberRows);
    model->upDate(); //beginResetModel() endResetModel()
}
 

Или кривовато???

У меня используется мьюченный std::unordered_map ну чтобы threadsafe был и данные добавляются при этом формируется ключ, чтобы
если уже такие данные есть до мы просто их обновляем.

Поэтому при формирование вектора могут добавиться как в середину так и в начало и как использовать insert в таком случае я не понимаю?
Нужно как-то предварительно рассчитывать куда insert делать.

[Авварон]

Или кривовато???

я бы ожидал багов да=)
весь смысл QTableView в вертикальном хедере который позволяет менять высоту строк (а как следствие высоту всей вью и макс значение скроллбара)
Используй QTreeView с uniformRowHeights=true https://doc.qt.io/qt-6/qtreeview.html#uniformRowHeights-prop - так оно будет вычислять скроллбар как firstRowHeight*rowCount() а не суммировать в цикле.
Скорее всего тормоза у тебя не уйдут так потому что все равно чтобы посчитать высоту вьюпорта скроллбара надо просуммировать вертикальные хедеры

У меня используется мьюченный std::unordered_map ну чтобы threadsafe был и данные добавляются при этом формируется ключ, чтобы
если уже такие данные есть до мы просто их обновляем.

не вижу особо проблем - в модели у тебя все равно будет вектор/дек так как ты в какой-то момент захочешь сортировку по колонкам делать и менять содержимое элементов
надо только аккуратно держать в синке вектор с мапой
в целом можно избежать вставки в середину лайфхаком - всегда добавлять новое в конец (beginInsertRows) а потом пересортировывать (вызывая в просессе layoutAboutToBeChanged/layoutChanged)
Делать фулл reset не очень удобно на практике так как полностью перерисоывает вьюпорт, сбрасывает селекшн.
Вьюша же рисует только то что попадает во вьпорт и если ряды добавляются вне его то никаких перерисовок не будет

[demaker]

Или кривовато???

я бы ожидал багов да=)
весь смысл QTableView в вертикальном хедере который позволяет менять высоту строк (а как следствие высоту всей вью и макс значение скроллбара)
Используй QTreeView с uniformRowHeights=true https://doc.qt.io/qt-6/qtreeview.html#uniformRowHeights-prop - так оно будет вычислять скроллбар как firstRowHeight*rowCount() а не суммировать в цикле.
Скорее всего тормоза у тебя не уйдут так потому что все равно чтобы посчитать высоту вьюпорта скроллбара надо просуммировать вертикальные хедеры

Большое спасибо! Помогло)

[demaker]

У меня используется мьюченный std::unordered_map ну чтобы threadsafe был и данные добавляются при этом формируется ключ, чтобы
если уже такие данные есть до мы просто их обновляем.

не вижу особо проблем - в модели у тебя все равно будет вектор/дек так как ты в какой-то момент захочешь сортировку по колонкам делать и менять содержимое элементов
надо только аккуратно держать в синке вектор с мапой
в целом можно избежать вставки в середину лайфхаком - всегда добавлять новое в конец (beginInsertRows) а потом пересортировывать (вызывая в просессе layoutAboutToBeChanged/layoutChanged)
Делать фулл reset не очень удобно на практике так как полностью перерисоывает вьюпорт, сбрасывает селекшн.
Вьюша же рисует только то что попадает во вьпорт и если ряды добавляются вне его то никаких перерисовок не будет

Хотелось немного по этой части уточнить)

Правильно ли я понял принцип добавления\обновления элементов в моедль

Код

C++ (Qt)
 
class Widget : public QWidget
{
 ...
 
private:
  std::vector<std::pair<Key, Type>> wgtvec;
  Table *model;
}
 
Widget::Widget(...) : ...
{
 
   model = new TableModel(&wgtvec);
}
 
void Widget::updateModel()
{
      //запрашиваем вектор с данными
      std::vector<std::pair<Key, Type>> v = threadsafe_unordered_map.getVector();      
 
      int cursz = v.size();      
      int prvsz = wgtvec.size();
      int count = cursz- prvsz;
 
      if(count > 0){
             wgtvec.swap(v);         
             beginInsertRows( QModelIndex(), prvsz, cursz);
             endInsertRows();
         }
       }
       else if(count == 0){
 
         QRect viewportRect = tableView->viewport()->rect();
 
         QModelIndex topLeft = tableView->indexAt(viewportRect.topLeft());
         QModelIndex bottomRight = tableView->indexAt(viewportRect.bottomRight());
 
          if(topLeft.isValid() && bottomRight.isValid()){
 
               model->dataChanged(topLeft,bottomRight);
 
         }
 
       } 
}
 

[Авварон]

beginInsertRows должен предшествовать изменению данных, endInsertRows должен быть после
иначе может разъехаться стейт
для некоторых вьюх это может работать (если колбек на beginInsertRows пустой) для некоторых нет
тут только смотреть конкретную реализацию (и я конечно из головы уже не помню че там 14 лет назад было дело)

[Авварон]

Собственно сама модель подписана на beginInsertRows и вызывает rowCount который тут ожидается старый

[demaker]

beginInsertRows должен предшествовать изменению данных, endInsertRows должен быть после
иначе может разъехаться стейт
для некоторых вьюх это может работать (если колбек на beginInsertRows пустой) для некоторых нет
тут только смотреть конкретную реализацию (и я конечно из головы уже не помню че там 14 лет назад было дело)

Ага понял

Код

C++ (Qt)
 
beginInsertRows( QModelIndex(), prvsz, cursz);
 
wgtvec.swap(v);
 
endInsertRows();
 

[demaker]

У меня используется мьюченный std::unordered_map ну чтобы threadsafe был и данные добавляются при этом формируется ключ, чтобы
если уже такие данные есть до мы просто их обновляем.

не вижу особо проблем - в модели у тебя все равно будет вектор/дек так как ты в какой-то момент захочешь сортировку по колонкам делать и менять содержимое элементов
надо только аккуратно держать в синке вектор с мапой
в целом можно избежать вставки в середину лайфхаком - всегда добавлять новое в конец (beginInsertRows) а потом пересортировывать (вызывая в просессе layoutAboutToBeChanged/layoutChanged)
Делать фулл reset не очень удобно на практике так как полностью перерисоывает вьюпорт, сбрасывает селекшн.
Вьюша же рисует только то что попадает во вьпорт и если ряды добавляются вне его то никаких перерисовок не будет

Здесь как ты советуешь планирую сделать что-то типа

Код

C++ (Qt)
std::mutex m;
std::unordered_map<Key, std::shared_ptr<T>> map;
std::deque<shared_ptr<T>> q;
 

И получается если размер deque изменился то соответственно мы делаем beginInsertRows - endInsertRows а если нет обновляем данные.

Т.е ниже у меня был vector, теперь будет deque

Надеюсь правилно тебя понял)

[Авварон]

похоже на правду, да

[demaker]

Блин после того как сделал почему-то фильтрация отвалилась

Код

C++ (Qt)
class Model : public ...
{
private:
  std::vector<Type> store;
}
 
void Model::update(std::vector<Type> &fresh)
{
    int prvsz = store.size();
    int cursz = fresh.size();
 
    beginInsertRows(QModelIndex(), prvsz, cursz);
    store.swap(fresh);
    endInsertRows();
}
 

Код

C++ (Qt)
Widget::Widget(...) : ...
{
   model = new TableModel(..., this);
   sort = new SortFilterProxyModel(this);
   sort->setSourceModel(model);
   treeview = new TreeView(this);
   treeview->setModel(sort);
}
 

Код

C++ (Qt)
void Widget::updateModel()
{
 
      int cursz = v.size();      
      int prvsz = wgtvec.size();
      int count = cursz- prvsz;
 
      if(count > 0){
 
         std::vector<Type> v = threadsafe_unordered_map.getVector();        
         model->update(v);
 
       }
       else if(count == 0){
 
         QRect viewportRect = tableView->viewport()->rect();
 
         QModelIndex topLeft = tableView->indexAt(viewportRect.topLeft());
         QModelIndex bottomRight = tableView->indexAt(viewportRect.bottomRight());
 
          if(topLeft.isValid() && bottomRight.isValid()){
 
               model->dataChanged(topLeft,bottomRight);
 
         }
       } 
}
 

Пробовал делать

Код:

sort->dataChanged(...)

Но увы не помогает((

[Авварон]

Код:

void Model::update(std::vector<Type> &fresh)
{
    int prvsz = store.size();
    int cursz = fresh.size();
 
    beginInsertRows(QModelIndex(), prvsz, cursz);
    store.swap(fresh);
    endInsertRows();
}

это кстати будет работать только если в новом векторе рядов больше чем в старом

[Авварон]

Вообще SortFilterProxyModel может быть источником тормозов в том числе
Она хорошая для простых кейзов, для сложных лучше писать сортировку руками
Почему может не работать - хз надо читать код а мне лень
может где-то контракт модели нарушен но в приведенном коде вроде всё ок