Если я правильно понял, то ты делаешь окно лога, так? Задай лимит на кол-во блоков при помощи QTextDocument::setMaximumBlockCount.
Specifies the maximum number of blocks the document may have. If there are more blocks in the document that specified with this property blocks are removed from the beginning of the document.
Или тебе нужно ограничить длину стоки?