Как делать правильно (похоже, у вас так):
Есть плагин менеджер, он грузит плагины после создания QApp и выгружает перед выходом из main (если создавать на стеке в мейне, то можно в конструкторе\деструкторе).
Есть менеджер объектов (может быть тем же классом, что и плагин манагер) - в него можно добавить объект, убрать объект и получить по имени.
Плагины при загрузке добавляют объекты в манагер, при выгрузке - удаляют. Можно сделать через parent-child - когда объект удаляют, он убирается из манагера.
Прилинкованные объекты добавляются ручками.
Объекты можно юзать либо через абстрактный класс, либо через интерфейс (если нет общей либы, куда можно положить абстрактный класс).
Тамщемта всё.