модальный диалог вызываете через exec? вызывайте его через show + родитель должен быть главное окно, тогда диалог будет висеть поверх всех, но не блокировать остальные.

1) вы  можете установить eventFilter на главное окно.
2) вы  можете отловить в eventFilter координаты мыши.
3) имея ф-цию, возвращающую пиксель вы можете получить данные(ну что там вам надо - цвет, координаты и прочие атрибуты).

Cпециально для Igors:
4) установка и снятие фильтра происходит при создании удалении диалога.
5) да, дополнительные условия я не учитывал.
6) выдвигайте дополнительные условия, мне интересно

PS не совсем уверен что при модальном диалоге главное окно получит координаты, но тогда можно сделать финт ушами - ловить глобальные координаты, мапить на виджет с картинкой и получать пиксель

А по другому вы не обойдёте. И не обзывайте основополагающий принцип интерактивности, опрос по таймеру, корявым. Без него вы и мышкой не шевельнёте

Попробовал - распишу.
1) при модальном диалоге все евенты родителя обрываются. В том числе нажатия мыши, передвижение и прочая.
2) если опрашивать по таймеру слот, отсылающий данные о состоянии указателя (QCursor::pos и mouseButtons ()), то всё работает, очень шустренько и приятно на взгляд.

3) поковырял нутри Qt, фиг снимешь блокировку событий немодального окна, так что таймер в руки.

PS ну есть конечно вариант в главном окне устроить постоянный опрос опять таки по таймеру и вывести келлбек функцию, но эт уже извращение на мой взгляд

Глухо как в танке, вообще никаких событий (кроме таймера) пока мыша вне модального окна. Покопался в исходниках, вроде блокируется самим OSX 

А с таймером - мало того что позор, так надо еще как-то "бум" убрать (звуковой сигнал ошибки) и это тоже делать нечем

Вы в этом уверены? 

Ваша смелость может сравниться только с Вашими знаниями 

Делается, причем несложно и совершенно легально