Ты собираешься писать программу, которая работает с каким-то специфичеким устройством, которое создал ты или твое предприятие? если так, то без драйвера никак.
Есть такой сайт, http://www.usb.org называется.
Если ответ на первый вопрос нет, значит у устройства есть драйвер, а к драйверу можно обратиться. В любом случае, реализация драйвера не кроссплатформенна, а вот интерфейс его - вполне.
Как говорил мой учитель математики: "Задача может быть решена и иметь сколько угодно правильных ответтов, так как нет достаточного количества исходных данных."

 Да, вот еще сайтик: http://www.stefan2000.com/darkehorse/PC/DOS/Drivers/USB/

Для работьІ с последовательньІм портом есть неплохой проект на Qt3/Qt4:

http://qextserialport.sourceforge.net/

Для того, чтобы работать с флеш-картой вовсе не надо работать с USB на прямую. Пусть пользователь укажет путь к ней сам. А дальше прога работает как с обычным носителем. Это, конечно, касается ОС версии выше Win2000. Для версий ниже ссылку я дал...