Еслиб было больше подробностей над ограничениями фигур, то можно было бы подумать про определении фигуры на основе количества точек.

1) Берем куб в который вписывается фигура и берем центр( можно и просто центр тяжести взять, одно и то-же получится ). Считаем расстояние от центра до всех точек. Если они одинаковы, то у нас сфера.
2) Тоже самое что и предыдущее, только берем самые дальние точки, если их 8 то у нас куб.
3) Если не подошли два предыдущих то у нас цилиндр.

Да, я слаб в 3D поэтому могу ошибаться =).

добавлено:
Вспомнил что автор просил про разворот и масштаб:
Сфера: Берем любую точку и противоположную ей через центр. Поворачиваем фигуру так, чтоб получившаяся линия легла на одну из координатных линий. Теперь берем плоскость перпендикулярно этой линии и выбираем любую точку на этой плоскости, также берем противоположную точку через центр. Дальше поворачивая вокруг предыдущей координатной линии на градус равный разнице между текущей линией и одной из оставшихся координатных линий. В результате у нас получилась выровненая сфера. А вот масштабировать сферу одно удовольствие.
Куб: С кубом тоже просто. Берем одну точку и противоположную ей через центр, поворачиваем так чтоб линия легла через одну из координатны линий. Как и с сферой берем из плоскости линию и тоже поворачиваем чтоб и она легла на координатную линию. Теперь по всем трем осям поворачиваем куб на 45 градусов и вуаля у нас выровненный куб. Его тоже масштабировать легко.
Цилиндр: Берем самые удаленные точки от центра, должно получиться 2 группы по 4 штуки для обоих оснований. Для каждой группы находим среднюю точку. Эти две средние точки образуют центральную линию в цилиндре. Теперь поворачиваем его так, чтоб она легла на одну из координатных линий. Теперь на одном из оснований берем самую крайнюю точку и ее противоположную через центр и поворачиваем получившуюся линию как это делается в кубе или сфере чтоб она стала параллельна одной из оставшихся координатных линий. Масштабировать тоже вроде не проблема.

Вроде как все, только не пинайте за то что термины неправильные использую я не тридешник =).

Я что-то про это не увидел в описании, а наклонены они тоже могут быть? А сжатие по осям равномерное или с наклоном? Чем подробнее вопрос, тем подробнее ответ.

Ну смотри во всех случаях одно и тоже:
1) У нас есть линия которая должна лечь на координатную линию. Значит центр линии должен быть в центре координат. Берем длину до центра линии. И смещаем от начала координат на это расстояние. На столько должен будет сдвинута вся фигура. Теперь для того чтоб вторая линия лягла на координатную линию надо всего-то повернуть по двум осям этот объект на угол равный углу между текущей линией и координатной линией.
В общем создать матрицу поворота я думаю не трудно если известны два угла на которые нужно повернуть и точку поворота.

Да, это я протупил. Тогда просто две группы точек. Из них выбрать одну, для нее найти пару против центра полученной группы. И перпендикулярно им линия с двумя точками. Что-то типа того =)( что-то сегодня вечером думается не очень ).

Я же написал что не тридешник и по этому не знаю какая именно информация есть, я только понял что как минимум есть набор точек =).

Просто чем больше информации, тем проще находить решение.
Например я так и не понял что есть помимо точек.
Например можно немного поразмыслить вот над чем: для треугольнику сумма всех углов равна 180 градусов, для четырехугольника 360 градусов. Может и для объемных фигур что-то подобное есть и надо просто вычислять какое-то значение по какому-нибудь алгоритму. Тут всего-то надо детектится сферу и куб, а цилиндр сам сдетектится если две предыдущие фигуры не найдены.
Например сфера имеет особенность в том что у нее угол между двумя прямоугольниками не равен нулю и не равен 90 градусов. В то время как у куба либо равен 0 либо 90 градусов. А у цилиндра и то и то. Так что можно хотя-бы по этим показателям детектить тип фигуры. А зная тип фигуры можно уже и матрицу трансформации получить.

Что то я не понял в чем проблема с сферой. Берем "центр масс" и для каждого полигона строим нормаль наружу. Для каждой нормали проверяем угол между ею и соседними нормалями. Если они все больше 0 и меньше 90 градусов, это сфера. Если 0 или 90 это куб. Если от 0 до 90 включая 0 и 90 то у нас цилиндр.
Вот как может такой способ дать сбой при сфере или кубе?

Для распознавания топологии, скорее всего, необходимо анализировать направления нормалей к поверхности.
Но это будет работать только, если многообразие форм конечно, например, ограничивается перечисленными и искомые преобразования являются афинными.

Можно начинать анализ с любого из примитива и далее расходимся в разные стороны по соседям.
Если направления нормалей с соседями совпадает, то это, скорее всего плоская грань, если нет, то криволинейная поверхность.
Либо просто считаем сколько граней получается и определяем тип фигуры, либо определяем топологию каким-то более сложным способом (придумываем сами).

Например, ребра - кусочные линии, грани (плоские или кривые) определяются замкнутыми контурами, ребра формируются как отрезки с "резким" изменением направления нормалей между смежными гранями.

По полученной топологии определяем тип фигуры, сравнивая с эталонными топологиями.
Для каждой топологии будем иметь рассчитанные направления нормалей и эталонные, можно составить системы линенных уравнений, неизвестными в которых будут коэффициенты искомой матрицы преобразования.

Как-то так, надеюсь, что помог.

Да, в данном случае именно так поставлена задача - какая из 3, и только линейные (матричные) преобразования

Как-то это звучит "чересчур фундаментально" . Не исключено что задачка-то совсем простая. У меня такая идейка: разбить (отсортировать) все полигоны по плоскостям в которых они лежат. Кстати формально - тоже кластеризация.

1) Как это сделать? (что должно быть ключом в такой мапе. На всякий случай напоминаю - нормали float и точно никогда не равны)

2) Что дальше, как узнать тип и матрицу?

Честно не вижу где проблема реализовать один из предложенных способов.
Вот тебе еще один:
1) Берем векторы нормалей и с некоторой погрешностью пытаемся их разделить на группы(группа это минимум две нормали смотрящие в одно направление с определенной погрешностью). Итого:
  - Нет ни одной группы, значит у нас сфера.
  - Есть шесть групп и ни одной свободной нормали, значит у нас куб.
  - Есть две группы и есть свободные нормали, значит у нас цилиндр.
  - Получилось что-то среднее, если уверены что это точно одна из перечисленных фигур, то выбираем тот тип по параметрам к которой ближе всего( Например шесть групп и парочка свободных нормалей это каличный куб ).

2) Зная тип фигуры для матрицы трансформации нам надо знать все-го четыре ключевые точки:
   - Сфера: Берем одну из самых дальних точек от центра и противоположную ей от центра, получается линия. На перпендикулярной плоскости тоже-самое одна из самых дальних точек от центра и противоположная ей. Получаем четыре ключевые точки, также мы знаем где эти точки должны быть. Итог - имеем матрицу трансформации.
   - Куб: <тут текст один в один как для сферы>.
   - Цилиндр: Берем те две группы полигонов для которых мы выделили нормали. Для каждой находим среднюю точку, получается линия. Для этой линии на перпендикулярной плоскости выбираем самую дальнюю точку и противоположную ей. Имеем четыре ключевых точки, а также мы знаем где эти точки должны быть. Итог - имеем матрицу трансформации.

Или тебе прям таки нужен готовый код для копипасты? Или ты супер быструю реалтаймовую прогу пишешь?