Вот это "тыц ссылкой" выглядит как исчерпывающий ответ, мол, "на, читай (темнота), тут все написано !". Но обсудить ссылку "тыцающий" частенько не хочет, и понятно почему - там же полная хрень написана, типа
Чего это "положим"? Откуда я мог знать (или как догадаться) что(?) надо "положить"? Повторять такую фигню "от себя" явно не тянет

Остается удовлетвориться тем что формула - точно правильная, и если ее аккуратно(!) переписать - работать будет. Такой подход втихаря юзают все, и это не заслуживает осуждения, в конце-концов во все вникать - никакой головы не хватит. Однако при плотной работе этого недостаточно, напр
Не, ну если звучит такой вопрос, человек заподозрит подвох и задумается. Однако если возникает по ходу дела - начинает ерзать. Во, блин, повернул на 45, а угол-то получился меньше! Наверное эта формула неправильно вращает. Надо искать другую..

Как же все-таки "разобраться"? Ну смотреть на длинную формулу можно сколь угодно долго но бесполезно - мысли не придут. Нужна какая-то схема/план. В случае с Родригой это легко, см аттач. Черный вектор (P) вращается вокруг синей оси (A). Ключевой момент - вращается лишь зеленая компонента вектора, которая лежит в плоскости вращения. Синяя (проекция на ось вращения) остается на месте. Т.е. если напр-е вектора совладает с осью вращения (точнее "коллинеарно"), то с ним вообще ничего не случится (повернутый = исходному).

Понимая этот простецкий чертежик, мы без труда расправимся с Родригой. Где в формуле синий вектор? По напр-ю он должен совпадать с A (ось), значит кандидат один (о котором я и спрашивал)
A - единичный вектор, остальное скаляр (длина). Разберемся с ней. (A * P) здесь оператор * означает "скалярное произведение", что почему-то нигде не упоминается, нехорошо. Длина синего вектора как раз и есть (A * P) (синий катет в тр-ке с черной гипотенузой)
Так, синий вектор в формуле есть, но... тут же он еще и с каким-то cos(theta), что это? Пусть пока не знаем, НО знаем что оставшаяся часть формулы посвящена вращению зеленой компоненты, присобачим это слагаемое туда
Но P - P_blue = P_green, это наш зеленый вектор. значит поворот зеленого вектора выражается формулой
Дальше попробуйте сами, тут надо понять что делает векторное произведение (A x P) и вспомнить школьную формулу - и все.

Да, мне хотелось бы так же с кватернионами. Ну пока не выходит..

Да, английская статья получше, но также достаточно трудна, и делать вид что, мол, нужно глянуть ссылку - и все дела не стоит, это не так.

Про обратную матрицу сами придумали? "Повернем СК" - как Что это за операция такая и что у нас для нее есть? (ничего). Лучше сказать что мы "строим СК", т.е. говорим/утверждаем что синий вектор - это ось Z, зеленый - ось X, а третий (на моем чертеже не показан) ось Y = A x P (y = cross(z, x)). При этом важно что длины векторов X и Y одинаковы. Да, можно записать 3 вектора в строки матрицы, но зачем? Ну получим вектора в локальной СК, типа (x, 0, 0), (0, y, 0), (0, 0, z), и что с того?

Интересно как человек, занимающийся "сборкой" и учивший нечто подобное более 10 лет назад, сможет "повернуть проекцию"? Никак, и Вам это прекрасно известно. Ладно, разжуем (хотя где уж мне до великой Вики )

Есть школьные формулы поворота
Они выводятся по теореме Пифагора, уметь вывести самому желательно.

Из них следуют формулы поворота вектора на плоскости

Поворот в 3D описывается этими же формулами с той лишь разницей что x и у - ортогональные вектора равной длины. Можно сказать что это "поворот СК", оси  x и y вращаются на угол a вокруг неизменной оси z. Можно и вокруг др оси, так часто делают при повороте матрицы, получается чуть шустрее.

Ну и чтобы не скучно было: а что со знаком? Ведь если зеленый вектор - ось X, то в приведенных формулах "минус", а у Родриги "плюс"
Как так?

Ну давайте через матрицы

Та яка там дача? хатинка! Вот нашли мы 3 вектора X. Y, Z, каждый выражается тройкой чисел в исходной (мировой) СК - и тупо записываем их в строки матрицы. Считаем все оси единичными, длина выносится "за скобки"

X.x  X.y  X.z
Y.x  Y.y  Y.z
Z.x  Z.y  Z.z

Эта матрица переводит из мира в локальную СК что задана 3-мя векторами. Убедимся. Помножим строки матрицы на вектор-столбец X

X_local.x = dot(X, X) = 1  
X_local.y = dot(X, Y) = 0  // оси ортогональны
X_local.z = dot(X, Z) = 0  // оси ортогональны

Правильно, в локальной СК ось X = (1, 0, 0)

Теперь мы повернули вектор (1, 0, 0) на угол "a" в локальной СК. Т.к. z = 0, то это поворот на плоскости XY, используя школьные формулы поворота

X_local' = (cos(a), sin(a), 0)

И переводим этот вектор назад в мир. Для чисто матрицы вращения обратная = транспонированной, значит множим вектор-строку (X_local') на столбцы исходной матрицы

X'.x = X.x * cos(a) + Y.x * sin(a)
X'.y = X.y * cos(a) + Y.y * sin(a)
X'.z = X.z * cos(a) + Y.z * sin(a)

Итого:
X' = X * cos(a) + Y * sin(a)

А это уже то что у Родриги
P_green * cos(theta) + (A x P) * sin(theta)

Др словами, матрица в решении не используется, вместо нее короткая формула (см "итого"). Вот если ее доказывать - выплывут матрицы.  

Не было такого в планах Родрига

Ну например почему найденные вектора X и Y имеют равную длину?

Комментировать надо (для друзей по Qbs)
Где a = угол между осью вращения и вращаемым вектором P (не путать с углом поворотом theta). Первое ур-е из свойств векторного произведения (это же значение = (двойной) площади тр-ка). Второе - просто "по чертежу", P (черный) гипотенуза, X (зеленый) - противолежащий катет.

Ну ладно, вернемся к кватернионам. Мелькнуло предложение
Ну и что это за интересная формула, в чем ее смысл ? (аттач)

Вывести - ерунда. Я совсем не горю желанием "публиковаться" :-) но я бы написал так
В варианте Эйлера вектор (P) и угол (theta) представлены "в формате кватерниона", (a, b, c, d) т.е

a = cos(theta/2)            // половина угла вращения
w = P * sin(theta / 2)    // ось, длина = sin половины угла

Второе слагаемое - вектор Y, длина
2 * cos(theta / 2) * sin(theta / 2) = sin(theta)

Ну и третье получится cos(theta). В итоге - та же формула Родриги(а)

Все это понятно, но почему-то все реализации вращения кватернионом (что я видел) не используют эту формулу, вместо нее упорно тулится

P' = Q * P * Q.conjagated()

Вряд ли это "быстрее" чем по Эйлеру, наверное это как бы "более идейно" (ну я так думаю), но уловить эту идею не могу