В статье (http://people.csail.mit.edu/bkph/articles/Nearest_Orthonormal_Matrix.pdf ) приводится метод нахождения ортогональной матрицы, наиболее близкой к имеющейся, по крайней мере в смысле нормы Фробениуса (т.е близость матриц оценивается суммой квадратов разностей их компонентов). Метод довольно сложный - он требует довольно экзотической операции "извлечение квадратного корня из матрицы", что, в свою очередь, требует нахождения собственных значений и собственных векторов. Автор не обещает, что получившийся базис вообще будет правым, он может в особо запущенных случаях оказаться левым (такая матрица будет выражать не поворот, а отражение от некоторой плоскости), и вообще, всячески оправдывается - "я это сделал чисто по приколу, никому не советую это использовать, лучше считайте в кватернионах и не выпендривайтесь!"