Обусловленность матрицы. 
Метод Гаусса

Коэффициенты матрицы и правой части системы линейных уравнений редко бывают известны точно. Некоторые системы возникают из эксперимента, и тогда коэффициенты подвержены ошибкам наблюдения. Коэффициенты других систем записываются формулами, что влечет ошибки округлений при их вычислении. Даже если систему можно точно записать в память машины, в ходе ее решения почти неизбежно будут сделаны ошибки округлений. Можно показать, что ошибки округлений в гауссовом исключении имеют то же влияние на ответ, что и ошибки в исходных коэффициентах.

Вследствие этого мы подходим к фундаментальному вопросу. Если в коэффициентах системы линейных уравнений делаются ошибки, то как сильно при этом меняется решение? Или, другими словами, если, то как можно измерить чувствительность по отношению к изменениям в и ?

Ответ на этот вопрос лежит в уточнении понятия «почти вырожденная». Если — вырожденная матрица, то для некоторых решение не существует, тогда как для других оно будет неединственным. Таким образом, если почти вырождена, то можно ожидать, что малые изменения в и вызовут очень большие изменения в. С другой стороны, если — единичная матрица, то и и — один и тот же вектор. Следовательно, если близка к единичной матрице, то малые изменения в и должны влечь за собой соответственно малые изменения в .

На первый взгляд может показаться, что есть некоторая связь между величиной ведущих элементов в гауссовом исключении с частичным выбором и близостью к вырожденности, поскольку если бы арифметику можно было выполнять точно, то все ведущие элементы были бы отличны от нуля тогда и только тогда, когда матрица не вырождена. До некоторой степени верно также, что если ведущие элементы малы, то матрица близка к вырожденной. Однако при наличии ошибок округления обратное уже неверно — матрица может быть близка к вырожденной даже если ни один из ведущих элементов не мал.

Чтобы получить более точную и надежную меру близости к вырожденности, нам потребуется ввести понятие нормы вектора. Норма — это число, которое измеряет общий уровень элементов вектора. Наиболее употребительной векторной нормой является евклидова длина.

Однако использование этой нормы сделало бы слишком трудоемкими некоторые из наших вычислений. Вместо нее мы определим в этой главе норму вектора из компонент следующим образом:

.

Эта норма обладает многими из аналитических свойств евклидовой длины, именно.

если ,.

.

для всех скаляров ,.

.

Некоторые из геометрических свойств евклидовой длины теряются, но они не слишком важны здесь. Умножение вектора на матрицу приводит к новому вектору, норма которого может очень отличаться от нормы вектора. Это изменение нормы прямо связано с той чувствительностью, которую мы хотим измерять. Область возможных изменений может быть задана двумя числами.

Максимум и минимум берутся по всем ненулевым векторам. Заметим, что если вырождена, то. Отношение называется числом обусловленности матрицы ,.

Разберем методику решения СЛАУ методом Гаусса на конкретном примере.

Допустим, нам необходимо решить такую СЛАУ:

Запишем систему в виде расширенной матрицы. Термин «расширенная матрица» означает, что в ее записи использовались так же свободные коэффициенты. Для нашего случая она будет выглядеть так:

Теперь необходимо выполнить некоторые элементарные преобразования со строками этой матрицы. В конечном итоге мы должны получить верхнетреугольную матрицу, состоящую из нулей везде ниже главной диагонали. Меняется только та строка, к которой прибавляют.

Для удобства вычислений поменяем строки местами:

Работаем со столбцом № 1.

Умножим 2-ую строку на (k = -1 / 2 = -½) и добавим к 3-ой:

Умножим 1-ую строку на (k = -2 / 4 = -½) и добавим к 2-ой:

Работаем со столбцом № 2.

Умножим 2-ую строку на (k = 3 / 5/2 = 6/5) и добавим к 3-ой:

Получим единицы на главной диагонали. Для этого всю строку делим на соответствующий элемент главной диагонали:

Теперь исходную систему можно записать как:

= 5/4 — (- ¼ + ¼).

= 1/5 — (- 3/5).

= 3.

Из 3-ой строки выражаем.

=3.

Из 2-ой строки выражаем.

Из 1-ой строки выражаем.

Решение получено.

Таким образом, обладая элементарными школьными знаниями по алгебре, можно легко решить любую систему линейных уравнений. Количество вычислительных операций при этом сравнительно небольшое.