Мультиколінеарність - це сильна лінійна залежність залежності між більш ніж двома пояснювальними змінними при множинній регресії, що порушує припущення Гаусса-Маркова, коли воно є точним.
Іншими словами, мультиколінеарність - це висока кореляція між більш ніж двома пояснювальними змінними.
Ми наголошуємо, що лінійна залежність (кореляція) між пояснювальними змінними повинна бути сильною. Дуже часто пояснювальні змінні регресії мають кореляцію. Отже, слід зазначити, що ці стосунки повинні бути міцними, але ніколи не ідеальними, щоб їх можна було розглядати як випадок мультиколінеарності. Лінійний зв’язок був би ідеальним, якби коефіцієнт кореляції становив 1.
Коли цей сильний лінійний (але не ідеальний) зв’язок виникає лише між двома пояснювальними змінними, ми говоримо, що це випадок колінеарності. Було б мультиколінеарністю, коли сильний лінійний зв'язок виникає між більш ніж двома незалежними змінними.
Припущення Гаусса-Маркова про точну немультиколінеарність визначає, що пояснювальні змінні у вибірці не можуть бути постійними. Крім того, між пояснювальними змінними не повинно бути точних лінійних зв'язків (не має бути точної мультиколінеарності). Гаусс-Марков не допускає точної мультиколінеарності, але наближує мультиколінеарність.
Регресійний аналізПрограми
Є дуже приватні випадки, як правило, нереальні, коли змінні регресії абсолютно не пов'язані між собою. У цих випадках ми говоримо про екзогенність пояснювальних змінних. Соціальні науки, як правило, славляться тим, що включають приблизну мультиколінеарність у свої регресії.
Точна мультиколінеарність
Точна мультиколінеарність виникає, коли більше двох незалежних змінних є лінійною комбінацією інших незалежних змінних у регресії.
Проблеми
Коли Гаусс Марков забороняє точну мультиколінеарність, це тому, що ми не можемо отримати оцінювач звичайних найменших квадратів (OLS).
Математично виражаючи передбачуваний бета-sub-i у матричній формі:
Отже, якщо існує точна мультиколінеарність, це призводить до того, що матриця (X'X) має детермінанту 0 і, отже, не може бути зворотною. Не оберненість означає відсутність можливості обчислити (X'X)-1 і, отже, не оцінюється бета-під-i.
Приблизна мультиколінеарність
Приблизна мультиколінеарність виникає, коли більше двох незалежних змінних не є точно (апроксимація) лінійною комбінацією інших незалежних змінних у регресії.
Змінна k представляє випадкову величину (незалежну та однаково розподілену (i.i.d)). Частоту ваших спостережень можна задовільно наблизити до стандартного нормального розподілу із середнім значенням 0 та дисперсією 1. Оскільки це випадкова величина, це означає, що в кожному спостереженні i значення k буде різним і не залежить від будь-якого попереднього значення.
Проблеми
Математично виражаючи у матричній формі:
Отже, якщо існує приблизна мультиколінеарність, це призводить до того, що матриця (X'X) дорівнює приблизно 0, а коефіцієнт детермінації дуже близький до 1.
Рішення
Мультиколінеарність можна зменшити, усунувши регресори змінних із високим лінійним співвідношенням між ними.
Коефіцієнт лінійної кореляції