رگرسیون خطی یا تنازل خطی یا وایازی خطی یکی از روش‌های تحلیل رگرسیون است. رگرسیون یک نوع مدل آماری‌ست برای پیش‌بینی یک متغیر از روی یک یا چند متغیر دیگر. به عنوان مثال برای پیش‌بینی قیمت خانه می‌توان از یک مدل رگرسیون استفاده کرد که در آن از متغیرهایی همچون مساحت خانه (متراژ)، تعداد اتاق‌ها و سرویس‌های بهداشتی، موقعیت خانه (شهر و/یا محله) و سایر اطلاعات استفاده شده‌است. رگرسیون خطی نوعی تابع پیش‌بینی‌کننده خطی است که در آن متغیر وابسته — متغیری که قرار است پیش‌بینی شود — به صورت ترکیبی خطی از متغیرهای مستقل پیش‌بینی می‌شود، بدین معنی که هر کدام از متغیرهای مستقل در ضریبی که در فرایند تخمین برای آن متغیر به‌دست آمده ضرب می‌شود؛ جواب نهائی مجموع حاصل‌ضرب‌ها به علاوه یک مقدار ثابت خواهد بود که آن هم در فرایند تخمین به‌دست آمده‌است. ساده‌ترین نوع رگرسیون خطی، رگرسیون خطی ساده است که بر خلاف رگرسیون خطی چندگانه، تنها یک متغیر مستقل دارد. نوع دیگر رگرسیون خطی رگرسیون خطی چندمتغیره است که در آن به جای پیش‌بینی یک متغیر وابسته چندین متغیر وابسته پیش‌بینی می‌شود.

فرایند تخمین سعی می‌کند ضرایبِ مدل رگرسیون خطی را به گونه‌ای انتخاب کند که با داده‌های موجود همخوانی داشته باشد، یعنی پیش‌بینی‌ها به مقادیر رؤیت شده در داده‌ها نزدیک باشند و یکی از مهم‌ترین مسائل در رگرسیون خطی، به حداقل رساندن اختلاف بین این دو است. راه‌های مختلفی برای حل این مسئله وجود دارد. در روشهای احتمالی، مدل‌های رگرسیون خطی سعی در برآورد توزیع احتمال شرطیِ متغیر وابسته (و نه توزیع احتمال توأم) دارند که از آن طریق آماره‌ای از متغیر وابسته را به عنوان پیش‌بینی نهایی به‌کار می‌برند. از متداولترین آماره‌های مورد استفاده میانگین است، اگر چه سایر آماره‌ها نظیر میانه یا چندک‌ها نیز مورد استفاده قرار می‌گیرند.

یکی دیگر از روشهای متداول تخمین، روش کمترین مربعات است. در این روش برای تخمین ضرایب رگرسیون خطی فرایند یادگیری سعی می‌کند مجموع مربع تفاضل پیش‌بینی‌ها (که از ترکیب خطی داده‌های مستقل به‌دست می‌آید) و داده‌های وابسته را - که در مدل‌سازی آماری به آن تابع هزینه می‌گویند - کمینه کند. این روش مستلزم پیدا کردن وارونه ضرب خارجی ماتریس تمام داده‌های مستقل با ماتریس ترانهادهٔ آن است، فرآیندی که می‌تواند پرهزینه و ناکارا باشد، به خصوص زمانی که تعداد متغیرهای مستقل و داده‌ها زیاد است. علاوه بر این ممکن است ماتریس نهائی وارونه‌ناپذیر باشد. از این رو، برای کمینه‌کردن تابع هزینه عموماً از روش‌های جایگزین مانند گرادیان کاهشی تصادفی استفاده می‌شود. در این روش ابتدا پارامتر مدل را به صورت تصادفی مقداردهی می‌کنند و هر بار به کمک نمونه‌ای تصادفی از داده‌ها در جهت خلاف گرادیان حرکت کرده و پارامتر را به روز می‌کنند. این کار آنقدر ادامه پیدا می‌کند تا گرادیان به اندازهٔ کافی کوچک شود. از آنجا که تابع هزینه‌ای که برای این روش به کار می‌رود محدب است، تنها یک کمینه برایش وجود دارد و روش گرادیان کاهشی حتماً به جواب خواهد رسید.

با اینکه روش کمترین مربعات از متداول‌ترین روشهای تخمین مدل رگرسیون خطی است اما روشهای دیگری مانند کمترین قدرمطلق‌ها (که در آن مجموع قدرمطلق تفاضل پیش‌بینی و داده وابسته به عنوان تابع هزینه در نظرگرفته می‌شود) یا تخمین جریمه یافته کمترین مربعات (مانند جریمه نُرمِ و جریمه نُرمِ ) نیز مورد استفاده قرار می‌گیرد.

روش تخمین از طریق کمترین مربعات با روش تخمین میانگین از طریق برآورد احتمال شرطی متغیر وابسته با در نظر گرفتن یک سری مفروضات معادل خواهد بود. اگر متغیر وابسته از یک توزیع طبیعی با میانگینی که ترکیبی خطی از متغیرهای مستقل است و واریانسی ثابت پیروی کند، و متغیرهای وابسته نسبت به هم مستقل باشند آنگاه برآورد درست‌نمایی بیشینه با پارامتری که از کمینه کردن تابع هزینه در کمترین مربعات به دست می‌آید یکی خواهد بود. این تعبیر احتمالی برای محافظت مدل از بیش‌برازش مورد استفاده قرار می‌گیرد، به این شکل که با استفاده از قانون بیز فرض می‌شود خود پارامترهای مدل هم از یک توزیع احتمال (که آن را توزیع پیشین می‌نامند) پیروی می‌کنند و سپس با مشاهدهٔ داده‌ها، احتمال پسین محاسبه و بیشینه می‌شود. اگر احتمال پیشین به گونه‌ای باشد که پارامترهایی که نُرمِ کمتری دارند محتمل‌تر باشند، آنگاه مدل نهائی پارامترهایی را فراخواهد گرفت که بزرگ نیستند و این باعث حفاظت مدل از بیش‌برازش می‌شود. روش استفاده برآورد درست‌نمایی احتمال پسین معادل روش تخمین جریمه یافته کمترین مربعات است.

رگرسیون خطی به‌طور گسترده‌ای در علوم زیستی، رفتاری، اجتماعی، دارایی، اقتصاد و محیط زیست مورد استفاده قرار می‌گیرد. همچنین رگرسیون خطی و مشتقات آن یکی از ابزارهای شناخته شده و پرکاربرد در یادگیری ماشین هستند. با وجود کاربرد زیاد رگرسیون خطی در علوم مختلف این روش محدودیتهایی هم دارد. بسیاری از مسائل پژوهشی در علوم اجتماعی در قالب مدلهای رگرسیون نمی گنجد و یک متغیر خروجی ندارند مانند تجزیه و تحلیل خوشه‌ایبرای آشکار ساختن گروه های منسجم در داده‌ها. همچنین رگرسیون خطی برای پیدا کردن علّیت بین متغیرهای مستقل و وابسته ابزار مناسبی نیست.

فهرست مطالب:

مدل رگرسیون خطی K متغیره

فروض مدل رگرسيون خطي كلاسيك با استفاده از نماد ماتريسي

تخمین OLS

ماتريس واريانس - كوواريانس

X های غیر استوکاستیک

تخمين زن بدون تورش در معادلات رگرسيون خطي دو و سه متغيره

حداقل واريانس - كوواريانس

ضريب تخمين R2 بر حسب نمادهاي ماتريسي

ماتريس همبستگي

آزمون فرضيه ضرايب تكي رگرسيون و نمادهاي ماتريسي

آزمون معني داري كلي رگرسيون (آناليز واريانس) با استفاده از نماد ماتريسي

جدول AOV، تعداد K متغیر در شكل ماتريسي بر حسب R2

آزمون محدوديتهاي خطي: آزمون عمومي F

پيش بيني با استفاده از رگرسيون مركب

پيش بيني ميانگين

واريانس براي پيش بيني ميانگين

واريانس براي پيش بيني تکی

و...