Regresi adalah suatu metode analisis statistik yang digunakan agar dapat melihat pengaruh antara dua variabel atau lebih. Hubungan variabel yang dimaksud bersifat fungsional yang diwujudkan dalam bentuk model matematis. Pada analisis regresi, variabel dibagi menjadi dua jenis yaitu variabel respons atau biasa disebut variabel bergantung dan variabel bebas atau dikenal dengan istilah variabel independen. Ada beberapa jenis analisis regresi yaitu regresi sederhana meliputi regresi linier sederhana dan non-linier sederhana dan regresi berganda meliputi linier berganda atau non-linier berganda. Analisis regresi digunakan dalam belajar machine learning dengan metode supervised learning.
Regresi Linier
Regresi linier adalah salah satu dari jenis analisis prediksi yang sering digunakan pada data berskala kuantitatif (interval atau rasio). Analisis ini berfungsi untuk membuktikan apakah sekumpulan variabel bebas memiliki pengaruh signifikan dalam memprediksi variabel terikat. Persamaan garis linier adalah y = mx + b. Pada persamaan tersebut m adalah kemiringan atau gradien dan b adalah intercept atau bias.

garis merah yang dihasilkan merupakan hasil regresi linear yang diperoleh.
Regresi Polinomial
Regresi polinomial merupakan regresi linier berganda yang dibentuk dengan menjumlahkan pengaruh variabel prediktor (X) yang dipangkatkan secara meningkat sampai orde ke-k. Model regresi polinomial, struktur analisisnya sama dengan model regresi linier berganda. Penerapan regresi polinomial pada belajar machine learning di sini adalah datanya. Namun, bobot atau nilai yang kita cari dalam proses pembelajaran mesin akan tetap linier sehingga kita tetap bisa menggunakan loss function seperti pada regresi linier.
