REGRESI SEDERHANA

I. PENGERTIAN REGRESI

Regresi adalah suatu studi ketergantungan dari satu variabel yang disebut variable tidak bebas terhadap satu atau lebih variable lainnya yaitu variable yang menerangkan yang disebut variable bebas dengan tujuan untuk memperkirakan dan  menaksir nilai rata-rata variable tak bebas apabila variable yang menerangkan sudah diketahui.

Ketergantungan dalam analisis dapat dibedakan atas :

1.    Ketergantungan secara statistik

Ketergantungan secara statistik adalah suatu kondisi yang menjelaskan adanya hubungan yang tidak pasti antar variable yang diukur atau variable yang memiliki distribusi probabilita atau distribusi frekuensi dan bukan bersifat fungsional/deterministic yang tidak random atau stokastik serta adanya unsur error term.

Contoh : Produksi padi tidak hanya dipengaruhi oleh jumlah pupuk tetapi ada yang lain atau secara model dapat ditulis.

Y = a + bX + e 

2.    Ketergantungan secara fungsional

Ketergantungan secara fungsional adalah suatu kondisi yang menjelaskan hubungan yang pasti antar variable yang diukur atau variable memiliki unsur deterministic atau tidak memiliki distribusi probabilita.

Contoh : Tingginya tingkat kesejahteraan seseorang dipengaruhi oleh tingginya tingkat pendapatan. Atau secara model dapat ditulis.

Y = a + bX

II. MODEL PERSAMAAN REGRESI  SEDERHANA

Model regresi sederhana  adalah model dimana variable dependen tergantung pada satu variable independent. Model persamaan regresi sederhana dapat dinyatakan sebagai berikut :

PRF  : Yi = β₀  +  β₁X_{1 i}  +  U

                 ^       ^       ^            ^               

SRF : Yi =   β₀  +  β₁X_{1 i}  +  U _i

Dimana :

Y               = variable dependen

      X_ki                  = variable independent

      β₀                    = intersep/konstanta

     β₁                    = koefisien regresi

III. ASUMSI PADA REGRESI BERGANDA

1. Model regresi dalam parameter terspesifikasi dengan benar dan tepat dan memiliki error term yang bersifat additive.
2. Nilai rata-rata atau nilai yang diharapkan dari variable disturbance atau error term adalah nol.

E ( ui  І X_{1 ,} ……,  X _ki ) = 0

3. Tidak ada korelasi antar error term (ui) dengan setiap variable X _ki

Cov = (ui Xi) = 0

4. Error dari observasi yang berbeda adalah independent dan karenanya tidak saling berkorelasi.

Cov = (ui uj) = 0

5. Error memiliki varians yang konstan (homokedastisticity) untuk semua obeservasi.

Var (ui) = σ ²

6. Tidak ada otokorelasi antara variable disturbance pada pengamatan satu dan variable disturbance pada pengamatan yang lain.

 Cov(ui uj І X_i  X _j ) = 0

7. Tidak ada korelasi sempurna antar variable bebas

   

IV. ESTIMASI KOEFISIEN REGRESI SEDERHANA

Estimasi dalam penaksiran koefisien regresi   OLS (ordinary least square) dalam menaksir fungsi regresi populasi (PRF)  kita dapat menggunakan fungsi regresi sample (SRF):

           ^       ^       ^            ^               

SRF : Yi =   β₀  +  β₁X _i  +  U _i

                ^   

Dimana   U_i     adalah    residu   sampel  sebagai  penaksir  residu populasi Ui dan

                                                                                        ^      ^    ^            ^  

bersifat random. Prinsip OLS adalah mencari =   β_{0 ,} β_1, β₂ dan β_k  yang meminimumkan jumlah kuadrat error (RSS) seminimum mungkin.

                          ^    ^       ^                              

Min ∑ û i²  = ∑ (Yi - β₀  -  β₁X _i  )²

Porses pencarian estimator yang dapat meminimumkan persamaan diatas adalah dengan mendiferensiasikan persamaan tersebut serta menyamakan hasil deferensiasi tersebut = 0 dan kemudian memecahkan penaksiran-penaksiran yang dicari secara simultan.  

α ∑ RSS           ^     ^       ^                              

------------ = 2∑ (Yi - β₀  -  β₁X _i ) = 0

    α β₀

α ∑ RSS           ^     ^       ^                              

------------ = 2∑ (Yi - β₀  -  β₁X _i  )  (- X _i) = 0

    α β₁

Dengan menyelesaikan persamaan-persamaan tersebut secara simultan akan diperoleh persamaan normal sebagai berikut :

               ^       ^                          

 ∑ Y_i = n β₀  +  β₁∑ X _i  

                ^               ^                               

 ∑X_1i Y_i = β₀ ∑ X _i  +  β₁ ∑ X _i ²   

Dari persamaan diatas dengan memeriksa nilai rata-ratanya diperoleh masing-masing nilai koefisien regresi populasi :

 

         _         _                 

 β₀ = Y   -  β₁ X_i  

        n (∑ X_i  Y_i )  – ( ∑X_i )(∑Y_i )                

 β₁ = ----------------------------------- atau

            n (∑X_i ²) -  (∑X_i ) ² 

          (∑y_i x_i)                 

 β₁ = ------------

           (∑x_i ²)  

Dimana rumus diatas diperoleh dari :

              _

x_i = X _i  - X_i

             _

y_i = Y_i  - Y_i

                   _           _                      ( ∑X_i )(∑Y_i ) 

x_i y_i  = ( X_i  - X_i ) (Y_i  - Y_i ) = ∑X_i Y_i) -  ---------------

                                                               n

                  

x_i ² = ∑X _i ² – (∑X_i )² / n

                

y_i ² = ∑Y_i ²  - (∑Y_i  )² / n

V. VARIANS DAN STANDAR ERROR

Varians dan  standar error dapat ditentukan dengan menggunakan pendekatan :                    

                                 ∑X _I ²     

Varians  β₀ =  S_e²  ---------------

                                n (∑x _I ² )                   

     

           ∑y_I ² - β₁ ²  ∑ x _I ²     

S_e² =   ----------------------

                   n - 2                   

                                  

Se  β₀ =  √ var ( β₀ )                                             

                          S_e²

Varians  β₁ =  --------------

                        (∑x _I ² )                   

                

Se  β₁ =  √ var ( β₁)

VI. KOEFISIEN DETERMINASI (r² )

Kemampuan variable bebas (independent) mampu menjelaskan variasi perubahan terhadap variable tidak bebas (dependen) dapat dilihat dari nilai koefisien determinasi atau r ².

                                           

           ESS         ( ∑ y_i x_i )²  

r ²  = --------  = ------------------  

           TSS      (∑x _i² )(∑y_i² )

VII. KOEFISIEN KORELASI (r)

Kuat tidaknya hubungan antara veriabel bebas terhadap variable tidak bebas dapat di lihat melalui perhitungan korelasi.

                                                                

                 

                           n ∑ Y_i  X _I  - ∑ Y_i X _i                       

r = -----------------------------------------------------

      √ n ∑ X _i ²  _-  (∑ X_i  )²  .  √ n ∑ Y_i ²  _-  (∑ Y_i )²

              

VII. PENGUJIAN HIPOTESIS      

Pengujian hipotesis adalah prosedur untuk menguji hipotesis/dugaan tentang parameter regresi populasi berdasarkan koefisien regresi sample. Pengujian hipotesis dapat dilakukan dengan terlebih dahulu menyatakan hipotesa kerja dalam dua bentuk yaitu :

1.    Hipotesis nol (Ho) adalah  suatu pernyataan tertentu tentang nilai-nilai dalam suatu range dari koefisien yang akan diharapkan terjadi apabila teori yang dimiliki tidak benar.

2.    Hipotesis alternative (Ha) adalah  suatu pernyataan tertentu tentang nilai-nilai dalam suatu range dari koefisien yang akan diharapkan terjadi apabila teori yang dimiliki benar.

Pengujian hipotesis dapat dilakukan dengan membandingkan antara nilai parameter regresi secara individual (uji t) dengan menggunakan dua pendekatan yaitu :

1.    Uji satu arah (one theil)

Hipotesis kerja dari uji satu arah untuk satu variable bebas (regresi sederhana) diseputar nilai nol adalah :

Ho : β₁ ≥ 0 (nilai yang tidak diharapkan)

Ha : β₁ < 0 (nilai yang  diharapkan)

Atau

Ho : β₁ ≤ 0 (nilai yang tidak diharapkan)

Ha : β₁ < 0 (nilai yang  diharapkan)

Dan

Hipotesis kerja dari uji satu arah untuk satu variable bebas (regresi sederhana) dengan nilai selain nol adalah :

Ho : β₁ ≥ S/nilai parameter (nilai yang tidak diharapkan)

Ha : β₁ < S/nilai parameter (nilai yang  diharapkan)

atau

Ho : β₁ ≤ S/nilai parameter (nilai yang tidak diharapkan)

Ha : β₁ > S/nilai parameter (nilai yang  diharapkan)

2.    Uji dua arah (two theil).

Hipotesis kerja dari uji dua arah untuk satu variable bebas (regresi sederhana)  diseputar nilai  nol adalah :

Ho : β₁ = 0 (nilai yang tidak diharapkan)

Ha : β₁ ≠ 0 (nilai yang  diharapkan)

Dan

Hipotesis kerja dari uji dua arah untuk satu variable bebas (regresi sederhana) dengan nilai selain nol adalah :

Ho : β₁  = S/nilai parameter (nilai yang tidak diharapkan)

Ha : β₁ ≠  S/nilai parameter (nilai yang  diharapkan)

Pengambilan keputusan dalam melakukan pengujian hipotesis dengan menggunakan pendekatan uji t  adalah dengan membandingkan antara nilai t hitung terhadap nilai t tabel, dengan keputusan sebagai seberikut :

Jika t _hitung > t _tabel  , maka menolak Ho (tidak ada hubungan/pengaruh antara variable bebas dengan variabel tidak bebas)  dan menerima Ha ( ada hubungan/pengaruh antara variable bebas dengan variabel tidak bebas)

Jika t _hitung < t _tabel  , maka menolak Ha (ada hubungan/pengaruh antara variable bebas dengan variabel tidak bebas)  dan menerima Ho (tidak ada hubungan/pengaruh antara variable bebas dengan variabel tidak bebas)

VIII. CONTOH

Suatu perusahaan memiliki data mengenai upah harian yang diterima karyawan (dalam ribuan Rp) dan pengeluaran konsumsi harian yang dikeluarkan karyawan (dalam ribuan Rp) sebagai berikut :

Upah Harian (X)	Konsumsi Harian (Y)
8 11 9 6 6	7,4 9,8 8 5,3 5,7

Diminta :

1.    Tentukan persamaan regresi sederhananya.

2.    Hitunglah nilai varians dan standar errornya.

3.    Hitung besarnya tingkat hubungan (korelasi = r) antar variabel.

4.    Hitung besarnya koefisien determinasi = r² nya.

Jawab :

X	Y	X2	Y2	XY
8 11 9 6 6	7,4 9,8 8 5,3 5,7	64 121 81 36 36	54,76 96,04 64 28,09 32,49	59,2 107,8 72 31,8 34,2
∑ 40	∑ 36,2	∑ 338	∑ 275,38	∑ 305

 _       36,3                 

 Y   =  -------  = 7,24

             5

 __{__}        40

 X    = --------- = 8

            5

        n (∑ X_i  Y_i )  – ( ∑X_i )(∑Y_i )                

 β₁ = -----------------------------------  

            n (∑X_i ²) -  (∑X_i ) ² 

        5 (∑ 305 )  – ( ∑40 )(∑36,2 )      1.525  -  1.448       77    

 β₁ = -----------------------------------     = --------------------   = -----  = 0,8555

             5 (∑338) -  (∑40 ) ²               1.690  -  1.600       90

         _         _                 

 β₀ = Y   -  β₁ X_i  

                                 

 β₀ = 7,24   -  0,8555 (8)

     = 7,24 – 6,84

     = 0,396    

1.   Persamaan regresinya adalah : Y = 0,396 + 0,8555 X

Dari persamaan diatas dapat diintepretasikan sebagai berikut :

- angka intersep sebesar 0,396 memberi arti bahwa tanpa andanya upah (upah dianggap konstan), karyawan tetap harus mengeluarkan konsumsi sebesar Rp. 0,396.

- angka koefisien regresi sebesar 0,8555 memberi arti bahwa jika upah karyawan naik sebesar Rp.1, maka akan mengakibatkan konsumsi karyawan akan meningkat sebesar Rp.1 x 0,8555 = Rp. 0,8555.

2. Nilai variansnya adalah :  

                                       ∑X _I ²     

Ø  Varians  β₀ =  S_e²  ---------------

                                   n (∑x _I ² ) 

               

y_i ² = ∑Y_i ² – (∑Y_i  )² / n

     = 275,38 – (36,2) ² / 5

     = 275,38 – 262,09

     = 13,29

x_i ² = ∑X _i ² – (∑X_i )² / n

        = 338 – (40 )² / 5

     =  338 – 320

     = 18

          

β₁ ²  ∑ x _I ² = (0,855) ² (18) = 13,16

         

           13,29 – 13,16

S_e²   =  -------------------  = 0,043

                    3

                                     338     

Varians  β₀ =  0,043 ^.  -----------   =  1.308,06

                                   5 (18 ) 

                           

Se  β₀ =  √ var ( β₀ )                                             

           =  √ 1.308,06

           =  36,167 (standar error)

                                 S_e²

Ø  Varians  β₁ =  --------------

                              (∑x _I ² )                   

                

                             0,043

                                   =  ----------  =  0,0024

                              18                   

                   

Se  β₁ =  √ var ( β₁)

           =  √ 0,0024

           = 0,049

3.  Korelasinya

                    n ∑ Y_i  X _I  - ∑ Y_i X _i                              

r = -----------------------------------------------------

√ n ∑ X _i ²  _-  (∑ X_i  )²  .  √ n ∑ Y_i ²  _-  (∑ Y_i )²

                       (5) (305)  - (40) (36,2)                     

r = -------------------------------------------------------------

√ (5) (338) – (40) ²   .  √ (5) (275,38) – (36,2) )²

             77                                                                

r = ------------------

(9,49) (8,15)

r =  0,9956  atau  0,9956 x 100 = 99,56 %

(angka korelasi ini memberi arti bahwa upah harian mempunyai hubungan dengan konsumsi harian karyawan  sebesar 99,56 %)

4. Koefisien Determinasi

             (∑ y_i  x_i ) ²                                                     

r²  = ----------------------- 

    (∑ x_1i ² )(∑ y_i ² )

                        ( ∑X_i )(∑Y_i ) 

x_i y_i  = ∑X_i Y_i) -  ---------------

                              n

                       ( 40 )(36,2 ) 

           = 305  -  ----------------

                             5

          

       = 15,4 

            (15,4) ²                                                         

r ²  =------------------  = 0,991 atau 0,991 x 100 = 99,1%

    (18 )(13,29

atau

r ²  = √ r

     = √ 0,9956

     = 0,997 atau 0,997 x 100 = 99,7 %

Angka koefisien determinasi diatas memberi arti bahwa besarnya tingkat upah harian yang diterima karyawan mampu mempengaruhi perubahan (naik atau turun) tingkat konsumsi yang dikeluarkan karyawan adalah sebesar 99,1 % atau 99,7 % sedangkan sisanya sebesar 0,9 %atau 0,3 % di tentukan oleh variable lain diluar persamaan atau selain upah harian yang diterima karyawan.

IX.  UJI HIPOTESIS

Uji hipotesis perlu dilakukan untuk menentukan apakah model yang digunakan itu tepat atau tidak terhadap data yang digunakan. Uji hipotesis pada regresi sederhana dapat dilakukan dengan menggunakan uji t statistik. (uji secara parsial). Pengujian kebenaran atau ketepatan model yang digunakan dengan menggunakan uji t statistik  dilakukan dengan terlebih dahulu membuat hipotesa kerja yang di inginkan oleh peneliti.  Hipotesa yang dibuat terdiri atas hipotesa awal (H0) dan hipotesa alternatif (Ha). Dimana hipotesa kerja dapat dirumuskan sebagai berikut :

Ho : β₁ = 0 (nilai yang tidak diharapkan)

Ha : β₁ ≠ 0 (nilai yang  diharapkan)

Keputusan dari hipotesa yang dibuat sangat ditentukan dari hasil perhitungan uji t statistik dimana harus dibandingkan terhadap nilai t tabel.  Adapaun t hitung dapat diketahui nilainya dengan menggunakan persamaan :

           β₁

t hitung = ------------

                   Se  β₁

Berdasarkan contoh kasus diatas dapat dilakukan pengujian hipotesa. Adapaun hipotesa kerja yang dibuat adalah  sebagai berikut :

Ho : β₁ = 0 , tidak ada pengaruh antara besarnya tingkat upah terhadap besarnya tingkat konsumsi yang dikeluarkan karyawan.

Ha : β₁ ≠ 0,        ada pengaruh antara besarnya tingkat upah terhadap besarnya tingkat konsumsi yang dikeluarkan karyawan.

Dengan mendasarkan diri pada hipotesa diatas, maka dapat dihitung nilai t hitung.

           β₁

t hitung = ------------

                   Se  β₁

      0,8555

t hitung = ------------ = 17,46

                  0,049

Dari hasil perhitungan t hitung diatas di bandingkan dengan nilai t tabel (tabel t) pada saat tingkat keyakinan (signifikansi) = α = 5 % (0,05)  atau 5 % / 2 = 2,5 % (0,025) uji dua arah dengan df = 5 – 2 = 3 di dapat t tabel = 3,182.

Maka hasilnya adalah :

t hitung = 17,46 > t tabel = 3,182, artinya dari hipotesa diatas kita menolak Ho dan menerima Ha atau hipotesa  tidak ada pengaruh antara besarnya tingkat upah terhadap besarnya tingkat konsumsi yang dikeluarkan karyawan adalah tidak benar. ( ternyata ada pengaruh)..