Tải bản đầy đủ

Thống kê bayes nhiều chiều và ứng dụng

Đ I H C QU C GIA HÀ N I
TRƯ NG Đ I H C KHOA H C T

NHIÊN

------------------

TR N ANH TU N

TH NG KÊ BAYES NHI U CHI U
VÀ NG D NG

LU N VĂN TH C SĨ KHOA H C

HÀ N I - 2015


Đ I H C QU C GIA HÀ N I
TRƯ NG Đ I H C KHOA H C T

NHIÊN


------------------

TR N ANH TU N

TH NG KÊ BAYES NHI U CHI U
VÀ NG D NG

Chuyên ngành: LÍ THUY T XÁC SU T VÀ TH NG KÊ TOÁN
Mã s : 60 46 01 06

LU N VĂN TH C SĨ KHOA H C

NGƯ I HƯ NG D N KHOA H C
GS.TSKH. Đ NG HÙNG TH NG

HÀ N I - 2015


M cl c
L i nói đ u

...................................

5

Chương 1.
Các phân ph i xác su t nhi u chi u quan tr ng . . . . . . . . . . . . . .
1.1

Phân ph i nhi u chi u . . . . . . . . . . . . . . . . . . . . . . . . . . .
1.1.1

7
7

Phân ph i chu n nhi u chi u . . . . . . . . . . . . . . . . . . . .
71.1.2
Phân ph i Student nhi u chi u t . . . . . . . . . . . . . . . . . .


1.2

Phân ph i c a ma tr n ng u nhiên . . . . . . . . . . . . . . . . . . . .
1.2.1

8
9

Phân ph i chu n ma tr n . . . . . . . . . . . . . . . . . . . . .
91.2.2
Phân ph i Wishart . . . . . . . . . . . . . . . . . . . . . . . . .

11

1.2.3

Phân ph i Wishart ngh ch đ o . . . . . . . . . . . . . . . . . . .

12

1.2.4

Phân ph i ma tr n T . . . . . . . . . . . . . . . . . . . . . . . .

14

1.3

Vectơ ng u nhiên liên t c . . . . . . . . . . . . . . . . . . . . . . . . .

15

1.4

Ma tr n ng u nhiên liên t c . . . . . . . . . . . . . . . . . . . . . . . .

16

Chương 2.
M đ u v th ng kê Bayes nhi u chi u . . . . . . . . . . . . . . . . . . . 18
2.1

2.2

Phân ph i tiên nghi m . . . . . . . . . . . . . . . . . . . . . . . . . . .

18

2.1.1

Phân ph i tiên nghi m mơ h

18

2.1.2

Phân ph i tiên nghi m liên h p . . . . . . . . . . . . . . . . . .

20

2.1.3

Phân ph i tiên nghi m t ng quát . . . . . . . . . . . . . . . . .

24

2.1.4

Vectơ ng u nhiên . . . . . . . . . . . . . . . . . . . . . . . . . .

25

2.1.5

Phân ph i tiên nghi m tương quan . . . . . . . . . . . . . . . .

28

Đánh giá siêu tham s
2.2.1

...................

...........................

31

Hàm h p lí phân ph i chu n nhi u chi u . . . . . . . . . . . . .

31

1


2.2.2
2.3

Hàm h p lí phân ph i chu n ma tr n . . . . . . . . . . . . . . .

32

Phương pháp ư c lư ng Bayes . . . . . . . . . . . . . . . . . . . . . . .

34

2.3.1

Trung bình biên duyên h u nghi m . . . . . . . . . . . . . . . .

35

2.3.2

T i đa hóa h u nghi m . . . . . . . . . . . . . . . . . . . . . . .

47

Chương 3.
H i quy Bayes và áp d ng . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
3.1

Mô hình h i quy tuy n tính đa bi n . . . . . . . . . . . . . . . . . . . .

51

3.2

H i quy Bayes nhi u bi n . . . . . . . . . . . . . . . . . . . . . . . . .

60

3.3

Áp d ng . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

61

3.3.1

Xét nghi m Insulin . . . . . . . . . . . . . . . . . . . . . . . . .

61

3.3.2

B a ti c Cocktail . . . . . . . . . . . . . . . . . . . . . . . . . .

68

3.3.3

Mô hình tách ngu n . . . . . . . . . . . . . . . . . . . . . . . .

69

Tài li u tham kh o . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75


Danh sách hình v
3.1

B a ti c cocktail . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

68

3.2

Quá trình h n h p chưa bi t . . . . . . . . . . . . . . . . . . . . . . . .

70

3.3

Ví d x lí h n h p . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

71

3.4

X lí h n h p . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

73

Danh sách b ng
2.1

Phân ph i tiên nghi m 1 chi u . . . . . . . . . . . . . . . . . . . . . . .

21

2.2

Véctơ tiên nghi m liên h p . . . . . . . . . . . . . . . . . . . . . . . . .

22

2.3

Ma tr n tiên nghi m liên h p . . . . . . . . . . . . . . . . . . . . . . .

24

2.4

Phân ph i tiên nghi m liên h p vectơ t ng quát . . . . . . . . . . . . .

26

2.5

Ma tr n tiên nghi m liên h p t ng quát

27

3.1
3.2
3.3
3.4
3.5
3.6

.................

Phân ph i tiên nghi m ma tr n liên h p . . . . . . . . . . . . . . . . .

61

D li u h i quy Bayes và ma tr n thi t k (m u tiên nghi m) . . . . . D li u h i

62

quy Bayes và ma tr n thi t k (m u h u nghi m) . . . . . . Prior, Gibbs, and

64

ICM các h s h i quy Bayes . . . . . . . . . . . . . Prior, Gibbs, and ICM hi p

65

phương sai h i quy . . . . . . . . . . . . . Các h s th ng kê . . . . . . . . . . . . . .

66

...............

67

3


L i c m ơn

Trư c khi trình bày n i dung chính c a lu n văn, Tác gi xin bày t lòng bi t ơn
sâu s c t i GS. TSKH. Đ ng Hùng Th ng ngư i Th y đáng kính đã luôn t n tình ch b o
giúp đ tác gi trong su t th i gian qua.
M c dù có nhi u c g ng, song trong quá trình th c hi n lu n văn Tác gi không tránh
kh i nh ng thi u sót. Vì v y, Tác gi r t mong nh n đư c ý ki n đóng góp c a Th y Cô và b
n bè đ ng nghi p, đ lu n văn đư c hoàn thi n hơn.
Tác gi xin chân thành c m ơn!
Hà N i, ngày 10 tháng 10 năm 2015.
H c viên

Tr n Anh Tu n

4


L i nói đ u
Hi n t i th ng kê có hai trư ng phái: Th ng kê t n su t và th ng kê Bayes. Th ng
kê t n su t đã ra đ i trư c, là phương pháp ph bi n hi n nay. Nó d a trên nh ng k t qu
quan sát m u c a hi n t i mà không c n đ ý đ n nh ng thông tin, d li u đã bi t trư c. Th ng
kê Bayes d a trên nh ng thông tin d li u đã bi t trư c v v n đã quan sát đ suy lu n cho nh
ng th ng kê hi n t i.
Trư c s phát tri n m nh m c a công ngh thông tin, đ c bi t là nh ng ph n m m th ng
kê, vi c lưu tr nh ng thông tin r t thu n l i thì th ng kê Bayes ngày càng phát tri n. Chúng
ta có th đem th ng kê Bayes vào phương pháp t n su t đ phát tri n nhi u k t qu lí thuy t
cũng như ng d ng. Chính vì v y, có th nói th ng kê Bayes là m t m ng ki n th c r ng l n
đư c r t nhi u nhà th ng kê trên th gi i quan
tâm, tuy nhiên

nư c ta v n đ này chưa đư c nghiên c u nhi u. So v i các phương

pháp khác, phương pháp th ng kê Bayes l p lu n theo kinh nghi m đư c tích lũy áp d ng
vào mô hình phân lo i đ i tư ng linh ho t hơn, phù h p v i đ c trưng c a bài toán hơn.
Các cơ ch ư c lư ng cũng g n gũi v i cách suy lu n thông thư ng, chính vì v y mà các k t
qu phân lo i tương đ i gi ng v i cách phân lo i thông thư ng.
Suy lu n Bayes đư c s d ng r t r ng rãi trong t t c các ngành ngh như y h c, kinh t ,
tin h c,... Đ c bi t trong xác su t và th ng kê hi n nay nó đóng vai trò cũng h t s c quan tr
ng. Hi n t i chúng ta tìm đư c m t s bi u th c gi i tích h u nghi m c th khi gi s tiên nghi m
là các hàm m t đ xác su t thông d ng như Beta, mũ, chu n,... Trong th ng kê s d ng đ
nh lí Bayes cho ư c lư ng và ki m đ nh tham s th ng kê, cũng như các bài toán phân lo i
ngày nay tr nên ph bi n.
Trong đ tài lu n văn này, tác gi trình bày m t s ki n th c cơ b n v th ng kê
Bayes nhi u chi u và mô hình h i quy Bayes đ ng th i đưa ra m t s
c a h i quy Bayes.
5

ng d ng cơ b n


Lu n văn c a tác gi đư c chia làm 3 chương.
Chương 1. Các phân ph i xác su t nhi u chi u quan tr ng.
Trong chương này, tác gi h th ng l i m t s quy lu t phân ph i nhi u chi u
thư ng g p như: Phân ph i chu n nhi u chi u, phân ph i Student nhi u chi u; các
phân ph i c a ma tr n ng u nhiên; véctơ ng u nhiên liên t c và ma tr n ng u nhiên
liên t c. T đó làm cơ s đ nghiên c u các ph n ti p theo.
Chương 2. M đ u v th ng kê Bayes nhi u chi u.
Trong chương này, tác gi trình bày nh ng ki n th c cơ b n nh t v th ng kê
Bayes nhi u chi u, bao g m: phân ph i tiên nghi m, đánh giá siêu tham s ,
phương pháp ư c lư ng Bayes.
Chương 3. H i quy Bayes và áp d ng.
Trong chương này, tác gi nh ng ki n th c cơ b n v h i quy đa bi n và h i quy
Bayes. Đ ng th i, tác gi trình bày m t s ví d minh h a cho phương pháp h i quy
Bayes.

6


Chương 1
Các phân ph i xác su t nhi u chi u
quan tr ng
1.1

Phân ph i nhi u chi u

M t p-bi n vectơ quan sát x là m t t p h p c a p qua sát vô hư ng, đư c kí hi u


 x.1 
x =  .. .
 x 
 p 

1.1.1

Phân ph i chu n nhi u chi u

p-bi n ng u nhiên phân ph i chu n nhi u chi u đư c s d ng đ miêu t đ ng th i
p bi n ng u nhiên giá tr th c liên t c.
M t bi n ng u nhiên tuân theo quy lu t p-bi n ng u nhiên phân ph i chu n nhi u
chi u v i vectơ kì v ng µ và ma tr n hi p phương sai Σ đư c kí hi u là
x|µ, Σ ∼ N (µ, Σ),

(1.1)

đây tham s (µ, Σ) đư c cho b i
p(x|µ, Σ) = (2π)− 2 |Σ|−2 e−12(x−µ) Σ−1(x−µ),
1

p

(1.2)

vi
x ∈ Rp, µ ∈ Rp, Σ > 0,
7

(1.3)


CHƯƠNG 1. CÁC PHÂN PH I XÁC SU T NHI U CHI U QUAN TR NG
đây Rp kí hi u là t p các s th c p-chi u và Σ > 0 là ma tr n p-chi u xác đ nh dương.
Tính ch t: kì v ng, mode, phương sai c a phân ph i chu n nhi u chi u là
E (x|µ, Σ) = µ,

(1.4)

M ode (x|µ, Σ) = µ,

(1.5)

var (x|µ, Σ) = Σ,

(1.6)

đi u này có th tìm đư c b ng phép l y vi phân và tích phân.
Vì x là m t phân ph i chu n nhi u chi u, phân ph i đi u ki n và phân ph i biên duyên
c a t p con b t kì là phân ph i chu n nhi u chi u.
p-bi n ng u nhiên phân ph i chu n nhi u chi u v i moomen c p m t và c p hai h i t t i
trung bình theo đ nh lí gi i h n trung tâm.

1.1.2

Phân ph i Student nhi u chi u t

t-phân ph i Student nhi u chi u đư c s d ng đ mô t các bi n ng u nhiên giá tr
th c liên t c v i "cái đuôi n ng hơn" phân ph i chu n nhi u chi u. Nó có ngu n g c
bi
x ∼ N (µ, φ−2) và G ∼ W (Σ, p, ν) ,

(1.7)

t = ν 12 G−12 (x − µ) + t0 và W = G,

(1.8)

đ i bi n

v i Jacobian
J(x, G → t, W ) = ν−12 W 2 , p

(1.9)

và sau đó l y tích phân đ i v i W . Trong phép l y đ o hàm, x có th là trung bình
c a bi n đ c l p và bi n đ ng nh t vectơ phân ph i chu n v i cùng ma tr n kì v ng và hi p
phương sai, trong khi G có th là t ng bình phương đ l ch c a các bi n v i trung bình c a
chúng.
M t bi n ng u nhiên tuân theo t-phân ph i Student nhi u chi u đư c kí hi u là
t|ν, t0, Σ, φ2 ∼ t(ν, t0, Σ, φ2),

8

(1.10)


CHƯƠNG 1. CÁC PHÂN PH I XÁC SU T NHI U CHI U QUAN TR NG
đây tham s (ν, t0, Σ, φ2) đư c cho b i
kt(φ2)−ν2 |Σ|−2 1

p(t|ν, t0 , Σ, φ2) =

φ2 + 1 (t − t0) Σ−1(t − t0))
ν

đây
kt =

Γ

ν+p
2

,

(1.11)

ν+p
2

(νπ)p2 Γ

ν
2

,

(1.12)

vi
t ∈ Rp, ν ∈ R+, t0 ∈ Rp, Σ > 0, φ ∈ R+.

(1.13)

Tính ch t: kì v ng, mode, phương sai c a t-phân ph i Student nhi u chi u là
E(t|ν, t0, Σ, φ2) = t0,

(1.14)

M ode(t|ν, t0, Σ, φ2) = t0,

(1.15)

var(t|ν, t0, Σ, φ2) = ν ν 2 φ2Σ, −

(1.16)

đi u này có th tìm đư c b ng phép l y vi phân và tích phân. Chú ý r ng các tham s
này là m t s t ng quát đư c s d ng, có th tìm đư c khi φ2 = 1.
Kì v ng c a bi n ng u nhiên t-phân ph i Student nhi u chi u ch có th t n t i v i ν > 1 và
phương sai ch có th t n t i v i ν > 2. Khi ν = 1, t-phân ph i Student nhi u chi u là phân ph i
Cauchy nhi u chi u mà kì v ng và phương sai ho c mô men c p 1 và mô men c p 2
không t n t i.
Khi s b c t do là tăng, m t bi n ng u nhiên t-phân ph i vô hư ng Student nhi u
chi u t ∼ t(ν, t0, Σ, φ2) h i t t i phân ph i chu n t ∼ N (t0, φ2Σ).

1.2
1.2.1

Phân ph i c a ma tr n ng u nhiên
Phân ph i chu n ma tr n

Phân ph i chu n ma tr n n ⋅ p có th đư c coi như là trư ng h p đ c bi t np-bi n
ng u nhiên phân ph i chu n nhi u chi u khi mà ma tr n hi p phương sai là tách đư c. Kí hi
u np-phân ph i chu n nhi u chi u v i các ma tr n kì v ng toán µ là np-chi u và
np ⋅ np ma tr n hi p phương sai Ω b i
np
2

p (x|µ, Ω) = (2π)−

|Ω|−2 e−12 (x−µ) Ω−1(x−µ). 1
9

(1.17)


CHƯƠNG 1. CÁC PHÂN PH I XÁC SU T NHI U CHI U QUAN TR NG
M t ma tr n có th tách đư c là ma tr n có d ng Ω = Φ⊗Σ

đây ⊗ là tích Kronecker,

tích này làm tăng b i l n t t c các ph n t c a ma tr n th nh t b i toàn b ma tr n th hai.
Tích Kronecker c a Φ và Σ là các ma tr n tương ng n và p chi u, là




 φ11Σ • • • φ1nΣ 
Φ ⊗ Σ =  ...
...
... 
 φ Σ ••• φ Σ

 n1

nn

(1.18)

Th ma tr n hi p phương sai tách đư c vào phân ph i trên ta đư c
p (x|µ, Σ, Φ) = (2π)−
v i đ ng nh t th c ma tr n

np
2

|Φ ⊗ Σ|−2 e−12 (x−µ) (Φ⊗Σ) 1

1
− (x−µ)

.

(1.19)

trên
1

p

|Φ ⊗ Σ|−2 = |Φ|− 2 |Σ|− 2 ,

n


(x − µ) (Φ ⊗ Σ)−1 (x − µ) = trΦ−1(X − M )Σ−1(X − M ) ,
đây x = (X ) = (x1, . . . , xn) , X = (x1, . . . , xn), µ = vec(M ) = (µ1, . . . , µn), và
M = (µ1, . . . , µn), thì phương trình 1.19 tr thành
np

− −
)
−1
−1
2 |Φ| 2 |Σ| 2 e 12 trΦ (X−M)Σ (X−M . p

p(X|M, Σ, Φ) = (2π)

n

(1.20)

M t ma tr n ng u nhiên có phân ph i chu n ma tr n n ⋅ p đư c kí hi u
X|M, Σ, Φ ∼ N (M, Φ ⊗ Σ)

(1.21)

đây (M, Σ, Φ) là các tham s c a phân ph i trên v i
X ∈ Rx⋅p, M ∈ Rx⋅p, Σ, Φ > 0.

(1.22)

các ma tr n Σ và Φ thư ng đư c g i là ma tr n hi p phương sai trong và gi a. Th nh
tho ng cũng đư c g i là ma tr n hi p phương sai ph i và trái.
Tính ch t: kì v ng, mode và phương sai c a phân ph i chu n ma tr n là
E(X|M, Σ, Φ) = M,

(1.23)

M ode(X|M, Σ, Φ) = M,

(1.24)

var(vec(X )|M, Σ, Φ) = Φ ⊗ Σ,

(1.25)

10


CHƯƠNG 1. CÁC PHÂN PH I XÁC SU T NHI U CHI U QUAN TR NG
đi u này có th tìm đư c b ng phép l y vi phân và tích phân.
Khi X là m t phân ph i chu n ma tr n, phân ph i đi u ki n và phân ph i biên duyên c
a b t kì hàng ho c c t là phân ph i chu n nhi u chi u. Nó cũng có th đư c
kí hi u là kì v ng dòng th i c a X là xi, dòng th i c a M là µi và hi p phương sai
c a dòng th i c a X là φiiΣ,

đây φii là ph n t dòng th i và c t th i c a Φ. Hi p

phương sai gi a th i và dòng th i c a X là φiiΣ,

đây φii là ph n t dòng th i và

c t th i c a Φ. Tương t , kì v ng c a c t j c a X là c t th j c a M và hi p phương
sai gi a th j và c t th j c a X là σjj Φ.
Đơn gi n ch c n đ t, n u




 x.1
X =  ..
 x
 n


M =


=



X1 , . . . , X p

(1.26)

M1, . . . , Mp

(1.27)



 µ1 
...  =
 µ 
 n 

φii đư c kí hi u là ph n t th ii c a Φ và σjj đư c kí hi u là ph n t th jj c a Σ
thì
var(xi|µi, φii, Σ) = φiiΣ,

(1.28)

cov(xi, xi|µi, µi, φii , Σ) = φii Σ,

(1.29)

var(Xj|Mj, σjj, Φ) = σjjΦ,
cov(Xj, Xj|Mj, Mj, σjj , Φ) = σjj Φ.

1.2.2

Phân ph i Wishart

M t bi n ng u nhiên Wishart đư c ch ra như là tích chuy n v G = (X − M ) (X −
M ),

đây X là phân ph i chu n ma tr n ν0 ⋅ p v i ma tr n kì v ng M và ma

tr n hi p phương sai Tν0 ⊗ Υ. Chú ý r ng, n u p = 1, đây là t ng bình phương c a

ν0 bi n ng u nhiên chu n quy tâm đ c l p v i cùng kì v ng µ và phương sai v2,
g = (x1 − µ)2 + • • • + (xν0 − µ)2. Ma tr n hi p phương sai Υ đư c đưa vào phân ph i

11

(1.30)
(1.31)


CHƯƠNG 1. CÁC PHÂN PH I XÁC SU T NHI U CHI U QUAN TR NG
Wishart. M t p ⋅ p ma tr n đ i x ng G tuân theo phân ph i Wishart đư c kí hi u
G|Υ, p, ν0 ∼ W (Υ, p, ν0)

(1.32)

đây tham s (Υ, p, ν0) đư c cho b i
p(G|Υ, p, ν0) = kW |Υ|− 20 |G|
đây
k −1 =2

ν0p
2

π

p (p −1)
2

ν

ν0−p−1
2

p
j=1

Γ

W

e−12trΥ−1G,

(1.33)

ν0 + 1 − j
2

(1.34)

vi
G > 0, ν0 ∈ R+, Υ > 0,

(1.35)

và kí hi u ">0" đư c kí hi u cho c G và Υ là các ma tr n xác đ nh dương. M c dù
phân ph i Wishart đư c d n xu t t ν0 bi n ng u nhiên vectơ chu n (m t s nguyên
dương), không có h n ch r ng ν0 trong phân ph i Wishart là giá tr nguyên.
Tính ch t: Kì v ng, mode, và phương sai c a phân ph i Wishart là
E(G|ν0, Υ) =ν0Υ,

(1.36)

M ode(G|ν0, Υ) =(ν0 − p − 1)Υ,

(1.37)

V ar(G|ν0, Υ) =ν0(v2 + viivjj), ij

(1.38)

cov(G|ν0, Υ) =ν0(vikvjl + vilvjk),

(1.39)

đi u này có th tìm đư c b ng phép l y vi phân và tích phân,

đây gij và vij đư c kí

hi u là ph n t c p ij c a G và Υ tương ng. Mode c a phân ph i Wishart đư c xác
đ nh v i ν0 > p + 1.
Phân ph i Wishart là nhi u bi n (bi n ma tr n) tương t c a phân ph i đơn bi n
Gamma.

1.2.3

Phân ph i Wishart ngh ch đ o

M t bi n ng u nhiên phân ph i Wishart ngh ch đ o Σ đư c ch ra như là ngh ch
đ o c a m t bi n ng u nhiên có phân ph i Wishart, Σ = G−1. M t p ⋅ p ma tr n ng u
nhiên Σ tuân theo phân ph i Wishart ngh ch đ o đư c kí hi u
Σ|Q, p, ν ∼ IW (Q, p, ν)
12

(1.40)


CHƯƠNG 1. CÁC PHÂN PH I XÁC SU T NHI U CHI U QUAN TR NG
đây tham s (Σ|Q, p, ν) đư c cho b i
ν−p−1

p(Σ|ν, Q) = kIW |Q|
đây
k−W

=2

(ν−p−1)p
2

π

|Σ|−ν2 e−12 trΣ−1Q,

2

p

p( p−1)
4

Γ

j=1

1

ν−p−j
2

(1.41)

(1.42)

I

vi
Σ > 0, ν ∈ R+, Q > 0.

(1.43)

Q = Υ−1, ν0 = ν − p − 1,

(1.44)

J(G → Σ) = |Σ|−(p+1).

(1.45)

Chú ý: Phép đ i bi n t G t i Σ,

và bi n đ i Jacobian là

M c dù phân ph i Wishart ngh ch đ o đư c d n xu t t ν − p − 1 vectơ ng u nhiên
chu n (m t s nguyên dương), không có h n ch r ng ν trong phân ph i Wishart ngh ch đ o là
giá tr nguyên.
Tính ch t: Kì v ng, mode, và phương sai c a phân ph i Wishart ngh ch đ o là
(1.46)
E(Σ|ν, Q) = ν − Q − 2, 2p
M ode(Σ|ν, Q) = Q ,

(1.47)

ν

var(σii|ν, Q) = (ν − 2p − 2)qiiν − 2p − 4), 22

(1.48)

2

(

qiiqνν + ν ν−p2−2q2 p
var(σii |ν, Q) = (ν − 2p − 1)(ν − 2p − 2)(ii − 2p − 4), −2
ν
+ qiiqi i + qii qii
ν−2p− q q 2
2 ii ii

cov(σii , σii + ν, Q) = (ν − 2p − 1)(ν − 2p − 2)(ν − 2p − 4),

đi u này có th tìm đư c b ng phép l y vi phân và tích phân. Kì v ng đư c xác đ nh
khi ν > 2p+2, trong khi đó phương sai và hi p phương sai đư c xác đ nh khi ν > 2p+4.
Phương sai đư c xác đ nh khi i i .
Q tương ng.

đây σij và qij kí hi u là ph n t c p ij c a Σ và

(1.49)

(1.50)


13


CHƯƠNG 1. CÁC PHÂN PH I XÁC SU T NHI U CHI U QUAN TR NG

1.2.4

Phân ph i ma tr n T

T -phân ph i ma tr n Student đư c s d ng đ mô t các bi n ng u nhiên liên t c
v i cái đuôi n ng hơn phân ph i chu n. Nó có ngu n g c b i
X ∼ N (M, In ⊗ Σ) và G ∼ W (Φ−1, p, ν)

(1.51)

đ i bi n
T = ν 12 G−12 (X − M ) + T0 và W = G,

(1.52)

v i Jacobian
J(X, G → T, W ) = ν− 2 W 2

np

p

(1.53)

và sau đó l y tích phân đ i v i W . Trong phép l y đ o hàm, X có th là trung bình c a
bi n đ c l p và bi n đ ng nh t ma tr n phân ph i chu n v i cùng kì v ng và phương sai,
trong khi G có th là t ng bình phương đ l ch c a các bi n v i trung bình c a chúng.
M t bi n ng u nhiên T tuân theo T -phân ph i ma tr n Student đư c kí hi u là
T |ν, T0, Σ, Φ ∼ T (ν, T0, Σ, Φ),
đây tham s (ν, T0, Σ, Φ) đư c cho

(1.54)

|Φ|ν2 |Σ|−n 2

p(T |ν, T0, Σ, Φ) = kT

−1

Φ + (T − T0)Σ (T − T0) ν
1

ν+ p
2

,

(1.55)

đây
ν+p+1−j

Πn=1Γ
j

kT =

2

vi

.

2

(νπ)np Πn=1Γ ν+1−j
j

(1.56)

2

T ∈ Rn⋅p, ν ∈ R+, T0 ∈ Rn⋅p, Σ, Φ > 0.

(1.57)

Tính ch t: Kì v ng, mode, và phương sai c a T -phân ph i ma tr n Student là
E(T |ν, T0, Σ, Φ) = T0,
M ode(T |ν, T0, Σ, Φ) = T0,
cov(vec(T )|ν, T0, Σ, Φ) = ν ν 2 (Φ ⊗ Σ), −

14

(1.58)
(1.59)
(1.60)


CHƯƠNG 1. CÁC PHÂN PH I XÁC SU T NHI U CHI U QUAN TR NG
đi u này có th tìm đư c b ng phép l y vi phân và tích phân. Chú ý r ng trong các
tham s , các b c t do ν và ma tr n Φ đư c nhóm như là các ma tr n đơn.
Vì T trong T -phân ph i ma tr n Student, phân ph i đi u ki n và phân ph i biên duyên
c a dòng ho c c t b t kì c a T là t-phân ph i Student nhi u chi u.
Kì v ng c a T -phân ph i ma tr n Student t n t i v i ν > 1 và phương sai t n t i v i ν > 2.
Khi tham s ν = 1, T -phân ph i ma tr n Student là phân ph i ma tr n Cauchy v i kì v ng và phương
sai ho c moment c p 1 và moment c p 2 không t n t i. Khi s b c t do ν tăng, m t bi n ng u
nhiên ma tr n là T -phân ph i ma tr n
Student, T ∼ T (ν, T0, Σ, Φ) x p x b i phân ph i chu n ma tr n T ∼ N (T0, Φ ⊗ Σ).
Bi n ng u nhiên nhi u chi u t ng quát c a phân ph i nh th c và phân ph i Beta
cũng t n t i. Vì chúng không đư c s d ng trong tài li u này, chúng đư c b qua.

1.3

Vectơ ng u nhiên liên t c

Chúng ta thư ng có nhi u bi n đo đư c trên m t cá th ; vì v y, chúng ta hi m
khi quan tâm đ n m t bi n ng u nhiên duy nh t. Chúng ta quan tâm vectơ quan sats
p-chi u x1, . . . , xn

đây xi = (x1i, . . . , xpi) v i i = 1, . . . , n. Các quan sát đư c xác

đ nh t m t phân ph i v i các tham s θ1, . . . , θJ

đây θ có th là vô hư ng, vectơ

ho c ma tr n.
Tiên nghi m: Chúng ta có th lư ng hóa tiên nghi m (trư c khi th c hi n các thí
nghi m và thu th p d li u) theo hình th c phân ph i tiên nghi m có đi u ki n ph
thu c các tham s
p(θ1, . . . , θJ ),

(1.61)

đây các tham s không c n đ c l p.
Hàm h p lí: V i m t m u đ c l p kích thư c n, phân ph i có đi u ki n ph thu c (h p
lí) c a các vectơ quan sát là tích c a các phân ph i cá th (h p lí) và đư c cho b i
(1.62)

p(x1, . . . , xn|θ1, . . . , θJ ) = Πn=1p(xi|θ1, . . . , θJ ). i
H u nghi m: Chúng ta áp d ng quy t c Bayes đ đ t đư c m t phân ph i h u nghi m
cho các tham s . Phân ph i h u nghi m là
p(θ1, . . . , θJ |x1, . . . , xn) = p(θ1, . . . , θJppxx1,. .. .. ., ,xxn|θ1, . . . , θJ ), )(
(, 1
15

n

)

(1.63)


CHƯƠNG 1. CÁC PHÂN PH I XÁC SU T NHI U CHI U QUAN TR NG
đây m u s đư c cho b i
p ( x1 , . . . , x n ) =

p(θ1, . . . , θJ )p(x1, . . . , xn|θ1, . . . , θJ )dθ1 . . . dθJ ,

(1.64)

đây θ = (θ1, . . . , θJ ).
Ghi nh r ng chúng ta có th b m u s đi đ đư c
p(θ1, . . . , θJ |x1, . . . , xn) ∝ p(θ1, . . . , θJ )p(x1, . . . , xn|θ1, . . . , θJ ),

(1.65)

đây "∝" kí hi u là t l và h ng s k không ph thu c vào các bi n θ1, . . . , θJ , có th
tìm đư c b ng cách l y tích phân và đi u này phát bi u r ng phân ph i h u nghi m
là t l v i tích c a phân ph i tiên nghi m và h p lí.

1.4

Ma tr n ng u nhiên liên t c

Cũng như chúng ta v a xem xét bi n ng u nhiên giá tr vô hư ng và vectơ, chúng
ta cũng có th xem xét bi n ng u nhiên nh n giá tr là ma tr n.
Tiên nghi m: Chúng ta có th lư ng hóa nh ng tiên nghi m v các tham s v i vi c
s d ng phân ph i tiên nghi m có đi u ki n ph thu c
p(θ1, . . . , θJ ),

(1.66)

đây θ có th nh n giá tr là ma tr n và các tham s không c n đ c l p.
Hàm h p lí: V i m t m u đ c l p kích thư c n, t phân ph i đi u ki n ph thu c
P (X|θ1, . . . , θJ ) c a các quan sát ma tr n là
p(X1, . . . , Xn|θ1, . . . , θJ ) = Πn=1p(Xi|θ1, . . . , θJ ). i

(1.67)

H u nghi m: Chúng ta áp d ng quy t c Bayes đ đ t đư c m t phân ph i h u nghi m
cho các tham s . Phân ph i h u nghi m là
(1.68)
p(θ1, . . . , θJ |X1, . . . , Xn) = p(θ1, . . . , θJ )pp((xX1,. .. .. ., ,xX)n|θ1, . . . , θJ ),
1,

n

đây m u s đư c cho b i
p(X1, . . . , Xn) =

p(θ1, . . . , θJ )p(X1, . . . , Xn|θ)dθ1 . . . dθJ ,
16

(1.69)


CHƯƠNG 1. CÁC PHÂN PH I XÁC SU T NHI U CHI U QUAN TR NG
đây θ = (θ1, . . . , θJ ).
Ghi nh r ng chúng ta có th b m u s đi đ đư c
p(θ1, . . . , θJ |X1, . . . , Xn) ∝ p(θ1, . . . , θJ )p(X1, . . . , Xn|θ1, . . . , θJ ),

(1.70)

đi u này phát bi u r ng phân ph i h u nghi m là t l v i tích c a phân ph i tiên
nghi m và h p lí.
T phân ph i h u nghi m, ư c lư ng c a các tham s là đ t đư c. Ư c lư ng c a các tham
s s đư c trình bày sau.

17


Chương 2
M đ u v th ng kê Bayes nhi u
chi u
2.1

Phân ph i tiên nghi m

2.1.1

Phân ph i tiên nghi m mơ h

2.1.1.1

Bi n ng u nhiên

Phân ph i tiên nghi m mơ h là phân ph i tiên nghi m không có thông tin có th
d a trên b t kì m t tham s là b ch n (có m t mi n giá tr h u h n) ho c không b ch n (có
m t mi n giá tr vô h n).
N u m t phân ph i tiên nghi m mơ h d a trên m t tham s θ có m t mi n giá tr h u h n,
trên kho ng (a; b), thì phân ph i tiên nghi m là phân ph i đ u trên kho ng (a; b) ng ý r ng t
t c các giá tr trong mi n này đ u có cùng kh năng cho trư c.
Phân ph i đ u

1, 
p( θ ) =  b − a

n ua< θ
,

(2.1)

n u θ ∈ (a; b)


0,
và chúng ta vi t
p(θ) ∝ (m t h ng s ).
M t phân ph i tiên nghi m mơ h hơi khác m t chút khi chúng ta xét trên m t tham
s không b ch n.

(2.2)


18


CHƯƠNG 2. M

Đ U V TH NG KÊ BAYES NHI U CHI U

Xét θ = µ là kì v ng c a phân ph i chu n. N u chúng ta mu n đ t m t phân ph i
đ u tiên nghi m trên nó, thì chúng ta có



1
,
n
u

a
<
µ
<
a

n u µ ∈ (−a; a),

p(µ) = 2a
đây a → ∞ và vi t l i

(2.3)

0,
p(µ) ∝ (m t h ng s ).

(2.4)

N u tham s θ = σ2 là phương sai c a phân ph i chu n, thì chúng ta l y log(σ2) l
phân ph i đ u trên toàn b đư ng th ng và bi n đ i tr l i t i m t phân ph i trên σ2
chúng ta có
p(σ2) ∝ σ12 .

(2.5)

Phân ph i tiên nghi m mơ h trong phương trình 2.5 là m t phân ph i tiên nghi m
không th c s . Đó là


p(σ2)dσ2

(2.6)

0

là không h u h n.
2.1.1.2

Vectơ ng u nhiên

M t phân ph i tiên nghi m mơ h cho m t kì v ng giá tr vectơ ch ng h n như cho
m t phân ph i chu n nhi u chi u cũng gi ng như v i phân ph i chu n vô hư ng
p(µ) ∝ (m t h ng s ),
đây µ = (µ1, . . . , µp).
2.1.1.3

Ma tr n ng u nhiên

(2.7)


M t phân ph i tiên nghi m mơ h cho m t kì v ng giá tr ma tr n ch ng h n như
cho m t phân ph i chu n ma tr n cũng gi ng như v i phân ph i chu n vô hư ng và
vectơ
p(M ) ∝ (m t h ng s ),
đây ma tr n M là M = (µ1, . . . , µn) . Các dòng c a M là các cá th vectơ µ.
19

(2.8)


CHƯƠNG 2. M

Đ U V TH NG KÊ BAYES NHI U CHI U

T ng quát phân ph i tiên nghi m mơ h c a m t đơn bi n trên m t bi n t i ma
tr n hi p phương sai là
p(Σ) ∝ |Σ|−

2.1.2

p +1
2

(2.9)

.

Phân ph i tiên nghi m liên h p

Phân ph i tiên nghi m liên h p là phân ph i tiên nghi m có thông tin. Các phân
ph i tiên nghi m liên h p theo m t cách t nhiên t th ng kê c đi n. Nó đư c bi t r ng n u
chúng ta đ t d li u có đư c thành 2 ph n, sau đó phân tích cho l y t ph n th nh t như là m
t tiên nghi m cho ph n th hai là m t phân tích trong đó có c hai ph n.
2.1.2.1

Bi n ng u nhiên

Phân ph i chu n
Các quan sát có th đư c đư c xác đ nh d a trên m t phân ph i chu n vô hư ng,
x|µ, σ2 ∼ N (µ, σ2) v i σ2 có th bi t ho c không bi t. hàm h p lí là
(x−µ)2

p(x|µ, σ2) ∝ (σ2)−12 e−

,

2σ 2

(2.10)

đi u này thư ng đư c g i là nhân c a phân ph i chu n.
N u chúng ta trao đ i vai trò c a x và µ, thì chúng ta đ t đư c
p(µ) ∝ (σ2)−12 e−

(µ−x)2
2σ 2

(2.11)

,

do đó ng ý r ng chúng ta nên ch n phân ph i tiên nghi m cho µ t h các phân ph i
chu n.
Sau đó chúng ta l a ch n như phân ph i tiên nghi m cho µ là
p(µ|σ2) ∝ (σ2)−12 e−

(µ−µ0)2
2σ 2

,

(2.12)

đây chúng ta làm t t hơn phân ph i tiên nghi m v i vi c s d ng µ0 vì v y nó không
ph thu c vào d li u. Đ nh lư ng µ0 là m t siêu tham s đư c xác đ nh. B ng cách đ nh lư ng
các vô hư ng µ0 và σ2, phân ph i chu n tiên nghi m là hoàn toàn đư c xác
đ nh.

20


Tài liệu bạn tìm kiếm đã sẵn sàng tải về

Tải bản đầy đủ ngay

×