Tải bản đầy đủ

Hệ thống quan sát đa mục tiêu tối ưu hàm đánh giá đối tượng

i

ĐẠI HỌC THÁI NGUYÊN
TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG
-------------------------------

Hoàng Xuân Lộc

HỆ THỐNG QUAN SÁT ĐA MỤC TIÊU
TỐI ƯU HÀM ĐÁNH GIÁ ĐỐI TƯỢNG
Chuyên ngành: Khoa học máy tính
Mã số: 60480101

TÓM TẮT LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN

Thái Nguyên - 2015

Số hóa bởi Trung tâm Học liệu - ĐHTN

http://www.lrc-tnu.edu.vn/



ii
LỜI CẢM ƠN
Lời đầu tiên, Em xin cảm ơn Thầy TS. Đào Nam Anh đã trực tiếp
hướng dẫn, giúp đỡ và tận tình chỉ bảo Em trong suốt thời gian từ khi có ý
tưởng cho luận văn đến khi hoàn thành luận văn này.
Em xin chân thành cảm ơn đến các Thầy bộ môn đã trực tiếp dạy dỗ
Em như Thầy PGS.TS Ngô Quốc Tạo, PGS. TS. Phạm Việt Bình,
PGS.TSKH Nguyễn Xuân Huy, PGS.TS Đỗ Năng Toàn,…đã giúp Em có
kiến thức và ý tưởng cho luận văn.
Em xin cảm ơn các Thầy trong hội đồng bảo vệ đề cương đã góp ý,
giúp Em có những thay đổi phù hợp hơn trong luận văn này.
Em xin cảm ơn trường Đại học Công nghệ Thông tin và Truyền thông - Đại
học Thái Nguyên đã tạo rất nhiều điều kiện thuận lợi cho Em.

Số hóa bởi Trung tâm Học liệu - ĐHTN

http://www.lrc-tnu.edu.vn/


3

LỜI CAM ĐOAN
Tôi xin cam đoan luận văn là kết quả nghiên cứu của tôi, không sao
chép của ai. Nội dung luận văn có tham khảo và sử dụng các tài liệu liên
quan, các thông tin trong tài liệu được đăng tải trên các tạp chí và các trang
website theo danh mục tài liệu của luận văn.
Tác giả luận văn

Hoàng Xuân Lộc

Số hóa bởi Trung tâm Học liệu - ĐHTN

http://www.lrc-tnu.edu.vn/


4

MỤC LỤC
DANH MỤC HÌNH VẼ .........................................................................................V


MỞ ĐẦU ................................................................................................................ 1
CHƯƠNG 1. TỔNG QUAN THEO DÕI ĐỐI TƯỢNG ..................................... 3
1.1 Xử lý video .................................................................................................. 3
1.2 Bài toán theo dõi đối tượng ......................................................................... 7
1.3 Ứng dụng thực tế - giám sát thông minh ................................................... 10
1.4 Thành phần của thuật toán ......................................................................... 14
1.5 Các thuật toán so sánh ............................................................................... 25
1.6 Phát hiện cac đôi tương chuyển động ........................................................ 26
CHƯƠNG 2. THUẬT TOÁN THEO DÕI ĐA MỤC TIÊU TỐI ƯU HÀM
ĐÁNH GIÁ ĐỐI TƯỢNG ................................................................................... 35
2.1 Ký hiệu....................................................................................................... 37
2.2 Phát hiện cac đôi tương.............................................................................. 37
2.3 Hàm đánh giá đối tượng ............................................................................ 44
2.4 Tối ưu hoá hàm đánh giá đối tượng ........................................................... 48
2.5 Theo vết đối tượng ..................................................................................... 51
2.6 Thuật toán .................................................................................................. 56
2.7 Kết luận chương 2...................................................................................... 57
CHƯƠNG 3. CÀI ĐẶT THỬ NGHIỆM ........................................................... 58
3.1 Môi trường cài đặt ..................................................................................... 58
3.2 Trích dẫn một số mã nguồn ....................................................................... 58
3.3 Kết quả thực nghiệm .................................................................................. 63
3.4 Kết luận chương 3...................................................................................... 74
KẾT LUẬN .......................................................................................................... 75
TÀI LIỆU THAM KHẢO.................................................................................... 76

Số hóa bởi Trung tâm Học liệu - ĐHTN

http://www.lrc-tnu.edu.vn/


5

DANH MỤC HÌNH VẼ
Hình 1-1 Cấu trúc phân cấp của video ................................................................... 4
Hình 1-2. Khung hình khác nhau nhưng có cùng biểu đồ màu ............................. 5
Hình 1-3. Theo dõi khách bộ hành ......................................................................... 7
Hình 1-4 Hệ thống camera điều khiển xe tự hành SCABOR ................................ 7
Hình 1-5 Mô hình hệ thống giám sát ................................................................... 11
Hình 1-6: Hệ thống camera giám sát giao thông. ................................................ 13
Hình 1-7 Hệ thống camera giám sát an ninh........................................................ 13
Hình 1-8: Công nghệ nhận diện khuôn mặt. ........................................................ 14
Hình 3-9: Bộ cơ sở dữ liệu ................................................................................... 66
Hình 3-10 IMG1: Đối tượng ảnh số 1 được theo dõi qua các khuôn hình từ 3-16 ..
67
Hình 3-11 IMG2: Đối tượng ảnh số 14 được theo dõi qua các khuôn hình 85-88,
bị khuất trong khuôn hình 89, xuất hiện lại trong hình 90 với mã số mới 16...... 68
Hình 3-12 IMG2: Đối tượng ảnh số 16 được theo dõi tiếp qua các khuôn hình
140-154................................................................................................................. 69
Hình 3-13 IMG2: Đối tượng ảnh số 16 được theo dõi tiếp trong mã số 29 qua các
khuôn hình 195-210. Có một số đỗi tượng mới xuất hiện, tuy nhiên còn nhỏ nên
không hiện mã số trên màn hình .......................................................................... 70
Hình 3-14 IMG3: Có 2 đối tượng ảnh trong khuôn hình 666-680. Do kích thước
của đối tượng nhỏ hơn ngưỡng đặt trước nên mã số không hiển thị trên khuôn
hình ....................................................................................................................... 71
Hình 3-15 IMG3: Đối tượng ảnh số 89 được teo dõi trong các khuôn hình 780800. Một đối tượng ảnh đi cùng không được hiển thị mã số do kích thước của đối
tượng nhỏ hơn ngưỡng đặt trước.......................................................................... 72

Số hóa bởi Trung tâm Học liệu - ĐHTN

http://www.lrc-tnu.edu.vn/


1

MỞ ĐẦU
Theo dõi đa đối tượng là một nhiệm vụ đã có từ lâu với ngành an
ninh, nay là nhiệm vụ quan trọng trong lĩnh vực thị giác máy tính. Sự gia
tăng của máy tính cấu hình mạnh, sự sẵn có của các máy quay video chất
lượng cao và không tốn kém, và nhu cầu ngày càng tăng về phân tích video
tự động đã tạo ra rất nhiều sự quan tâm về các thuật toán theo dõi đa đối
tượng.
Các thuật toán này đã có ứng dụng rộng rãi là hệ thống giám sát
thông minh tự động - trợ giúp đắc lực cho con người thực hiện theo dõi,
giám sát. Ví dụ giám sát giao thông một hệ thống giám sát thông minh có
thể cho ta biết được số lượng phương tiện lưu thông qua đoạn đường, đưa
ra thông tin về tốc độ chuyển động, đường đi của đối tượng được theo dõi.
Khó khăn chính của bài toán theo dõi đa đối tượng là sự phức tạp của
không gian quan sát với số lượng lớn quỹ đạo đối tượng liên tục, và một số
quỹ đạo rời rạc. Để giải quyết theo dõi tương tác giữa các đối tượng cần
phải có các mô hình thuật toán tối ưu, đảm bảo phân tích được trong thời
gian thực. Ý thức được những lợi ích mà hệ thống giám sát thông minh
mang lại: ” Hệ thống quan sát đa đối tượng tối ưu hàm đánh giá đối tượng”
để từ đó nắm được các thật toán giải quyết bài toán theo dõi giám sát đa đối
tượng chuyển động trong video với sự tối ưu hóa hàm hàm đánh giá đối
tượng mà kết quả là tối ưu nguồn lực máy tính.
Đối tượng của luận văn này là tìm hiểu kết quả nghiên cứu trong lĩnh
vực giám sát đa đối tượng (multi object tracking) di chuyển trong video
bằng sự tối ưu hàm đánh giá đối tượng. Luận văn sẽ phân tích và thực
nghiệm thuật toán cho bài toán trên.

Số hóa bởi Trung tâm Học liệu - ĐHTN

http://www.lrc-tnu.edu.vn/


2

Ngoài phần mở đầu và kết luận, luận văn được chia làm 3 chương,
luận văn có các chương như sau:
Chương 1: Tổng quan về theo dõi đối tượng trong xử lý ảnh
Trình bày các vấn đề đặt ra cần giải quyết trong hệ thống theo dõi
thông minh, giới thiệu bài toán phát hiện, phân loại, theo dõi đối tượng
chuyển động trong hệ thống theo dõi đối tượng.
Chương 2: Phương pháp phát hiện và theo dõi đa đối tượng
Phân tích giải pháp bài toán theo dõi đa đối tượng thời gian thực
bằng cách tối ưu hàm đánh giá đối tượng. Trình bày chi tiết về mô hình
theo dõi đối tượng và xây dựng hàm số hàm đánh giá đối tượng. Tối ưu
hàm đánh giá đối tượng cục bộ hàm hàm đánh giá đối tượng để đạt giá trị
cực tiểu của hàm đánh giá đối tượng, từ đó tính toán theo vết đường đi của
đối tượng trong thời gian thực.
Chương 3: Thực nghiệm và đánh giá
Trình bày về việc cài đặt chương trình, xây dựng dữ liệu thực
nghiệm, các quá trình thực nghiệm, kết quả thực nghiệm và các kết quả
đánh giá, nhận xét các xử lý từ thực nghiệm.

Số hóa bởi Trung tâm Học liệu - ĐHTN

http://www.lrc-tnu.edu.vn/


3

CHƯƠNG 1.

TỔNG QUAN THEO DÕI ĐỐI TƯỢNG

Giám sát bằng video là quá trình phân tích khung hình tuần tự trong
video.. Đó là một ứng dụng của thị giác máy tính. Có ba loại hoạt động
giám sát bằng video: giám sát bằng video có thể là bằng tay, bán tự động
hoặc hoàn toàn tự động.
Giám sát video bằng tay là việc phân tích các nội dung video được
con người thực hiện trực tiếp. Hệ thống dạng này đang được sử dụng rộng
rãi.
Video giám sát bán tự động liên quan đến một số hình thức xử lý
video với sự can thiệp đáng kể của con người. Ví dụ điển hình là các hệ
thống phát hiện chuyển động đơn giản. Chỉ khi có sự chuyển động đáng kể
thì video mới được ghi lại và gửi cho chuyên gia là con người phân tích.
Với một hệ thống hoàn toàn tự động, không có sự tham gia của con
người vào quá trình phân tích. Trong một hệ thống như vậy hệ thống làm
cả hai nhiệm vụ cấp thấp, là phát hiện chuyển động và theo dõi, và nhiệm
vụ ra quyết định cấp cao, như nhận diện sự kiện bất thường và xác định loại
chuyển động. Hệ thống giám sát video hỗ trợ động phân loại tự các đối
tượng và theo dõi đối tượng. Điều hành hệ thống giám sát video trong thời
gian dài trực tiếp bằng con người là không thực tế và khó khả thi.

1.1 Xử lý video
1.1.1. Một số khái niệm
Video là tập hợp các khung hình, mỗi khung hình là một ảnh. Video
hay còn gọi là chuỗi ảnh (image sequence) tượng trưng cho thông tin hình
ảnh. Đó là một chuỗi các hình ảnh liên tục theo thời gian.
Số hóa bởi Trung tâm Học liệu - ĐHTN

http://www.lrc-tnu.edu.vn/


4

S=f(x,y,t)

(1-1)

Trong đó:
x, y ∈ R: là tọa độ của điểm ảnh (thông tin về không gian).
t ∈ R: thông tin về thời gian.
Dựa trên công thức 1.1 ta thấy ảnh tĩnh là một trường hợp đặc biệt của
video. Khi đó nó là một chuỗi các hình ảnh không thay đổi theo thời gian.
f x, y, t1

= f x, y, t 2 ;

∀x, y ∈ R

(1-2)
Shot (lia): là một đơn vị cơ sở của video. Một lia là một đơn vị vật lý của
dòng video, gồm chuỗi các khung hình liên tiếp, không thể chia nhỏ hơn.
Scene (cảnh): là các đơn vị logic của dòng video. Cấu trúc phân cấp của
video được mô tả trong hình vẽ.

Hình 1-1 Cấu trúc phân cấp của video
Khi phim được chiếu, các khung hình lần lượt được hiển thị ở tốc độ
nhất định. Tốc độ thường thấy ở các định dạng video khác nhau là 30 và 24
hình/s. Như vậy một giờ video sẽ có số lượng khung hình tương ứng là


5

108000 hoặc 86400. Dù là video ở định dạng nào thì nó cũng có dung
lượng rất lớn và nếu xử lý với tất cả các khung hình thì thật không hiệu
quả.


6

Phân đoạn là quá trình phân tích và chia nội dung hình ảnh video
thành các đơn vị cơ sở gọi là các lia (shots). Việc lấy mẫu chính là chọn
gần đúng một khung hình video đại diện cho mỗi lia (hoặc nhiều hơn tùy
theo mức độ phức tạp của nội dung hình ảnh của lia) và được gọi là các
khung – khóa [3].
Khung – khóa là khung hình đại diện mô tả nội dung chính của shot.
Quá trình phân đoạn dữ liệu video tiến hành phân tích, phát hiện sự chuyển
đổi từ lia này sang lia khác hay chính là sự phát hiện ranh giới giữa các lia
đó (đó chính là đo sự khác nhau giữa các khung hình liền kề).
1.1.2. Một số thuộc tính đặc trưng
Video có bốn đặc tính chung là: màu (color), kết cấu (texture), hình
dáng (shape), và chuyển động (motion).
Màu (Color):
Màu là một thuộc tính đặc trưng của ảnh. Biểu đồ ảnh, biễu diễn sự
phân bố màu, là một đặc trưng màu phổ biến nhất hiện nay. Biểu đồ màu
không phụ thuộc vào sự quay, dịch chuyển ảnh cũng như chiều nhìn ảnh.
Tuy nhiên với biểu đồ màu không biểu diễn thông tin về không gian phân
bố các điểm ảnh, do đó hai điểm ảnh có cùng biểu đồ màu có thể lại có nộ
dung khác nhau.

Hình 1-2. Khung hình khác nhau nhưng có cùng biểu đồ màu
Kết cấu (Texture):


7

Đây là một đặc trưng quan trọng của bề mặt, nơi xảy ra việc lặp lại
mẫu cơ bản.
Có hai dạng biểu diễn texture phổ biến: biểu diễn dạng ma trận đồng
thời và biểu diễn Tamura.
Ma trận đồng thời mô tả hướng và khoảng cách giữa các điểm ảnh,
nhờ đó các thống kê có ý nghĩa có thể được trích chọn. Ngược lại, người ta
thấy rằng entropi và mô men chênh lệch nghịch đảo lại có khả năng phân
biệt tốt nhất. Biểu diễn Tamura được thúc đẩy nhờ các nghiên cứu về tâm
lý trong việc thu nhận trục giác của con người và nó bao gồm các đại lượng
đo tính thô, độ tương phản, hướng, tính trơn, tính cân đối và độ ráp. Các
đặc trưng Tamura rất hấp dẫn trong việc hiểu nội dung ảnh vì nó biểu đạt
trực quan. Ngoài ra còn có một số các dạng biễu diễn khác như trường ngẫu
nhiên Markov, biến đổi Gabor, biến đổi gợn sóng, …
 Hình dáng (Shape):
Các đặc trưng hình dáng có thể được biểu diễn sử dụng phân tích
hình dáng truyền thống như bất biến mô men, mô men Fourier, mô hình
học tự động quay lui và các thuộc tính hình học. Các đặc trưng này có thể
được phân chia thành đặc trưng toàn cục và đặc trưng cục bộ. Đặc trưng
toàn cục là đặc trưng thuộc tính thu được từ toàn bộ hình dáng ảnh, chẳng
hạn như chu vi, tính tròn, mô men trung tâm, hướng trục chính… Đặc trưng
cục bộ là đặc trưng thu được từ việc thao tác với một phần của ảnh, không
phụ thuộc vào toàn bộ ảnh.
 Chuyển động (Motion):
Motion là thuộc tính quan trọng của video. Thông tin về chuyển động có
thể được sinh ra bằng các kỹ thuật ghép khối với luồng ánh sáng. Các đặc
trưng chuyển động như mô men của trường chuyển động, biểu đồ chuyển
động hoặc là các tham số chuyển động toàn cục có thể được trích chọn từ


8

vecto chuyển động. Các đặc trưng mức cao phản ánh di truyền camera như
quét camera (pan), nghiêng (tilt), phóng to (zoom out), thu nhủ (zoom in)
cũng có thể được trích chọn.

1.2 Bài toán theo dõi đối tượng
Theo dõi đối tượng là việc phát hiện một chuỗi các hành vi của đối
tượng chuyển động trong một thời gian từ các khung hình thu được. Thủ
tục này đưa ra các thông tin về đối tượng được theo dõi như đường đi của
đối tượng, tốc độ hay hướng chuyển động.

Hình 1-3. Theo dõi khách bộ hành
(nguồn: IEEE Computer Vision and Pattern Recognition, 2007).
Mục tiêu của bài toán theo vết đối tượng là để “hiểu” được những
chuyển động của đối tượng. “Hiểu” những thông tin về đối tượng như vị trí
trong không gian, vận tốc chuyển động và những đặc trưng vật lý khác.

Hình 1-4 Hệ thống camera điều khiển xe tự hành SCABOR
(nguồn: Technological University of Cluj Napoca).


9

Hầu hết khó khăn của bài toán theo vết đối tượng là khả năng biến
động của ảnh video. Khi một đối tượng chuyển qua vùng quan sát khác trên
khung hình, hình ảnh về đối tượng có thể thay đổi rất nhiều. Sự thay đổi
này đến từ 3 nguồn chính: sự thay đổi tư thế đối tượng (như người đang
đứng chuyển sang tư thế ngồi; xe đang đi thẳng quẹo sang trái …) hay sự
biến dạng của đối tượng, sự thay đổi về độ sáng, và sự che khuất một phần
hay toàn bộ đối tượng (như khi hai người hay xe đi ngang qua nhau).
Có nhiều phương pháp tiếp cận bài toán theo dõi đối tượng, và có thể
chia ra thành hai hướng chính:


Hướng từ trên xuống: Xuất phát từ các quan sát, thực hiện rút

trích,
phân vùng các hình ảnh hay các khung hình đầu vào để tìm ra đối tượng
cần theo vết.


Hướng từ duới lên: Cách tiếp cận này sử dụng các giả thuyết

về đối
tượng và kiểm tra giả thiết bằng cách sử dụng các dữ liệu có được từ hình
ảnh.
Một hệ thống giám sát thông minh bằng hình ảnh là một tập hợp các
bài toán nhỏ. Nhìn một cách tổng quan:


Đầu vào của hệ thống sẽ là hình ảnh thu được tại các điểm

quan
sát
 Đầu ra của hệ thống sẽ là các thông tin về chuyển động, hành
vi,
lớp… của các đối tượng được giám sát.
Việc xử lý của hệ thống giám sát thông minh bằng hình ảnh tóm lại
có thể hiểu là việc phân tích và xử lý hình ảnh video qua việc giải quyết các
bài toán sau:


10

Bài toán 1: Phát hiện các đối tượng chuyển động là bước cơ bản đầu
tiên trong bài toán phân tích hình ảnh video, công việc này khái quát lại đó


11

là việc tách các các đối tượng chuyển động trong từ các hình ảnh nền của
các đối tượng đó. Phương pháp thường được sử dụng trong bài toán này đó
là: phương pháp trừ ảnh nền, các phương pháp dựa trên thống kê, phương
pháp chênh lệch tạm thời, và các phương pháp dựa trên luồng thị giác[4].
Bài toán 2: Phân lớp đối tượng là công việc phân loại ra các lớp đối
tượng đã được tìm ra theo các lớp đã được định nghĩa trước như: Lớp
người, lớp phương tiện, lớp động vật,… Đây là bước cần thiết để có thể
tiếp tục phân tích các hoạt động của chúng. Hiện tại có hai hướng chính
tiếp cận để giải quyết bài toán này đó là: Hướng tiếp cận dựa trên hình
dáng của các vết và hướng tiếp cận dựa trên chuyển động của các đối
tượng. Hướng tiếp cận dựa trên hình dáng của đối tượng hoàn toàn dựa vào
các tính chất 2D của các vết tìm được, trong khi đó hương tiếp cận dựa trên
chuyển động của đối tượng dựa trên các tính chất chuyển động của đối
tượng theo thời gian.
Bài toán 3: Theo dõi đối tượng đó là công việc đưa ra một chuỗi các
hành vi của đối tượng chuyểng động trong một thời gian từ các khung hình
thu được. Thủ tục này đưa ra các thông tin về đối tượng được theo dõi như
đường đi của đối tượng, tốc độ hay hướng chuyển động của đối tượng. Từ
đó có thể dự đoán được hành động của các đối tượng và mô tả được hành
động của chúng. Đầu vào của quá trình này đó là các đầu ra các quá trình
tìm và phân lớp đối tượng chuyển động.
Các bài toán này không những được nghiên cứu và áp dụng trong các
hệ thống giám sát mà còn được áp dụng trong các lĩnh vực khác như: thực
tại ảo, nén hình ảnh, giao diện người máy, biên tập video và cơ sở dữ liệu
đa phương tiện, là các hướng tiếp cận phát triển công nghệ đa phương tiện
trong tương lai.


12

1.3 Ứng dụng thực tế - giám sát thông minh
Theo dõi đối tượng chuyển động là bài toán được đặt ra từ rất sớm,
và đã được ứng dụng một cách hết sức rộng rãi trong cuộc sống cũng như
trong các công trình nghiên cứu khoa học.
Một trong những ứng dụng quan trọng đó là hệ thống giám sát thông
minh. Ra đời từ những năm 1960 qua quá trình hoàn thiện vào phát triển,
ngày nay hệ thống giám sát thông minh là một trong những hệ thống trợ
giúp đắc lực cho con người, được dùng để giám sát giao thông, giám sát an
ninh, sử dụng trong các lĩnh vực quân sự, nghiên cứu không gian…
Tự động phát hiện chuyển động có thể nhắc người theo dõi khi cần
thiết. Có nhiều ứng dụng trong video giám sát như truy cập, kiểm soát,
nhận dạng người, và phát hiện bất thường. Giám sát trực quan thông minh
đề cập đến một quá trình giám sát hình ảnh tự động có liên quan đến phân
tích và giải thích các hành vi đối tượng, cũng như phát hiện và theo dõi đối
tượng, để hiểu các sự kiện hình ảnh của hiện trường [11]. Nhiệm vụ chính
bao gồm giải thích cảnh và kiểm soát giám sát diện rộng. Việc giải thích
cảnh phát hiện và theo dõi đối tượng chuyển động trong một chuỗi hình
ảnh để hiểu hành vi của họ.
Mô hình khái quát chung cho hệ thống giám sát thông minh:


13

PHÁT HIỆN ĐỐI TƯỢNG

PHÂN LỚP ĐỐI TƯỢNG

THEO DÕI ĐỐI TƯỢNG

THÔNG TIN ĐỐI TƯỢNG
CHUYỂN ĐỘNG

Hình 1-5 Mô hình hệ thống giám sát
Trên đây là mô hình tuần tự các bước giải quyết trong một bài toán
giám sát bằng hình ảnh. hệ thống giám sát khi thu nhận được các hình ảnh
video thu được từ các địa điểm được giám sát có ba phần:.
Đầu vào của bài toán là các khung hình video thu được. Qua quá
trình xử lý phát hiện đối tượng chuyển động (Object Detection ) sẽ đưa ra
các đối tượng chuyển động trong các khung hình video. Các đối tượng
được phát hiện (cụ thể là các vết chuyển động) sẽ qua quá trình phân lớp
đối tượng (Object Classification ) để phân lớp các đối tượng đó thuộc lớp
nào, sự vật nào. Và cuối cùng là quá trình xử lý để theo dõi đối tượng
(Object Tracking) đó là việc tìm ra đường chuyển động của đối tượng, dự
đoán chuyển động, và việc xử lý các nhập nhằng trong chuyển động của
nhiều đối tượng khác nhau trong một đoạn video.


14

Từ các khung hình thu được ở các nơi quan sát, qua khối xử lý phát
hiện đối tượng chuyển động sẽ xác định được đâu là đối tượng chuyển
động. Cụ thể hơn, có thể chỉ ra được các đối tượng chuyển động trong đoạn
video thu được một cách trực quan. Đầu ra của quá trình này sẽ là các vết,
hình dạng của đối tượng chuyển động để làm đầu vào của khối phân loại
đối tượng chuyển động.
Khối xử lý phát hiện đối tượng chuyển động có thể coi là khối xử lý
đâu tiên trong hệ thống giám sát thông minh bằng hình ảnh. Vì hiệu quả,
tính chính xác của khối xử lý này sẽ ảnh hưởng đến đầu vào và đầu ra của
các khối xử lý tiếp theo. Chính vì thế nó ảnh hưởng lớn đến hiệu quả và
tính tin cậy của toàn hệ thống giám sát thông minh.
Phân loại đối tượng là khâu trung gian và đóng vai trò quan trọng
trong toàn hệ thống, vì đây là đầu vào của khối theo vết đối tượng và cũng
là đầu ra của toàn bộ hệ thống. Bởi vậy đây cũng là một phần không thể
thiếu trong toàn bộ hệ thống.
Khối xử lý theo vết đối tượng là khối xử lý không thể thiếu trong hệ
thống giám sát thông minh vì hiệu quả của khối xử lý này ảnh hưởng trực
tiếp đến đầu ra của toàn bộ hệ thống. Do đó giải quyết tốt vấn đề theo vết
đối tượng sẽ đưa lại tính chính xác và độ tin cậy cho hệ thống giám sát.
Vấn đề này đã được nghiên cứu và phát triển trong nhiều năm, song
hướng phát triển hoàn thiện các khối xử lý phát hiện, phân loại và theo dõi
đối tượng chuyển động vẫn đang được quan tâm. Các hướng tiếp cận mới
nhằm phát hiện, phân loại và theo dõi các đối tượng một cách hiệu quả, tính
chính xác cao nhất với điều kiện môi trường, hoàn cảnh giám sát khác
nhau. Chính vì vậy khóa luận tốt nghiệp này sẽ trình bày các nghiên cứu và
thực nghiệm về bài toán phát hiện, phân loại, theo dõi đối tượng chuyển
động trong hệ thống theo dõi, giám sát thông minh bằng hình ảnh nhằm mô
hình hóa và giải quyết trọn vẹn bài toán phát hiện, phân loại, theo dõi đối
Số hóa bởi Trung tâm Học liệu - ĐHTN

http://www.lrc-tnu.edu.vn/


15

tượng chuyển động tiến tới hoàn thiện môt hệ thống giám sát thông minh
bằng hình ảnh với hiệu quả tính chính xác cao nhất.

Hình 1-6: Hệ thống camera giám sát giao thông.

Hình 1-7 Hệ thống camera giám sát an ninh.
Số hóa bởi Trung tâm Học liệu - ĐHTN

http://www.lrc-tnu.edu.vn/


16

Ngoài ra hệ thống theo dõi đối tượng còn được ứng dụng rộng rãi
trong công nghệ máy ảnh kĩ thuật số với các chức năng tự động lấy nét,
nhận diện khuôn mặt, nhận diện nụ cười…

Hình 1-8: Công nghệ nhận diện khuôn mặt.

1.4 Thành phần của thuật toán
Thuật toán theo dõi đối tượng thực chất là tìm một vùng ảnh di
chuyển từ khung hình này sang khung hình khác nên mỗi nhóm đối tượng
sẽ có các đặc điểm riêng. Trong luận văn này, bài toán theo dõi đối tượng
được tìm hiểu theo hướng tiếp cận từ dưới lên và có các bước chính như
sau:


Xây dựng một “mô hình tham chiếu” (reference model) để mô tả

đối
tượng cân theo vết.
 Sau đó trên mỗi khung hình đầu vào, dựa trên các hàm thực thi so
sánh và thuật toán tìm vùng nào mà gần giống với “mô hình tham chiếu”
nhất.
Mô hình tham chiếu (Reference model) là mô hình mô tả các thông tin
về “vẻ bề ngoài” của đối tượng cần theo vết . Có nhiều cách xây dưng mô
hình tham chiếu cho đối tượng như các mức xám , mô hình đường viền , và
Số hóa bởi Trung tâm Học liệu - ĐHTN

http://www.lrc-tnu.edu.vn/


17

cách thường dùng nhất trong các ứng dụng t heo vết đối tượng la dung mô
hình màu (color model), tuy nhiên có một sô vân đê đặt ra:


Nên dùng hệ màu nào ? RGB hay HSV , ... Lưu y răng khi chung

ta
dùng mô hình màu để làm mô hình tham chiếu có nghĩa là đã thêm một giả
sư la chung t a chi theo vết cac đối tượng trên

mô hình màu đã chọn chư

không phai la mô hình màu khác. Ngoài ra , cũng cần chọn kĩ hệ màu vì
màu rât nhạy cảm vơi độ sáng, khung cảnh.


Chọn mô hinh phân bố (distribution)? Có nhiều cách để tạo mô

hình
phân bố như Gaussian , hoăc Mixture Gaussian , hoăc chi đơn gian như
histogram.
 Hàm thực thi sự so sánh (similarity measure).
Đê so sánh giưa mô hình ứng viên (candidate model ) và mô hình
tham chiếu (reference model) trong mỗi khung hình đầu vào (input frame),
ta cân phai co môt ham tính toán độ giông nhau (similarity measure). Hàm
này có nhiệm vụ tính toán mức độ tương đồng/giống nhau giữa hai đối
tượng trên, từ đó xác định được trạng thái của đối tượng cần theo vết. Ví
dụ, hàm SSD (Sum of Squared Differences ) đươc dung trong trương hơp
thỏa điều kiện độ sáng không đổi nghĩa là giá trị ánh sáng của các điểm ảnh
không thay đổi từ khung hình này sang khung hình khác; hàm SAD (Sum
of Absolute Differences).
Hiện nay còn nhiều vấn đề phức tạp cần xử lý trong bài toán theo dõi
đối tượng. Do đó, đã có nhiều kĩ thuật được phát triển để giải quyết các vấn
đề của bài toán, được phân loại thành các nhóm kĩ thuật sau:

Số hóa bởi Trung tâm Học liệu - ĐHTN

http://www.lrc-tnu.edu.vn/


18

1.4.1. Theo dõi điểm
Theo dõi điểm là phương pháp theo dõi mạnh, đáng tin cậy và chính
xác được phát triển bởi Veenman và cộng sự [9]. Phương pháp này thường
được sử dụng để theo dõi các phương tiện đi lại. Phương pháp này đòi hỏi
khả năng phát hiện đối tượng ở mức cao. Phương pháp này dùng các
phương pháp xác định hoặc xác suất [10]. Đối tượng được theo dõi dựa
trên điểm được biểu diễn trong khung hình liên tiếp và nhóm của các điểm
dựa trên trạng thái đối tượng trước đó có thể bao gồm vị trí đối tượng và
chuyển động. Phương pháp này đòi hỏi phải có một cơ chế bên ngoài để
phát hiện các đối tượng trong mỗi khung..

Hình 1-9: Theo dõi điểm.
Theo dõi có thể được xây dựng như sự tương ứng của các đối tượng
được đại diện bởi các điểm trên khung hình. Điểm tương ứng là một vấn đề
phức tạp, đặc biệt trong sự xuất hiện ăn khớp, phát hiện các điểm đó giữa
các khung hình. Nhìn chung phương pháp xác định điểm tương ứng có thể
được chia thành hai loại cụ thể là: phương pháp xác định và thống kê.
Số hóa bởi Trung tâm Học liệu - ĐHTN

http://www.lrc-tnu.edu.vn/


19

1.4.2. Theo dõi hạt nhân
Theo dõi hình dạng thường được thực hiện bằng cách tính toán
chuyển động của đối tượng được đại diện bởi một đối tượng cơ bản trong
mỗi khung hình. Chuyển động đối tượng trong mỗi khung hình thường
dưới hình thức của tham số xác định. Các thuật toán được sử dụng để ước
tính chuyển động đối tượng. Chúng tôi phân chia các phương pháp theo dõi
vào hai thể loại dựa trên các đại diện của chúng cụ thể là: Tạo các mẫu và
các mô hình xuất hiện dựa trên mật độ hoặc theo dõi nhiều mô hình xuất
hiện.

Hình 1-10: Theo dõi theo hình dạng.
Trong phương pháp theo dõi này đòi hỏi hình dạng và sự xuất hiện
của đối tượng [9]. Trong phương pháp này bất kỳ đặc điểm nào của đối
tượng được sử dụng để theo dõi các đối tượng làm hạt nhân như mẫu hình
chữ nhật hoặc hình dạng elip với một biểu đồ liên quan. Sau đó tính toán
chuyển động giữa các đối tượng khung hình liên tiếp có thể được theo dõi.
Trong [4], theo dõi chuyển đổi trung bình được dựa trên phương pháp theo
dõi hạt nhân được sử dụng. Trong phương pháp này hình dạng E được sử

Số hóa bởi Trung tâm Học liệu - ĐHTN

http://www.lrc-tnu.edu.vn/


20

dụng. Đó là biểu diễn cho đặc điểm biểu đồ dựa trên bằng mặt nạ không
gian với một hạt nhân đẳng hướng.
1.4.3. Theo dõi bóng
Đối tượng có thể có hình dạng phức tạp, ví dụ, bàn tay, đầu và vai
có thể không được mô tả cũng bởi hình dạng hình học đơn giản. Phương
pháp theo dõi bóng dựa trên một mô tả hình dạng chính xác cho các đối
tượng này.

Hình 1-11: Theo dõi bóng và theo dõi điểm.
Trong phương pháp này Silhouette (bóng) được chiết xuất từ đối
tượng phát hiện. Nhờ vào so sánh hình dạng hoặc sự phát triển đường viền
bóng được theo dõi hoặc bằng cách tính toán vùng đối tượng trong khung
theo dõi liên tục được thực hiện. Phương pháp theo dõi bóng sử dụng các
thông tin được lưu trữ bên trong vùng đối tượng [6]. Thông tin này của
vùng có thể là mật độ xuất hiện và các mô hình hình dạng. Trong theo dõi
các đối tượng dựa trên các đặc điểm, đòi hỏi lựa chọn các đặc điểm phù
hợp, đóng vai trò quan trọng trong việc theo dõi. Nhìn chung, các đặc điểm
sử dụng để theo dõi phải là duy nhất để các đối tượng có thể dễ dàng phân
biệt trong không gian đặc trưng. Các đặc điểm khác nhau sau đây được sử
dụng để theo dõi đối tượng:
Số hóa bởi Trung tâm Học liệu - ĐHTN

http://www.lrc-tnu.edu.vn/


Tài liệu bạn tìm kiếm đã sẵn sàng tải về

Tải bản đầy đủ ngay

×