BË GIO DÖC V O TO
TR×ÍNG I HÅC BCH KHOA H NËI
L VN HÒNG
PHT HIN V NHN DNG ÈI T×ÑNG 3D HÉ
TRÑ SINH HOT CÕA NG×ÍI KHIM THÀ
Ng nh: Khoa håc m¡y t½nh
M¢ sè: 9480101
TÂM TT LUN N TIN S
KHOA HÅC MY TNH
H Nëi −2018
Cæng tr¼nh ÷ñc ho n th nh t¤i:
Tr÷íng ¤i håc B¡ch khoa H Nëi
Ng÷íi h÷îng d¨n khoa håc:
1. TS. Vô H£i
2. PGS. TS. Nguy¹n Thà Thõy
Ph£n bi»n 1: PGS.TS. L÷ìng Chi Mai
Ph£n bi»n 2: PGS.TS. L¶ Thanh H
Ph£n bi»n 3: PGS.TS. Nguy¹n Quang Hoan
Luªn ¡n s³ ÷ñc b£o v» tr÷îc Hëi çng ¡nh gi¡ luªn ¡n ti¸n s¾
c§p Tr÷íng håp t¤i Tr÷íng ¤i håc B¡ch khoa H Nëi:
V o hçi..........gií, ng y.......th¡ng.......n«m.......
Câ thº t¼m hiºu luªn ¡n t¤i th÷ vi»n:
1. Th÷ vi»n T¤ Quang Bûu - Tr÷íng HBK H Nëi
2. Th÷ vi»n Quèc gia Vi»t Nam
MÐ U
T½nh c§p thi¸t cõa luªn ¡n
Ng÷íi Khi¸m Thà (NKT) th÷íng g°p nhi·u khâ kh«n trong cuëc sèng h ng ng y.
Ng y nay, ¢ câ nhi·u h» thèng hé trñ cho NKT ¢ ÷ñc ph¡t triºn nh÷ dàch vö ành
và ho°c ph¡t hi»n ch÷îng ng¤i vªt cõa (iNavBelt, GuideCane products Andreas et al.
IROS, 2014; Rimon et al.,2016), nhªn d¤ng èi t÷ñng trong si¶u thà cõa (EyeRing
Media MIT). Mët trong c¡c t¼nh huèng phê bi¸n nh§t trong cuëc sèng h ng ng y cõa
NKT l c¦n (truy v§n) t¼m ki¸m v ành và c¡c èi t÷ñng trong nh v sau â c¦m
nm chóng (v½ dö: truy v§n c¡c èi t÷ñng phê bi¸n nh÷ chai, cèc c ph¶, lå, v.v). Tuy
¥y l c¡c ho¤t ëng ìn gi£n cõa ng÷íi b¼nh th÷íng nh÷ng â l cæng vi»c ¦y thû
th¡ch vîi NKT. Qu¡ tr¼nh x¥y düng mët h» thèng hé trñ cho NKT, khæng ch¿ l x¡c
ành và tr½ cõa èi t÷ñng m c¦n cung c§p th¶m c¡c thæng tin v· èi t÷ñng ÷ñc truy
v§n (v½ dö: k½ch th÷îc cõa èi t÷ñng, tr¤ng th¡i cõa èi t÷ñng l ùng hay n¬m tr¶n
b n, h÷îng an to n cho vi»c c¦m nm).
Chóng tæi xem x²t mët kàch b£n thüc t¸ m NKT th÷íng g°p trong cuëc sèng
h ng ng y, nh÷ thº hi»n trong h¼nh 1. º t¼m ki¸m mët cèc uèng tr ho°c c ph¶, anh
§y (cæ §y) v o trong nh b¸p v t¼m ki¸m trong mæi tr÷íng º c¦m nm èi t÷ñng c¦n
t¼m. Ng÷íi â t¤o truy v§n "Cèc c ph¶ ð ¥u?", "K½ch th÷îc cõa cèc l bao nhi¶u?",
"Cèc l n¬m hay ùng tr¶n b n?". H» thèng trñ gióp c¦n cung c§p c¡c thæng tin cho
NKT c¦m nm c¡c èi t÷ñng v câ thº tr¡nh ÷ñc c¡c tai n¤n nh÷ bà bäng. M°c dò khi
ph¡t hi»n, nhªn d¤ng èi t÷ñng 3-D tr¶n £nh 2-D v câ th¶m £nh ë s¥u ¢ ÷ñc tr¼nh
b y trong (Bo et al. NIPS, 2010, Bo et al. CVPR, 2011, Bo et al. IROS, 2011), k¸t qu£
công ch¿ cung c§p ÷ñc thæng tin v· nh¢n cõa èi t÷ñng. Thæng tin m h» thèng thu
thªp ÷ñc tø mæi tr÷íng l c¡c khung h¼nh (£nh) trong mæi tr÷íng cõa NKT, do â
dú li»u c¡c èi t÷ñng tr¶n b n ch¿ l mët ph¦n câ thº nh¼n th§y cõa vªt thº nh÷ m°t
tr÷îc cõa cèc, hëp ho°c tr¡i c¥y. Trong khi thæng tin m NKT c¦n l thæng tin v· và
tr½, k½ch th÷îc v h÷îng º c¦m nm mët c¡ch an to n. Do â, chóng tæi sû döng "÷îc
l÷ñng c§u tróc h¼nh håc cõa èi t÷ñng 3-D" º ÷îc l÷ñng thæng tin cõa c¡c èi t÷ñng.
Khi bi¸t èi t÷ñng ÷ñc truy v§n l mët cèc c ph¶, chóng th÷íng l h¼nh trö v
n¬m tr¶n b n (m°t ph¯ng), h» thèng hé trñ câ thº gi£i quy¸t c¡c truy v§n b¬ng c¡ch
÷îc l÷ñng c§u tróc h¼nh håc cì b£n tø dú li»u ¡m m¥y iºm thu ÷ñc. Thæng tin bi¸t
tr÷îc khi quan s¡t tø ngú c£nh thüc t¸ nh÷: cèc th÷íng ùng tr¶n b n, c¡c r ng buëc
theo ngú c£nh nh÷ c¡c bùc t÷íng vuæng gâc vîi m°t ph¯ng b n; k½ch th÷îc v chi·u
cao cõa èi t÷ñng ÷ñc truy v§n l giîi h¤n. C¡c thæng tin n y s³ l thæng tin câ gi¡
trà º c£i thi»n hi»u su§t cõa h» thèng.
1
H¼nh 1: Minh håa mët ngú c£nh thüc: Mët NKT v o trong b¸p v °t ra truy v§n
"C¡i cèc ð ¥u?". B¶n tr¡i thº hi»n c¡ch gn Kinect tr¶n ngüc ng÷íi.
B¶n ph£i thº hi»n h» thèng ÷ñc ph¡t triºn tr¶n Laptop.
Chóng tæi nhªn th§y r¬ng c¡c èi t÷ñng truy v§n câ thº ÷ñc ành và thæng qua
vi»c ìn gi£n hâa b¬ng c¡c c§u tróc h¼nh håc ìn gi£n: nh÷ c¡c m°t ph¯ng ÷ñc ph¥n
o¤n (hëp), h¼nh trö (cèc c ph¶, lon soda), h¼nh c¦u (qu£ bâng, hoa qu£), h¼nh nân
(ph¹u). V§n · n y khæng gi£i quy¸t ÷ñc b¬ng ph÷ìng ph¡p düa tr¶n håc tr¶n dú
li»u 3-D v¼ h» thèng trñ gióp y¶u c¦u thíi gian t½nh to¡n nhanh v ìn gi£n hâa. Düa
tr¶n nhúng þ t÷ðng n y, mët mæ h¼nh cho gi£i quy¸t v§n · "Ph¡t
t÷ñng 3-D hé trñ ng÷íi khi¸m thà"
hi»n, nhªn d¤ng èi
÷ñc · xu§t. Nâ bao gçm mët sè nhi»m vö bao
gçm: (1) t¡ch c¡c èi t÷ñng truy v§n tø m°t ph¯ng b n sau khi ph¡t hi»n m°t ph¯ng
b n v sû döng th¶m kÿ thuªt tåa ë; (2) ph¡t hi»n c¡c ùng vi¶n cõa èi t÷ñng quan
t¥m sû döng c¡c °c tr÷ng tr¶n c¡c èi t÷ñng; v (3) ÷îc l÷ñng mët mæ h¼nh ¦y õ
cõa èi t÷ñng ÷ñc truy v§n tø dú li»u ¡m m¥y iºm 3-D. Trong â nhi»m vö cuèi
còng câ vai trá quan trång nh§t. Thay v¼ k¸t hñp c¡c mæ h¼nh 3-D th nh ph¦n cõa
èi t÷ñng ÷ñc truy v§n th nh mæ h¼nh 3-D nh÷ c¡c ph÷ìng ph¡p düa tr¶n håc thæng
th÷íng, nghi¶n cùu n y tªp trung v o vi»c x¥y düng mët mæ h¼nh h¼nh håc ìn gi£n
cõa c¡c èi t÷ñng ÷ñc truy v§n tø c¡c ¡m m¥y iºm khæng câ c§u tróc ÷ñc thu
thªp bði c£m bi¸n m u sc v ë s¥u.
Möc ti¶u cõa luªn ¡n
Trong luªn ¡n, möc ti¶u cõa chóng tæi l · xu§t mët h» thèng b·n vúng cho vi»c
ph¡t hi»n v nhªn d¤ng èi t÷ñng 3-D. ¥y l mët ph÷ìng thùc kh£ thi º ph¡t triºn
mët ùng döng thüc t¸, mæ h¼nh ÷ñc · xu§t n¶n ìn gi£n, b·n vúng v th¥n thi»n
vîi NKT. Tuy nhi¶n, c¦n l÷u þ r¬ng câ nhúng v§n · quan trång câ thº £nh h÷ðng
¸n hi»u su§t cõa h» thèng ÷ñc · xu§t. °c bi»t, mët sè v§n · c¦n gi£i quy¸t ÷ñc
li»t k¶ nh÷ sau: (1) èi t÷ñng ÷ñc truy v§n trong mët c£nh phùc t¤p v tr÷íng hñp
chóng câ thº bà che khu§t; (2) câ nhi¹u tø dú li»u thu thªp ÷ñc; v (3) thíi gian t½nh
to¡n lîn khi h» thèng thüc hi»n tr¶n dú li»u ¡m m¥y iºm. M°c dò c¡c cæng tr¼nh
nghi¶n cùu li¶n quan v· ph¡t hi»n v nhªn d¤ng èi t÷ñng 3-D ¢ cè gng gi£i quy¸t
nhúng v§n · n y trong mët thíi gian d i nh÷ng v¨n cán nhúng tçn t¤i. Trong nghi¶n
cùu n y, c¡c v§n · n¶u tr¶n khæng ÷ñc gi£i quy¸t ri¶ng r³. Thay v o â, chóng tæi
2
H¼nh 2: Minh håa qu¡ tr¼nh ph¡t hi»n èi t÷ñng 3-D düa tr¶n truy v§n trong mæi
tr÷íng trong nh . Mæ h¼nh èi t÷ñng ¦y õ l h¼nh trö m u xanh l¡ c¥y ÷îc l÷ñng tø
¡m m¥y iºm cõa cèc c ph¶ (c¡c iºm m u ä).
¢ · xu§t mët gi£i ph¡p thèng nh§t. º gi£ quy¸t ÷ñc nhúng v§n · n y, c¡c möc
ti¶u cö thº l :
- · xu§t mët h» thèng ho n ch¿nh hé trñ ph¡t hi»n èi t÷ñng 3-D düa tr¶n truy
v§n cõa NKT vîi ë ch½nh x¡c cao. H¼nh 2 minh håa qu¡ tr¼nh ph¡t hi»n èi
t÷ñng 3-D düa tr¶n truy v§n trong mæi tr÷íng trong nh .
- Triºn khai mët ùng döng thüc º ành và v cung c§p thæng tin mæ t£ cõa èi
t÷ñng hé trñ cho vi»c c¦m nm c¡c èi t÷ñng cõa NKT. Ùng döng ÷ñc ¡nh
gi¡ trong c¡c t¼nh huèng thüc t¸ nh÷ pháng chia s´, dòng chung, nh b¸p, v.v.
Ngú c£nh, r ng buëc, th¡ch thùc cõa luªn ¡n
H¼nh 1 cho th§y ngú c£nh khi mët NKT ¸n mët pháng cafe v sû döng mët h»
thèng hé trñ º ành và mët vªt thº tr¶n b n. ¦u v o cõa h» thèng l mët truy v§n
v ¦u ra l và tr½ èi t÷ñng trong khæng gian 3-D v thæng tin cõa èi t÷ñng (k½ch
th÷îc, chi·u cao). H» thèng ÷ñc · xu§t ho¤t ëng vîi c£m bi¸n Kinect MS phi¶n
b£n 1. C£m bi¸n Kinect ÷ñc gn tr¶n ngüc cõa NKT v m¡y t½nh x¡ch tay ÷ñc º
trong ba læ nh÷ trong h¼nh 1 - d÷îi. Düa tr¶n ngú c£nh °t ra cõa h» thèng v dú li»u
thu thªp, câ mët sè th¡ch thùc ÷ñc li»t k¶ nh÷ sau:
Sü che khu§t v ph¥n cöm c¡c èi t÷ñng quan t¥m: Trong thüc t¸, khi mët NKT
v o mët pháng cafe ho°c nh b¸p º t¼m mët vªt thº tr¶n b n, nhúng vªt thº
÷ñc truy v§n câ thº bà che khu§t mët ph¦n bði c¡c èi t÷ñng kh¡c. T¤i mët
h÷îng nh¼n nh§t ành, mët c£m bi¸n MS Kinect ch¿ thu ÷ñc mët ph¦n cõa vªt
thº. Do â, dú li»u cõa c¡c èi t÷ñng ÷ñc truy v§n bà thi¸u. T¼nh huèng kh¡c
l dú li»u bao gçm nhi·u nhi¹u v¼ h¼nh £nh ë s¥u thu ÷ñc tø c£m bi¸n Kinect
phi¶n b£n 1 th÷íng bà £nh h÷ðng bði i·u ki»n chi¸u s¡ng. Nhúng v§n · n y l
nhúng th¡ch thùc cho vi»c ÷îc l÷ñng, ph¡t hi»n v ph¥n lo¤i c¡c èi t÷ñng tø
mët ¡m m¥y iºm.
C¡c èi t÷ñng kh¡c nhau nh÷ng câ còng c§u tróc h¼nh håc: H» thèng hé trñ cho
3
NKT truy v§n c¡c èi t÷ñng thæng döng trong cuëc sèng h ng ng y. Thüc t¸
l cèc tr ho°c c ph¶ câ "m u xanh" ho°c "m u v ng", chai câ còng mët c§u
tróc h¼nh håc cì b£n (mæ h¼nh h¼nh trö). Nhúng èi t÷ñng n y câ c§u tróc h¼nh
håc gièng nhau nh÷ng câ m u sc kh¡c nhau. Chóng tæi khai th¡c c¡c kÿ thuªt
düa tr¶n håc m¡y º håc c¡c °c tr÷ng xu§t hi»n tr¶n èi t÷ñng (tr¶n h¼nh £nh
RGB) º nhªn d¤ng c¡c èi t÷ñng truy v§n.
Thíi gian t½nh to¡n: Mët ¡m m¥y iºm cõa mët c£nh ÷ñc t¤o ra tø mët h¼nh
£nh vîi k½ch th÷îc 640 × 480 iºm £nh bao gçm h ng tr«m ngh¼n iºm. V¼ vªy,
t½nh to¡n trong mæi tr÷íng 3-D th÷íng ái häi chi ph½ t½nh to¡n cao hìn khi thüc
hi»n trong mæi tr÷íng 2-D r§t nhi·u.
ành ngh¾a c¡c tham sè theo kinh nghi»m: Trong luªn ¡n n y, mët sè tham sè
÷ñc x¡c ành tr÷îc. V½ dö: NKT câ chi·u cao ÷ñc x¡c ành tr÷îc v c¡c tham
sè kh¡c ÷ñc chån ¡p döng cho c¡c r ng buëc theo ngú c£nh (v½ dö: k½ch th÷îc
m°t ph¯ng b n trong c£nh, giîi h¤n chi·u cao cõa èi t÷ñng, v.v.).
C¡c âng gâp cõa luªn ¡n
Mët sè âng gâp ch½nh cõa luªn ¡n nh÷ sau:
âng gâp 1: · xu§t mîi mët bë ÷îc l÷ñng b·n vúng ÷ñc gåi l
(GCSAC -
Sü çng thuªn cõa c¡c m¨u düa tr¶n r ng buëc h¼nh håc) º ÷îc l÷ñng c¡c c§u
tróc h¼nh håc cì b£n tø ¡m m¥y iºm cõa c¡c èi t÷ñng. Thuªt to¡n ÷îc l÷ñng
÷ñc · xu§t düa tr¶n thuªt to¡n RANSAC v l mët bi¸n thº cõa RANSAC.
Nâ düa tr¶n r ng buëc h¼nh håc º chån
'm¨u tèt'
cho ÷îc l÷ñng c¡c c§u tróc
h¼nh håc cì b£n. Hìn núa, chóng tæi mð rëng GCSAC b¬ng c¡ch sû döng r ng
buëc ngú c£nh º c£i thi»n k¸t qu£ ÷îc l÷ñng mæ h¼nh.
âng gâp 2: · xu§t mët nghi¶n cùu so s¡nh tr¶n ba ph÷ìng thùc kh¡c nhau
cho vi»c nhªn d¤ng èi t÷ñng 3-D trong c£nh phùc t¤p. K¸t qu£ l ph÷ìng thùc
tèt nh§t l sü k¸t hñp cõa kÿ thuªt håc s¥u v bë ÷îc l÷ñng b·n vúng GCSAC.
Ph÷ìng thùc n y ph¡t huy c¡c ÷u iºm cõa håc s¥u cho ph¡t hi»n èi t÷ñng tr¶n
£nh m u v khai th¡c bë ÷îc l÷ñng b·n vúng º ÷îc l÷ñng mæ h¼nh ¦y õ cõa
èi t÷ñng ÷ñc truy v§n tr¶n dú li»u ¡m m¥y iºm.
âng gâp 3: Ph¡t tri·n th nh cæng h» thèng düa tr¶n ph÷ìng thùc · xu§t
cho vi»c ph¡t hi»n c¡c èi t÷ñng 3-D câ c§u tróc h¼nh håc ìn gi£n trong mæi
tr÷íng pháng th½ nghi»m. Ph÷ìng thùc n y l sü k¸t hñp cõa ph÷ìng thùc ph¡t
hi»n m°t ph¯ng b n, ph÷ìng thùc ph¡t hi»n v ÷îc l÷ñng èi t÷ñng 3-D. Ph÷ìng
thùc · xu§t ¢ ¤t ÷ñc möc ti¶u thíi gian t½nh to¡n nhanh trong vi»c ành và
v mi¶u t£ èi t÷ñng. Nh÷ k¸t qu£ thº hi»n, h» thèng · xu§t câ thº sû döng º
hé trñ cho NKT c¦m nm c¡c èi t÷ñng truy v§n.
4
C§u tróc cõa luªn ¡n
Trong luªn ¡n, chóng tæi · xu§t mët ph÷ìng thùc thèng nh§t º ph¡t hi»n c¡c
èi t÷ñng 3-D ÷ñc truy v§n ð tr¶n b n cõa NKT trong mæi tr÷íng trong nh . Mæ
h¼nh · xu§t bao gçm ba giai o¤n ch½nh nh÷ minh håa trong h¼nh 3.
Acceleration
vector
Microsoft
Kinect
RGB-D
image
Pre-processing step
Point cloud
representation
Objects
detection on
RGB image
Table plane
detection
3-D objects
location on the
table plane
3-D objects
model
estimation
3-D objects
information
Fitting 3-D objects
Candidates
H¼nh 3: Mæ h¼nh têng thº cõa h» thèng ph¡t hi»n èi t÷ñng 3-D tr¶n m°t b n düa tr¶n truy v§n
cõa ng÷íi khi¸m thà.
Nëi dung cõa luªn ¡n gçm 6 ch÷ìng nh÷ sau:
Giîi thi»u: Ch÷ìng n y mæ t£ sü c§p thi¸t v möc ti¶u ch½nh cõa nghi¶n cùu.
Chóng tæi công tr¼nh b y bèi c£nh, khâ kh«n v th¡ch thùc cõa nghi¶n cùu.
Nhúng y¸u tè n y câ thº ÷ñc c£i thi»n khi gi£i quy¸t c¡c v§n · li¶n quan trong
luªn ¡n. Ngo i ra, mæ h¼nh · xu§t v nhúng âng gâp ch½nh trong luªn ¡n n y
công ÷ñc tr¼nh b y.
Ch÷ìng 1: Nghi¶n cùu li¶n quan: Ch÷ìng n y chõ y¸u kh£o s¡t c¡c h» thèng
ho n ch¿nh hi»n câ trñ gióp cho NKT. °c bi»t, c¡c kÿ thuªt li¶n quan º x¥y
düng mët h» thèng trñ gióp cho NKT ÷ñc th£o luªn. Chóng tæi công tr¼nh b y
c¡c thuªt to¡n ÷îc l÷ñng v mët lo¤t c¡c kÿ thuªt cho ph¡t hi»n, nhªn d¤ng èi
t֖ng 3-D.
Ch÷ìng 2: Trong ch÷ìng n y, thº hi»n c¡ch thùc thu thªp dú li»u tø c£m bi¸n
MS Kinect, ph÷ìng ph¡p ph¡t hi»n m°t ph¯ng b n, ph¥n t¡ch m°t ph¯ng b n
v c¡c èi t÷ñng quan t¥m. Düa tr¶n ph÷ìng thùc gi£m dú li»u º gi£m thíi gian
xû lþ. Düa tr¶n nhúng r ng buëc cõa ngú c£nh, chóng tæi · xu§t ph÷ìng ph¡p
ph¡t hi»n m°t ph¯ng b n mîi.
Ch÷ìng 3: Ch÷ìng n y mæ t£ · xu§t mët bë ÷îc l÷ñng b·n vúng mîi º ÷îc
l÷ñng c¡c c§u tróc h¼nh håc cì b£n tø dú li»u ¡m m¥y iºm cõa c¡c èi t÷ñng.
Thuªt to¡n (GCSAC) sû döng c¡c r ng buëc h¼nh håc º chån c¡c m¨u tèt cho
vi»c ÷îc l÷ñng c¡c mæ h¼nh. Sau â, chóng tæi ¢ sû döng c¡c r ng buëc ngú
5
c£nh º c£i thi»n k¸t qu£ ÷îc l÷ñng.
Ch÷ìng 4: Ch÷ìng n y · xu§t mët ph÷ìng thùc thèng nh§t cho vi»c ph¡t hi»n
c¡c èi t÷ñng 3-D düa tr¶n truy v§n cõa NKT m khai th¡c hi»u n«ng cõa håc
s¥u v thuªt to¡n ÷îc l÷ñng b·n vúng ¢ · xu§t º ÷îc l÷ñng mæ h¼nh ¦y õ
cõa èi t÷ñng. Ph÷ìng thùc n y ÷ñc ¡nh gi¡ v so s¡nh vîi c¡c ph÷ìng ph¡p
ti¶n ti¸n kh¡c. çng thíi mët ùng döng ho n ch¿nh cho vi»c ph¡t hi»n èi t÷ñng
3-D v cung c§p c¡c thæng tin trñ gióp c¦m nm cho NKT công ÷ñc mæ t£,
thi¸t lªp v ¡nh gi¡.
Ch÷ìng 5: K¸t luªn v c¡c nghi¶n cùu trong t÷ìng lai: Chóng tæi k¸t luªn c¡c
k¸t qu£ nghi¶n cùu v th£o luªn v· nhúng h¤n ch¸ cõa c¡c ph÷ìng thùc ÷ñc ·
xu§t. C¡c h÷îng nghi¶n cùu ti¸p theo ÷ñc mæ t£ trong t÷ìng lai.
CH×ÌNG 1
CC NGHIN CÙU LIN QUAN
Trong ch÷ìng n y, chóng tæi tr¼nh b y têng quan v· c¡c nghi¶n cùu li¶n quan cõa
c¡c h» thèng trñ gióp cho NKT v c¡c ph÷ìng th÷c ph¡t hi»n èi t÷ñng trong mæi
tr÷íng trong nh . ¦u ti¶n, c¡c h» thèng trñ gióp cho NKT ¢ ÷ñc · xu§t ÷ñc
tr¼nh b y trong ph¦n 1.1. Sau â, c¡c bë ÷îc l÷ñng b·n vúng ¢ ÷ñc · xu§t v c¡c
ùng döng cõa c¡c bë ÷îc l÷ñng trong thà gi¡c m¡y t½nh, cæng ngh» robot ÷ñc tr¼nh
b y trong ph¦n 1.2. Cuèi còng, chóng tæi giîi thi»u v ph¥n t½ch c¡c cæng vi»c ¢
nghi¶n cùu tr÷îc ¥y v· ph¡t hi»n, nhªn d¤ng èi t÷ñng 3-D trong ph¦n 1.3.
6
1.1 C¡c h» thèng trñ gióp cho ng÷íi khi¸m thà
1.1.1
C¡c h» thèng trñ gióp ành h÷îng
1.1.2
C¡c h» thèng trñ gióp cho ph¡t hi»n vªt c£n
1.1.3
C¡c h» thæng trñ gióp cho ph¡t hi»n c¡c èi t÷ñng trong cuëc sèng
h ng ng y
1.1.4
Th£o luªn
1.2.1
C¡c thuªt to¡n ÷îc l÷ñng tuy¸n t½nh
1.2 Sì l÷ñc v· c¡c thuªt to¡n ÷îc l÷ñng c¡c c§u tróc h¼nh håc
1.2.2
Thuªt to¡n RANSAC v c¡c bi¸n thº cõa nâ
1.3 Ph¡t hi»n nhªn d¤ng èi t÷ñng 3-D tø dú li»u ¡m m¥y
iºm
1.3.1
H÷îng ti¸p cªn düa tr¶n sü xu§t hi»n èi t÷ñng
1.3.2
Ph÷ìng thùc düa tr¶n h¼nh håc
1.3.3
Th£o luªn
CH×ÌNG 2
BIU DIN DÚ LIU M M
Y IM V
XUT PH×ÌNG PHP PHT HIN MT BN
Mët thao t¡c thæng döng h ng ng y cõa NKT l t¼m ki¸m (truy v§n) mët èi
t÷ñng nh÷ cèc cafe, chai n÷îc tr¶n mët m°t ph¯ng. Chóng tæi gi£ sû m°t ph¯ng â l
m°t ph¯ng b n trong pháng dòng chung ho°c nh b¸p. º x¥y düng mët h» thèng hé
trñ cho NKT th¼ c¡c èi t÷ñng quan t¥m cõa NKT n¶n ÷ñc t¡ch ra khäi m°t ph¯ng
b n. Trong ph÷ìng thùc chung th¼ câ mët sè b÷îc nh÷ ph¡t hi»n v ÷îc l÷ñng mæ h¼nh
¦y õ cõa èi t÷ñng. Trong â ph¡t hi»n m°t ph¯ng b n ÷ñc coi nh÷ l mët b÷îc
ti·n xû lþ. Ch÷ìng n y ÷ñc tê chùc nh÷ sau: Chóng tæi tr÷îc h¸t giîi thi»u v· biºu
di¹n dú li»u ¡m m¥y iºm tø dú li»u £nh ë s¥u thu thªp tø c£m bi¸n Kinect trong
Ph¦n 2.1. Ti¸p theo l · xu§t ph÷ìng thùc cho ph¡t hi»n m°t b n trong (Ph¦n 2.2).
2.1 Biºu di¹n dú li»u ¡m m¥y iºm
2.1.1
Thu thªp dú li»u b¬ng c£m bi¸n Kinect
º thu thªp dú li»u cõa mæi tr÷íng cho vi»c x¥y düng h» thèng trñ gióp cho NKT
cho ph¡t hi»n, c¦m nm c¡c ç vªt câ c§u tróc h¼nh håc ìn gi£n tr¶n b n, chóng tæi
7
sû döng c£m bi¸n Kinect phi¶n b£n 1. nh m u v £nh ë s¥u thu ÷ñc tø c£m bi¸n
Kinect.
2.1.2
Biºu di¹n dú li»u ¡m m¥y iºm
K¸t qu£ cõa hi»u ch¿nh £nh m u v £nh ë s¥u l mët ma trªn bë tham sè trong
Hm cho vi»c chi¸u c¡c iºm £nh trong 2-D sang khæng gian 3-D nh÷ sau:
f x 0 cx
Hm = 0 fy cy
0 0 1
ð ¥y (cx , cy ) l iºm t¥m cõa £nh, fx v fy l ti¶u cü cõa c£m bi¸n.
2.2 Ph÷ìng thùc · xu§t cho ph¡t hi»n m°t ph¯ng b n
2.2.1
Khði ¦u
Ph¡t hi»n m°t b n trong ¡m m¥y iºm 3-D l nhi»m vö quan trång èi vîi nhi·u
ùng döng cõa thà gi¡c m¡y t½nh v cæng ngh» robot. º gióp ng÷íi mò ho°c khi¸m thà
t¼m v c¦m nm c¡c ç vªt quan t¥m (v½ dö: cèc c ph¶, chai, b¡t) tr¶n b n, ng÷íi ta
ph£i ph¡t hi»n m°t ph¯ng b n trong c£nh.
Vi»c n y ÷ñc ph¡t triºn düa tr¶n dú li»u gia tèc ÷ñc cung c§p bði c£m bi¸n MS
Kinect º gi£m c¡c ùng vi¶n l m°t b n ÷ñc ph¡t hi»n cho vi»c ph¡t hi»n c¡c ùng cû
vi¶n m°t ph¯ng b n.
2.2.2
Nghi¶n cùu li¶n quan
2.2.3
Ph÷ìng thùc · xu§t
2.2.3.1 Mæ h¼nh · xu§t
Bèi c£nh nghi¶n cùu cõa chóng tæi nh¬m möc ½ch ph¡t triºn mët h» thèng trñ
gióp t¼m ki¸m v c¦m nm c¡c èi t÷ñng cho NKT. Mæ h¼nh ÷ñc · xu§t cho vi»c
ph¡t hi»n m°t ph¯ng b n, nh÷ trong H¼nh 2.6, bao gçm bèn b÷îc: gi£m dú li»u, biºu
di¹n ¡m m¥y iºm câ c§u tróc, ph¥n o¤n m°t ph¯ng trong c£nh v ph¡t hi»n m°t
ph¯ng b n. Do cæng vi»c cõa chóng tæi ch¿ sû döng c¡c °c tr÷ng cõa dú li»u ë s¥u,
mët ph÷ìng ph¡p ìn gi£n, hi»u qu£ º gi£m v l m màn dú li»u ë s¥u ÷ñc mæ t£
d÷îi ¥y.
Cho mët cûa sê tr÷ñt (k½ch th÷îc n × n iºm £nh), gi¡ trà ë s¥u cõa iºm £nh
trung t¥m D(xc , yc ) ÷ñc t½nh to¡n tø cæng thùc 2.2:
PN
D(xc , yc ) =
i=1
D(xi , yi )
N
8
(2.2)
Acceleration
vector
Microsoft
Kinect
Down
sampling
Depth
Organized
point cloud
representation
Plane
segmentation
Plane
classification
Table
plane
H¼nh 2.6: Mæ h¼nh · xu§t cho ph¡t hi»n m°t ph¯ng b n.
ð ¥y D(xi , yi ) l gi¡ trà ë s¥u cõa iºm ith £nh l¡ng gi·ng cõa iºm £nh trung t¥m
(xc , yc ); N l sè iºm £nh l¡ng gi·ng vîi k½ch th÷îc n x n (N=(n x n) -1).
2.2.3.2 Ph¥n o¤n m°t ph¯ng
Quy tr¼nh chi ti¸t cõa ph¥n o¤n m°t ph¯ng ÷ñc ÷a ra trong thuªt to¡n trong
c¡ch ti¸p cªn cõa (Holz et al. RoboCup, 2011).
2.2.3.3 Ph¡t hi»n v tr½ch xu§t m°t b n
K¸t qu£ cõa b÷îc ¦u ti¶n l nhúng m°t ph¯ng m vuæng gâc vîi vector gia tèc.
Sau â, chóng tæi xoay tröc y cõa h» tröc tåa ë º nâ song song vîi vector gia tèc.
Tø r ng buëc cõa ngú c£nh, m°t ph¯ng b n l m°t ph¯ng cao nh§t trong c£nh, i·u
â câ ngh¾a l c¡c iºm thuëc m°t b n câ gi¡ trà y nhä nh§t.
2.2.4
Th½ nghi»m v c¡c k¸t qu£
2.2.4.1 Thi¸t lªp th½ nghi»m v cì sð dú li»u thu thªp
Cì sð dú li»u thù nh§t ÷ñc gåi l 'MICA3D' : MS Kinect phi¶n b£n 1 ÷ñc gn
tr¶n ngüc cõa ng÷íi, ng÷íi â di chuyºn quanh mët chi¸c b n trong pháng. Kho£ng
c¡ch giúa Kinect v t¥m cõa b n l kho£ng 1, 5 m. Chi·u cao cõa Kinect so vîi m°t
ph¯ng b n kho£ng 0, 6m. Chi·u cao cõa m°t b n l kho£ng 60 − 80 cm. Chóng tæi thu
thªp dú li»u cõa 10 c£nh kh¡c nhau trong pháng cafe, pháng tr÷ng b y v nh b¸p,
v.v. Nhúng c£nh n y bao gçm c¡c bèi c£nh chung trong c¡c ho¤t ëng h ng ng y cõa
NKT. Tªp dú li»u thù hai ÷ñc giîi thi»u trong (Richtsfeld et al. IROS, 2012). Tªp dú
li»u n y chùa dú li»u m u v ë s¥u ÷ñc hi»u ch¿nh cõa 111 c£nh. Méi c£nh câ mët
m°t ph¯ng b n. K½ch th÷îc cõa h¼nh £nh l 640 x 480 iºm £nh.
2.2.4.2 ¡nh gi¡ ph÷ìng thùc ph¡t hi»n m°t b n
Chóng tæi sû döng ba ë o ¡nh gi¡ l c¦n thi¸t º £m b£o ¡nh gi¡ v· ë l»ch
v· gâc, di»n t½ch cõa m°t b n ph¡t hi»n ÷ñc. Chóng ÷ñc ành ngh¾a nh÷ sau:
ë o ¡nh gi¡ 1 (EM1): ë o n y ¡nh gi¡ sü kh¡c bi»t giúa vector ph¡p tuy¸n
÷ñc tr½ch xu§t tø m°t ph¯ng b n ÷ñc ph¡t hi»n v vector ph¡p tuy¸n ÷ñc tr½ch
xu§t tø dú li»u gèc.
9
B£ng 2.2: K¸t qu£ trung b¼nh cõa ph¡t hi»n m°t b n tr¶n dú li»u
H÷îng ti¸p cªn
Ph÷ìng thùc
1
Ph÷ìng thùc
2
Ph÷ìng thùc
· xu§t
'MICA3D'
(%).
EM1
ë o ¡nh gi¡
Khæng ph¡t Khung
EM2 EM3 Trung b¼nh
h¼nh/s
hi»n
87.43
87.26
71.77
82.15
1.2
0.2
98.29
98.25
96.02
97.52
0.63
0.83
96.65 96.78 97.73
97.0
0.81
5
B£ng 2.3: K¸t qu£ trung b¼nh cõa m°t b n ph¡t hi»n ÷ñc tr¶n dú li»u [3] (%).
H÷îng ti¸p cªn
Ph÷ìng thùc
1
Ph÷ìng thùc
2
Ph÷ìng thùc
· xu§t
EM1
ë o ¡nh gi¡
Khæng ph¡t khung
EM2 EM3 Trung b¼nh
h¼nh/s
hi»n
87.39
68.47
98.19
84.68
0.0
1.19
87.39
68.47
95.49
83.78
0.0
0.98
87.39 68.47 99.09
84.99
0.0
5.43
ë o ¡nh gi¡ 2 (EM2): B¬ng c¡ch sû döng EM1, ch¿ câ mët iºm ÷ñc sû
döng ( iºm trung t¥m cõa dú li»u gèc) º ÷îc t½nh gâc. º gi£m £nh h÷ðng cõa nhi¹u,
sû döng nhi·u iºm hìn º x¡c ành vectì ph¡p tuy¸n cõa dú li»u gèc ÷ñc sû döng.
èi vîi EM2, 3 iºm (p1 , p2 , p3 ) ÷ñc chån ng¨u nhi¶n tø ¡m m¥y iºm gèc.
ë o ¡nh gi¡ 3 (EM3): Hai ë o ¡nh gi¡ ÷ñc tr¼nh b y ð tr¶n khæng t½nh
¸n di»n t½ch m°t ph¯ng b n ÷ñc ph¡t hi»n. Do â, · xu§t EM3 ÷ñc düa tr¶n þ
t÷ðng cõa ch¿ sè Jaccard º ph¡t hi»n èi t÷ñng.
r=
Rd ∩ Rg
Rd ∪ Rg
(2.6)
2.2.4.3 C¡c k¸t qu£
C¡c k¸t qu£ so s¡nh cõa ba ph÷ìng ph¡p ¡nh gi¡ kh¡c nhau tr¶n hai bë dú li»u
÷ñc thº hi»n trong b£ng 2.2 v b£ng 2.3.
2.2.5
Th£o luªn
Trong vi»c n y, mët ph÷ìng thùc º ph¡t hi»n m°t ph¯ng b n sû döng gi£m dú
li»u, vector gia tèc v c§u tróc ¡m m¥y iºm câ c§u tróc thu ÷ñc tø £nh m u v ë
s¥u cõa c£m bi¸n MS Kinect ÷ñc · xu§t.
10
2.3 Ph¥n t¡ch èi t÷ñng quan t¥m tr¶n b n
2.3.1
Chuyºn h» tröc tåa ë
2.3.2
Ph¥n t¡ch m°t b n v èi t÷ñng quan t¥m
2.3.3
Th£o luªn
CH×ÌNG 3
×ÎC L×ÑNG CC CU TRÓC HNH HÅC CÌ BN
BNG THUT TON ×ÎC L×ÑNG MÎI BN
VÚNG SÛ DÖNG CC RNG BUËC
3.1 ×îc l÷ñng c¡c c§u tróc h¼nh håc cì b£n b¬ng GCSAC
3.1.1
Khði ¦u
Mæ h¼nh h¼nh håc cõa mët èi t÷ñng quan t¥m câ thº ÷ñc ÷îc l÷ñng b¬ng c¡ch
sû döng tø hai ¸n b£y tham sè cõa Schnabel. [5]. Thuªt to¡n
sü çng thuªn m¨u
ng¨u nhi¶n (RANSAC) v c¡c tham sè cõa mæ h¼nh º tr½ch xu§t c¡c h¼nh d¤ng câ
thº bà sai ho°c nhi¹u lîn trong dú li»u, thíi gian xû lþ cao. °c bi»t, t¤i méi gi£ thuy¸t
trong mæ h¼nh cõa mët thuªt to¡n düa tr¶n RANSAC, mët qu¡ tr¼nh t¼m ki¸m nh¬m
t¼m ki¸m
m¨u tèt düa tr¶n c¡c r ng buëc cõa mët mæ h¼nh ÷îc l÷ñng ÷ñc thüc hi»n.
º thüc hi»n t¼m ki¸m c¡c m¨u tèt, chóng tæi x¡c ành hai ti¶u ch½: (1) C¡c m¨u ÷ñc
chån ph£i £m b£o phò hñp vîi mæ h¼nh ÷îc l÷ñng thæng qua ¡nh gi¡ t l» c¡c iºm
nëi t¤i (inlier ratio); (2) C¡c m¨u ph£i ¡p ùng c¡c r ng buëc h¼nh håc rã r ng cõa
c¡c èi t÷ñng quan t¥m (v½ dö: c¡c r ng buëc h¼nh trö).
3.1.2
C¡c nghi¶n cùu li¶n quan
3.1.3
· xu§t bë ÷îc l÷ñng mîi b·n vúng
3.1.3.1 Têng quan v· ÷îc l÷ñng b·n vúng ÷ñc · xu§t (GCSAC)
º ÷îc l÷ñng c¡c tham sè cõa mët c§u tróc h¼nh håc 3-D cì b£n, mët mæ h¼nh
RANSAC ban ¦u, nh÷ ÷ñc hiºn thà trong ph¦n tr¶n còng cõa h¼nh 3.2, chån sè m¨u
tèi thiºu ng¨u nhi¶n tø mët ¡m m¥y iºm v sau â c¡c tham sè mæ h¼nh ÷ñc ÷îc
l÷ñng v kiºm ành. Thuªt to¡n th÷íng khæng kh£ thi v· thíi gian t½nh to¡n v khæng
c¦n thi¸t ph£i thû t§t c£ c¡c m¨u câ thº ÷ñc chån. Ph÷ìng ph¡p ÷ñc · xu§t cõa
chóng tæi (GCSAC - trong ph¦n d÷îi còng cõa h¼nh 3.2) düa tr¶n phi¶n b£n gèc cõa
RANSAC, tuy nhi¶n nâ kh¡c nhau theo ba kh½a c¤nh ch½nh: (1) T¤i méi l¦n l°p l¤i,
bë m¨u tèi thiºu ÷ñc thüc hi»n khi quy tr¼nh l§y m¨u ng¨u nhi¶n ÷ñc chån, do â
vi»c kiºm tra dú li»u çng thuªn câ thº d¹ d ng ¤t ÷ñc. Nâi c¡ch kh¡c, mët ng÷ïng
11
No
A point
cloud
Randomly
sampling a
minimal subset
Geometrical
parameters
estimation M
Randomly
sampling
a minimal
subset
Geometrical
parameters
Estimation M
Model evaluation
M; Update the best
model
Update the number
of iterations K
adaptively (Eq. 3.2)
Terminate
?
yes
RANSAC/
MLESAC
paradigm
Proposed
Method
(GCSAC)
Randomly
sampling a
minimal
subset
Searching good
samples using
geometrical
constraints
Geometrical
parameters
estimation M
Model evaluation M via
(inlier ratio or Negative
log-likelihood);
Update the best model
Update the number
of iterations K
adaptively (Eq. 3.2)
Model evaluation M via
Negative
Log-likehood;
Update the best model
Update the number
of iterations K
adaptively (Eq. 3.2)
Estimated
Model
RANSAC Iteration
A point cloud
Search good sampling
based on Geometrical
constraint based on (GS)
Random sampling
Estimation model;
Compute the inlier ratio w
Yes
k=0: MLESAC
k=1:w≥ wt: Yes
k=1:w≥ wt: No
As MLESAC
Good samples
(GS)
w≥wt
Compute Negative loglihood L, update the best
model
No
k≤K
No
Estimated mode
H¼nh 3.2: Ph¦n tr¶n: Têng quan v· thuªt to¡n düa tr¶n RANSAC.
Ph¦n d÷îi: Sì ç triºn khai cõa GCSAC.
th§p ÷ñc x¡c ành tr÷îc câ thº ÷ñc triºn khai nh÷ mët i·u ki»n y¸u cõa t½nh nh§t
qu¡n. Sau â, ch¿ sau v i l¦n l°p m¨u ng¨u nhi¶n, c¡c ùng cû vi¶n m¨u tèt câ thº ¤t
÷ñc. (2) C¡c bë m¨u tèi thiºu bao gçm c¡c m¨u õ i·u ki»n £m b£o c¡c r ng buëc
h¼nh håc cõa èi t÷ñng quan t¥m. (3) i·u ki»n døng cõa thuªt to¡n RANSAC phò
hñp cõa (Hartley et al. 2003) ÷ñc sû döng º thuªt to¡n døng ngay khi tªp m¨u tèi
thiºu ÷ñc t¼m th§y cho sè l¦n l°p cõa ÷îc l÷ñng hi»n t¤i nhä hìn sè ¢ ¤t ÷ñc.
º x¡c ành i·u ki»n døng cho thuªt to¡n ÷îc l÷ñng, mët t½nh to¡n tèt º x¡c
ành sè l¦n l°p K l cæng thùc 3.2.
K=
log(1 − p)
log(1 − ws )
(3.2)
trong â p l x¡c su§t t¼m ÷ñc mæ h¼nh mæ t£ dú li»u, s l sè m¨u tèi thiºu c¦n thi¸t
º ÷îc l÷ñng mët mæ h¼nh, w l t l» ph¦n tr«m cõa c¡c iºm nëi t¤i trong ¡m m¥y
iºm.
12
3.1.3.2 Ph¥n t½ch h¼nh håc v c¡c r ng buëc cho lüa chån m¨u tèt
Trong c¡c ph¦n ti¸p theo, chóng tæi tr¼nh b y qu¡ tr¼nh ÷îc l÷ñng c¡c c§u tróc
h¼nh håc 3-D. Düa tr¶n ph¥n t½ch h¼nh håc n y, c¡c r ng buëc li¶n quan ÷ñc ÷a ra
º chån c¡c m¨u tèt.
Vector ph¡p tuy¸n cõa t§t c£ c¡c iºm ÷ñc t½nh theo c¡ch ti¸p cªn trong (Holz et
al. 2011) T¤i méi iºm pi , k-l¥n cªn g¦n nh§t kn cõa iºm pi ÷ñc x¡c ành trong mët
b¡n k½nh r. Do â, vector ph¡p tuy¸n cõa pi ÷ñc suy gi£m v· ph¥n t½ch vector ri¶ng
v c¡c gi¡ trà ri¶ng cõa ma trªn hi»p ph÷ìng sai C , ÷ñc tr¼nh b y ð ph¦n 2.2.3.2.
a. Ph¥n t½ch h¼nh håc cho c¡c èi t÷ñng h¼nh trö
C¡c quan h» h¼nh håc cõa c¡c tham sè tr¶n ÷ñc thº hi»n trong h¼nh 3.3 (a). Mët h¼nh
trö câ thº ÷ñc ÷îc l÷ñng tø hai iºm (p1 , p2 ) (hai iºm m u xanh) v vectì ph¡p
tuy¸n t÷ìng ùng cõa chóng (n1 , n2 ) ( ÷ñc ¡nh d§u b¬ng m u xanh l¡ c¥y v m u
v ng). °t γc l tröc ch½nh cõa h¼nh trö ( ÷íng m u ä) ÷ñc ÷îc t½nh b¬ng:
γc = n1 × n2
(3.3)
º x¡c ành mët iºm t¥m I , chóng tæi chi¸u tham sè cõa hai ÷íng th¯ng
L1 = p1 + tn1 v L2 = p2 + tn2 v o m°t ph¯ng P laneY (nh÷ h¼nh 3.3 (b)). Vector
ph¡p tuy¸n cõa m°t ph¯ng n y ÷ñc ÷îc l÷ñng b¬ng mët t½ch ch²o cõa c¡c vectì γc v
n1 (γc × n1 ). iºm t¥m I l giao iºm cõa L1 v L2 (xem h¼nh 3.3 (c)). B¡n k½nh Ra
÷ñc °t bði kho£ng c¡ch giúa I v p1 trong P laneY . K¸t qu£ cõa h¼nh trö ÷îc l÷ñng
tø mët ¡m m¥y iºm ÷ñc minh håa trong h¼nh 3.4 (f). Chi·u cao cõa h¼nh trö ÷îc
l÷ñng ÷ñc chu©n hâa l 1.
¦u ti¶n chóng tæi x¥y düng mët m°t ph¯ng π vuæng gâc vîi m°t ph¯ng P laneY
v chùa n1 . Do â vector ph¡p tuy¸n cõa nâ l nπ = (nP laneY × n1 ) trong â nP laneY l
vectì ph¡p tuy¸n cõa P laneY , nh÷ trong H¼nh 3.4 (a). Nâi c¡ch kh¡c, n1 g¦n vuæng
gâc vîi n∗2 trong â n∗2 l ph²p chi¸u n2 l¶n m°t ph¯ng π . Quan s¡t n y d¨n ¸n r ng
buëc d÷îi ¥y:
cp = arg
min
{n1 · n∗2 }
p2 ∈{Un \p1 }
(3.4)
R ng buëc trong cæng thùc (3.4) gióp vi»c t¼m ÷ñc c¡c m¨u tèt cho ÷îc l÷ñng mæ
h¼nh h¼nh trö.
3.1.4
Th½ nghi»m k¸t qu£ cõa bë ÷îc l÷ñng b·n vúng
3.1.4.1 Cì sð dú li»u ¡nh gi¡ cõa bë ÷îc l÷ñng b·n vúng
Chóng tæi công t¤o ra c¡c iºm ng¨u nhi¶n theo c§u tróc h¼nh trö, h¼nh c¦u, h¼nh
nân. èi vîi c¡c èi t÷ñng h¼nh trö, tªp dú li»u ÷ñc thu thªp tø tªp dú li»u ¢ cæng
13
PlaneY
γc
p2
L1
p1
(a)
γ
n2
p2
γ1
(d)
L2
n1
γ2
n3
n1
(c)
(b)
p1
p3
Ic
n2
n1
n2
p1
Estimated
cylinder
p2
(e)
(f)
H¼nh 3.3: C¡c thæng sè h¼nh håc cõa vªt thº h¼nh trö. (a)-(c) Gi£i th½ch v· ph¥n
t½ch h¼nh håc º ÷îc l÷ñng mët èi t÷ñng h¼nh trö. (d)-(e) Minh håa c¡c r ng buëc
h¼nh håc ÷ñc ¡p döng trong GCSAC. (f) K¸t qu£ cõa h¼nh trö ÷îc l÷ñng ÷ñc tø mët
¡m m¥y iºm. iºm m u xanh d÷ìng l c¡c iºm ngo¤i lai, c¡c iºm m u ä l c¡c
iºm nëi t¤i.
H¼nh 3.4: (a) Thi¸t lªp c¡c tham sè h¼nh håc º ÷îc t½nh mët èi t÷ñng h¼nh trö
tø mët ¡m m¥y iºm nh÷ mæ t£ ð tr¶n. (b) H¼nh trö ÷îc l÷ñng (m u xanh löc) tø
mët inlier p1 v mët outlier p2 . Nh÷ ÷ñc hiºn thà, â l ÷îc l÷ñng khæng ch½nh x¡c.
(c) vectì ph¡p tuy¸n n1 v n∗2 tr¶n m°t ph¯ng π ÷ñc ÷îc l÷ñng.
bè [1] chùa 300 èi t÷ñng thuëc 51 lo¤i, nâ °t t¶n l 'h¼nh trö thù hai'. èi vîi èi
t÷ñng h¼nh c¦u, tªp dú li»u bao gçm hai qu£ bâng ÷ñc thu thªp tø bèn c£nh thüc.
Cuèi còng, dú li»u ¡m m¥y iºm cõa c¡c èi t÷ñng h¼nh nân, câ t¶n l 'h¼nh nân thù
hai', ÷ñc sû döng tø tªp dú li»u ÷ñc cæng bè [4].
3.1.4.2 ë o ¡nh gi¡ bë ÷îc l÷ñng m¤nh b·n vúng
- Léi t÷ìng quan Ew cõa t l» iºm nëi t¤i ÷îc l÷ñng ÷ñc. Ew c ng nhä, thuªt
to¡n c ng tèt. Trong â wgt l t l» iºm nëi t¤i ÷ñc x¡c ành cõa dú li»u; w l
t l» nëi t¤i cõa mæ h¼nh ÷îc l÷ñng ÷ñc.
- Têng sè léi kho£ng c¡ch Sd ÷ñc t½nh b¬ng têng kho£ng c¡ch tø b§t ký c¡c iºm
pj ¸n mæ h¼nh ÷îc l÷ñng ÷ñc Me .
14
B£ng 3.2: K¸t qu£ ¡nh gi¡ trung b¼nh cõa c¡c bë dú li»u sinh.
C¡c bë dú li»u sinh ÷ñc l°p l¤i 50 l¦n cho thèng k¶ k¸t qu£.
Dú li»u/ ë o RANSAC PROSAC MLESAC MSAC
Ph÷ìng thùc
Ew
23.59 28.62 43.13 10.92
(%)
Sd
1528.71 1562.42 1568.81 1527.93
'h¼nh
t
(ms)
89.54 52.71 70.94 90.84
trö 1'
p
Ed (cm)
0.05
0.06
0.17
0.04
EA (deg.) 3.12
4.02
5.87
2.81
Er (%)
1.54
2.33
7.54
1.02
Ew (%)
23.01 31.53 85.65 33.43
Sd
3801.95 3803.62 3774.77 3804.27
'h¼nh
tp (ms)
10.68 23.45 1728.21
9.46
c¦u 1'
Ed (cm)
0.05 0.07 1.71 0.08
Er (%)
2.92
4.12 203.60
5.15
Ew (%)
24.89 37.86 68.32 40.74
Sd
2361.79 2523.68 2383.01 2388.64
tp (ms) 495.26
242.26 52525 227.57
'h¼nh
nân 1'
EA (deg.) 6.48
15.64 11.67 15.64
E _r(%) 20.47
17.65 429.44 17.31
LOSAC
9.95
NAPSAC GCSAC
61.27
8.49
1495.33
41.35
0.03
2.24
0.69
19.44
3452.88
1536.47 3168.17
536.84
52.03
0.05
0.93
2.84
7.02
2.40 112.06
23.63
57.76
3558.06 3904.22
31.57
2.96
6.48
0.21
0.97
0.05
17.52
63.60
2.61
30.11
86.15 24.40
2298.03 13730.53 2223.14
1258.07 206.17 188.4
6.79
14.54
4.77
20.22
54.44 17.21
- Thíi gian xû lþ tp ÷ñc t½nh b¬ng mili gi¥y (ms). Tp c ng nhä l thuªt to¡n
nhanh.
- Sai sè t÷ìng èi cõa t¥m ÷îc l÷ñng ÷ñc (ch¿ d nh cho c¡c bë dú li»u têng hñp)
Ed l kho£ng c¡ch Euclide cõa t¥m ÷îc l÷ñng ÷ñc Ee v mët gèc Et .
- Léi t÷ìng èi cõa b¡n k½nh ( èi vîi h¼nh trö v h¼nh c¦u) Er l b¡n k½nh ÷îc
l÷ñng ÷ñc re v gi¡ trà thüc t¸ rt .
- ë l»ch Ea cõa gâc mð h¼nh nân ÷îc l÷ñng ae v ¢ ành ngh¾a gâc at .
3.1.4.3 K¸t qu£ ¡nh gi¡ cõa bë ÷îc l÷ñng b·n vúng mîi
Hi»u n«ng cõa méi ph÷ìng thùc tr¶n c¡c bë dú li»u têng hñp ÷ñc thº hi»n trong
b£ng 3.2. º ¡nh gi¡ c¡c tªp dú li»u thüc, k¸t qu£ thû nghi»m ÷ñc thº hi»n trong
b£ng 3.3 cho c¡c èi t÷ñng h¼nh trö. B£ng 3.4 thº hi»n k¸t qu£ ÷îc l÷ñng cho c¡c bë
dú li»u h¼nh c¦u v h¼nh nân.
3.1.5
Th£o luªn
Trong nghi¶n cùu n y, chóng tæi ¢ · xu§t GCSAC l mët bë ÷îc l÷ñng b·n
vúng k¸t hñp giúa vi»c £m b£o sü nh§t qu¡n vîi mæ h¼nh ÷îc l÷ñng thæng qua vi»c
¡nh gi¡ t l» inlier v r ng buëc h¼nh håc cõa èi t÷ñng quan t¥m. Chi¸n l÷ñc n y
nh¬m möc ½ch chån c¡c m¨u tèt º ÷îc l÷ñng mæ h¼nh. Ph÷ìng thùc ÷ñc · xu§t ¢
÷ñc kiºm tra vîi c¡c c§u tróc h¼nh håc cì b£n nh÷ h¼nh trö, h¼nh c¦u v h¼nh nân.
15
B£ng 3.3: K¸t qu£ thû nghi»m tr¶n tªp dú li»u 'h¼nh trö thù 2'.
C¡c th½ nghi»m ÷ñc l°p l¤i 20 l¦n, sau â c¡c k¸t qu£ ÷ñc t½nh trung b¼nh.
Dú li»u/ Ph÷ìng thùc
ë o
MLESAC
GCSAC
MLESAC
GCSAC
MLESAC
GCSAC
MLESAC
GCSAC
'h¼nh trö 2'
(cèc c ph¶)
'h¼nh trö 2'
(lon ç «n)
'H¼nh trö 2'
(Cèc ç «n)
'H¼nh trö 2'
(lon soda)
w
(%)
9.94
Sd
tp
(ms)
3269.77 110.28
Er
(%)
9.93
13.83 2807.40 33.44 7.00
19.05
1231.16 479.74 19.58
15.04
1211.91 101.61 21.89
13.54
1238.96 620.62 29.63
21.41 1015.38 119.46 13.48
18.8 1035.19 14.43 17.87
20.6 1004.27 16.25 27.7
B£ng 3.4: K¸t qu£ ¡nh gi¡ trung b¼nh tr¶n bë dú li»u 'qu£ c¦u thù hai',
'nân thù hai'. C¡c tªp dú li»u thüc ÷ñc l°p l¤i 20 l¦n cho k¸t qu£ thèng k¶.
Dú li»u/ ë o
Ph÷ìng thùc
'H¼nh
c¦u 2'
'H¼nh
nân 2'
w(%)
Sd
tp (ms)
Er (%)
w(%)
Sd
tp (ms)
EA (deg.)
Er (%)
RANSACPROSAC MLESACMSAC LOSAC NAPSAC GCSAC
99.77 99.98 99.83 99.80 99.78 98.20 100.00
29.60 26.62 29.38 29.37 28.77 35.55 11.31
3.44 3.43 4.17 2.97 7.82
4.11 2.93
30.56 26.55 30.36 30.38 31.05 33.72 14.08
79.52 71.89 75.45 71.89 80.21 38.79 82.27
126.56 156.40 147.00 143.00 96.37 1043.34 116.09
10.94 7.42 13.05 9.65 96.37 25.39 7.14
38.11 40.35 35.62 25.39 29.42 52.64 23.74
77.52 77.09 74.84 75.10 71.66 76.06 68.84
C¡c tªp dú li»u thû nghi»m bao gçm c¡c bë dú li»u sinh v bë dú li»u thu thüc t¸.
K¸t qu£ cõa thuªt to¡n GCSAC ÷ñc so s¡nh vîi c¡c thuªt to¡n düa tr¶n RANSAC
v chóng ta câ thº th§y GCSAC ¢ ÷îc l÷ñng tèt ngay c£ nhúng ¡m m¥y iºm vîi t
l» inlier th§p. Trong t÷ìng lai, chóng tæi ti¸p töc thû nghi»m GCSAC vîi c¡c c§u tróc
h¼nh håc kh¡c v ¡nh gi¡ ph÷ìng ph¡p ÷ñc · xu§t vîi kàch b£n thüc t¸ º ph¡t
hi»n nhi·u èi t÷ñng.
3.2 ×îc l÷ñng èi t÷ñng sû döng ngú c£nh v r ng buëc h¼nh
håc
3.2.1
Ph¡t hi»n èi t÷ñng sû döng ngú c£nh v r ng buëc h¼nh håc
Chóng ta h¢y xem x²t mët kàch b£n thüc trong c¡c ho¤t ëng phê bi¸n h ng ng y
cõa nhúng NKT. Hå i v o mët pháng cafe sau â ÷a ra mët c¥u häi "cèc c ph¶ ð
¥u?", Nh÷ trong h¼nh 1.
16
B£ng 3.5: K¸t qu£ trung b¼nh cõa c¡c ë o ¡nh gi¡ sû döng GCSAC v MLESAC
tr¶n ba tªp dú li»u. C¡c thõ töc ÷ñc l°p l¤i 50 l¦n º ¡nh gi¡ thèng k¶.
Khæng sû döng
Dú li»u/ Ph÷ìng thùc
r ng buëc
Ea (deg.)
Er (%)
tp (ms)
MLESAC
46.47
92.85
18.10
dú li»u
GCSAC
36.17
81.01
13.51
1
MLESAC
47.56
50.78
25.89
Dú li»u
GCSAC
40.68
38.29
18.38
2
MLESAC
45.32
48.48
22.75
Dú li»u
GCSAC
43.06
46.9
17.14
3
3.2.2
· xu§t ph÷ìng thùc ph¡t hi»n èi t÷ñng sû döng ngú v r ng buëc
h¼nh håc
Trong bèi c£nh ph¡t triºn c¡c h» thèng hé trñ t¼m ki¸m èi t÷ñng cho NKT (nh÷
trong h¼nh 1).
3.2.2.1 Kiºm ành mæ h¼nh sû döng r ng buëc ngú c£nh
3.2.3
Th½ nghi»m k¸t qu£ cõa ph¡t hi»n c¡c èi t÷ñng sû döng r ng buëc
ngú c£nh
3.2.3.1 Mi¶u t£ cì sð dú li»u ¡nh gi¡
Tªp dú li»u ¦u ti¶n ÷ñc t¤o tø mët tªp dú li»u cæng bè trong [3].
3.2.3.2 C¡c ë o ¡nh gi¡
3.2.3.3 C¡c k¸t qu£ cõa ph¡t hi»n c¡c èi t÷ñng sû döng r ng buëc ngú c£nh
B£ng 3.5 so s¡nh hi»u n«ng cõa ph÷ìng ph¡p · xu§t GCSAC v MLESAC.
3.2.4
Th£o luªn
CH×ÌNG 4
PHT HIN V ×ÎC L×ÑNG MÆ HNH Y Õ
CÕA ÈI T×ÑNG 3-D V PHT TRIN ÙNG
DÖNG
4.1 Ph¡t hi»n èi t÷ñng 3-D
4.1.1
Khði ¦u
C¡c èi t÷ñng quan t¥m ÷ñc °t tr¶n m°t ph¯ng b n v l c¡c èi t÷ñng câ c§u
tróc h¼nh håc ìn gi£n (v½ dö: cèc c ph¶, lå, chai, lon soda l h¼nh trö, bâng ¡, hoa
17
B£ng 4.1: K¸t qu£ trung b¼nh ph¡t hi»n c¡c vªt thº h¼nh c¦u tr¶n hai giai o¤n
ë o/
Dú li»u
Giai
Giai o¤n 2
Thíi gian
o¤n
xû lþ
1
tp (s)/c£nh
ë tri»u ë ch½nh ë tri»u ë ch½nh
Ph÷ìng thùc
hçi(%)
x¡c(%)
hçi(%)
x¡c(%)
Dú li»u
PSM
62.23
48.36
60.56
46.68
1.05
thù 1
CVFGS
56.24
50.38
48.27
42.34
1.2
DLGS
88.24
78.52
76.52
72.29
0.5
qu£ l h¼nh c¦u). Ph÷ìng ph¡p cõa chóng tæi ¢ khai th¡c hi»u su§t cõa YOLO [2]
nh÷ mët ph÷ìng ph¡p khði nguçn º ph¡t hi»n èi t÷ñng trong h¼nh £nh RGB v¼ nâ
l ph÷ìng ph¡p câ hi»u su§t cao nh§t º ph¡t hi»n èi t÷ñng. Sau â, c¡c èi t÷ñng
÷ñc ph¡t hi»n ÷ñc chi¸u v o dú li»u ¡m m¥y iºm (dú li»u 3-D) º t¤o ra mæ h¼nh
èi t÷ñng ¦y õ º c¦m nm, mæ t£ c¡c èi t÷ñng.
4.1.2
C¡c nghi¶n cùu li¶n quan
4.1.3
Mët nghi¶n cùu so s¡nh cõa ph¡t hi»n èi t÷ñng 3-D
4.1.3.1 Ph÷ìng thùc düa tr¶n h¼nh håc cho ph¡t hi»n c¡c c§u tróc h¼nh håc ìn gi£n
(PSM)
Ph÷ìng ph¡p n y sû döng ph¡t hi»n c¡c c§u tróc h¼nh håc cì b£n (PSM) cõa
(Schnabel et al. 2007) trong ¡m m¥y iºm cõa c¡c èi t÷ñng.
4.1.3.2 K¸t hñp ph¥n cöm èi t÷ñng, °c tr÷ng ph¥n bè h÷îng (VFH), GCSAC cho
÷îc l÷ñng mæ h¼nh ¦y õ - (CVFGS)
4.1.3.3 K¸t hñp cõa håc s¥u v GCSAC cho ph¡t hi»n v x¥y düng mæ h¼nh ¦y õ
cõa èi t÷ñng - (DLGS)
M¤ng n y chia h¼nh £nh ¦u v o th nh mët h¼nh chú nhªt câ k½ch th÷îc c × c v
sû döng c¡c °c tr÷ng tø to n bë h¼nh £nh º dü o¡n èi t÷ñng méi æ cõa l÷îi n y.
4.1.4
C¡c th½ nghi»m v k¸t qu£
4.1.4.1
4.1.4.2
4.1.4.3
4.1.4.4
Cì sð dú li»u thu thªp
¡nh gi¡ ph¡t hi»n èi t÷ñng
C¡c tham sè ¡nh gi¡
C¡c k¸t qu£
K¸t qu£ trung b¼nh cõa vi»c ph¡t hi»n c¡c èi t÷ñng h¼nh c¦u ð 2 giai o¤n ÷ñc
tr¼nh b y trong b£ng 4.1.
4.1.5
Th£o luªn
18
- Xem thêm -
.PDF 
28 
104 
77 
