Tìm kiếm văn bản tiếng Việt

Hỡnh 1: Mụ hỡnh xỏc nh t i din cho vn bn 13
Hỡnh 2: Truy vn vn bn 21
Hỡnh 3: Thu nh kớch thc qua SVD 29
Hỡnh 4. Kin trỳc ca h thng 55
Hỡnh 5: T chc lu tr t in 57
Hỡnh 6: S lu tr c s d liu vn bn 58
Hỡnh 7:Giao din ng dng tỏch t cú ngha cho vn bn 59
Hỡnh 8: Giao din thc hin tớnh khụng gian dung sai cho cỏc term 65
Hỡnh 9: Giao din thc hin tớnh xp x trờn v di cho cỏc vn bn 68
Hỡnh 10: Giao din phc v tỡm kim vn bn 69
Đồ án tốt nghiệp

Tìm kiếm văn bản tiếng Việt
LI M U
Chỳng ta bit rng ngun ti nguyờn c lu tr di dng d liu vn bn
l rt rng ln v giu thụng tin nhng vic khai thỏc ngun d liu ny vn cha t
hiu qu cao. Hin nay, trờn th gii ó cú khỏ nhiu h thng thc hin cụng vic
ny theo nhng phng phỏp khỏc nhau tuy cha t c hiu qu ti u nhng
cng phn no ỏp ng c cỏc yờu cu thụng tin ca ngi s dng. Mi phng
phỏp khỏc nhau u th hin c nhng im mnh riờng ca nú v vic la chn
phng phỏp no ph thuc vo nhng mc ớch v tiờu chớ riờng t ra.
Hin nay, s gia tng ca cỏc phng tin truyn thụng trong vic lu tr v
s bựng n ca cỏc c s d liu ln lm cho vic tỡm kim vn bn cng tr nờn
quan trng hn bao gi ht. Chớnh vỡ vy, vic la chn phng phỏp tỡm kim vn
bn giỳp cho ngi s dng cú th tỡm kim c nhng thụng tin cn thit mt cỏch
chớnh xỏc hiu qu t ngun ti liu vn bn rng ln phc v cho cỏc mc ớch
trong cụng vic cng nh trong i sng l rt cn thit. Nhn thc c tm quan
trng ca vic khai thỏc d liu vn bn, em ó la chn ti: Tỡm kim vn bn
ting Vit.
Vi ti ny em i sõu vo nghiờn cu vic tỡm kim vn bn ting Vit s
dng lý thuyt tp thụ tp thụ dung sai (Tolerance Rough Set Model). õy cng l
mt trong nhng phng phỏp rt hiu qu cho mc ớch khai phỏ d liu cng nh
tỡm kim vn bn ting Vit vỡ nú ó phn no gii quyt c vn ng ngha
trong ting Vit m t trc cho ti nay vn cha cú mt bin phỏp no gii quyt tt
cho vn ng ngha. õy l mt ti tng i rng v phc tp nhng thi gian
nghiờn cu khụng nhiu, s hiu bit trong lnh vc ny cũn b hn ch nờn ỏn tt
nghip ny s khụng trỏnh khi nhng thiu sút. Em rt mong nhn c s úng
gúp, ch bo thờm ca thy cụ v cỏc bn c ỏn ny hon thin v hu ớch
hn trong thi gian ti.
Em xin chõn thnh cm n TS. Nguyn Kim Anh. Cụ ó m ra cho em hng
nghiờn cu v tỡm kim vn bn ting Vit ng thi cụ ó tn tỡnh hng dn em
trong sut quỏ trỡnh lm ỏn.
Trịnh Đức Cờng Trang 1
Đồ án tốt nghiệp

Tìm kiếm văn bản tiếng Việt
anh Lu Anh Tun v anh Lờ Minh Hin nhng ngi ó tn tỡnh giỳp em
trong quỏ trỡnh lm ỏn. Tụi cng xin cm n cỏc bn hc cựng khoa ó úng gúp ý
kin cho tụi hon thnh ỏn mt cỏch tt hn.
Trịnh Đức Cờng Trang 2
Đồ án tốt nghiệp

Tìm kiếm văn bản tiếng Việt
PHN I. C S Lí THUYT
I.TING VIT V NG PHP TING VIT
1.Tớnh chớnh xỏc ca vn bn ting Vit
Khi nghiờn cu v vn bn ting Vit chỳng ta gp rt nhiu khú khn trong
vic tin hc hoỏ phc v cho vic khai phỏ ngun d liu vn bn ting Vit. Mt
trong nhng khú khn ú chớnh l ng phỏp ting Vit. phõn tớch v kim tra tớnh
chớnh xỏc ca mt vn bn ting Vit, chỳng ta phi tin hnh phõn tớch t vng,
phõn tớch cỳ phỏp, phõn tớch ng ngha, v phõn tớch chng thc.
Phõn tớch t vng: Quỏ trỡnh ny nhm phõn tớch hỡnh thỏi ca cỏc t to
nờn cõu t ú kim tra c tớnh ỳng n ca õm tit v t.
Phõn tớch cỳ phỏp: Quỏ trỡnh ny a ra mụ t v quan h v vai trũ ng
phỏp ca cỏc t trong cõu ng thi a ra hỡnh thỏi ca cõu. u vo ca giai on
ny l cõu ó c phõn tỏch t, trong ú mi t cú c im hỡnh thỏi nht nh.
Quỏ trỡnh kim tra cỳ phỏp tin hnh phõn tớch v t hp cỏc t u vo, da trờn
cỏc lut cỳ phỏp loi b cỏc trng hp bt quy tc v tng bc dng lờn cu
trỳc cỳ phỏp ca cõu. u ra ca giai on ny l hỡnh thỏi cõu. Cỏc lut cỳ phỏp
thng c xõy dng theo c ch m, ngha l cú th sa i, b sung hay loi b
cỏc lut tha. Kt qu ca bc phõn tớch cỳ phỏp ph thuc rt nhiu vo tớnh
chớnh xỏc v y ca cỏc lut cỳ phỏp.
Phõn tớch ng ngha: Mc ớch ca quỏ trỡnh ny l kim tra ý ngha ca
cõu cú mõu thun vi c on hay khụng? Da trờn mi quan h logic v ngha gia
cỏc cm t trong cõu v mi quan h gia cỏc cõu trong on, h thng s xỏc nh
c mt phn ý ngha ca cõu trong ng cnh ca c on. u vo ca giai on
phõn tớch ng ngha l tp cỏc kh nng phõn tớch cõu v thụng tin v ng ngha ca
tt c cỏc t. Cỏc thc t thng cú nhiu ngha v ngha ca nú ch c xỏc nh
duy nht trong mi quan h gii thớch vi cỏc t khỏc trong cõu.
Trịnh Đức Cờng Trang 3
Đồ án tốt nghiệp

Tìm kiếm văn bản tiếng Việt
Mt cỏch tip cn c nhiu ngi quan tõm l s dng logic v t biu din
thụng tin ng ngha. Thụng tin ng ngha c lu tr ging nh thụng tin cỳ phỏp.
Cỏc phng phỏp lp lun logic cú th dựng phng oỏn v suy lun nhiu thụng
tin hn da trờn thụng tin u vo. Cỏc thụng tin ny khụng cn phi phõn loi
(nhn giỏ tr ỳng hay sai). Mụ hỡnh cu trỳc ng phỏp ca cõu l cu trỳc cú y
ngha ng phỏp v thụng bỏo. Cú hai cỏch miờu t:
Miờu t cỏc quan h cỳ phỏp gia t v t hp t.
Miờu t mụ hỡnh hay ý ca cõu. Vic miờu t nhm cho phộp suy oỏn c
ý ca cỏc b phn ln hn t t ú xỏc nh ý ca cõu. Cõu l mt th trn vn ch
khụng phi l tng cỏc b phn cu thnh nú. í ca cõu l tớch ý ngha cỏc yu t
tham gia cựng vi ý ngha quan h tng th cu trỳc cõu. T l mt t hp ca cõu,
trong t th hin mt phn ý ca cõu. Nhng t khụng nht thit phi hin din
trong cõu vi ngha m nú cú khi úng vai trũ mt n v c lp cp khỏc.
Da trờn mụ hỡnh cu trỳc cỳ phỏp cõu, ta cú th nhn din cu trỳc chỡm ca cõu
(nh hnh ng-ch th hnh ng, hnh ng - i tng hnh ng), giỳp gii
thớch c ý ngha ca cõu v vch ra tớnh a ngha ca chỳng.
Phõn tớch thc chng: Quỏ trỡnh ny xỏc nh ý ngha cõu da trờn mi
quan h ca cõu vi hin thc. í ngha thc t ca cõu ph thuc ph thuc rt
nhiu vo ý, t v ng cnh din ra li núi. Do vy, quỏ trỡnh phõn tớch thc chng
rt khú thc hin bng mỏy tớnh thụng thng, vic phõn tớch cõu ch dng mc
phõn tớch phõn tớch ng ngha, cũn vic phõn tớch thc chng do ngi dựng quyt
nh.
2. T ting Vit
Trong phm vi cu to t, phng tin ch yu v ng phỏp chớnh l s kt
hp cỏc ting. Trt t sp xp cỏc ting cú vai trũ qua trng trong cu to t. Kt
hp cỏc phng tin ny. Cú hai phng thc cu to t ch yu ú l lỏy v ghộp.
Lỏy l vic sp t cỏc ting thnh ụi, k cn nhau, cú s phi hp v ng õm to
nờn ngha. Cũn ghộp l vic sp t cỏc ting thnh ụi, k cn nhau, cú s kt hp
v ng ngha to nờn ngha ca t ghộp.
Trịnh Đức Cờng Trang 4
Đồ án tốt nghiệp

Tìm kiếm văn bản tiếng Việt
2.1. T n_t ghộp.
T trong ting Vit cú th l mt ting hay gm nhiu tin. Hn na, trong
ting Vit nhng t nhiu ting cú th c ghộp bi nhng ting hay t khỏc cú
ngha. Vớ d nh hai t ch mt ting ú l t t, nc cú th c ghộp vi
nhau thnh mt t cú ngha tru tng hn l ú l t t nc. Nhng t ny
gi l t ghộp.
Do s tn ti ca nhng t n (l nhng t mt ting) v t ghộp, chỳng ta
phi tin hnh nghiờn cu cú th xut nhng phng ỏn hu hiu trong bi
toỏn nhn dng t trong cõu.
Khi xem xột t ghộp, chỳng ta cú th thy cú hai loi nh sau:
T ghộp song song: Mi ting thng l mt ting cú ngha, cú th dựng l
t mt ting, gn bú vi nhau theo quan h song song v núi chung cú th i ch
cho nhau. Trong s phi hp v ng ngha thỡ thng cú s bin i v ngha riờng
thnh mt ngha hỡnh tng.
Vớ d: n ung, bn gh, nh ca
T ghộp chớnh ph: Mi ting cú th cú mt ting cú ngha, nhng thụng
thng cú mt ting cú th dựng lm t cũn ting kia khụng cú chc nng ng phỏp
ú.
Ting Vit tn ti mt s cỏc cỏc t ghộp cú nhiu hn hai ting, phỏt trin t
loi t ghộp chớnh ph, qua ú cú th chia thnh cỏ phn chớnh, phn ph, thun tin
hn trong vic phõn tớch t. Chớnh s tn ti ca t ghộp (ghộp bi cỏc ting cú
ngha) l nguyờn nhõn ca s nhp nhng v ngha ca cõu. Do vy, trỏnh s
nhp nhng v ngha trong cõu, mun phõn tớch v x lý vn bn ting Vit mt
cỏch tt nht thỡ bi toỏn t ra l lm th no tỏch cỏc t trong cõu tht chớnh
xỏc.
Trịnh Đức Cờng Trang 5
Đồ án tốt nghiệp

Tìm kiếm văn bản tiếng Việt
2.2. T loi
Trong ting Vit, t c phõn ra thnh nhiu t loi khỏc nhau. Trong ti
liu T loi danh t trong ting Vit hin i ca tỏc gi Nguyn Ti Cm ta thy
xut hin cỏc t loi c bn sau:
Danh t: bn, gh, vi vúc, khoa hc, k thut,
ng t: i, ng, nghiờn cu, chm súc,
Tớnh t: núng, p, p , vui v, bun,
i t: tụi, h, nú,
S t: mt, hai, ba,
Loi t: con, cỏi,
Quỏn t: cỏc, nhng,
Trng t: trờn, di, trong, ngoi,
Liờn t v, hay, nu, tuy,
Gii t: cựng, vi, bng, ,
Phú t: ó, s, khong, rt,
Tr t: nh, nhộ, thỡ m,
Tt nhiờn trong vic phõn loi trờn ch cú ý ngha tng i, vỡ trong nhiu
ti liu khỏc nhau vn cú s khỏc nhau v cỏch phõn chia theo t loi. Nu xem xột
mt cỏch k lng hn na v mt cỳ phỏp, trong mi loi t cũn cú th chia nh
hn c na.
Trịnh Đức Cờng Trang 6
Đồ án tốt nghiệp

Tìm kiếm văn bản tiếng Việt
2.3. Dựng t cu to ng
Ng l n v ng phỏp trung gian gia t v cõu. Cho nờn vic tỡm hiu cu
to cng nh cỏc loi ng l cn thit tỡm hiu cu to ca cõu. Qua cu to ng,
cú th nhn rừ thờm c im ng phỏp ca t loi.
Theo Ng phỏp ting Vit-cõu ca tỏc gi Hong Trng Hiu, ting
Vit cú cỏc ng loi c bn sau:
Danh ng: Ng cú danh t lm trung tõm.
ng ng: Ng cú ng t lm trung tõm.
Tớnh ng: Ng cú tớnh t lm trung tõm.
Gii ng: Ng bt u bng gii t.
xõy dng c mt h thng lut cỳ phỏp tt, ta cn phi chia cỏc loi
ng mt cỏch cht ch hn. V do vy, ta cng hn ch s lng cõu sai. Chng
hn, danh ng kt thỳc trỏi (l danh ng m v trỏi ca nú ó im tn cựng), ta
khụng th thờm hay b sung t no vo u to nờn danh ng mi.
Vớ d mt bi toỏn; ta khụng th b sung cỏc, nhng, vo trc ng
ú.
3. Cõu ting Vit
Cõu l n v dựng t, hay ỳng hn l dựng ng m cu to nờn trong quỏ
trỡnh t duy. Xột v mt cu trỳc cõu, ting Vit cú hai loi cõu l cõu n v cõu
ghộp.
Trịnh Đức Cờng Trang 7
Đồ án tốt nghiệp

Tìm kiếm văn bản tiếng Việt
3.1 Cõu n
Cõu n l loi cõu c s ca ting Vit, nú bao gm mt nũng ct n hay
mt kt cu ch v. V mt ng ngha, Cõu n mang ng ngha t thõn, cũn cõu
ghộp mang ngha kt hp. Cõu n cú th l cõu khng nh, cõu ph nh, cõu nghi
vn, cõu tng thut, cõu cu khin, cõu biu cm.
Vớ d:
Nú hc rt gii.
Nú khụng hc gii.
Nú hc cú gii khụng?
Nú ang i n trng.
Em i hc i!
Em mi hc gii lm sao!
Nũng ct ca cõu n l mt kt cu ch v. Ngoi ra cõu n cũn cú cỏc
thnh phn nũng ct khỏc nh:
Thnh phn than gi. Vớ d Bn i, chỳng ta i no.
Thnh phn chuyn tip. Vớ d Anh Trng, trỏi li, khụng lm gỡ c.
Thnh phn chỳ thớch. Vớ d Nú, em tụi, rt thụng minh.
Thnh phn tỡnh hung. Vớ d Trong mỏy tớnh, d liu dng nh
phõn.
Thnh phn khi ý. Vớ d Thuc, anh y khụng hỳt.
din t mt cõu n, ngi ta thng dựng mụ hỡnh suy din:
Cõu n Px Cx Vx Bx.
Trong ú P: Thnh phn ph
C: Ch ng
V: V ng
B: B ng, nh ng.
Trịnh Đức Cờng Trang 8
Đồ án tốt nghiệp

Tìm kiếm văn bản tiếng Việt
x: thnh phn cú th trin khai tip.
3.2 Cõu ghộp
V mt ng phỏp, cõu ghộp bao gm b phn ch yu l mt nũng ct ghộp,
c to nờn bi ớt nht hai v v mi v thng bao gm mt nũng ct n. Tuy
rng, cõu n ch cú mt nũng ct n nhng khụng phi bao gi cõu n cng
ngn hn cõu ghộp. Ngi ta cú th chia cõu ghộp thnh hai loi: Cõu ghộp song
song v cõu ghộp qua li.
Cõu ghộp song song: L loi cõu cú th cú hai hay nhiu hn hai v. Tuy
nhiờn, s liờn kt gia cỏc v lng lo, cú th tỏch thnh cỏc cõu n m vn bo
ton ngha. Cú trng hp cỏc v cú quan h s dng kt t, tuy nhiờn ý ngha c
lp ca cỏc v vn tng i rừ rng.
Vớ d:
Khỏn gi hũ reo, cuc u din ra tht sụi ng v chỳng tụi mun i ch
nh s thng.
Cõu ghộp qua li: L loi cõu cú hai v v v ny l iu kin tn ti ca v
kia. Cú c hai v thỡ cõu mi cú ý ngha trn vn. Ni gia cỏc v l cỏc kt t,
thụng thng ngi ta dựng c cp kt t. Ta cú th biu din cõu ghộp nh sau:
Cõu ghộp xN1 + yN2
Mt trong cỏ kt t cú th c loi b. Ta cú mt s vớ d sau:
(Bi) vỡ N1 nờn (hoc m N2)
N1 (cho) nờn (hoc m) N2
Nu N1 thỡ N2
Khụng nhng N1 m cũn N2
Tụi i thỡ nú s bun.
Vỡ ph ngon nờn ca hng ca nú mi ụng khỏch n th
3.3 Cỏc thnh phn ca cõu
Ch ng: Thnh phn ch yu ca cõu.
Trịnh Đức Cờng Trang 9

Xem chi tiết: Tìm kiếm văn bản tiếng Việt