۱۵

APP-Match

True/false

آیا اشاره دوم ، بدل اشاره اول کی باشد؟

۱۶

Entity-Match

True/false

آیا از نظر Entity-Type با هم یکی هستند؟

۱۷

Sub-Entity-Match

True/false

آیا از نظر Entity-Sub-Type با هم یکی هستند؟

شکل ۴-۵ : شمایی از نمایش خروجی تعیین نمونه‏های مثبت و منفی

در این پایان‏ نامه،تمامی نمونه­های بدست آمده از مرحله قبل به دودسته آموزشی(۸۰%) و آزمایشی(۲۰تقسیم شدند. سپس هر کدام از الگوریتم‏های یادگیری شبکه عصبی، ماشین بردار پشتیبان و درخت تصمیم توسط نمونه‏های مثبت و منفیِ مجموعه آموزشی، آموزش داده شد و در نهایت مدل­های بدست آمده بر روی مجموعه آزمایشی ارزیابی شده‏اند(نمونه‏های مثبت نشان‏گر اشاره‏های هم‏مرجع و نمونه‏های منفی، اشاره‏های غیر هم‏مرجع می‏باشند). شیوه‏ی عملکرد هر کدام از این الگوریتم‏ها در فصل چهارم شرح داده شده‏است.
۴-۳-۳. معیار ارزیابی
برای ارزیابی ماشین یادگیری و یا مقایسه‏ی دو یادگیر متفاوت نیاز است تا بتوان کارایی آن‏ها ‏را مورد بررسی قرار داد. در این خصوص ابزارهای ارزیابی متفاوتی وجود دارد که از جمله‏ی آنها، MUC (ویلیان^[۲۱۶] و همکاران ، ۱۹۹۵)، B³ (بگا^[۲۱۷] و همکارش ۱۹۹۸)، CEAF (لو ۲۰۰۵)، Balance(رکاسنس^[۲۱۸] و همکارش ۲۰۱۱) و … می‏باشد. هر کدام از این مقیاس ها می‏توانند رفتار یا نتایج متفاوتی را برای یک سیستم منعکس نمایند[۵۰] گاهی اوقات در برخی از شرایط و در برخی از زمینه‏های پردازش زبان طبیعی، ارزیابی کارایی یک سیستم مورد توجه است که در قالب معیار صحت سنجیده می‏شود. بسیاری از مسائل پردازش زبان طبیعی (همانند برچسب‏گذاری ادات سخن) با معیار صحت سنجیده می‏شوند که تمام انواع خطاها (مثبت نادرست و منفی نادرست) را یکسان در نظر می‏گیرد. تعریف معیار صحت بصورت رابطه ۴-۱ است. حالت‏های ممکن برای تشخیص ارتباط میان دو اشاره نیز در جدول ۴-۴ آمده است.

رابطه(۴-۱)

جدول۴-۴: حالت‏های ممکن نتایج یک ماشین یادگیر

پیش ­بینی شده به عنوان
غیر هم‏مرجع

پیش ­بینی شده به عنوان
هم‏مرجع

منفی نادرست

مثبت درست

در واقع هم مرجع

منفی درست

مثبت نادرست

در واقع غیر هم مرجع