مفاهیم کلیدی در یادگیری ماشین: اعتبارسنجی
مقدمه
اعتبارسنجی یک مرحله ی اجتناب ناپذیر در فرایند یادگیری ماشین است که به منظور ارزیابی توانایی تعمیم مدل بر روی داده های جدید و واقعی انجام می شود. هدف از این فرآیند، اطمینان از عملکرد مناسب مدل نه تنها بر روی داده های آموزشی، بلکه بر روی داده های واقعی و ناشناخته نیز می باشد.
انواع روش های اعتبارسنجی
- تقسیم تصادفی: در این روش، مجموعه داده به طور تصادفی به دو بخش تقسیم می شود: مجموعه داده آموزشی و مجموعه داده تست. مدل بر روی مجموعه داده آموزشی آموزش داده شده و سپس کارایی آن بر روی مجموعه داده تست ارزیابی می گردد.
- اعتبارسنجی متقابل: در این روش، مجموعه داده به چندین زیرمجموعه تقسیم می شود. مدل به صورت متناوب بر روی هر زیرمجموعه به عنوان مجموعه داده تست و بر روی زیرمجموعه های باقی مانده به عنوان مجموعه داده آموزشی آموزش داده می شود. عملکرد مدل با میانگین عملکرد بر روی تمام زیرمجموعه های تست سنجیده می شود.
- نگهداری (Holdout): در این روش، بخش کوچکی از مجموعه داده به عنوان مجموعه داده تست کنار گذاشته می شود و مدل بر روی بقیه مجموعه داده آموزش داده می شود. سپس مدل بر روی مجموعه داده تست ارزیابی می گردد.
معیارهای ارزیابی
انتخاب معیار ارزیابی مناسب به نوع وظیفه یادگیری ماشین بستگی دارد. برخی از معیارهای رایج عبارتند از:
- دقت (Accuracy): نسبت نمونه های به درستی طبقه بندی شده.
- دقت (Precision): نسبت نمونه های مثبت واقعی که به درستی به عنوان مثبت پیش بینی شده اند.
- یادآوری (Recall): نسبت نمونه های مثبت واقعی که به درستی به عنوان مثبت پیش بینی شده اند.
- امتیاز F1: معیاری که ترکیبی از دقت و یادآوری است.
- میانگین خطای مربعات (MSE): میانگین مربع تفاوت بین مقادیر واقعی و مقادیر پیش بینی شده.
- میانگین خطای مطلق (MAE): میانگین مقدار مطلق تفاوت بین مقادیر واقعی و مقادیر پیش بینی شده.
اهمیت اعتبارسنجی
- جلوگیری از بیش برازش (Overfitting): بیش برازش زمانی رخ می دهد که مدل به داده های آموزشی بسیار نزدیک می شود و در نتیجه قادر به تعمیم به داده های جدید نیست. اعتبارسنجی به شناسایی و رفع این مشکل کمک می کند.
- انتخاب بهترین مدل: اعتبارسنجی به شما کمک می کند تا بهترین مدل را از بین مدل های مختلف انتخاب کنید.
- برآورد عملکرد نهایی: اعتبارسنجی به شما کمک می کند تا عملکرد نهایی مدل را بر روی داده های واقعی برآورد کنید.
نکاتی برای اعتبارسنجی
- از یک مجموعه داده تست جداگانه که در آموزش مدل استفاده نشده است استفاده کنید.
- از چندین روش اعتبارسنجی برای بررسی عملکرد مدل از زوایای مختلف استفاده کنید.
- اندازه مجموعه داده تست را به گونه ای انتخاب کنید که از نظر آماری معنادار باشد.
- نتایج اعتبارسنجی را به طور دقیق تفسیر کنید و در صورت لزوم مدل را تنظیم کنید.
اعتبارسنجی به عنوان رکن اساسی در فرآیند یادگیری ماشین، به شما در ساخت مدل های قابل اعتماد و تعمیم پذیر یاری می رساند.
منابع:
- https://scikit-learn.org/stable/modules/cross_validation.html
- https://en.wikipedia.org/wiki/Cross-validation
- https://towardsdatascience.com/cross-validation-705644663568
