Auc ရမှတ်ကောင်းတစ်ခုဟု အဘယ်အရာက သတ်မှတ်သနည်း။

Logistic regression သည် တုံ့ပြန်မှု variable binary ဖြစ်သောအခါ regression model နှင့်ကိုက်ညီရန် ကျွန်ုပ်တို့အသုံးပြုသည့်နည်းလမ်းတစ်ခုဖြစ်သည်။

ထောက်ပံ့ပို့ဆောင်ရေး ဆုတ်ယုတ်မှုပုံစံသည် ဒေတာအစုံနှင့် မည်မျှကိုက်ညီကြောင်း အကဲဖြတ်ရန်၊ အောက်ပါ မက်ထရစ်နှစ်ခုကို ကြည့်နိုင်သည်-

• အာရုံခံစားနိုင်မှု- ရလဒ်အမှန်တကယ်အပြုသဘောဆောင်သောအခါတွင် လေ့လာမှုတစ်ခုအတွက် အပြုသဘောဆောင်သောရလဒ်ကို မော်ဒယ်က ခန့်မှန်းပေးသည့်ဖြစ်နိုင်ခြေ။ ၎င်းကို “စစ်မှန်သော အပြုသဘောနှုန်း” ဟုလည်း ခေါ်သည်။
• တိကျမှု- ရလဒ်အမှန်တကယ် အနုတ်လက္ခဏာဖြစ်သောအခါ စောင့်ကြည့်မှုတစ်ခုအတွက် အနုတ်ရလဒ်ကို မော်ဒယ်က ခန့်မှန်းသည့် ဖြစ်နိုင်ခြေ။ ၎င်းကို “စစ်မှန်သော အနုတ်လက္ခဏာနှုန်း” ဟုလည်း ခေါ်သည်။

ဤတိုင်းတာမှုနှစ်ခုကို မြင်ယောင်မြင်ယောင်ရန် နည်းလမ်းတစ်ခုမှာ “ လက်ခံသူလည်ပတ်မှုလက္ခဏာ” မျဉ်းကွေးကို ကိုယ်စားပြုသည့် ROC မျဉ်းကွေးကို ဖန်တီးရန်ဖြစ်သည်။

၎င်းသည် y-ဝင်ရိုးတစ်လျှောက်နှင့် x-ဝင်ရိုးတစ်လျှောက် အာရုံခံနိုင်စွမ်းကိုပြသသည့် ဂရပ်တစ်ခုဖြစ်သည်။

ဒေတာအမျိုးအစားခွဲရာတွင် ထောက်ပံ့ပို့ဆောင်ရေးဆုတ်ယုတ်မှုပုံစံ၏ ထိရောက်မှုကို တွက်ချက်ရန်နည်းလမ်းတစ်ခုမှာ “ မျဉ်းကွေးအောက်ဧရိယာ” ကို ကိုယ်စားပြုသည့် AUC ကို တွက်ချက်ခြင်းဖြစ်သည်။

AUC တန်ဖိုးသည် 0 မှ 1 အထိ ကွဲပြားသည်။ AUC ၏ 1 ရှိသော မော်ဒယ်သည် လေ့လာတွေ့ရှိချက်များကို အတန်းများအဖြစ် စုံလင်စွာ ခွဲခြားနိုင်သော်လည်း AUC ၏ 0.5 ရှိသော မော်ဒယ်သည် ကျပန်းမှန်းဆချက်များကို ပြုလုပ်သည့် မော်ဒယ်ထက် ပိုကောင်းမည်မဟုတ်ပေ။

AUC ရမှတ်ကောင်းဆိုတာဘာလဲ။

ကျောင်းသားတွေ AUC နဲ့ ပတ်သက်ပြီး မေးလေ့ရှိတဲ့ မေးခွန်းကတော့-

AUC ရမှတ်ကောင်းဆိုတာဘာလဲ။

အဖြေ:

AUC ရမှတ်ကောင်းဟု ယူဆသည့်အရာအတွက် တိကျသော သတ်မှတ်ချက်မရှိပါ ။

AUC ရမှတ် မြင့်မားလေ၊ လေ့လာမှုများကို အတန်းများအဖြစ် အမျိုးအစားခွဲရန် စံနမူနာသည် ပိုမိုလုပ်ဆောင်နိုင်လေဖြစ်သည်။

AUC ရမှတ် 0.5 ရှိသော မော်ဒယ်သည် ကျပန်း ခန့်မှန်းချက်များကို ပြုလုပ်သည့် မော်ဒယ်ထက် ပိုကောင်းမည်မဟုတ်ကြောင်း ကျွန်ုပ်တို့ သိပါသည်။

သို့သော် AUC ရမှတ်သည် ကောင်းသည်ဖြစ်စေ၊ ဆိုးသည်ဖြစ်စေ ဆုံးဖြတ်ရန် မှော်နံပါတ်မရှိပါ။

အကယ်၍ ကျွန်ုပ်တို့သည် အချို့သောရမှတ်များကို အကောင်း သို့မဟုတ် ဆိုးအဖြစ် အမျိုးအစားခွဲခြားရန် လိုအပ်ပါက၊ Applied Logistic Regression တွင် Hosmer နှင့် Lemeshow မှ အောက်ဖော်ပြပါ စည်းကမ်းချက်ကို ကျွန်ုပ်တို့ ကိုးကားနိုင်ပါသည် (စ. 177)

• 0.5 = ခွဲခြားဆက်ဆံမှု မရှိပါ။
• 0.5-0.7 = မကောင်းသော ခွဲခြားဆက်ဆံမှု
• 0.7-0.8 = လက်ခံနိုင်သော ခွဲခြားဆက်ဆံမှု
• 0.8-0.9 = အလွန်ကောင်းမွန်သော ခွဲခြားဆက်ဆံမှု
• >0.9 = ထူးခြားသော ခွဲခြားဆက်ဆံမှု

ဤစံနှုန်းများဖြင့် AUC ရမှတ် 0.7 အောက်တွင်ရှိသော မော်ဒယ်ကို ညံ့သည်ဟု ယူဆမည်ဖြစ်ပြီး မော်ဒယ်မြင့်သည် လက်ခံနိုင်သည် သို့မဟုတ် ပိုကောင်းသည်ဟု ယူဆမည်ဖြစ်သည်။

“ ကောင်း” AUC ရမှတ်သည် လုပ်ငန်းအလိုက် ကွဲပြားသည်။

“ ကောင်းသော” AUC ရမှတ်ဟုယူဆသည့်အရာသည် လုပ်ငန်းအလိုက်ကွဲပြားကြောင်း မှတ်သားထားရန် အရေးကြီးသည်။

ဥပမာအားဖြင့်၊ ဆေးဘက်ဆိုင်ရာနယ်ပယ်တွင် သုတေသီများသည် အမှားတစ်ခုပြုလုပ်ရန် ကုန်ကျစရိတ် အလွန်မြင့်မားသောကြောင့် သုတေသီများသည် 0.95 အထက် AUC ရမှတ်များကို ရှာဖွေလေ့ရှိသည်။

ဥပမာအားဖြင့်၊ အကယ်၍ ကျွန်ုပ်တို့တွင် လူနာတစ်ဦး ကင်ဆာဖြစ်လာနိုင်သည်ဖြစ်စေ မခန့်မှန်းနိုင်သော ထောက်ပံ့ပို့ဆောင်မှုပုံစံတစ်ခုရှိလျှင် အမှားပြုလုပ်ခြင်း (လူနာတစ်ဦးတွင် ကင်ဆာမဟုတ်ကြောင်း လွဲမှားစွာပြောပြခြင်း) သည် အလွန်မြင့်မားနေပါသည်။ အချိန်တိုင်းနီးပါးမှန်သောမော်ဒယ်။

အပြန်အလှန်အားဖြင့်၊ စျေးကွက်ရှာဖွေခြင်းကဲ့သို့သော အခြားစက်မှုလုပ်ငန်းများတွင်၊ မော်ဒယ်တစ်ခုအတွက် AUC ရမှတ်နိမ့်သည် လက်ခံနိုင်ဖွယ်ရှိသည်။

ဥပမာအားဖြင့်၊ ကျွန်ုပ်တို့တွင် ဖောက်သည်သည် ထပ်ခါတလဲလဲ ဝယ်ယူသူဖြစ်မည်ကို ကြိုတင်ခန့်မှန်းနိုင်သော မော်ဒယ်တစ်ခုရှိလျှင် စျေးနှုန်းမှားခြင်းသည် အသက်မပြောင်းလဲပါ၊ ထို့ကြောင့် 0.6 အောက်ရှိသော AUC မော်ဒယ်သည် အသုံးဝင်နိုင်ပါသေးသည်။

AUC ရမှတ်များကို လက်ရှိမော်ဒယ်နှင့် နှိုင်းယှဉ်ပါ။

လက်တွေ့ကမ္ဘာဆက်တင်များတွင်၊ ကျွန်ုပ်တို့သည် လက်ရှိအသုံးပြုနေသောမော်ဒယ်၏ AUC ရမှတ်များနှင့် ထောက်ပံ့ပို့ဆောင်ရေးဆုတ်ယုတ်မှုပုံစံအသစ်များ၏ AUC ရမှတ်များကို မကြာခဏ နှိုင်းယှဉ်ပါသည်။

ဥပမာအားဖြင့်၊ ကုမ္ပဏီတစ်ခုသည် ဖောက်သည်များ ထပ်တလဲလဲ ဖောက်သည်ဖြစ်ခြင်း ရှိ၊

အကယ်၍ လက်ရှိမော်ဒယ်တွင် AUC ရမှတ် 0.6 ရှိပြီး AUC ၏ 0.65 ရှိသော မော်ဒယ်အသစ်ကို သင်တီထွင်ပါက၊ ၎င်းသည် အနည်းငယ် တိုးတက်မှုကိုသာ ပေးစွမ်းနိုင်သော်လည်း Hosmer နှင့် Lemeshow မှ သင်တီထွင်ထားသော မော်ဒယ်အသစ်သည် ပိုကောင်းလာလိမ့်မည် စံနှုန်းများ။

ထပ်လောင်းအရင်းအမြစ်များ

အောက်ဖော်ပြပါ သင်ခန်းစာများသည် ROC မျဉ်းကွေးများနှင့် AUC ရမှတ်များ ဖန်တီးခြင်းနှင့် အဓိပ္ပာယ်ပြန်ဆိုနည်းဆိုင်ရာ နောက်ထပ်အချက်အလက်များကို ပေးဆောင်သည်-

ROC Curve (ဥပမာများနှင့်အတူ) အဓိပါယ်ဖွင့်နည်း
Python တွင် ROC Curve ဖန်တီးနည်း
R ဖြင့် ROC မျဉ်းကွေးကိုဖန်တီးနည်း
AUC ကို R ဖြင့် တွက်နည်း