Pridelenie 80% váhy tréningu a 20% váhy hodnoteniu v kontexte strojového učenia je strategické rozhodnutie založené na niekoľkých faktoroch. Cieľom tejto distribúcie je dosiahnuť rovnováhu medzi optimalizáciou procesu učenia a zabezpečením presného hodnotenia výkonnosti modelu. V tejto odpovedi sa ponoríme do dôvodov tejto voľby a preskúmame didaktickú hodnotu, ktorú ponúka.
Aby sme pochopili dôvod rozdelenia 80 % školenia a 20 % hodnotenia, je dôležité pochopiť sedem krokov strojového učenia. Tieto kroky, ktoré zahŕňajú zber dát, prípravu dát, trénovanie modelu, vyhodnotenie modelu, ladenie modelu, nasadenie modelu a monitorovanie modelu, tvoria komplexný rámec pre vytváranie modelov strojového učenia.
Počiatočný krok, zber údajov, zahŕňa zber relevantných údajov na trénovanie modelu. Tieto údaje sú potom predspracované a pripravené vo fáze prípravy údajov. Keď sú údaje pripravené, začína sa fáza trénovania modelu, kde je model vystavený množine trénovacích údajov, aby sa naučil vzory a vzťahy. Výkonnosť modelu sa potom vyhodnotí pomocou samostatného súboru údajov vo fáze hodnotenia modelu.
Rozhodnutie prideliť 80% váhu tréningu a 20% váhu hodnoteniu vychádza zo skutočnosti, že tréning je primárna fáza, kde sa model učí z údajov. Počas tréningu model upravuje svoje interné parametre tak, aby sa minimalizoval rozdiel medzi jeho predpovedanými výstupmi a skutočnými výstupmi v súbore tréningových údajov. Tento proces zahŕňa iteračnú aktualizáciu parametrov modelu pomocou optimalizačných algoritmov, ako je klesanie gradientu.
Priradením vyššej váhy tréningu uprednostňujeme schopnosť modelu učiť sa z údajov a zachytávať zložité vzorce. Tréningová fáza je miesto, kde model získava svoje znalosti a zovšeobecňuje z tréningového súboru údajov, aby mohol predpovedať neviditeľné údaje. Čím viac tréningových dát je model vystavený, tým lepšie sa môže učiť a zovšeobecňovať. Preto venovanie významnej časti hodnotiaceho procesu trénovaniu zaisťuje, že model má dostatočné vystavenie trénovacím údajom na efektívne učenie.
Na druhej strane fáza hodnotenia zohráva kľúčovú úlohu pri hodnotení výkonnosti modelu na neviditeľných údajoch. Hodnotiaca množina údajov, ktorá je oddelená od množiny trénovacích údajov, slúži ako proxy pre scenáre reálneho sveta. Umožňuje nám zmerať, ako dobre dokáže model zovšeobecniť svoje učenie na nové a neviditeľné prípady. Hodnotenie výkonnosti modelu je nevyhnutné na meranie jeho presnosti, presnosti, zapamätania alebo akýchkoľvek iných relevantných metrík v závislosti od konkrétnej problémovej oblasti.
20% váha pridelená hodnoteniu zaisťuje, že model je prísne testovaný na neviditeľných údajoch a poskytuje realistické hodnotenie jeho schopností. Táto hodnotiaca fáza pomáha odhaliť akékoľvek potenciálne problémy, ako je nadmerná montáž, nedostatočná výbava alebo zaujatosť v predpovediach modelu. Umožňuje tiež jemné ladenie hyperparametrov a architektúry modelu na zlepšenie výkonu.
Na ilustráciu tohto konceptu si uveďme praktický príklad. Predpokladajme, že trénujeme model strojového učenia na klasifikáciu obrázkov mačiek a psov. Počas tréningovej fázy sa model učí rozlišovať medzi črtami mačiek a psov analýzou veľkého súboru údajov označených obrázkov. Čím viac obrázkov môže model trénovať, tým lepšie rozlišuje medzi týmito dvoma triedami.
Po dokončení školenia sa model vyhodnotí pomocou samostatného súboru údajov, ktorý obsahuje obrázky, ktoré nikdy predtým nevidel. Táto hodnotiaca fáza testuje schopnosť modelu zovšeobecniť svoje učenie a presne klasifikovať nové, neviditeľné obrázky. Priradením 20 % váhy hodnoteniu zabezpečujeme, že výkonnosť modelu je dôkladne posúdená na základe neviditeľných údajov, čo poskytuje spoľahlivé meranie jeho účinnosti.
Rozdelenie 80% váhy na tréning a 20% váhy na hodnotenie v rámci strojového učenia je strategická voľba zameraná na optimalizáciu procesu učenia a zároveň zabezpečenie presného hodnotenia výkonu modelu. Tým, že značnú časť hodnotiaceho procesu venujeme tréningu, uprednostňujeme schopnosť modelu učiť sa z údajov a zachytávať zložité vzorce. Zároveň sa vo fáze hodnotenia dôsledne testuje model na neviditeľných údajoch, čo poskytuje realistické posúdenie jeho schopností.
Ďalšie nedávne otázky a odpovede týkajúce sa EITC/AI/GCML Google Cloud Machine Learning:
- Čo je prevod textu na reč (TTS) a ako funguje s AI?
- Aké sú obmedzenia pri práci s veľkými množinami údajov v rámci strojového učenia?
- Môže strojové učenie pomôcť pri dialógu?
- Čo je ihrisko TensorFlow?
- Čo vlastne znamená väčší súbor údajov?
- Aké sú niektoré príklady hyperparametrov algoritmu?
- Čo je to súborové učenie?
- Čo ak vybraný algoritmus strojového učenia nie je vhodný a ako sa možno uistiť, že vyberiete ten správny?
- Potrebuje model strojového učenia počas tréningu dohľad?
- Aké sú kľúčové parametre používané v algoritmoch založených na neurónových sieťach?
Ďalšie otázky a odpovede nájdete v EITC/AI/GCML Google Cloud Machine Learning