Aby sme rozpoznali, či je model nadmerne vybavený, musíme pochopiť koncept nadmerného vybavenia a jeho dôsledky v strojovom učení. Prepracovanie nastane, keď model funguje výnimočne dobre na trénovacích údajoch, ale nedokáže zovšeobecniť na nové, neviditeľné údaje. Tento jav je škodlivý pre predikčnú schopnosť modelu a môže viesť k slabému výkonu v reálnych scenároch. V kontexte hlbokých neurónových sietí a odhadov v rámci Google Cloud Machine Learning existuje niekoľko indikátorov, ktoré môžu pomôcť identifikovať nadmerné vybavenie.
Jedným spoločným znakom nadmerného vybavenia je významný rozdiel medzi výkonom modelu na tréningových údajoch a jeho výkonom na overovacích alebo testovacích údajoch. Keď je model príliš vybavený, „zapamätá si“ tréningové príklady namiesto toho, aby sa učil základné vzorce. V dôsledku toho môže dosiahnuť vysokú presnosť na trénovacej množine, ale bude mať problém robiť presné predpovede nových údajov. Vyhodnotením výkonu modelu na samostatnom overovacom alebo testovacom súbore je možné posúdiť, či došlo k nadmernému vybaveniu.
Ďalším znakom nadmerného vybavenia je veľký rozdiel medzi chybovosťou trénovania a overovania modelu. Počas tréningového procesu sa model snaží minimalizovať svoju chybu úpravou svojich parametrov. Ak sa však model stane príliš zložitým alebo je trénovaný príliš dlho, môže začať vyhovovať šumu v trénovacích údajoch, a nie základným vzorom. To môže viesť k nízkej chybovosti školenia, ale výrazne vyššej chybovosti pri overovaní. Sledovanie trendu týchto mier chybovosti môže pomôcť identifikovať nadmerné vybavenie.
Okrem toho, pozorovanie správania stratovej funkcie modelu môže poskytnúť prehľad o nadmernej montáži. Stratová funkcia meria nesúlad medzi predpovedanými výstupmi modelu a skutočnými cieľmi. V preplnenom modeli môže stratová funkcia na trénovacích údajoch naďalej klesať, zatiaľ čo strata na overovacích údajoch sa začína zvyšovať. To naznačuje, že model sa čoraz viac špecializuje na tréningové príklady a stráca schopnosť zovšeobecňovať.
Regulačné techniky možno použiť aj na zabránenie nadmerného vybavenia. Regularizácia zavádza penalizačný termín do stratovej funkcie, čím odrádza model od toho, aby sa stal príliš zložitým. Techniky ako regularizácia L1 alebo L2, výpadok alebo skoré zastavenie môžu pomôcť zmierniť nadmerné vybavenie pridaním obmedzení do procesu učenia sa modelu.
Je dôležité poznamenať, že nadmerné vybavenie môže byť ovplyvnené rôznymi faktormi, vrátane veľkosti a kvality trénovacích údajov, zložitosti architektúry modelu a zvolených hyperparametrov. Preto je dôležité tieto faktory pri trénovaní a hodnotení modelov starostlivo posúdiť, aby ste sa vyhli nadmernému vybaveniu.
Rozpoznanie nadmerného vybavenia v hlbokých neurónových sieťach a odhadoch zahŕňa analýzu výkonu na overovacích alebo testovacích údajoch, sledovanie rozdielu medzi chybovosťou trénovania a overovania, pozorovanie správania stratovej funkcie a používanie techník regularizácie. Pochopením týchto ukazovateľov a prijatím vhodných opatrení je možné zmierniť škodlivé účinky nadmerného vybavenia a vytvoriť robustnejšie a zovšeobecniteľné modely.
Ďalšie nedávne otázky a odpovede týkajúce sa Hlboké neurónové siete a odhady:
- Dá sa hlboké učenie interpretovať ako definovanie a trénovanie modelu založeného na hlbokej neurónovej sieti (DNN)?
- Umožňuje framework TensorFlow od Google zvýšiť úroveň abstrakcie pri vývoji modelov strojového učenia (napr. s nahradením kódovania konfiguráciou)?
- Je správne, že ak je množina údajov veľká, potrebuje menej hodnotenia, čo znamená, že časť množiny údajov použitej na vyhodnotenie možno zmenšiť so zväčšením množiny údajov?
- Dá sa jednoducho kontrolovať (pridávaním a odstraňovaním) počet vrstiev a počet uzlov v jednotlivých vrstvách zmenou poľa dodávaného ako skrytý argument hlbokej neurónovej siete (DNN)?
- Čo sú neurónové siete a hlboké neurónové siete?
- Prečo sa hlboké neurónové siete nazývajú hlboké?
- Aké sú výhody a nevýhody pridania ďalších uzlov do DNN?
- Čo je problém miznúceho gradientu?
- Aké sú niektoré nevýhody používania hlbokých neurónových sietí v porovnaní s lineárnymi modelmi?
- Aké ďalšie parametre je možné prispôsobiť v klasifikátore DNN a ako prispievajú k doladeniu hlbokej neurónovej siete?
Pozrite si ďalšie otázky a odpovede v časti Hlboké neurónové siete a odhady