TFX, čo je skratka pre TensorFlow Extended, je komplexná platforma typu end-to-end na vytváranie kanálov strojového učenia pripravených na výrobu. Poskytuje súbor nástrojov a komponentov, ktoré uľahčujú vývoj a nasadenie škálovateľných a spoľahlivých systémov strojového učenia. TFX je navrhnutý tak, aby riešil výzvy súvisiace so správou a optimalizáciou kanálov strojového učenia, čo umožňuje vedcom a inžinierom v oblasti údajov zamerať sa na vytváranie a opakovanie modelov namiesto riešenia zložitosti infraštruktúry a správy údajov.
TFX organizuje proces strojového učenia do niekoľkých horizontálnych vrstiev, z ktorých každá slúži špecifickému účelu v celkovom pracovnom postupe. Tieto vrstvy spolupracujú, aby zabezpečili plynulý tok údajov a modelových artefaktov, ako aj efektívne vykonávanie kanála. Poďme preskúmať rôzne vrstvy v TFX pre správu a optimalizáciu potrubia:
1. Príjem a overenie údajov:
Táto vrstva je zodpovedná za prijímanie nespracovaných údajov z rôznych zdrojov, ako sú súbory, databázy alebo streamovacie systémy. TFX poskytuje nástroje ako TensorFlow Data Validation (TFDV) na vykonávanie validácie údajov a generovanie štatistík. TFDV pomáha identifikovať anomálie, chýbajúce hodnoty a dátový posun, čím zabezpečuje kvalitu a konzistentnosť vstupných dát.
2. Predspracovanie údajov:
V tejto vrstve ponúka TFX TensorFlow Transform (TFT) na vykonanie predbežného spracovania údajov a inžinierstva funkcií. TFT umožňuje používateľom definovať transformácie na vstupných údajoch, ako je škálovanie, normalizácia, jednorazové kódovanie a ďalšie. Tieto transformácie sa používajú konzistentne počas školenia aj poskytovania, čím sa zabezpečuje konzistentnosť údajov a znižuje sa riziko skreslenia údajov.
3. Modelový tréning:
TFX využíva výkonné tréningové schopnosti TensorFlow v tejto vrstve. Používatelia môžu definovať a trénovať svoje modely strojového učenia pomocou vysokoúrovňových rozhraní API TensorFlow alebo vlastného kódu TensorFlow. TFX poskytuje nástroje ako TensorFlow Model Analysis (TFMA) na vyhodnotenie a overenie trénovaných modelov pomocou metrík, vizualizácií a techník krájania. TFMA pomáha posúdiť výkonnosť modelu a identifikovať potenciálne problémy alebo zaujatosti.
4. Validácia a hodnotenie modelu:
Táto vrstva sa zameriava na validáciu a hodnotenie natrénovaných modelov. TFX poskytuje validáciu údajov TensorFlow (TFDV) a analýzu modelu TensorFlow (TFMA) na vykonanie komplexnej validácie a hodnotenia modelu. TFDV pomáha overiť vstupné údaje oproti očakávaniam definovaným počas fázy prijímania údajov, zatiaľ čo TFMA umožňuje používateľom vyhodnotiť výkon modelu voči vopred definovaným metrikám a segmentom.
5. Nasadenie modelu:
TFX podporuje nasadenie modelov v rôznych prostrediach vrátane TensorFlow Serving, TensorFlow Lite a TensorFlow.js. TensorFlow Serving umožňuje používateľom slúžiť svojim modelom ako škálovateľné a efektívne webové služby, zatiaľ čo TensorFlow Lite a TensorFlow.js umožňujú nasadenie na mobilných a webových platformách. TFX poskytuje nástroje a pomôcky na jednoduché zabalenie a nasadenie vyškolených modelov.
6. Riadenie orchestra a pracovného toku:
TFX sa integruje so systémami riadenia pracovného toku, ako sú Apache Airflow a Kubeflow Pipelines, aby organizoval a spravoval celý kanál strojového učenia. Tieto systémy poskytujú možnosti plánovania, monitorovania a spracovania chýb, čím zaisťujú spoľahlivé vykonanie potrubia.
Organizáciou potrubia do týchto horizontálnych vrstiev umožňuje TFX vedcom a inžinierom údajov efektívne vyvíjať a optimalizovať systémy strojového učenia. Poskytuje štruktúrovaný a škálovateľný prístup na riadenie zložitosti prijímania údajov, predbežného spracovania, školenia modelov, validácie, hodnotenia a nasadenia. S TFX sa používatelia môžu sústrediť na vytváranie vysokokvalitných modelov a poskytovanie hodnoty svojim organizáciám.
TFX pre správu a optimalizáciu pipeline zahŕňa horizontálne vrstvy pre príjem a overenie údajov, predbežné spracovanie údajov, školenie modelov, overenie a vyhodnotenie modelov, nasadenie modelov a orchestráciu a správu pracovných tokov. Tieto vrstvy spolupracujú na zefektívnení vývoja a nasadzovania kanálov strojového učenia, čo umožňuje vedcom a inžinierom údajov vytvárať škálovateľné a spoľahlivé systémy strojového učenia.
Ďalšie nedávne otázky a odpovede týkajúce sa Základy TensorFlow EITC/AI/TFF:
- Ako možno použiť vrstvu vkladania na automatické priradenie správnych osí pre graf reprezentácie slov ako vektorov?
- Aký je účel maximálneho združovania v CNN?
- Ako sa proces extrakcie prvkov v konvolučnej neurónovej sieti (CNN) aplikuje na rozpoznávanie obrázkov?
- Je potrebné použiť funkciu asynchrónneho učenia pre modely strojového učenia spustené v TensorFlow.js?
- Aký je parameter maximálneho počtu slov rozhrania TensorFlow Keras Tokenizer API?
- Dá sa TensorFlow Keras Tokenizer API použiť na nájdenie najfrekventovanejších slov?
- čo je TOCO?
- Aký je vzťah medzi množstvom epoch v modeli strojového učenia a presnosťou predpovedí zo spustenia modelu?
- Vytvára API susediace s balíkom v Neural Structured Learning of TensorFlow rozšírený tréningový súbor údajov založený na údajoch z prirodzených grafov?
- Čo je rozhranie API susedov s balíkom v Neural Structured Learning of TensorFlow?
Pozrite si ďalšie otázky a odpovede v EITC/AI/TFF TensorFlow Fundamentals