Tekstynų validavimo modelių sukūrimo paslaugos
Išanalizuota
Kauno technologijos universitetas (PV)
140 000 €
Atviras konkursasCPV: 72212311 - Dokumentų tvarkymo programinės įrangos kūrimo paslaugos
ID: 75694562026-04-24 15:38
Atidaryti CVP ISAprašymas
Perkamos tekstynų validavimo modelių sukūrimo paslaugos Kauno technologijos universitetui. Šių paslaugų tikslas – sukurti ir sukonfigūruoti mokymo sistemą, skirtą lietuvių kalbos dirbtinio intelekto modeliams, ypač vardinių esybių atpažinimui (NER), efektyviai valdyti eksperimentus, hiperparametrus ir duomenis. Sukurta sistema turės atitikti griežtus techninius, teisinius ir dokumentavimo reikalavimus, užtikrinančius patikimumą ir atkuriamumą.
Kvalifikaciniai reikalavimai
- 1Tiekėjo metinės visos veiklos pajamos per paskutinius finansinius metus, o jeigu tiekėjas įregistruotas ar veiklą atitinkamoje srityje pradėjo vėliau – nuo jo įregistravimo dienos, turi būti ne mažesnės 200 000 (du šimtai tūkstančių) Eur.
- 2Tiekėjas ir ūkio subjektai, kurių pajėgumais remiasi tiekėjas pagrindžiant atitikimą šiam kvalifikaciniam reikalavimui, privalo prisiimti solidarią atsakomybę už pirkimo sutarties įvykdymą.
- 3Tiekėjas, per paskutinius 3 metus iki pasiūlymo pateikimo termino pabaigos turi būti įvykdęs bent vieną sutartį lietuvių kalbos technologijų projekto įgyvendinimui, kurios (-ių) vertė ne mažesnė kaip 45 000 (keturiasdešimt penki tūkstančiai) Eur.
- 4Tiekėjas, per paskutinius 3 metus iki pasiūlymo pateikimo termino pabaigos turi būti įvykdęs bent vieną sutartį dirbtinio intelekto įrankių susijusių su dirbtinio intelekto sprendimų, veikiančių su jautriais duomenimis (pvz., medicininiais ar kitais specialių kategorijų duomenimis), kūrimu ir (ar), kurios (-ių) vertė ne mažesnė kaip 70 000,00 (septyniasdešimt tūkstančių) Eur.
- 5Projekto vadovas iki pasiūlymų pateikimo termino pabaigos turi būti vadovavęs bent 1 (vienam) projektui (sutarčiai) arba jo daliai, kurio metu buvo sukurtas bent vienas lietuvių kalbos technologijų (pvz., NER), teksto analizės, tekstyno kūrimo ar panašus sprendimas, ir kurio vertė ar dalis, kuriai vadovauta, yra ne mažesnė kaip 45 000 (keturiasdešimt penki tūkstančiai) Eur.
- 6Projekto vadovas turi tarptautinę informacinių sistemų projektų vadovo kvalifikaciją.
- 7Projekto vadovas turi aukštąjį universitetinį ar jam prilygintą išsilavinimą.
- 8Projekto vadovas moka lietuvių kalbą ne žemesniu kaip C1 lygiu pagal CEFR arba lygiavertę kompetenciją (pvz., gimtoji kalba).
- 9Dirbtinio intelekto specialistas iki pasiūlymų pateikimo termino pabaigos turi būti sukaupęs ne trumpesnę kaip 3 (trijų) metų programuotojo darbo patirtį.
- 10Dirbtinio intelekto specialistas iki pasiūlymų pateikimo termino pabaigos turi būti sukaupęs ne mažiau kaip 2 (dviejų) metų darbo patirtį vystant dirbtinio intelekto sprendimus įtraukiant mašininio mokymosi įkaitant giliojo mokymosi modelius.
- 11Dirbtinio intelekto specialistas turi informatikos mokslų studijų krypties aukštojo mokslo diplomą.
- 12Dirbtinio intelekto specialistas moka lietuvių kalbą ne žemesniu kaip C1 lygiu pagal CEFR arba lygiavertę kompetenciją (pvz., gimtoji kalba).
- 13Kalbos modelių analitikas iki pasiūlymų pateikimo termino pabaigos turi būti dirbęs kalbos modelių analizės srityje, įgyvendinant projektą, sutartį arba jo dalį, kurio metu buvo sukurtas teksto analizės, tekstyno rengimo ar panašus sprendimas.
- 14Kalbos modelių analitikas iki pasiūlymų pateikimo termino pabaigos turi būti atlikęs darbų kalbos modelių analizės srityje, kurių vertė ne mažesnė nei 20 000,00 (dvidešimt tūkstančių) Eur.
- 15Kalbos modelių analitikas turi aukštojo mokslo diplomą.
- 16Kalbos modelių analitikas moka lietuvių kalbą ne žemesniu kaip C1 lygiu pagal CEFR arba lygiavertę kompetenciją (pvz., gimtoji kalba).
Techniniai reikalavimai
Duomenų valdymas
- 1Sistema turi palaikyti automatizuotus duomenų įkėlimo ir apdorojimo procesus, užtikrinant suderinamumą su populiariais struktūrizuotų duomenų formatais (pvz., CSV, JSON ir lygiaverčiais).
- 2Sistema turi užtikrinti automatizuotą duomenų rinkinio padalijimą į mokymo, validavimo ir testavimo dalis pagal naudotojo apibrėžtus santykius (pvz., 80 %; 10 %; 10 %), išlaikant duomenų paskirstymo vientisumą ir atkartojamumą.
- 3Sistema turi būti sukurta ir apmokyta naudojant lietuvių kalbos tekstynus, kurie sudaro pagrindinį modelių mokymo ir validavimo duomenų šaltinį.
- 4Sistema turi užtikrinti, kad anotacijos būtų suderinamos su lietuvių kalbos gramatine struktūra, įskaitant linksnių, skaičiaus ir giminės variacijas.
- 5Sistema turi realizuoti tokenizavimo funkcionalumą, pritaikytą lietuvių kalbos morfologinėms ir sintaksinėms ypatybėms, užtikrinantį korektišką linksnių, darybos formų ir sudurtinių žodžių apdorojimą bei suderinamumą su subword tipo modeliais.
- 6Sistema turi realizuoti lietuvių kalbai pritaikytą anotacijų apdorojimą, užtikrinantį anotacijų nuoseklumą ir suderinamumą su lietuvių kalbos morfologinėmis ir semantinėmis ypatybėmis, įskaitant esybių klasifikavimą ir koregavimą pagal lingvistinį kontekstą.
- 7Sistema turi užtikrinti teisingą žymių sulygiavimą su „subžodžių“ tokenais, korektiškai paskirstant BIO/IOB tipo anotacijas tokenizacijos metu.
- 8Sistema turi palaikyti paketų sudarymo (angl. batch collation) ir užpildymo (angl. padding) mechanizmus skirtingo ilgio tekstams, optimizuojant atminties panaudojimą ir mokymo efektyvumą.
- 9Sistema turi palaikyti didelių tekstynų srautinį nuskaitymą neįkeliant viso tekstyno į atmintį.
Lyginamoji analizė
- 1Sistema turi palaikyti kelių modelių lygiagretų vertinimą, sudarant galimybę palyginti ne mažiau kaip penkis skirtingus modelių variantus ar konfigūracijas.
- 2Sistema turi generuoti išsamią lyginamąją veiklos ataskaitą, kurioje pateikiami kiekvieno modelio preciziškumo, atkūrimo (angl. recall) ir F1 įverčio rezultatai tiek agreguotai, tiek pagal atskirus esybių tipus.
- 3Sistema turi pateikti modelių struktūrinių charakteristikų palyginimą, įskaitant parametrų skaičių, modelio failo dydį (MB/GB) ir, jei taikoma, skaičiavimo sudėtingumo rodiklius.
- 4Sistema turi generuoti interaktyvias vizualizacijas, leidžiančias palyginti modelius pagal skirtingus kriterijus (pvz., „scatter“ diagramas, stulpelines diagramas, ar kitus analitinius grafikus).
Modelių vertinimas
- 1Modelių mokymui turi būti naudojama ne mažesnė kaip 5 000 000 žodžių apimties lietuvių kalbos tekstyno imtis; validacijai treniravimo metu ‒ ne mažesnė kaip 500 000 žodžių apimties imtis; o galutiniam modelių vertinimui ‒ atskira, su mokymo ir validavimo duomenimis nesikertanti, ne mažesnė kaip 1 000 sakinių testavimo imtis, užtikrinant duomenų reprezentatyvumą ir rezultatų patikimumą.
- 2Sistema turi automatiškai apskaičiuoti standartines vardinių esybių atpažinimo (NER) vertinimo metrikas: preciziškumą, atkūrimą (angl. recall) ir F1 įvertį.
- 3Sukurtas modelis turi pasiekti ne mažesnį kaip 0,80 F1 įvertį, vertinant jį su atskira testavimo imtimi.
- 4Sistema turi apskaičiuoti vertinimo metrikas tiek agreguotai visam testavimo rinkiniui, tiek atskirai kiekvienai esybės kategorijai (pvz., PER, LOC, ORG ir kt.).
- 5Sistema turi palaikyti griežto atitikimo (angl. strict evaluation) vertinimo režimą, kai esybė laikoma teisingai atpažinta tik tuo atveju, jei jos ribos ir kategorija visiškai sutampa su tikrąja anotacija.
- 6Sistema turi užtikrinti korektišką BIO/IOB (ir jų išplėstinių variantų) formato apdorojimą vertinimo metu, įskaitant žymių konvertavimą į esybių segmentus.
- 7Sistema turi apskaičiuoti mikro (angl. micro-average) ir makro (angl. macro-average) F1 įverčius, aiškiai nurodant skaičiavimo metodiką.
- 8Sistema turi generuoti detalias vertinimo ataskaitas, kuriose pateikiamos visos pagrindinės metrikos, klaidų analizė (pvz., klaidingai teigiami, klaidingai neigiami atvejai) bei galimybė eksportuoti rezultatus CSV, JSON arba Markdown formatais.
Teisiniai reikalavimai
- 1Kuriant modelių sistemą privalu laikytis autorių ir gretutines teises reguliuojančių Lietuvos ir ES teisės aktų.
- 2Kuriant modelių sistemą privalu laikytis duomenų apsaugą reguliuojančių Lietuvos ir ES teisės aktų.
- 3Kuriant modelių sistemą privalu laikytis dirbtinio intelekto sistemoms rengiamų mokymo duomenų kokybę reguliuojančių Lietuvos ir Europos teisės aktų.
- 4Kuriant modelių sistemą privalu laikytis Lietuvos ir ES teisės aktų, reguliuojančių atvirų duomenų formavimo ir skelbimo principus (ES direktyva dėl atvirųjų duomenų ir viešojo sektoriaus informacijos pakartotinio naudojimo BDAR (EUR-Lex - 32016R0679 - EN - EUR-Lex (europa.eu)) https://eur-lex.europa.eu/legal-content/EN/TXT/?qid=1561563110433&uri=CELEX:32019L1024).
- 5Kuriant modelių sistemą privalu vadovautis kitais teisės aktais ar projekto kvietimo dokumentais reglamentuojančiais modelių kūrimą.
- 6Kuriant visus produktus (rezultatus) rekomenduojama atsižvelgti į dirbtinio intelekto aktą (EUR-Lex - 52021PC0206 - EN - EUR-Lex (europa.eu) https://eur-lex.europa.eu/legal-content/EN/TXT/?uri=celex:52021PC0206).
- 7Visi Paslaugos rezultatai įgyti vykdant Sutartį, įskaitant autorines turtines ir kitas intelektinės nuosavybės teises, yra Užsakovo nuosavybė, kuria ji gali disponuoti (t. y. rezultatus naudoti, publikuoti, perleisti ar perduoti) kaip mano esant tinkama ir be jokių geografinių ar kitų apribojimų. Užsakovo nuo pilno apmokėjimo už suteiktą paslaugą dienos suteikiama neatlygintina neišimtinė, neterminuota licencija naudoti rezultatus savo veikloje, priimant sprendimus dėl veiklos vystymo.
- 8Be išankstinio raštiško Užsakovo sutikimo ir (arba) atskiro raštiško susitarimo Tiekėjas neturi teisės publikuoti informacijos apie įvykdytos paslaugos rezultatus ir perduoti suteiktų teisių į paslaugos rezultatus bet kokiems tretiesiems asmenims.
Garantijos ir palaikymas
- 1Paslaugų teikėjas turi užtikrinti techninę pagalbą sistemos naudojimo, konfigūravimo ir sutrikimų šalinimo klausimais ne trumpiau, kaip 12 mėn. nuo galutinio priėmimo-perdavimo akto pasirašymo dienos.
- 2Paslaugų teikėjas turi pateikti rekomendacijas dėl duomenų ir modelių atsarginių kopijų tvarkymo.
- 3Paslaugų teikėjas turi užtikrinti konsultacijas dėl hiperparametrų parinkimo ir optimizavimo strategijų.
Dokumentacijos reikalavimai
- 1Sistemai ir išmokytiems modeliams turi būti parengta išsami dokumentacija lietuvių kalba, apimanti šiuos aspektus: Pagrindinių sistemos funkcionalumų ir mokymo proceso aprašymą; Sistemos architektūros ir komponentų sąveikos aprašymą (mokymo infrastruktūra, eksperimentų valdymas, duomenų srautai, modelių registras); Išsamias diegimo instrukcijas lokalioje aplinkoje (Linux, Windows, macOS), įskaitant priklausomybių įdiegimą, aplinkos konfigūravimą ir GPU palaikymo nustatymą; Naudojimo instrukciją: duomenų paruošimas, mokymo parametrų konfigūravimas, eksperimentų paleidimas ir stebėjimas, hiperparametrų optimizavimas, modelių vertinimas ir eksportavimas; Sistemoje naudojamų NER vertinimo metrikų ir jų skaičiavimo metodikos paaiškinimą; Išsamią eksperimentų rezultatų ataskaitą su geriausių modelių veiklos metrikomis, mokymo parametrais ir lyginamąja analize; Geriausiai veikiančių modelių aprašymą: bazinis modelis, architektūra, pagrindinės charakteristikos, veiklos rodikliai ir naudojimo rekomendacijos; Duomenų importavimo formatų ir modelių eksportavimo galimybių aprašymą; Galimų integracijų scenarijus ir sistemos taikymo atvejus.
- 2Visa dokumentacija turi būti parengta laikantis bendrinės lietuvių kalbos taisyklių.
- 3Visi Paslaugų teikėjo parengti dokumentai turi būti suderinti su Užsakovu.
- 4Dokumentų galutinės versijos turi būti pateiktos elektroniniu formatu (Markdown, MS Word arba kitu su Užsakovu suderintu redaguoti tinkamu formatu).
- 5Pastabos ir korekcijos dokumentų projektuose turi būti teikiamos naudojant MS Office programinio paketo (ar lygiaverčio) pakeitimų sekimo (angl. track changes) ir komentavimo funkcijas.
Mokymo sistemos reikalavimai
- 1Sistema turi palaikyti paskirstytą modelių mokymą (angl. distributed training) keliuose GPU įrenginiuose ir (arba) mazguose vienu metu, užtikrinant efektyvų skaičiavimo išteklių panaudojimą, aukštą duomenų perdavimo spartą bei mastelio didinimo galimybę (scalability).
- 2Sistema privalo užtikrinti aparatinį ir programinį mišrios tikslumo aritmetikos (FP16/BF16) palaikymą, suderinamumą su pagrindinėmis DI sistemų kūrimo platformomis (pvz., PyTorch, TensorFlow) bei automatizuotą skaitinio stabilumo valdymą.
- 3Sistema turi užtikrinti automatinį modelio būsenos kontrolės taškų (angl. checkpoints) kūrimą ir saugojimą nustatytais laiko arba iteracijų intervalais, sudarant galimybę atkurti mokymo procesą po neplanuoto sustabdymo be reikšmingo duomenų ar progreso praradimo.
- 4Sistema turi palaikyti mokymo tęsimą nuo bet kurio išsaugoto kontrolės taško, užtikrinant, kad sustabdytas mokymas gali būti pratęstas be duomenų praradimo.
- 5Sistema turi realizuoti ankstyvo sustabdymo mechanizmą, automatiškai nutraukiantį mokymo procesą, kai validavimo metrikos per nustatytą laikotarpį neberodo statistiškai reikšmingo pagerėjimo.
- 6Sistema turi palaikyti konfigūruojamus mokymo žingsnio dydžio planavimo algoritmus, įskaitant linijinį, kosinusinį, polinominį ir kitus adaptacinius metodus.
- 7Sistema turi realizuoti gradiento apkarpymo mechanizmą, skirtą užtikrinti mokymo proceso skaitinį stabilumą.
- 8Sistema turi užtikrinti atsitiktinių pradinių reikšmių ir atsitiktinių procesų kontrolę, sudarant galimybę atkurti mokymo rezultatus identiškomis konfigūracijos ir aplinkos sąlygomis.
- 9Sistema privalo palaikyti lietuvių kalbai adaptuotų NER modelių kūrimą ir mokymą, įskaitant duomenų paruošimą, anotacijų apdorojimą bei suderinamumą su standartiniais BIO/IOB (ir jų išplėstiniais variantais, pvz., BIOES) žymėjimo formatais, užtikrinant esybių atpažinimą atsižvelgiant į lietuvių kalbos morfologinius, sintaksinius ir semantinius ypatumus.
- 10Sistema turi palaikyti iš anksto apibrėžtų vardinių esybių kategorijų atpažinimą lietuvių kalba, įskaitant bendruosius ir specialių kategorijų asmens duomenis: Fizinių asmenų vardai ir pavardės, įskaitant slapyvardžius, pravardes, vartotojų vardus ir inicialus; Identifikavimo numeriai ir kodai (pvz., asmens kodai, socialinio draudimo numeriai, telefono numeriai, paso numeriai, transporto priemonių valstybiniai numeriai); Geografinės vietovės (miestai, šalys, adresai, pavadinta infrastruktūra); Organizacijų, įstaigų ir juridinių asmenų pavadinimai; Demografiniai ir profesiniai asmens požymiai (pvz., gimtoji kalba, pareigos, išsilavinimas, amžius); Data, laikas arba trukmė; Kiekiai ir finansinės reikšmės (procentai, piniginės sumos); Religiniai ar filosofiniai įsitikinimai; Politinės pažiūros, narystė profesinėse sąjungose; Lytinė orientacija, gyvenimas; Rasinė ir etninė priklausomybė; Sveikatos, genetiniai ir biometriniai duomenys, apimant ir jautrius su sveikata susijusius įpročius (piktnaudžiavimą narkotinėmis medžiagomis); Kita asmeninė informacija, tiesiogiai ar netiesiogiai susijusi su asmeniu, nepriklausanti išvardytoms kategorijoms.
Aplinkosauginiai reikalavimai
- 1Užsakymų, sąskaitų teikimas bei bendravimas tarp Tiekėjo ir Perkančiosios organizacijos bus vykdomas tik elektroninėmis priemonėmis (telefonu, elektroniniu paštu ar kt.).
- 2Kita dokumentacija teikiama elektroninėmis priemonėmis (elektroniniu paštu ar kt.).
- 3Sutartys bus pasirašomos tik elektroninėmis priemonėmis (elektroniniu parašu).
- 4Pirkėjas siekia jog jo ir Tiekėjo veiksmai darytų kuo mažesnį poveikį aplinkai.
Hiperparametrų optimizavimas
- 1Sistema turi užtikrinti automatizuotą hiperparametrų optimizavimo funkcionalumą, leidžiantį sistemingai ieškoti optimalios modelio konfigūracijos.
- 2Sistema turi palaikyti kelias hiperparametrų paieškos strategijas: Tinklelio paiešką, išbandant visas apibrėžtas parametrų kombinacijas; Atsitiktinę paiešką, generuojant atsitiktines konfigūracijas iš apibrėžtos paieškos erdvės. Bajeso optimizavimą, adaptuojant parametrų parinkimą pagal ankstesnių eksperimentų rezultatus ir pasirinktą optimizavimo metriką.
- 3Sistema turi sudaryti galimybę apibrėžti hiperparametrų paieškos erdvę, nurodant parametrų tipą (diskretus, tęstinis, kategorinis), ribas ar galimų reikšmių aibę (pvz., mokymosi greitis, epochų skaičius, optimizatoriaus tipas ir kt.).
- 4Sistema turi palaikyti lygiagrečią kelių eksperimentų vykdymą (angl. parallel sweep execution), efektyviai panaudojant turimus GPU išteklius.
- 5Sistema turi automatiškai identifikuoti ir pažymėti geriausią hiperparametrų konfigūraciją pagal naudotojo pasirinktą optimizavimo kriterijų (pvz., F1 įvertį), išsaugant susijusius modelio artefaktus ir meta-duomenis.
Atkuriamumas ir dokumentavimas
- 1Sistema turi automatiškai registruoti ir išsaugoti visas mokymo konfigūracijas, įskaitant hiperparametrus, modelio architektūrą, optimizavimo strategiją, duomenų apdorojimo ir transformacijų žingsnius.
- 2Sistema turi automatiškai fiksuoti vykdymo aplinkos informaciją, įskaitant programavimo kalbos versiją (pvz., Python), naudojamų bibliotekų ir jų versijų numerius, CUDA ir GPU tvarkyklių versijas, operacinę sistemą bei kitus reikšmingus sisteminius parametrus.
- 3Sistema turi užtikrinti pilną mokymo proceso metaduomenų registravimą, sudarant galimybę atkurti eksperimentą identiškomis konfigūracijos ir aplinkos sąlygomis bei užtikrinti rezultatų atkartojamumą.
Modelių eksportas ir diegimas
- 1Sistema turi palaikyti modelių eksportavimą į HuggingFace Hub suderinamą formatą, įskaitant modelio svorius, konfigūracijos failus, tokenizatorių ir susijusius metaduomenis.
- 2Sistema turi palaikyti modelių kvantizaciją į mažesnio tikslumo formatus (pvz., INT8, INT4), siekiant sumažinti modelio dydį ir optimizuoti našumą.
- 3Sistema turi palaikyti lokalų modelių išsaugojimą su pilna konfigūracija ir tokenizatoriais.
Projekto vykdymo tvarka ir terminai
- 1Pasirašius Sutartį, Paslaugų teikėjas per 3 (tris) darbo dienas turės parengti ir derinimui su Užsakovui pateikti reglamentą, kuriame turi būti nustatyta paslaugų teikimo rezultatų pateikimo, Užsakovo informavimo apie paslaugų teikimo progresą tvarka.
- 2Užsakovas pastabas derinimui pateiktam dokumentui turi pateikti per 2 (dvi) darbo dienas nuo dokumento gavimo dienos. Paslaugų teikėjas pagal Užsakovo pateiktas pastabas dokumentą turi ištaisyti per 2 (dvi) darbo dienas (nuo pastabų gavimo dienos).
- 3Sistemos modelių kūrimo rezultatas - sukurta ir sukonfiguruota validavimo modelių mokymo sistema, išmokyti modeliai, pateikta pilna ir išsami dokumentacija, programinis kodas, metaduomenys (įskaitant aprašymą ir kt. reikalingą dokumentaciją) pateikti Užsakovo nurodytuose serveriuose / saugyklose ir išpildyti visi kiti techninėje specifikacijoje nustatyti reikalavimai – turi būti perduotas Užsakovui per 14 kalendorinių dienų nuo sutarties pasirašymo dienos.
- 4Paslaugų rezultatų metaduomenys turi būti aprašyti pagal Lietuvos teisės aktais nustatytą ir Reglamente su Užsakovu suderintą metaduomenų standartą, taip pat turi būti pateikti Užsakovo nustatytoje metaduomenų saugykloje.
Eksperimentų valdymas ir stebėsena
- 1Sistema turi integruoti centralizuotą eksperimentų valdymo platformą, leidžiančią realiuoju laiku stebėti visų vykdomų modelių mokymo procesų eigą ir būseną.
- 2Platforma privalo automatiškai registruoti kiekvieno eksperimento konfigūraciją, įskaitant visus hiperparametrus (pvz., learning rate, paketo dydį, epochų skaičių, optimizatoriaus tipą ir kt.).
- 3Platforma turi realiuoju laiku stebėti, saugoti ir vizualizuoti mokymo bei validavimo metrikas (pvz., nuostolio funkcijos reikšmes, tikslumą, F1 įvertį ir kitas pasirinktinas metrikas).
- 4Platforma turi sudaryti galimybę vienu metu palyginti kelis eksperimentus, pateikiant interaktyvius grafikus, lenteles ir statistinius palyginimus.
- 5Platforma turi automatiškai registruoti ir vizualizuoti sisteminius išteklius mokymo metu, įskaitant GPU panaudojimą, GPU ir RAM atminties suvartojimą, CPU apkrovą ir kitus našumo rodikliu.
- 6Sistema turi užtikrinti modelių artefaktų versijų valdymą automatiškai išsaugant kiekvieno eksperimento modelio svorius.
- 7Sistema turi palaikyti duomenų versijų sekimą užtikrinant, kad žinoma, kokiais duomenimis buvo mokytas kiekvienas modelis.
- 8Platforma turi leisti generuoti automatines eksperimentų ataskaitas, apibendrinančias pagrindinius rezultatus ir lyginimą.
- 9Sistema turi realizuoti įspėjimų ir anomalijų aptikimo mechanizmą, automatiškai informuojantį apie galimus mokymo sutrikimus (pvz., atminties perpildymą, nutrūkusį procesą, neįprastą metrikų elgseną).
- 10Platforma turi palaikyti centralizuotą modelių registrą, kuriame saugomi modelio metaduomenys, t. y., architektūra, mokymo data, naudoti duomenys, hiperparametrai, veiklos metrikos ir versijos informacija.
- 11Platforma turi būti prieinama per interneto naršyklę, užtikrinant saugią ir interaktyvią darbo aplinką (angl. dashboard) su vartotojų prieigos valdymu.
Vartotojo sąsajos ir prieinamumo reikalavimai
- 1Sistema turi turėti aiškią konfigūracijos sąsają per YAML ar JSON failus, leidžiančią nustatyti visus mokymo parametrus be programavimo.
- 2Eksperimentų valdymo platforma turi turėti intuityvią naršyklės sąsają, prieinamą interneto naršyklėje.
- 3Naršyklės sąsaja turi prisitaikyti prie įvairių rezoliucijų monitorių.
- 4Sistema turi turėti CLI (angl. command-line interface) paslaugą, leidžiančią paleisti mokymus per terminalą su aiškiais parametrais.
Dokumentai20
tendis.lt · Sukurta recodin.lt