Meteorologinių duomenų kokybės automatinės kontrolės įrankio atnaujinimas ir funkcionalumo praplėtimas
Išanalizuota
Viešoji įstaiga CPO LT
Rinkos konsultacijaCPV: 72212460 - Analitinės, mokslinės, matematinės arba prognozavimo programinės įrangos kūrimo paslaugos
ID: 75836642026-04-27 09:17
Atidaryti CVP ISAprašymas
Perkamos programavimo paslaugos, skirtos Lietuvos hidrometeorologijos tarnybos meteorologinių duomenų kokybės automatinės kontrolės įrankiui ir HIMED duomenų bazei atnaujinti bei praplėsti. Tikslas – modernizuoti duomenų tvarkymą, užtikrinti efektyvesnę kokybės kontrolę ir patobulinti duomenų vizualizavimo bei analizės galimybes, pritaikant šiuolaikinius techninius sprendimus ir WMO standartus.
Kvalifikaciniai reikalavimai
- 1Metinės visos veiklos pajamos kiekvienais paskutiniais 2 (dvejais) finansiniais metais, o jei ūkio subjektas įregistruotas vėliau ar veiklą pradėjo vėliau – nuo ūkio subjekto įregistravimo ar veiklos pradžios, yra ne mažesnės nei 75 000 Eur (septyniasdešimt penki tūkstančiai eurų).
- 2Projekto vadovą, kuris yra vadovavęs bent 1 (vienam) informacinės sistemos (i) kūrimo, diegimo ir / ar (ii) atnaujinimo projektui.
- 3Analitiką, kuris turi ne trumpesnę kaip 1 (vienerių) metų patirtį informacinių sistemų (i) kūrimo ir / ar (ii) atnaujinimo srityje.
- 4Analitiką, kuris turi turėti bent vienų praktinių mokymų, susijusių su informacinių sistemų (i) kūrimu ir / ar (ii) atnaujinimu, vedimo patirties.
- 5Sistemos architektą, kuris turi turėti ne trumpesnę kaip 1 (vienerių) metų patirtį informacinių sistemų projektavimo srityje.
- 6Sistemos architektą, kuris turi turėti bent vienų praktinių mokymų, susijusių su informacinių sistemų projektavimu, vedimo patirties.
- 7Programuotoją, kuris turi turėti ne trumpesnę kaip 1 (vienerių) metų patirtį informacinių sistemų programavimo srityje.
- 8Programuotoją, kuris turi turėti bent vienų praktinių mokymų, susijusių su informacinių sistemų programavimu, vedimo patirties.
Techniniai reikalavimai
Testavimas
- 1Atskirų sistemos funkcijų ir modulių testavimas: Jest, PHPUnit.
- 2Integraciniai ir regresiniai testai.
- 3Automatizuotas kodo testavimas nuolatinės jo integracijos ir diegimo (CI/CD) proceso metu.
Suderinamumas
- 1Interneto pagrindu veikiantis įrankis turi būti pasiekiamas naudojant naujausias naršyklių versijas, įskaitant Google Chrome, Firefox, Microsoft Edge ar lygiavertes.
Našumas ir saugumas
- 1Atsako laikas: ≤ 200 ms įprastoms užklausoms (priklausomai nuo LHMT įrangos).
- 2Palaikymas: ≥ 500 vienu metu prisijungusių naudotojų (priklausomai nuo LHMT įrangos).
- 3Naudotojai ir administratoriai prie interneto pagrindu veikiančių įrankių jungiasi HTTPS protokolu, naudojant TLS/SSL sertifikatus.
- 4Sistemoje naudojami slaptažodžiai turi būti šifruojami.
- 5Taikomas naudotojų ir prieigos teisių valdymas.
- 6Taikoma administracinių sąsajų apsauga.
- 7Užtikrinamas duomenų bazės ir serverio saugumas.
- 8Užtikrinama apsauga nuo dažniausių atakų.
- 9Vykdomas saugumo testavimas ir pažeidžiamumų valdymas.
Metaduomenų valdymas
- 1Turi būti sukurta aiški, standartizuota ir lengvai pritaikoma identifikavimo metodika į Sistemą įtrauktoms AMS.
- 2Nauji identifikatoriai turi būti priskirti AMS ir integruoti į Sistemą.
- 3Sistemoje turi būti užtikrinta galimybė priskirti identifikatorius naujoms AMS ir jas integruoti į Sistemą.
- 4Sistema turi būti suderinama su keliais stočių identifikavimo metodais (PINN, WMO, WIGOS ir kt.).
Sąsajos ir integracija
- 1Sistemos atnaujinimo metu turi būti techniškai modernizuota esama HIMED duomenų atvaizdavimo platforma, kad ji palaikytų Interneto pagrindu veikiančio įrankio duomenų srautus, HIMED struktūrinius pakeitimus, naujus AMS metaduomenis.
- 2Per HQC atlikti AMS duomenų pakeitimai (korekcijos, ištrynimai, trūkstamų reikšmių įrašymas), duomenų kokybės kontrolės žymių atnaujinimai ir komentarai turi automatiškai sinchronizuotis su LHMT naudojama HIMED duomenų atvaizdavimo platforma (naudotojo sąsaja).
- 3Duomenys, kuriems QC1 aptiko klaidų, neturi būti atvaizduojami iki specialisto atliktos HQC patikros.
- 4Pagal duomenų kokybės žymas atnaujinti duomenys, kuriuos galima naudoti turi būti atvaizduojami lentelėse ir žemėlapiuose, o duomenys, kurie pagal duomenų kokybės žymas yra nenaudotini – neatvaizduojami.
- 5Eksportuojant duomenis iš HIMED duomenų atvaizdavimo platformos (XLS ir CSV formatais) turi būti pateikiama naujausia duomenų versija kartu su duomenų kokybės žymomis, sugeneruotomis tuščiomis laiko eilutėmis ir komentarais.
Mokymai ir dokumentacija
- 1Tiekėjo kvalifikuoti specialistai turi organizuoti Sistemos naudotojų ir administratorių mokymus nuotoliniu būdu arba LHMT patalpose.
- 2Tiekėjas turi parengti pagrindinį techninį naudotojo vadovą (instrukcijas) anglų arba lietuvių kalba.
- 3Tiekėjas įsipareigoja parengti Sistemos naudotojui skirtą dokumentaciją ir administratoriui skirtą vadovą anglų arba lietuvių kalba.
Bendrieji sistemos reikalavimai
- 1Sistema turi būti suprojektuota taip, kad Tiekėjas ir LHMT Sistemos administratorius galėtų ją konfigūruoti ir atnaujinti nuotoliniu būdu, naudojant visuotinai pripažintus saugius protokolus.
- 2Sistema turi būti suderinama su naujausiomis LHMT IT infrastruktūroje veikiančiomis sistemomis.
- 3Atnaujinta ir praplėsta Sistema turi atitikti galiojančius tarptautinius standartus, o Sistemos veikimas būti paremtas WMO standartais, procedūromis ir rekomendacijomis.
- 4Tiekėjo įgyvendinti atnaujinimai neturi sumažinti esamos Sistemos funkcionalumo.
- 5Automatizuotas duomenų kokybės kontrolės procesas turi turėti žmogaus atliekamos duomenų kokybės kontrolės funkciją.
- 6Sistema turi gebėti nuolat apdoroti realaus laiko duomenis, gaunamus iš visų meteorologijos stočių, ir būti pajėgi apdoroti duomenis iš daugiau nei 500 stebėjimo stočių ir daugiau nei 15000 jutiklių.
- 7Patobulinta Sistema turi apimti visus esminius komponentus: automatinę duomenų kokybės kontrolę, rankinę duomenų kokybės kontrolę, interneto pagrindu veikiančio įrankio kūrimą, HIMED tobulinimą ir metaduomenų atnaujinimą.
- 8Sistemoje naudojamas laikas turi būti UTC, t. y., netaikant Lietuvos žiemos / vasaros laiko pakeitimų.
Rankinė kokybės kontrolė (HQC)
- 1Visi į HIMED patenkantys AMS duomenys turi būti rodomi HQC, užtikrinta galimybė juos rankiniu būdu koreguoti, ištrinti arba įrašyti trūkstamas reikšmes, pasirinkti arba keisti duomenų kokybės kontrolės žymas.
- 2Duomenys, kuriems QC1 procesas identifikavo įspėjimus, turi būti HQC atvaizduojami spalvomis. Po rankinės duomenų kokybės kontrolės, anksčiau naudota įspėjimo spalva turi automatiškai pasikeisti į kitą spalvą (nurodančią, kad veiksmas yra užbaigtas), o kokybės kontrolės žyma – atnaujinta.
- 3HQC turi leisti pažymėti kelis duomenų langelius vienu metu ir vienu paspaudimu jiems visiems pritaikyti norimą duomenų kokybės kontrolės žymą.
- 4HQC prie trūkstamos ar esamos reikšmės turi būti sudaryta galimybė pridėti paaiškinamąjį komentarą.
- 5HQC prie meteorologinio elemento reikšmės pasirinkus kokybės žymą „ištrinta“, reikšmė turi būti neįtraukiama į įrankyje atliekamus skaičiavimus.
- 6Atlikus duomenų pakeitimus (koregavimą ar ištrynimą) HQC, duomenys turi būti nedelsiant atnaujinti visoje Sistemoje, taip pat įtraukti į visus skaičiavimus. Nesant techninių galimybių įgyvendinti automatinių skaičiavimų turi būti sudaryta galimybė kai kuriuos ir su LHMT suderintus skaičiavimus inicijuoti rankiniu būdu.
- 7Duomuo neturi būti fiziškai šalinamas iš HIMED, o vietoje to turi būti priskirta atitinkama kokybės žyma, dėl kurios reikšmė neįtraukiama į skaičiavimus.
- 8Sistemos naudotojų tapatybei nustatyti ir prieigos prie duomenų kontrolei būtina naudoti prisijungimo vardų, slaptažodžių ir teisių sistemą. Visos duomenų korekcijos ir veiksmai Sistemoje turi būti identifikuojami pagal naudotojo vardą.
- 9Sistemos naudotojai pagal jiems suteiktas prieigos teises turi būti suskirstyti į grupes.
Duomenų vizualizavimas ir analizė
- 1QC1 duomenų srauto stebėsenos patikros rezultatai turi būti atvaizduojami lentelėse. Kai problema išsprendžiama, atitinkamas įspėjimas apie problemą Sistemoje turi būti automatiškai pašalinamas ir būti laikomas išspręstu. Įspėjimai apie duomenų trūkius, pranešimų vėlavimus, stočių ar prietaisų veiklos sutrikimus ir kitus trikdžius turi būti archyvuojama.
- 2QC1 patikros pagal kriterijus rezultatų vizualizavimo lentelės turi turėti filtravimo funkciją. Turi būti sudaryta galimybė filtruoti duomenis ne mažiau kaip pagal laiką, stotį, elementą, klaidos kodą. Tokio tipo lentelės turi būti pateikiamos dviem būdais – operatyviu ir archyviniu.
- 3Lentelėse turi būti pateikiama ne mažiau kaip ši informacija: stoties pavadinimas, stebėjimo laikas, klaidos kriterijus, jos kodas ir tekstinis aprašymas, QC1 klaidos nustatymo laikas, naudotojo, kuris atliko rankinę duomenų kokybės kontrolę, vardas ir klaidos ištaisymo laikas. Archyvinė lentelė turi būti saugoma nuolatos.
- 4Iš archyvinės lentelės duomenų turi būti generuojama QC1 klaidų statistinė analizė pagal klaidos kodą už naudotojo pasirinktą laikotarpį, naudotojo pasirinktam stočių skaičiui. Turi būti sudaryta galimybė statistinės analizės rezultatus eksportuoti į XLS ir CSV formatus.
- 5Informacija apie AMS per parą gautų / negautų pranešimų kiekį turi būti atvaizduojama žemėlapyje, kiekvieną stotį žymint spalviniu indikatoriumi (visi pranešimai gauti – žalia, bent vienas negautas – raudona).
- 6Žemėlapiai turi būti valdomi naudojant navigacijos (rodyklių) funkciją, kuri leidžia judėti laike tarp parų ir informaciją peržiūrėti už paskutines 10 parų.
- 7Įrankyje AMS duomenys turi būti atvaizduojami su QC1 proceso metu sugeneruotomis kokybės kontrolės žymomis (su galimybe jas keisti rankiniu būdu per HQC), o po rankinės duomenų kokybės kontrolės – su atnaujintomis kokybės kontrolės žymomis.
- 8Įrankio AMS duomenų vizualizavime (lentelėse, grafikuose ir žemėlapiuose) turi būti įdiegta funkcija, leidžianti pasirinkti datą, laiką, norimą duomenų atvaizdavimo intervalą.
- 9Turi būti pateikiamos elementų reikšmės (sumos, vidurkiai, minimumai ir maksimumai) ne mažiau kaip šiems laiko intervalams: valandos, pusdienio, paros, 10 dienų, mėnesio ir metų.
- 10Įrankyje meteorologinių elementų skaičiavimai atliekami pagal meteorologinę parą (meteorologinė para prasideda 18:00:01 UTC laiku, baigiasi 18:00:00 UTC laiku).
- 11Meteorologiniai elementai turi būti atvaizduojami pagal nustatytus reikalavimus matavimo vienetams. Turi būti sudaryta galimybė keisti to paties meteorologinio elemento matavimo vienetus.
- 12Elementai turi būti pateikiami pagal iš anksto nustatytus reikalavimus (sveikaisiais skaičiais, dešimtųjų, šimtųjų ar tūkstantųjų tikslumu), tačiau turi būti integruota papildoma funkcija, leidžianti šiuos reikalavimus keisti, t. y., konkrečiam meteorologiniam elementui pasirinkti norimą tikslumą.
- 13Turi būti taikomos matematinio apvalinimo taisyklės, laikantis nuoseklaus apvalinimo principo. Pvz., apskaičiuotas meteorologinio elemento vidurkis visuose sukurtuose produktuose (lentelėse, grafikuose, žemėlapiuose) turi būti identiškas.
- 14Išvestinių parametrų apskaičiavimas (elementų sumos, vidurkiai, minimumai bei maksimumai per tam tikrą laikotarpį: parai, dešimtadieniui, mėnesiui ir metams) turi būti atliekamas pagal nustatytą LHMT ir WMO metodiką.
- 15Įrankyje esantys AMS duomenys ir lentelės turi turėti galimybę būti eksportuojami į formatus, tokius kaip XLS, CSV ar lygiaverčius.
- 16Turi būti automatiškai atliekamas duomenų patikimumo skaičiavimas (pagal duomenų kokybės kontrolės žymas) mėnesiams, metams, kiekvienai stočiai, visoms stotims kartu, kiekvienam meteorologiniam elementui ir pan.
- 17Duomenų patikimumo analizės rezultatai turi būti atvaizduojami lentelėse, grafikuose ir žemėlapiuose su galimybe rezultatus filtruoti.
- 18AMS duomenų atvaizdavimas lentelėse: duomenų trūkių atvaizdavimas turi būti pateiktas tuščiais langeliais, pažymėtais atitinkama duomenų kokybės kontrolės žyma; minimalios ir maksimalios duomenų reikšmės turi būti paryškintos; turi būti galimybė AMS duomenis skirstyti į meteorologinių elementų kategorijas; naudotini ir nenaudotini duomenys (pagal duomenų kokybės žymas ir iš anksto nustatytus WMO ir LHMT kriterijus) turi būti išskirti skirtingomis spalvomis.
- 19AMS duomenų atvaizdavimas grafikuose: turi būti atvaizduojami AMS duomenys su galimybe palyginamajai analizei pasirinkti vienos ar kelių AMS, vieną ar kelis meteorologinius elementus; duomenų palyginimui turi būti sukurta keleto AMS ir artimiausių AMS grupės pasirinkimo funkcija; turi būti numatyta nakties sluoksnio aktyvavimo funkcija. Jį aktyvavus, nakties valandomis grafiko fonas turi būti atvaizduojamas kita spalva.
- 20AMS duomenų atvaizdavimas žemėlapiuose: turi būti taikomi spalvų gradientai, kuriuose meteorologinių elementų reikšmės atvaizduojamos atitinkamais atspalviais; turi būti įtraukti išoriniai duomenų šaltiniai – meteorologų radarų ir palydovų duomenys – su galimybe juos atvaizduoti kartu su AMS duomenimis; žemėlapiai turi būti valdomi naudojant navigacijos (rodyklių) funkciją, kuri leidžia judėti laike; žemėlapiai turi būti interaktyvūs; rankinės duomenų kokybės kontrolės metu, meteorologiniam elementui pasirinkus kokybės žymą „ištrinta“, reikšmė neturi būti atvaizduojama.
Pristatymo ir priežiūros sąlygos
- 1Atnaujinta ir pilnai funkcionuojanti Sistema turi būti įdiegta ir perduota LHMT administraciniame pastate, esančiame Oršos g. 8, Vilniuje.
- 2Tiekėjas įsipareigoja pilnai įgyvendinti Sistemos atnaujinimo ir plėtros darbus, įskaitant diegimą, testavimą, mokymus ir galutinį perdavimą, per dvidešimt du (22 mėn.) mėnesius nuo sutarties įsigaliojimo dienos.
- 3Tiekėjas įsipareigoja suteikti 24 mėnesių garantinį aptarnavimą atnaujintai Sistemai, skaičiuojant nuo darbų priėmimo-perdavimo akto pasirašymo dienos.
- 4Garantiniu laikotarpiu Tiekėjas įsipareigoja nemokamai pašalinti visas Sistemoje nustatytas klaidas ir veikimo sutrikimus, kylančius dėl Tiekėjo sukurtos programinės įrangos, ir teikti konsultacijas.
- 5Reagavimo į registruotas technines problemas laikas – iki 4 darbo dienų (LHMT darbo dienomis ir darbo valandomis).
- 6Tiekėjas privalo pradėti klaidos analizę per nustatytą reagavimo terminą ir užtikrinti, kad klaidų šalinimas būtų atliekamas protingu terminu, atsižvelgiant į sutrikimo pobūdį, sudėtingumą ir poveikį Sistemos veikimui.
Automatinė kokybės kontrolė (QC1)
- 1QC1 turi apdoroti visus į HIMED patenkančius duomenis beveik realiuoju laiku, tikrinti juos pagal WMO ir LHMT nustatytus kriterijus, aptikti klaidas ir žymėti duomenis kokybės kontrolės žymomis.
- 2QC1 turi veikti nepertraukiamai, užtikrinant 99,8 % veikimo per metus bei ne daugiau kaip 6 valandų incidentų trukmes per metus.
- 3QC1 kriterijų taisyklių kūrimo funkcija turi būti patogi naudotojui – galimybę ja naudotis turi turėti tiek IT specialistai, tiek duomenų kokybės kontrolę atliekantys ekspertai (per asmenines paskyras).
- 4QC1 procesas turi užtikrinti duomenų apdorojimą esamu 1 valandos gavimo dažniu, taip pat būti pritaikytas dažnesniam duomenų gavimui ateityje (minimalus duomenų gavimo dažnis – 1 minutė).
- 5QC1 turi vykdyti realaus laiko duomenų srauto stebėseną: aptikti duomenų trūkius, pranešimų vėlavimus, stočių ar prietaisų veiklos sutrikimus ir kitus trikdžius, generuoti realaus laiko įspėjimus Sistemos viduje.
- 6QC1 turi vykdyti realaus laiko duomenų patikras pagal WMO ir LHMT kriterijus (fizinių, klimatologinių, nuoseklumo ir žingsnio ribų kontrolė, loginių ryšių patikra).
- 7Sistema turi identifikuoti duomenų klaidas ir nepatikimas reikšmes, staigius meteorologinių elementų reikšmių pokyčius ar kitus meteorologinių sąlygų neatitinkančius nuokrypius, generuoti realaus laiko įspėjimus apie nustatytas klaidas ar neatitikimus, kiekvienai identifikuotai klaidai suteikdama kodą.
- 8Po QC1 klaidų identifikavimo proceso visi duomenys turi įgyti duomenų kokybės žymas pagal WMO ir LHMT nustatytus kriterijus. Duomenų kokybės kontrolės žymėjimas turi išlikti toks, koks yra naudojamas šiuo metu, esant poreikiui leidžiami minimalūs pataisymai.
- 9QC1 turi turėti automatinę 1–2 val. trūkstamų duomenų skaičiavimo funkciją atitinkamiems duomenims pagal WMO ir LHMT nustatytus kriterijus.
- 10Sistema turi turėti duomenų valdymo blokavimo mechanizmą (angl. auto-flagging), kuris leistų naudotojui kontroliuoti duomenų srautus, pvz., laikinai sustabdyti tam tikrų AMS duomenų srautą.
- 11Duomenų laiko eilutės turi išlikti nuoseklios net ir esant duomenų trūkiams (pvz., negavus pranešimo, turi būti automatiškai sukuriama tuščia laiko eilutė).
- 12QC1 turi valdyti importuojamų pranešimų srautą, t. y., Sistema turi filtruoti ir neatvaizduoti pranešimų su neteisingais laikais ir reikšmėmis.
- 13Informacija apie stočių veiklos sutrikimus (pvz., jei pranešimai iš AMS nėra gaunami 3 valandas ir ilgiau) turi būti generuojama automatiškai ir LHMT inžinierių komandą, atsakingą už prietaisų priežiūrą, turi pasiekti el. paštu.
Duomenų bazės (HIMED) atnaujinimas
- 1Šiuo metu savarankiškai veikianti programa MW turi būti integruota į vieningą Sistemos duomenų apdorojimo ir valdymo aplinką.
- 2Turi būti optimizuotas dažniausiai naudojamų užklausų ir indeksų sukūrimas, peržiūra.
- 3Turi būti pritaikytas didelės apimties laiko eilučių lentelių particionavimas pagal laiką.
- 4Turi būti užtikrintas saugus ir efektyvus duomenų įrašymas realiuoju laiku, atsižvelgiant į stočių ir jutiklių skaičių.
- 5Vidiniai duomenų srautai (Sistemoje ir HIMED duomenų atvaizdavimo platformoje) turi būti tiksliai suprojektuoti ir dokumentuoti.
- 6Pagal LHMT ir WMO reikalavimus, AMS duomenų archyvavimui skirtos lentelės (XLS formatu) turi būti automatiškai archyvuojamos atskiroje direktorijoje visoms stotims vienu metu.
- 7Lentelės turi būti suformatuotos, o duomenys jose atvaizduojami spalvomis pagal duomenų kokybės kontrolės žymas.
- 8Turi būti galimybė rankiniu būdu pakartotinai suarchyvuoti duomenis, išsaugant naujausią archyvuoto dokumento versiją.
- 9Archyvavimo procesas turi vykti realiu laiku ir būti suderintas su HIMED žurnalinių lentelių particionavimu bei duomenų kokybės kontrolės procesu.
Sistemos architektūra ir technologijos
- 1Esamos naudotojo sąsajos technologijos (HTML, CSS, JavaScript ir jQuery) turi būti atnaujintos į modernų „frontend“ karkasą.
- 2Naudotojo sąsajos (Frontend) programavimo kalba: JavaScript / TypeScript.
- 3Naudotojo sąsajos (Frontend) dizainas turi būti prisitaikantis įvairių dydžių ekranams.
- 4Naudotojo sąsaja (Frontend): interaktyvios diagramos ir duomenų vizualizacija.
- 5Serverio dalis ir HIMED: duomenų modelio normalizavimas ir, esant poreikiui, struktūros pritaikymas efektyvesniam sistemos veikimui.
- 6Serverio dalis ir HIMED: duomenų indeksavimas greitesnėms užklausoms.
- 7Serverio dalis ir HIMED: laiko eilučių lentelių particionavimas pagal laiką.
- 8Serverio dalies ir HIMED operacinė sistema: naujausia Linux Debian arba lygiavertė.
- 9Serverio dalis ir HIMED: konteinerizacija: Docker / Kubernetes (pagal poreikį).
- 10Sistemos įrašų ir veikimo istorijos stebėsenos užtikrinimas: LHMT naudojamų sistemų priemonėmis.
tendis.lt · Sukurta recodin.lt