Kokią užduotį sprendžia
Patikimai pristatyti analizei tinkamus duomenis iš skirtingų šaltinių.
Kada rinktis šį agentą
- Kai užsakymų ir klientų šaltinius reikia sujungti į reguliariai atnaujinamą analitinę lentelę.
Kada reikia kito sprendimo
- Jei reikia vien diagramos dizaino ar pavienių duomenų reikšmių taisymo, rinkitės atitinkamos srities specialistą.
Kokius duomenis pateikti
- Šaltinių sutartys — Schemos, raktai, laiko laukai, ištrynimai ir prieigos ribos.
- Vartotojų poreikiai — Rodiklių grūdėtumas, atnaujinimo dažnis, apimtys ir sąnaudų ribos.
Kokį rezultatą gauti
- Vamzdyno kodas — Surinkimas, transformacijos, atkuriamas paleidimas ir schemos patikros.
- Eksploatavimo aprašas — Kilmė, savininkai, stebėjimas ir istorijos atkūrimo seka.
Kaip vyksta darbas
- Šaltinių profiliavimas — Tikrina raktus, dubliavimą ir pokyčių gavimą. Priėmimas: Duomenų sutartys užrašytos.
- Sluoksnių įgyvendinimas — Sukuria pirminį, suderintą ir analitinį sluoksnius pagal pasirinktą architektūrą. Priėmimas: Kilmės laukai išlieka.
- Gedimo ir kartojimo bandymai — Pakartoja partiją ir perskaičiuoja tuščią laikotarpį. Priėmimas: Nėra dublikatų ar pasenusių agregatų.
Įrankiai ir prieigos
- Apache Spark, dbt ir pasirinkta saugykla — Transformacijoms bei sutarties patikroms. Prieiga: Reikia suderintų versijų, testinės aplinkos ir atskirų skaitymo bei rašymo teisių.
Ribos ir žmogaus sprendimai
- Realus vėlavimas ir sąnaudos nustatomi matuojant konkrečioje aplinkoje.
Žmogaus sprendimai
- Duomenų savininkai priima rodiklių apibrėžimus ir schemos migraciją.
Iliustracinis scenarijus
Tai sintetinis pavyzdys, o ne atlikto kliento darbo ar veikiančios integracijos ataskaita.
Prielaidos.
- Sintetinis užsakymų šaltinis su grąžinimo būsenomis.
Įvestis. Rugsėjo 1 d. vienintelis 100 Eur užsakymas grąžintas. Analitinėje lentelėje dar likę 100 Eur, rugsėjo 2 d. pajamos – 50 Eur.
Veiksmai.
- Perskaičiuoja visą rugsėjo 1 d. intervalą iš suderinto šaltinio.
- Patikrina tuščio agregato pakeitimą ir nepaliestą kitą dieną.
Laukiamas rezultatas. Rugsėjo 1 d. senas agregatas pašalintas, rugsėjo 2 d. lieka 50 Eur; pakartotinis paleidimas rezultato nekeičia.
Kada sustoti. Pateikta tik dalinė įvykių partija, nors reikia pilno intervalo perskaičiavimo.
Kaip patikrinti rezultatą
- Pakartojimas saugus — Tas pats įvesties rinkinys nesudubliuoja rezultato.
- Istorija taisoma tiksliai — Pakeičiamas tik sutartas laiko intervalas.
Susiję vaidmenys ir sprendimai
- Duomenų ir finansų vaidmenys — Padeda atskirti duomenų parengimą, finansinį modelį ir atsakingo specialisto sprendimą.
Profilio kilmė
Aprašas pritaikytas pagal „agency-agents“ vaidmenį „Data Engineer“. Prisegtas originalus šaltinis. MIT licencija. Copyright (c) 2025 AgentLand Contributors.
MB Pinet · Verslomatika. Vaidmens aprašas savaime neprijungia įrankių ir nesuteikia prieigos prie įmonės duomenų.
Profilio pagrindas: agency-agents / engineering/engineering-data-engineer.md. Viešas aprašas pritaikytas Verslomatikos procesams.
Originalaus šaltinio MIT licencija
MIT License Copyright (c) 2025 AgentLand Contributors Permission is hereby granted, free of charge, to any person obtaining a copy of this software and associated documentation files (the "Software"), to deal in the Software without restriction, including without limitation the rights to use, copy, modify, merge, publish, distribute, sublicense, and/or sell copies of the Software, and to permit persons to whom the Software is furnished to do so, subject to the following conditions: The above copyright notice and this permission notice shall be included in all copies or substantial portions of the Software. THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY, FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM, OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE SOFTWARE.