Mittaustiedon käsittely ja analytiikka energia-alalla
Saapuvan mittausdatan käsittelyä ja tallentamista pitkäaikaisesti Azuren palveluilla
Tässä tapauksessa käsitellään Azuressa integraatioalustan kautta saapuvaa mittausdataa, energia-alalla on pitkään käytetty SAF - nimistä formaattia tiedonvaihtoon kun eräsiirroista on kyse. Tiedostoformaattia käytetään sähkön siirron, sähkön vähittäismyynnin ja kaasun liiketoiminta-alueilla.
Millaisia komponentteja tarvitaan mittausdatan käsittelyyn Azuressa sijaitsevalla data-alustalla?
Ratkaisu kokonaisuutena
Ratkaisu muodostaa oman Azuren landing zone - hallintaryhmän alla olevan kokonaisuuden, tyypillistä on että on useampia eri Azuren tilauksia joihin ympäristöt (dev, test, qa, uat, prod) sijoittuvat omina resurssiryhminään.
Yleensä vaatimuksena on että on jonkinlainen resurssi jonne ulkoiset palvelut voivat tuottaa dataa ja toisaalta kokonaisuuden sisäinen datankäsittely on tiukemmin rajoitettu tapahtuvaksi omassa verkkokonaisuudessaan.
Luonnollisesti sovellettava Azuren hallintamalli pilvipalveluiden kehittämisessä asettaa täsmälliset vaatimukset toiminnalle.
Virtuaaliverkko ja aliverkot
Jokaisessa ympäristössä on oma virtuaaliverkko ja aliverkot segmentoimassa kokonaisuutta, osa palveluista tuodaan suoraan virtuaaliverkon sisälle ja toisaalla voidaan dedikoida joku aliverkko suoraan tietylle palvelulle. Osa Azuren palveluista on luoteeltaan sellaisia että niiden osalta käytetään virtuaaliverkon aliverkkojen service endpoint tai private endpoint - konfiguraatioita, private endpoint mahdollistaa tavallaan vaikka loogisen tietokantapalvelimen tuonnin tietyn aliverkon sisälle. Osa palveluista voi olla sellaisia että riittää vaikkapa service endpointin käyttäminen.
Mittausdatan käsittely
Mittausdata saapuu tiedostoina integraatioalustan kautta, saapuvat tiedostot laukaisevat Azure Functions - resursseihin perustuvia käsittelyitä ja tiedon tallennuksia, nämä funktiot on tuotu niiden yläpuolella olevan App Service Premiumin Planin avulla virtuaaliverkon sisälle jolloin ne voivat kommunikoida esimerkiksi tietokannan kanssa joka ei ole avattu julkiseen internettiin.
Mittausdatan pitkäaikaistallennus
Mittausdataa voidaan tallentaa joissain tapauksissa tietokantaan taikka sitten voidaan hyödyntää erikoistuneempia aikasarja-datan käsittelyyn optimoituja ratkaisuja.
Erilaiset hybridikäyttötapaukset sekä toisaalta suuren volyymin aikasarjatapaukset voivat olla haastavia perinteisten tietokantamoottorien avulla toteutettuina. Esimerkiksi jos olisi vaikkapa 3,5 miljoonaa kohdetta jotka generoisivat neljä kertaa tunnissa dataa niin rivien kokonaismäärä vuoden aikana olisi 122,6 miljardia riviä ilman että mitään muutoksia olisi vielä edes huomioitu.
Puhtaamman PaaS - tyyppisen aikasarjojen tallennusmoottorin voisi integroida tähän kokonaisuuteen esimerkiksi niin jos se tukisi service endpoint - tyyppistä tapaa kommunikoida aliverkkoon sijoitetun datan käsittelymoottorin kanssa.
Kustannusten muodostuminen
Tässä esimerkissä kustannuksia alkaa muodostua paljolti valittuu suorituskykytasoon suhteutettuna, kustannukset ovat vain osittain transaktiomääriin ja käsiteltyyn datamäärään perustuvia. Kustannusten muodostumista on seurattava ja reagoitava, pilvipalveluiden luonne on enemmän tuottavuuden ja time to market - puolen mahdollistamisessa kuin tiukasti kustannustehokkuudessa unit economics - mielessä.
Pilvipalveluiden hyödyntämisessä on hyvä käyttää jonkinlaista viitekehystä, esimerkiksi Microsoftin Cloud Adoption Framework for Azurea.
Katso mielenkiintoinen referenssimme energia-alalta jossa hyödynnettiin tällaisia palveluita mittausdatan käsittelyssä!
Lisätietoja
Tagit
Liiketoimintaprosessi
BI ja raportointi |
Erikoisosaaminen
Ohjelmistokehitys | |
Analytiikka | |
Arkkitehtuuri | |
Integraatiot | |
Pilvipalvelut / SaaS |
Toimialakokemus
Raaka-aineet ja energia |
Teknologia
Azure | |
Microsoft | |
Python |
Tarjonnan tyyppi
Konsultointi | |
Toteutustyö |
Ready Solutions - Asiantuntijat ja yhteyshenkilöt
Ready Solutions - Muita referenssejä
Ready Solutions - Muita bloggauksia
It- ja ohjelmistoalan työpaikat
- Digia Oyj - Azure Integration Developer
- Ready Solutions Oy - Senior Data Scientist
- Nordea - Qualtrics XM Process Specialist
- Laura - Analyytikot, tietohallinto
- Laura - Project Director, PMO
- Nordea - Sr IT Operations Support Engineer (Adobe/SAS Marketing Automation)
- Laura - Full Stack kehittäjä
Premium-asiakkaiden viimeisimmät referenssit
- Red & Blue Oy - Taivalkosken uusi saavutettava ja erottuva verkkopalvelu
- Hion Digital Oy - Vauvan ja vanhemman matkassa – Verkkosovellus, jonka sisältö mukautuu elämäntilanteeseen
- Verkkovaraani Oy - Uudet kotisivut Talin ja Ruusulan keilahalleille
- S1 Networks Oy - Pitäiskö teidän hankkia parempi netti?
- Altoros Finland Oy - Automaattinen kestävyysraportointityökalu CSRD siirtymää varten / Sustashift
- Digiteam Oy - Verkkokaupan toteutus Apollokaihdin.fi
- Digiteam Oy - Kattokeskuksen sivut ykköseksi Googlessa
Tapahtumat & webinaarit
- 13.12.2024 - AamuAreena 13.12.2024: Kestävä kehitys – Vihreät ICT-laitehankinnat
- 17.12.2024 - Rakettiwebinaari: jouluspesiaali – kysy mitä vain!
- 15.01.2025 - Datavastuullisuuden valmennus: hanki valmiudet vastuulliseen datan ja tekoälyn hyödyntämiseen
- 23.01.2025 - Generatiivisen tekoälyn hyödyt liiketoimintajohtajalle
Premium-asiakkaiden viimeisimmät bloggaukset
- Nordea - Dušana Milinkovićin ajatuksia Nordean graduaattiohjelmasta
- Kisko Labs Oy - Hackathonien haasteet ja ratkaisut: reiluuden ja tuloksellisuuden tavoittelu
- SD Worx - Herkkukori tai viinipullo, ovatko ne enää nykypäivää? Mitä työntekijöille joululahjaksi
- SD Worx - 5 HR-trendiä vuodelle 2025: ihmislähtöisen ja tekoälyvetoisen tulevaisuuden rakentaminen
- Timeless Technology - Aranet4 HOME sisäilman laadun langaton mittari!
- Kisko Labs Oy - Innovatiivisuuden kiihdyttäjä: Miten hackathonit voivat tuoda yrityksellesi uutta potentiaalia
- Ready Solutions Oy - Harjoittelu data- ja tekoälyratkaisujen parissa Ready Solutions Oy:lla
Digitalisaatio & innovaatiot blogimediaBlogimediamme käsittelee tulevaisuuden liiketoimintaa, digitaalisia innovaatioita ja internet-ajan ilmiöitä |