Hae it-yrityksiä
osaamisalueittain:

Asiakkuudenhallinta CRM BI ja raportointi HR Tuotekehitys ja suunnittelu Toiminnanohjaus ERP Taloushallinto Markkinointi Webkehitys Mobiilikehitys Käyttöliittymäsuunnittelu Tietoturva Verkkokaupparatkaisut Ohjelmistokehitys Integraatiot Pilvipalvelut / SaaS Tekoäly (AI) ja koneoppiminen Lisätty todellisuus ja VR Paikkatieto GIS IoT Microsoft SAP IBM Salesforce Amazon Web Services Javascript React PHP WordPress Drupal

Data-alustan modernisaatio ja uudet vaatimukset

BloggausVanha tietovarasto toimii, kunnes yhden lähdejärjestelmän sarakemuutos rikkoo kolme raporttia ja korjaus jää keskitetyn tiimin jonoon. Data-alustan modernisaatiossa uusitaan tallennus, laskenta ja integraatiot, mutta myös vastuunjako eli kuka omistaa datan, mitä sen käyttäjille luvataan ja miten lupausta valvotaan. Datatuotteet ja datasopimukset tekevät vastuun näkyväksi, ja vaativa modernisaatio viedään läpi vaiheittain etenevänä projektina.

Päivitetty 25.10.2026. Kirjoitus julkaistiin alunperin syyskuussa 2024.

Miksi data-alustaa modernisoidaan?

Data-alustoille asetetut vaatimukset ovat muuttuneet kahdesta syystä. Teknologia tarjoaa uusia tapoja tallentaa, käsitellä ja siirtää dataa, ja data on yhä keskeisemmässä roolissa liiketoiminnassa. Samaa dataa käyttävät raportit, sovellukset, koneoppimismallit ja data-agentit, ja kukin tarvitsee sitä eri muodossa ja eri tahdissa.

Modernisaatio on ajankohtainen, kun nykyisessä alustassa näkyy yksi tai useampi näistä merkeistä:

  • Yhden komponentin muutosta ei voi julkaista testaamatta koko alustaa uudelleen.
  • Eräajot eivät enää mahdu yöhön, tai data on päätöksentekoon liian vanhaa.
  • Jokainen uusi tarve odottaa samaa keskitettyä tiimiä.
  • Kukaan ei osaa sanoa, kuka vastaa raportin luvuista.
  • Tekoälylle ja data-agenteille ei ole dataa, jonka merkitys ja laatu on kuvattu.

Lakehouse erottaa tallennuksen ja laskennan

Moderni data-alusta käsittelee relaatiotauluja, tiedostoja, tapahtumavirtoja ja puolirakenteista dataa. Se voi olla hybridi, jossa lakehouse-analytiikan osat toimivat yhdessä analyyttisen tietokantatuotteen kanssa. On-premises-toteutus on yhä mahdollinen, mutta useimmiten alusta kootaan pilvipalveluista.

Lakehousessa data tallennetaan edulliseen object storageen avoimessa Delta Lake -muodossa, ja samaa dataa luetaan usealla laskentamoottorilla, kuten Sparkilla ja SQL:llä. Data käsitellään alustalla, eikä sitä tarvitse siirtää ulkopuoliselle palvelimelle muokattavaksi ja ladata takaisin. Medallion-arkkitehtuuri jakaa käsittelyn kerroksiin: raakadata (bronze), puhdistettu ja yhdistetty data (silver) ja käyttövalmis data (gold). Kun alusta koostuu Serverless-, PaaS- ja SaaS-palveluista, palveluntarjoaja hoitaa suuren osan infrastruktuurista, jonka organisaatio on-premises-mallissa ylläpitää itse, ja resursseja voi skaalata käytön mukaan.

Pilvipalveluiden suurin hyöty on joustavuus. Kehitystyöstä ja käytetyistä palveluista maksetaan joka tapauksessa, ja kokeneen kehittäjätiimin palkat ovat yleensä infraa suurempi kuluerä. Siksi kannattaa automatisoida ja käyttää valmiita komponentteja. Nykyään tähän kuuluu tekoälyavusteinen kehitys, jossa kielimalli kirjoittaa rutiininomaisen putkikoodin ja kehittäjä tarkistaa sen.

Integraatiotyylit muuttuvat

Datamäärät kasvavat ja eräajoikkunat lyhenevät, joten kaiken datan kierrättäminen yhden integraatiopalvelimen kautta ei enää toimi. Reaaliaikaisuus, sanomapohjainen integraatio ja replikointi ovat yleistyneet koko 2020-luvun. Lokipohjainen replikointi (change data capture, CDC) lukee muutokset lähdetietokannan transaktiolokista, joten data päivittyy lähes reaaliajassa ja lähdejärjestelmän kuorma pysyy pienenä. Tapahtumavirrat tuovat sanomat alustalle sitä mukaa kuin ne syntyvät.

Pilvialustoissa nämä ovat valmiita ominaisuuksia. Esimerkiksi Microsoft Fabricin Mirroring replikoi Azure SQL Databasen, SQL Serverin ja Snowflaken tauluja lähes reaaliajassa OneLakeen. Eräajo on silti usein yksinkertaisin ratkaisu tiedostopohjaisiin integraatioihin ja pieniin lähdetauluihin.

Monoliitista domaineihin

Monoliittisessa data-alustassa komponentit riippuvat toisistaan niin paljon, ettei yhtä osaa voi muuttaa ja viedä julkaisuputkessa eteenpäin huomioimatta muita. Yksittäistä komponenttia ei myöskään voi julkaista itsenäisesti muihin ympäristöihin.

Monoliitin rinnalla on usein keskitetty tietovarastotiimi, joka vastaa kaikesta kehityksestä ja palvelulupauksesta datan käyttäjille. Keskittäminen on ollut luonteva ratkaisu, koska liiketoimintaprosesseilla on harvoin ollut kykyä tuottaa dataa palveluna. Haittapuoli on hitaus, kun yksi tiimi on kaikkien muutosten pullonkaula.

Data Mesh hajauttaa vastuun ja arkkitehtuurin liiketoiminnan ilmiöalueille eli domaineille, kuten taloudelle, myynnille ja henkilöstöhallinnolle. Domain vastaa omasta datastaan ja sen palvelulupauksesta, ja keskitetty data-alustatiimi tarjoaa infrastruktuurin, työkalut ja yhteiset standardit. Malli muuttaa ajattelutapaa paljon ja vaatii resursseja, koska jokaisen domainin pitää ymmärtää, mitä se tuottaa ja kenelle. Harva organisaatio siirtyy siihen kerralla. Yleensä aloitetaan yhdestä tai kahdesta domainista, joilla on selkeä omistaja ja paljon datan käyttäjiä.

Datatuote on tietovara jolla on omistaja ja käyttäjät

Domainin tuotos on datatuote Se on rajattu kokonaisuus, joka kokoaa datan lähteistä, jalostaa sen ja tarjoaa sen käyttäjille dokumentoidun rajapinnan kautta. Pelkkä tietokantataulu ei ole datatuote, jos siltä puuttuu omistaja, kuvaus ja laatulupaus.

Datatuotteessa on kuusi osaa:

  • Lähteet ovat tietokantoja, tiedostoja ja rajapintoja, joista raakadata tulee.
  • Integraatiokerros yhdistää lähteet yhtenäiseen muotoon.
  • Käsittelylogiikka sisältää liiketoimintasäännöt, laskennat ja tarvittaessa koneoppimismallit.
  • Metatiedot kuvaavat rakenteen, sisällön, alkuperän, päivitystahdin ja käyttöoikeudet.
  • Hyödyntämisrajapinta voi olla Delta-taulu, SQL-päätepiste, API tai Power BI:n semanttinen malli.
  • Omistaja vastaa laadusta, ylläpidosta ja kehittämisestä.

Esimerkiksi myynnin Tilaukset-datatuote kokoaa tilaukset verkkokaupasta ja ERP-järjestelmästä, yhdistää ne asiakasrekisteriin ja julkaisee gold-kerrokseen taulun, jossa on yksi rivi tilausta kohden. Talous käyttää sitä liikevaihtoennusteeseen, logistiikka toimitusten suunnitteluun ja data-agentti vastaamaan myynnin kysymyksiin.

Omistaja on myyntijohto, ja tekninen ylläpito voi olla data-alustatiimillä. Datatuotteella on elinkaari: suunnittelu, kehitys, käyttöönotto ja jatkuva ylläpito. Kun data on tarjolla datatuotteina, eri tiimit käyttävät samaa dataa, eikä jokainen rakenna omaa putkeaan samasta lähteestä.

Datasopimus kuvaa datatuotteen palvelulupauksen

Datasopimus (data contract) on muodollinen sopimus datan tuottajan ja käyttäjän välillä, saman organisaation sisällä tai ulkoisten osapuolten kesken. Se kirjaa datatuotteen palvelulupauksen palvelutasosopimuksen tapaan ja määrittää roolit, vastuut ja oikeudet. Sopimus liittyy domainiin, joten se ei ole sidottu yksittäiseen lähdejärjestelmään. Kun ERP vaihtuu, sopimus pysyy ennallaan ja tuottaja muuttaa sen taustalla olevan toteutuksen.

Datasopimus sisältää tyypillisesti:

  • skeeman eli sarakkeet, tietotyypit, pakollisuuden ja avaimet
  • kenttien liiketoimintamerkityksen, kuten "tilauksen summa euroina ilman arvonlisäveroa"
  • laatusäännöt, kuten kattavuuden, yksilöllisyyden ja tuoreuden
  • päivitysaikataulun ja toimintatavan, jos aikataulu pettää
  • omistajan ja yhteyshenkilön
  • versioinnin, jossa rikkova muutos, kuten sarakkeen poisto, nostaa pääversiota ja ilmoitetaan käyttäjille etukäteen

Tilaukset-datatuotteen sopimukseen voidaan kirjata esimerkiksi, että omistaja on myynti ja data päivittyy tunnin välein enintään 30 minuutin viiveellä. Tilausnumero on pakollinen ja yksilöllinen, tilauksen summa ilmoitetaan euroina ilman arvonlisäveroa, ja laatusääntö tarkistaa, että summa vastaa tilausrivien summaa. Jos jokin sarake poistetaan, sopimuksen versio nousee 1.2.0:sta 2.0.0:aan ja käyttäjät saavat tiedon etukäteen.

Sopimuksesta on hyötyä vain, jos sitä valvotaan automaattisesti. Validointi ajetaan jokaisen päivityksen yhteydessä, ja hälytys menee tuottajalle, koska rikkomuksen korjaaminen on tuottajan vastuulla. Sopimukseen voi kuulua myös osia, joilla esimerkiksi sanomat validoidaan ennen kuin ne päätyvät alustalle.

Microsoft Fabricissa ja Azure Databricksissä ei ole erillistä datasopimus-objektia. Sopimus tallennetaan YAML-tiedostona Gitiin datatuotteen koodin rinnalle, ja sen säännöt toteutetaan alustan ominaisuuksilla:

  • Azure Databricks: Delta Lake hylkää kirjoitukset, jotka eivät vastaa taulun skeemaa, NOT NULL- ja CHECK-rajoitteet valvovat yksittäisiä sääntöjä, ja Lakeflow-putkien odotukset (expectations) pysäyttävät ajon tai suodattavat sääntöä rikkovat rivit. Unity Catalog tallentaa kuvaukset ja näyttää, mitkä taulut riippuvat datatuotteesta.
  • Microsoft Fabric: säännöt rakennetaan putkien validointivaiheiksi tai Microsoft Purview -laatusäännöiksi, ja Fabricin Activator hälyttää, jos data ei päivity sovittuun aikaan.

Sopimuksen kenttäkuvaukset palvelevat myös tekoälyä. Azure Databricksin Genie käyttää Unity Catalogin taulu- ja sarakekuvauksia, kun se muuttaa luonnollisen kielen kysymyksen SQL-kyselyksi.

Kannattaa aloittaa datasta, joka ylittää tiimirajat, ja 3–5 kriittisestä säännöstä. Toteutus molemmilla alustoilla on kuvattu tarkemmin kirjoituksessa datasopimus käytännössä.

Microsoft Fabric ja Azure Databricks modernisaation alustana

Microsoft Azuren datapalvelut kattavat edellä kuvatut vaatimukset, ja moni organisaatio hyötyy niiden laajasta käytöstä Data & AI -kehityksessä. Lakehouse-analytiikan kaksi päävaihtoehtoa Azuressa ovat nykyään Microsoft Fabric ja Azure Databricks.

  • Microsoft Fabric tukee Data Mesh -mallia suoraan. Domainit ryhmittelevät työtilat liiketoiminta-alueittain ja liittävät ne domainin omistajaan, ja OneLake-pikakuvakkeet jakavat dataa domainien välillä ilman kopiointia.
  • Azure Databricksissä Unity Catalogin katalogit toimivat domainien rajoina. Domain hallitsee oman katalooginsa käyttöoikeuksia, ja toiset domainit saavat lukuoikeuden sen julkaisemiin datatuotteisiin.

Alustoja voi käyttää myös yhdessä, sillä Fabric lukee Databricksin Delta-tauluja OneLake-pikakuvakkeilla ilman kopiointia. Valinta riippuu organisaation ekosysteemistä, osaamisesta ja käyttötapauksista.

Vaativa modernisaatio kannattaa viedä läpi projektina

Uusi lähde tai mittari mahtuu jatkuvaan kehitykseen. Modernisaatio on vaativa, kun nykyisellä alustalla on paljon käyttäjiä, liiketoimintasääntöjä on piilossa vanhoissa SQL-näkymissä ja Excel-makroissa, lähdejärjestelmiä on useita tai alusta vaihtuu kokonaan toiseen teknologiaan. Silloin modernisaatio kannattaa viedä läpi omana data-alustan kehittämisprojektinaan, jolla on rajaus, vaiheet ja omistaja.

Modernisointi vai migraatio?

Modernisoinnissa olemassa oleva alusta uudistetaan, ja käyttäjät ja raportit ovat jo tuotannossa. Suurin riski on rikkoa raportti, josta joku riippuu. Siksi uusi rakennetaan vanhan rinnalle, käyttäjät siirretään vaiheittain ja vanha alusta ajetaan alas hallitusti.

Migraatiossa alusta vaihtuu teknologiasta toiseen, esimerkiksi on-premises-SQL Serveristä tai Snowflakesta Microsoft Fabriciin tai Azure Databricksiin. Tavoite on sama toiminnallisuus uudella alustalla. Paras käytäntö on migratoida ensin ja parantaa sitten, koska jokainen "samalla korjataan myös" -lisäys kasvattaa riskiä ja venyttää aikataulua. Toteutimme Kuljettavan Snowflake - tietovaraston siirron Fabriciin osa-alue kerrallaan, ja data-alusta perustettiin IaC-mallipohjilla muutamassa tunnissa.

Arviomme mukaan keskisuuren organisaation modernisaatio, jossa nykyinen tietovarasto uudistetaan ja mukaan tulee 2–3 uutta domainia, kestää 3–9 kuukautta 2–5 kehittäjän tiimillä. Suuren organisaation alustamodernisaatio kestää helposti 6–24 kuukautta ja enemmänkin.

Vaiheet

  1. Kartoitus. Selvitä lähdejärjestelmät, datan laatu ja nykyisen alustan käyttäjät riippuvuuksineen. Käyttäjäkartta kertoo, mikä rikkoutuu, jos jokin muuttuu.
  2. Arkkitehtuuri ja datasopimukset. Valitse alusta, suunnittele medallion-kerrokset, tietomalli ja tietoturva, ja sovi ensimmäiset datasopimukset lähdejärjestelmien omistajien kanssa.
  3. Perusta ja yksi putki läpi. Pystytä ympäristöt ja CI/CD-putket infrastruktuurikoodilla ja vie yhden lähteen data raporttiin asti. Putki osoittaa, että arkkitehtuuri toimii käytännössä.
  4. Domain kerrallaan. Rakenna datatuotteet domain kerrallaan kahden viikon sprinteissä ja näytä katselmoinneissa oikeaa dataa.
  5. Rinnakkaisajo ja siirto. Vertaa uuden ja vanhan alustan tuloksia automaattisesti rivimäärillä, tarkistussummilla ja otoksilla, ennen kuin käyttäjät siirretään.
  6. Jatkuva kehitys. Uusia lähteitä ja datatuotteita tulee, ja datasopimuksista julkaistaan uusia versioita.

Dokumentoimattomat liiketoimintasäännöt kirjataan sitä mukaa kuin ne löytyvät, ja kirjaus on yksi projektin tuotoksista.

Tekoäly muuttaa työnjakoa

Tekoälyavusteinen kehitys nopeuttaa rutiinityötä, kuten putkikoodia, laatutarkistuksia ja dokumentaatiota. Kun projektin mallit ovat vakiintuneet ensimmäisissä sprinteissä, toistuvia putkitehtäviä voi antaa koodausagenteille, jotka toimittavat testatun muutoksen katselmoitavaksi. Tietomallinnus, domainien rajat ja datasopimusten sisältö ovat ihmisten päätöksiä, eikä niiden työmääräarvioita kannata pienentää tekoälyn takia. Mitä enemmän koodia syntyy tekoälyllä, sitä tärkeämpiä ovat automaattiset integraatiotestit ja datan laadun validoinnit.

Viisi kysymystä ennen modernisaatiota

  1. Ketkä käyttävät nykyisen alustan dataa, ja mitkä raportit rikkoutuvat, jos yksi taulu muuttuu?
  2. Mitkä datakokonaisuudet ylittävät tiimirajat? Niistä tulevat ensimmäiset datatuotteet ja datasopimukset.
  3. Kuka liiketoiminnassa omistaa kunkin datatuotteen ja vastaa sen laadusta?
  4. Migroidaanko ensin ja parannetaan sitten, vai rakennetaanko uusi vanhan rinnalle ja siirretään käyttäjät vaiheittain?
  5. Miten osaaminen jää omaan organisaatioon, kun projekti päättyy?

Jos data-alustanne modernisointi on edessä, käydään nykytila ja ensimmäiset vaiheet läpi yhdessä. Toteutuksiamme ja yhteystietomme löydät sivulta data-alustan kehittäminen.

Siirry yrityksen profiiliin Ready Solutions kotisivut Yrityshaku Referenssihaku Julkaisuhaku

Ready Solutions - Asiantuntijat ja yhteyshenkilöt

Ready Solutions - Muita referenssejä

Ready Solutions - Muita bloggauksia

Digitalisaatio & innovaatiot blogimedia

Blogimediamme käsittelee tulevaisuuden liiketoimintaa, digitaalisia innovaatioita ja internet-ajan ilmiöitä

Etusivu Yrityshaku Pikahaku Referenssihaku Julkaisuhaku Blogimedia