Testinnsikt 2023

Velkommen til SOCOs plattform for dypere analyser av tema innen testfaget i Norge!

Temaet for 2023 var testdata. Brukes mest syntetiske, anonymiserte eller produksjonsdata? Anonymiseres data godt nok?

213

Antall som har svart på undersøkelsen

41

%

Mener mangel på testdata begrenser testingen

43

%

Er middels fornøyd med oppsettet av testdata

Syntetiske testdata øker releasetakten

Hypotese: De med hyppigere prodsettinger bruker mer syntetiske testdata enn de som releaser sjeldnere.

Er det en sammenheng mellom hvor ofte du produksjonssetter og hvilken testdatatype du bruker?

Se mer


Vi så for oss at de som produksjonssetter hyppig bruker syntetiske testdata i større grad enn de som releaser sjeldnere. Vi forventet altså å finne elementer av en testdatastrategi hvor ønsket om å kunne kjøre tester raskt og ofte gjør at teamet velger å bruke syntetiske testdata. Siden team som releaser sjeldnere trolig ikke har samme krav til testdata, kan disse teamene i større grad bruke andre testdatatyper som anonymiserte eller produksjonsdata.

Funnene fra undersøkelsen

Data taler for at hypotesen er riktig. De som releaser ofte har en større andel syntetiske testdata enn de som releaser sjeldnere. 41% av de som produksjonssetter hyppig benytter seg kun av syntetiske testdata til enhets- og integrasjonstesting. Ser vi på system- og akseptansetest faller andelen til rundt 33%.

Til sammenlikning, så finner vi blant de som releaser sjeldnere at andelen som utelukkende bruker syntetiske testdata er lavere. Her var det 35% som kun bruker syntetiske testdata til enhets- og integrasjonstesting. På system- og akseptansetestnivå faller det til rundt 27%.

Se mindre

Anonymisering mindre populært

Hypotese: Syntetiske testdata er mer brukt enn anonymiserte testdata

Det har vært mye snakk om generering av syntetisk testdata, men er det faktisk slik at det er dette som er mest brukt?

Se mer


Grafen viser andelen som benytter syntetiske data, anonymiserte data og produksjonsdata fordelt på ulike testnivå. 

Det er en stor andel som bruker syntetiske testdata i enhets- og integrasjonstester, system- og akseptansetester, og tester med eksterne. Man kan også se at anonymiserte testdata fremdeles brukes i betydelig grad, i tillegg til at produksjonsdata benyttes i noen grad. 

På spørsmålet om hva slags type testdata man ville valgt ved oppstart av et nytt prosjekt svarte hele 80% at de ville valgt syntetiske data. Dette kan tyde på at bruken av syntetiske testdata vil øke i årene fremover. 

Se mindre

Offentlig er best

Hypotese: Offentlig sektor har større andel syntetiske og anonymiserte data enn andre sektorer.

Det offentlige bør gå foran som et godt eksempel, men stemmer det at de bruker mindre produksjonsdata i test?

Se mer


Hypotesen ble bekreftet. Offentlig sektor bruker mindre produksjonsdata og mer syntetiske og anonymiserte data. Det kreves en innsats for å få økt bruk av syntetiske data i de andre sektorene.

Blant de som bruker anonymiserte eller produksjonsdata i test med eksterne, så er det rundt halvparten som sier at det er mulig å snoke i dataene. Her er det rom for forbedring!

Se mindre

Fortsatt mulig å snoke

Hypotese: Testdata i IT-Norge er ikke godt nok anonymisert.

Testdata kan være vanskelig, spesielt i integrasjoner og når man er avhengig av X, Y, Z og Š. Hypotesen er derfor at produksjonsdata i stor grad blir brukt i test, og at de egentlig ikke er godt nok anonymisert.

Se mer


Ser vi på bruken av produksjonsdata i test, viser den at over halvparten bruker produksjonsdata i liten grad. Topp! Det er fortsatt en god slant igjen som bruker produksjonsdata i middels og stor grad💩

Kakediagrammet snakker for seg selv. Andelen hvor det er vanskelig eller umulig å finne spor av produksjonsdata er stor! Godt jobbet til dere som har anonymisert slik at man ikke har sjans til å finne spor. En liten andel gjenstår, kanskje den samme andelen som i stor grad bruker produksjonsdata?

Det er mulig vi var litt pessimistiske, men vi synes totalen av dette var bedre enn forventet. Gitt viktigheten av emnet er det fortsatt forbedringspotensial.

Se mindre

Knotete testdata ødelegger festen

Hypotese: Testdata er en stor grunn til manglende automatisering.

Vi tror knotete testdata er en av hovedgrunnene til at testautomatisering ikke kan ta over for manuell testing i gitte situasjoner, og at mange føler på dette i testhverdagen.

Se mer


Blant de som kjenner godt til hvordan automatiseringen i prosjektet fungerer, er det hele 30% som mener at prosjektet har lavere automatisert dekningsgrad på grunn av knotete testdata.

Det er interessant at 40 svarte Ja på knotete testdata, mens det er hele 76 svar på «hva som best beskriver grunnen». Med andre ord er det gjerne flere ting som stikker kjepper i hjulene når det først er utfordrende. Her er noen grunnene oppgitt i tillegg til svaralternativene:

«Komplisert å lage gode og holdbare testdata pga. høy kompleksitet og mye avhengighet mellom       ulike testdata i veldig mange systemkomponenter.»

«Gamle data og vanskelige integrasjoner.»

«Komplisert testdata, tar lang tid å lage og vedlikeholde.»

Drømmesituasjonen er god automatisering uten at man er avhengig av faste testdata. En god nummer to er dersom testene er i stand til å rydde opp etter seg selv. Det lar seg ikke alltid gjennomføre🙈. Her er responsen på “Hvor avhengig er dere av et fast testdatasett?”

 

Se mindre

Like slepphendte i skyen

Hypotese: Overgang til skytjenester påvirker bruken av testdata.

Bruk av skytjenester krever mer påpasselighet. Har folk tatt dette inn over seg?

Se mer


29% har testdata i skyen. Vi hadde en teori om at de som bruker sky skulle være mer frampå med bruk av syntetiske data. Det er ingen signifikante forskjeller på disse og de som kun har testdata lokalt. Det er selvfølgelig en mulighet for at disse prosjektene ikke har sensitive persondata.

Se mindre

Testdata fortsatt en tidstyv

Hypotese: Jo mer vi automatiserer, jo mindre tid bruker vi på å finne testdata.

Hjelper automatisering oss til å bruke mindre tid på å finne testdata?

Se mer


55% av de som finner eller genererer testdata manuelt, mener at de bruker ganske mye tid eller for mye tid på testdata.

29% som bruker automatiske metoder mener at de bruker ganske mye tid eller for mye tid på testdata.

Dette bekrefter hypotesen om at jo mer vi automatiserer, jo mindre tid bruker vi på å finne testdata.

Se mindre

8

%

jobber fremdeles med å oppfylle GDPR krav

64

%

kjenner til eller bruker Tenor testdatasøk aktivt

12

%

er svært godt fornøyd med testdata i prosjektet

Se her for mer info om Tenor testdatasøk