Systemenes iboende faenskap

Hvorfor gode intensjoner ofte forvitrer i strukturens grep – og hva vi kan gjøre med det

De fleste systemer starter med et oppriktig ønske om forbedring. Et kvalitetssystem skal sikre likebehandling. En digital plattform skal frigjøre tid. En beslutningsstruktur skal gi forutsigbarhet. Men i praksis skjer ofte det motsatte: systemene blir rigide, selvforsterkende – og i verste fall motvirker de menneskelig skjønn, initiativ og utvikling.

Dette er ikke en ny innsikt. Mange som har arbeidet med helse, utdanning og organisasjonsutvikling har i tiår advart mot det samme. Allerede på 1970-tallet skrev sosialpsykolog Stein Bråthen om dialogens vilkår i datasamfunnet, der han viste hvordan teknologiske systemer og strukturpress kan fortrenge den åpne, menneskelige samtalen. Bråthen advarte mot “mekanisk rasjonalitet” – når datasystemer og standarder blir styrende på bekostning av dialog, etikk og dømmekraft.

I nyere tid var Per Fugelli, sosialmedisiner og samfunnsdebattant, en viktig stemme som løftet fram det samme paradokset: Når systemene vokser, og menneskene krymper. Han brukte sterke ord for å beskrive det – blant annet faenskap – ikke for å provosere, men for å vekke oss. For å få oss til å stille spørsmålet: Hvem tjener egentlig på systemet slik det nå fungerer?

Når systemer blir til hinder

Forskning fra Amy Edmondson (2019) om psykologisk trygghet viser at lærende organisasjoner er avhengige av strukturer som støtter åpenhet, eksperimentering og feil som kilde til vekst. Men i mange organisasjoner ser vi det motsatte: kontrollmekanismer og prosedyresystemer som straffer avvik, og der folk ikke tør stille spørsmål fordi “systemet er sånn”.

Et konkret eksempel: NAV og algoritmestyrt saksbehandling

I NAV-skandalen (2019) ble det tydelig hvordan systemlogikk kan overstyre menneskelig vurderingsevne. Ansatte som mistenkte at noe var galt, følte seg bundet av “regelverket” – til tross for at det brøt med både rettssikkerhet og EØS-lovgivning. Når et system får makt til å operere uten reell kontroll fra menneskene i det, blir det ikke bare ineffektivt – det blir farlig.

Empiri: Når systemer undergraver tillit

En studie fra MIT Sloan (2022) viser at komplekse compliance-systemer i store organisasjoner ofte fører til det som kalles performative adherence: folk oppfører seg korrekt på overflaten, men unngår reell refleksjon eller ansvar. Resultatet er stagnasjon og et tap av mening i arbeidet.

Det er dette vi her kaller systemets iboende faenskap – altså det paradokset at systemet gradvis utvikler en kraft som undergraver sin egen hensikt.

Og nå – i en tid med økende bruk av AI

Disse problemstillingene blir enda mer presserende i dag, når kunstig intelligens og algoritmestyring får stadig større plass i beslutningsprosesser. AI-systemer lover effektivitet, presisjon og objektivitet – men også her ser vi at de raskt kan utvikle sin egen logikk, løsrevet fra det menneskelige. Når avgjørelser tas basert på mønstergjenkjenning og prediksjoner, kan det gå på bekostning av kontekst, skjønn og etisk vurdering.

Stein Bråthens advarsler om teknologisk rasjonalitet får fornyet relevans i møte med automatiserte ansettelsesprosesser, helsevurderinger og saksgjennomganger – der menneskets rolle reduseres til et sisteledd i kontrollkjeden, snarere enn et aktivt vurderende subjekt.

Det er lett å la seg blende av AI som løsning – men vi må spørre: Hvem stiller spørsmål ved systemets antakelser? Hvem har tilgang til å forstå hvordan det virker? Og hva skjer med dem som roper varsku?

Hva betyr dette i praksis?

• En kommune implementerer et nytt digitalt journalsystem, men helsepersonell bruker opp mot 40 % av tiden på å dokumentere snarere enn å være med pasientene (SINTEF, 2023).
• En skole får krav om omfattende testing og rapportering. Lærerne bruker mer tid på registrering enn på tilbakemelding. Elevenes læring lider.
• En organisasjon innfører et prestasjonsstyringssystem som i teorien skal støtte utvikling, men som i praksis blir en målstyrt tvangstrøye.
• Et AI-system i HR velger ut kandidater basert på historiske data – og gjenskaper gamle skjevheter med ny teknologi.

Så, hva kan vi gjøre?

Vi må stille tre enkle, men kraftfulle spørsmål:

1. Tjener systemet fortsatt sitt opprinnelige formål?
2. Finnes det rom for skjønn, tvil og dialog i dette systemet?
3. Hva skjer med de som stiller spørsmål ved systemets virkemåte – blir de belønnet eller marginalisert?

Når svaret på disse spørsmålene er negativt, er det på tide å løfte blikket og justere kursen. Systemer er ikke nøytrale. De har formende kraft. Og når de formes uten kritisk refleksjon, kan de utvikle det jeg med vilje kaller en iboende faanskap – en slags strukturell blindhet for hva de egentlig er til for.

Referanser

Bråthen, S. (1972). Modeller av menneske og samfunn: Dialogens vilkår i datasamfunnet. Universitetsforlaget.

Edmondson, A. C. (2019). The fearless organization: Creating psychological safety in the workplace for learning, innovation, and growth. John Wiley & Sons.

Fugelli, P. (2010). Døden, skal vi danse?. Universitetsforlaget.

NOU 2020: 9. (2020). Blindsonen: Granskning av feilpraktiseringen av EØS-regelverket i Arbeids- og velferdsetaten og Trygderetten. Arbeids- og sosialdepartementet.

O’Neil, C. (2016). Weapons of math destruction: How big data increases inequality and threatens democracy. Crown.

Power, M. (1997). The audit society: Rituals of verification. Oxford University Press.

Raji, I. D., Bender, E. M., Paullada, A., Denton, E., & Hanna, A. (2020). Saving face: Investigating the ethical concerns of facial recognition auditing. Proceedings of the AAAI/ACM Conference on AI, Ethics, and Society, 145–151. https://doi.org/10.1145/3375627.3375824

Selbst, A. D., Boyd, D., Friedler, S. A., Venkatasubramanian, S., & Vertesi, J. (2019). Fairness and abstraction in sociotechnical systems. Proceedings of the Conference on Fairness, Accountability, and Transparency, 59–68. https://doi.org/10.1145/3287560.3287598

SINTEF. (2023). Tidsbruk og dokumentasjonskrav i kommunale helse- og omsorgstjenester [Rapport]. SINTEF.

Vaughan, D. (1996). The Challenger launch decision: Risky technology, culture, and deviance at NASA. University of Chicago Press.