Både den statliga och den kommersiella massövervakningen riskerar att förvandla fria demokratier till rena kontrollstater
Konsekvenserna av massövervakning: Så hotar datainsamlingen ett fritt samhälle
Auktoritära stater använder massövervakningen för att kontrollera befolkningen. Även i demokratiska länder ser vi direkta konsekvenser av en absurd datainsamling. Men det finns också mindre synliga effekter: både den statliga och kommersiella massövervakningen visar tecken på att kunna förvandla fria samhällen till den totala motsatsen.
Massövervakning är lika med kontroll. De mest uppenbara exemplen hittar vi i länder som Iran där internet censureras, invånarnas beteende online kontrolleras och där så kallade smartcameras identifierar kvinnor som inte bär hijab.
Eller som i Ryssland där makten kombinerar massövervakning online med en absurd mängd övervakningskameror med ansiktsigenkänning för att sätta dit journalister och regimkritiker.
Ännu värre: Kina med sin totala övervakning av invånarnas liv online, censurverktyget the great firewall of China och förföljelse av människor som deltar i protester. Och inte minst landets övervakningskameror med teknik som påstås kunna avgöra människors etnicitet. 2018 ansökte Huawei och the China Academy of Sciences om patent för just den typen av AI-kameror.
Den här övervakningstekniken använder Kina bland annat för att förfölja uigurerna i regionen Xinjiang. De registreras via tekniken som fått smeknamnet ras-AI och Human Rights Watch har rapporterat om att staten under nio månader gjorde elva miljoner sökningar på närmare hälften av Urumqis 3,5 miljoner invånares telefoner. Resultatet av den massiva massövervakningen? Dokument som CNN kom över 2020 visade att miljontals uigurer först övervakats och sen fängslats i arbetsläger på helt absurda grunder. Samtidigt har det rapporterats om att Kina testat en annan sorts ny teknik på uigurerna, där AI-kameror med så kallad “emotion detection” använts för att registrera om en person är orolig eller inte. Den kinesiska staten förnekar förstås detta och svarade BBC i en intervju att “i Kina lever människor i harmoni oavsett vilken etnisk bakgrund de har, de lever ett stabilt och lugnt liv utan begränsningar i sin personliga frihet”.
Den granskande journalisten Liu Hu, som nekades att färdas med kollektivtrafiken för att han scorat dåligt i ett av Kinas social credit score-system, är av en annan uppfattning. För BBC berättade han: “Flera gånger har jag träffat vänner och direkt efteråt har regeringen kontaktat mig, varnat mig och sagt att jag inte ska träffa den och den personen, att jag inte ska göra det ena och det andra. Med artificiell intelligens har vi ingenstans att gömma oss.”
Undrar du hur Kina rättfärdigade det nya övervakningssystemet som nu förföljer hela folkgrupper? Det infördes efter att fem personer mördats 2016 i vad som staten beskrev som en terroristattack.
De här länderna har nått botten. Det kan alltid bli värre för befolkningen, men vi pratar inte om fria samhällen här. Frågan är hur mycket världens demokratier ska ta efter dem.
2019 var mer än 70 länder utsatta för politiska manipulations-kampanjer via sociala medier. Antalet demokratier har rasat sedan den kommersiella datainsamlingen slog igenom på allvar runt 2010.
Center for Humane Technology
Det finns massor med skräckexempel även i demokratiskt klassade länder. I både Europa och andra delar av världen har vi sett hur spionverktyget Pegasus använts för att övervaka meningsmotståndare, politiska aktivister och journalister. Massövervakningen i USA är ett kapitel för sig och Snowdens avslöjanden visade hur extrema landets myndigheter är på området.
Den här typen av övervakning för tankarna till George Orwells 1984-dystopi med teleskärmar och en Storebror som alltid ser dig, tankepoliser och brist på yttrandefrihet. Men det finns andra element i de gamla dystopiböckerna, som pricksäkert förutsåg andra delar av vår samtid. Som propagandan och uppenbara fake news i 1984. Eller som i Aldous Huxleys Brave New World där människorna knaprar lyckopiller (sociala medier och dopamin någon?), är uppenbart anti-intellektuella (Tikok någon?) och tror att de lever la dolce vita trots att deras frihet de facto glidit dem ur händerna.
Stora delar av världen har redan halkat in i någon sorts blandning av de två dystopierna. Och länderna som fortfarande klassas som fria demokratier står nu inför ett val: antingen samhällen som bygger på kontroll eller samhällen som bygger på kultur.
Redan idag ser vi hur massövervakningen kommer med ödesdigra konsekvenser i länder som är klassade som demokratier. Men massövervakningen är inte bara ett symptom. Den används också för att styra utvecklingen och putta fria länder åt fel håll.
“Vi har skapat en global generation av människor som uppfostrats i en miljö där själva meningen med kommunikation är manipulation.”
Hand i hand riskerar den statliga och den kommersiella massövervakningen att urvattna demokratiska samhällen. Det här är något som händer här och nu. 2019 var mer än 70 länder utsatta för politiska manipulationskampanjer via sociala medier. Antalet globala demokratier har rasat sedan den kommersiella massövervakningen slog igenom på allvar runt 2010.
Meta och Google har blivit två av världshistoriens högst värderade bolag tack vare intäkterna från sina annonsnätverk och deras affärsidé är uppenbar. Den handlar om att kartlägga ditt beteende och förutse vad du kommer att efterfråga i framtiden för att kunna skräddarsy annonser så pricksäkert som möjligt. Ännu bättre: om de till och med kan styra ditt beteende i önskvärd riktning. Som Harvardprofessorn Shoshana Zuboff skriver i sin bok The Age of Surveillance Capitalism:
“Automatiserade maskinprocesser inte bara känner till våra beteenden utan också formar våra beteenden. I de tusentals transaktioner vi gör, så betalar vi för vår egen underkastelse.”
Det Zuboff pratar om är till exempel Metas AI-system som redan 2018, enligt läckta dokument, hade kapaciteten att samla in tusen miljarder datapunkter varje dag för att producera sex miljoner beteendeförutsägelser per sekund.
Tristan Harris, tidigare design ethicist på Google och senare grundare för The Center of Humane Technology, är inne på samma spår som Zuboff i dokumentärfilmen Social Dilemma:
“Vi riktar de här AI-motorerna mot oss själva för att demontera vad som framkallar reaktioner från oss. Det är som ett fängelseexperiment där vi drar in folk i Matrix och skördar alla pengar och all data från deras aktivitet för att göra vinst. Och vi är inte ens medvetna om det.”
I samma dokumentär menar Sean Parker, Facebooks första president, att bolagen från start var medvetna om vad de gjorde.
“Det är precis en sån sak en hackare som jag själv skulle komma på. För man exploaterar en sårbarhet i mänsklig psykologi. Jag tror att vi … ni vet, uppfinnarna, skaparna; jag själv och Mark (Zuckerberg) och Kevin Systrom på Instagram, alla de här människorna … vi var medvetna om det här och vi gjorde det ändå.”
Vi letar efter ögonblicket då tekniken ska överträffa mänsklighetens styrkor. Men det kommer ett ögonblick innan dess. När tekniken utnyttjar mänsklighetens svagheter. Och då är det schackmatt.
Tristan Harris
Skaparna (åtminstone de som lämnat) av de största techbolagen spekulerar i att datainsamlingen och de AI-motorer som analyserar miljardtals internetanvändare kan bli slutet för oss. Som Tristan Harris säger:
“Vi letade alla efter ögonblicket då tekniken skulle överträffa mänsklighetens styrkor och intelligens. Men det finns något som kommer innan dess och det är när tekniken utnyttjar mänsklighetens svagheter. När den hittar roten till missbruk, polarisering, radikalisering, upprördhet och fåfänga … hela grejen. När den gör det, det är då den överträffar den mänskliga naturen. Och då är det schackmatt på mänskligheten.”
Jaron Lanier är en av skaparna av virtual reality, men nu förespråkar han att vi borde lägga ner sociala medier för gott.
“Sociala medier manipulerar mänskligt beteende och hotar vår fria vilja. De bidrar till massproduktion av missinformation. Det är dags att lägga ner.”
I Social Dilemma säger han:
“Vi har skapat en värld där online-anslutning blivit primärt, särskilt för yngre generationer. I den världen, när än två människor knyter an, är allt finansierat genom en lömsk tredje person som betalar för att manipulera dem. Så vi har skapat en global generation av människor som uppfostrats i en miljö där själva meningen med kommunikation, själva meningen med kultur, är manipulation. Vi har satt bedrägeri och lömskhet i centrum av allt vi gör.”
Eller som Shoshana Zuboff resonerar i dokumentären The Big Data Robbery:
“När Chris Wiley (visselblåsaren som avslöjade Cambridge Analytica-skandalen) berättade sin historia för the Guardian 2018 sa han att de visste så mycket om så många människor att vi kunde förstå deras inre demoner och vi kunde räkna ut hur vi skulle rikta in oss på de demonerna, vi förstod hur vi skulle rikta in oss på deras rädsla, deras ilska, deras paranoia och när vi riktat in oss på dem kunde vi trigga deras känslor och genom att trigga deras känslor kunde vi manipulera dem att klicka på en hemsida, gå med i en grupp, få dem att läsa vad vi ville, få dem att välja vilka personer de skulle hänga med, och till och med få dem att rösta i valet så som vi ville.”
Absurd datainsamling och AI-system som attackerar människors rädslor hjälpte Trump att vinna valet. Idag används massövervakningen för att övervaka kvinnor som vill göra abort.
Var och en som lever med sociala medier och i dagens digitala värld borde fundera på personprofilerna som AI-systemen tar fram: används de på ett bra eller dåligt sätt? Om någon klassas som deprimerad, får den personen då riktat innehåll till sig som handlar om att gå ut och springa i skogen eller reklam för mängder med läkemedel? En person som köper ohälsosamt mycket läsk; innebär det förslag på en alternativ livsstil eller rabatt på Coca-Cola? För någon som börjat läsa på om konspirationsteorier; reklam för böcker utgivna av universitet eller förslag på sidor om fejkade månlandningar och att jorden är platt?
I ett läckt dokument till The Australian har det visat sig att Meta erbjudit annonsköpare möjligheten att rikta sin reklam till mer än sex miljoner unga användare (barn) baserat på tillfällen då de känner sig (och här citerar vi kategorierna): värdelösa, osäkra, stressade, slagna, oroliga och misslyckade.
Låt oss inte vara naiva. Makthavare kommer att frestas att använda de här systemen över våra huvud och emot oss. När vi gör motstånd idag, då kämpar vi för att för att samhället ska vara fritt för kommande generation.
Shoshana Zuboff
Samma taktik som används för att sälja produkter och tjänster används för att tilta användare i politisk riktning. Shoshana Zuboff igen:
“Cambridge Analytica-skandalen var helt enkelt en mimik på den kommersiella massövervakningen. Men istället för att manipulera människor i kommersiellt syfte gjorde man det för politisk vinning. Istället för ett köp, en röst. Demokratin i Storbritannien, USA och många andra länder hänger i en lös tråd, tack vare den kommersiella massövervakningen.”
Tristan Harris, alltså han som tidigare var design ethicist på Google men som nu driver The Center of Humane Technology,använder siffror för att tydliggöra hur dagens datainsamling och den rådande sociala medier-världen påverkar politiken: 19 procent av alla tweets om det amerikanska presidentvalet 2016 gjordes av bottar. Inför valet 2020 var Facebooks mest besökta sidor för kristna och svarta amerikaner administrerade av trollfabriker.
Och algoritmerna som de sociala medierna bygger på är skapade för att främja kaos: ord som accelererar polarisering ökar mängden retweets med 17 procent. Varje negativt ord om en politisk motståndare ger en skjuts med 67 procent.
MIT har i sin tur siffror på hur fake news sprids snabbare än riktiga nyheter. Och ytterligare forskning har visat att Facebooks algoritmer knuffat användare ner i konspiratoriska kaninhål, att Meta vetat om det men ändå inte gjort något åt det.
Vi har alltså en digital infrastruktur som samlar in precis allt vi gör och som främjar radikalt och osant innehåll. Har man ett sådant system på plats är det klart att det kommer att utnyttjas. Som när bolaget Cambridge Analytica (där Donald Trumps chefsstrateg Steve Bannon var inblandad) fick tillgång till 87 miljoner Facebookanvändares personliga data (inklusive privata meddelanden) som de sedan stoppade in i egna AI-system. Ut kom personprofiler som Cambridge Analytica använde för att skräddarsy digitalt innehåll som riktades till invånare som stod och vägde mellan hur de skulle rösta i presidentvalet mellan Donald Trump och Hillary Clinton. De sponsrade inläggen byggde på mottagarnas rädslor, de var utformade på ett radikalt sätt för att trigga algoritmerna och innehöll rena fake news.
I en intervju berättade visselblåsaren Christopher Wylie om konsekvenserna:
“Sättet som vi viskade olika saker till olika människor riskerar att fragmentera samhället på ett sätt som gör att vi inte längre har någon gemensam och delad upplevelse, som gör att vi inte har någon delad förståelse. Och om vi inte har en gemensam och delad förståelse av samhället, hur ska vi då kunna fungera som samhälle?”
I Netflix-dokumentären The Great Hack berättar Cambridge Analyticas vd att de inte var det enda bolaget inblandade i valet på det här sättet. Plussa på det faktum att ryska trollfabrikerna är inne och härjar inför amerikanska val och uppgifterna om att Cambridge Analytica sägs ha varit insyltade i tvåhundra valrörelser runt om i världen. Fram växer en bild av hur den kommersiella datainsamlingen får konsekvenser långt bortom riktade annonser för den där tröjan som du tittat på en gång.
Vi har alltså sett bevis på hur insamlad data, tillsammans med algoritmer och AI-system som bygger på människors rädslor och osäkerhet, använts för att sprida fejkade nyheter och bidra till att Donald Trump kunde vinna presidentvalet. Vid makten förändrade Trump abortlagarna och nu används massövervakningen för att övervaka kvinnor, som står inför det plötsliga faktum att deras önskade abort är olaglig.
I dokumentären The Big Data Robbery uppmanar Shoshana Zuboff invånarna i demokratier att inte vara naiva.
“Vår personliga integritet försakas för den här marknadslogikens skull. Det är inte acceptabelt. Och låt oss inte vara naiva. När vi har fel makthavare på plats så kommer de att titta på de ofantliga kontrollmöjligheter som det här systemet erbjuder. Det kommer en tid då vi, även i västvärlden, även i våra demokratiska samhällen, kommer att få se en regering som frestas av att använda de här systemen över våra huvud och emot oss. Låt oss inte vara naiva gällande det. När vi bestämmer oss för att göra motstånd mot övervakningskapitalismen här och nu, då kämpar vi också för vår demokratiska framtid, då kämpar vi för den typen av kontrollfunktioner som vi kommer att behöva för att vårt informationssamhälle ska förbli fritt och demokratiskt i ytterligare en generation.”
“Personlig integritet är grunden för alla andra rättigheter. Yttrandefrihet betyder inte mycket om du inte har personlig integritet.”
Det Shoshana Zuboff pratar om är ett motstånd som måste komma nu, innan det är för sent. Det är en viktig poäng. Eftersom infrastrukturen som byggs idag kommer att användas av framtida regeringar. Eftersom vi inte vet vilka som kommer till makten. Och eftersom den här typen av övervakningssamhällen tenderar att komma smygandes dolt inför den stora massan. Ändamålsglidningen är total på det här området. Vägen till helvetet är, som känt, kantat av goda intentioner och det är svårt att upptäcka den större bilden när den läggs en liten pusselbit i taget. Varje obskyr liten lag som införs innebär kanske inte en katastrof, men tillsammans tar de oss i fel riktning. Och slutstationen är solklar: när ett land infört total massövervakning börjar folket självcensurera sig. När de inte kan vara säkra på om de är övervakade eller ej kommer de att vakta sin tunga. I ett Ted Talk berättar Glenn Greenwald, en av journalisterna som träffade Edward Snowden på det där hotellrummet i Hongkong och som hjälpte honom med visselblåsningen, om hur just självcensuren är en utstuderad kontrollmetod med flera hundra år på nacken.
“Under 1700-talet fick filosofen Jeremy Bentham uppgiften att klura på ett problem: ett fängelse hade blivit så stort att de inte hade möjligheten att kontrollera var och en av de intagna. Han kallade sin lösning för panoptikonen; ett enormt torn i mitten av fängelset där man när som helst kan ta en titt på vem som helst av fångarna. Det gick inte att titta på alla fångarna samtidigt, men den avgörande designen var att fångarna inte kunde se in i panoptikonen. De kunde aldrig veta om de var iakttagna eller inte. Det här gjorde Bentham väldigt upphetsad; fångarna skulle behöva anta att de övervakades vid varje givet ögonblick, vilket var det ultimata sättet att upprätthålla lydnad och efterlevnad. Den franske 1900-talsfilosofen Michel Foucault insåg att den här modellen kunde användas inte bara för fängelser utan för varje institution som försöker kontrollera mänskligt beteende: skolor, sjukhus, fabriker, arbetsplatser. Han sa att detta tankesätt, detta ramverk som upptäcktes av Bentham, var nyckeln till samhällskontroll i moderna, västerländska samhällen, som inte längre behövde tyrannens vapen – att straffa eller fängsla eller döda eller tvinga lojalitet till ett visst parti – eftersom massövervakning skapar ett fängelse i sinnet som är mer subtilt men mycket effektivare när det kommer till att främja efterlevnad av sociala normer eller social ortodoxi, betydligt mer effektivt än vad brutalt våld någonsin kan bli.”
I samma Ted Talk pratade Greenwald även om den nedkylande effekt som massövervakning har på samhällen:
“När vi vet att vi kan bli övervakade, när vi vet att vi kan bli iakttagna, då förändras vårt beteende dramatiskt. Bredden av möjliga beteenden som vi överväger krymper kraftigt när vi tror att vi blir observerade. Det är helt enkelt så den mänskliga naturen ser ut och det har erkänts inom samhällsvetenskap och i litteratur och inom religion och inom i princip varenda disciplin som finns. Det finns dussintals psykologiska studier som bevisar detta.”
“Personlig integritet innebär att vi kan bestämma vad vi vill hålla privat och vad vi vill dela med andra. De här massövervakningssystemen är ett direkt angrepp på den mänskliga handlingsfriheten, på den individuella suveräniteten, och de utmanar de mest grundläggande rättigheterna till autonom handling. Utan mänsklig handlingsfrihet finns det ingen frihet, och utan frihet finns det ingen demokrati.”
“Personlig integritet är det som ger dig möjligheten att berätta för världen vem du är, på dina egna villkor, att berätta för världen vem du försöker att vara, och att du samtidigt kan skydda de delarna av dig själv som du inte är säker på, som du fortfarande utforskar. Om vi inte har personlig integritet förlorar vi möjligheten att göra misstag, vi förlorar möjligheten att vara oss själva. Personlig integritet är grunden för alla andra rättigheter. Yttrandefrihet betyder inte mycket om du inte får ha en fri plats inom dig själv, i dina tankar, bland dina vänner, i ditt hem … där du kan bestämma vad du faktiskt vill säga.”
Egentligen är det ganska enkelt. Antingen har vi ett samhälle där människor har rätt till sina egna tankar, sina privata samtal och ett utrymme att testa sina idéer. Ett fritt samhälle där utveckling och förändring är möjlig. Där makten kan utmanas, granskas och bytas ut. Eller så har vi ett stängt samhälle där du aldrig vet om du är övervakad eller ej. Antingen fortsätter vi ta steg för steg mot odemokratiska samhällen. Eller så försöker vi istället hålla fast vid artikel 12 i den allmänna förklaringen om de mänskliga rättigheterna: “Ingen får utsättas för godtyckligt ingripande i fråga om privatliv.”