It ‘ s Sentient

tijdens de laatste sessie van het 2019 Space Symposium in Colorado Springs, kwamen deelnemers in een gigantische balzaal om te luisteren naar een Air Force official en een National Geospatial-Intelligence Agency (NGA) executive.”De presentatie bleef zo vaag als de titel totdat een directe vraag van het publiek de panelleden leek te doen kronkelen.

hoe goed waren de algoritmen van de militaire en inlichtingengemeenschappen in het interpreteren van gegevens en het nemen van maatregelen op basis van die analyse? Zij wezen erop dat de commerciële satelliet-industrie software heeft die scheepvaartcontainers op vrachtschepen en auto ’s op parkeerplaatsen snel kan tellen nadat hun foto’ s in de ruimte zijn gemaakt. “Wanneer zal het Ministerie van Defensie real-time, geautomatiseerde, wereldwijde orde van de strijd hebben?”vroegen ze.”Dat is een grote vraag,” zei Chirag Parikh, directeur van het Bureau voor Wetenschappen en methodologieën van de NGA. “En er zijn veel echt goede geheime antwoorden.”

hij pauzeerde en verschoof in zijn stoel. “Wat is de volgende vraag?”vroeg hij glimlachend. Maar hij bleef praten en beschreef hoe “geospatiale intelligentie” niet langer alleen maar beelden van satellieten betekent. Het betekent alles met een tijdstempel en een locatie stempel, en de poging om al die diverse gegevens te integreren.Toen beantwoordde Parikh deze vraag: Wanneer zou dat zich vertalen naar bijna-ogenblikkelijk begrip en strategieontwikkeling?

” zo niet nu, “zei hij,” zeer binnenkort.”

Parkih noemde geen specifieke programma ‘ s die zouden kunnen helpen om dit soort autonome, real-time interpretatie mogelijk te maken. Maar een initiatief genaamd Sentient heeft relevante mogelijkheden. Een product van het National Reconnaissance Office (NRO), Sentient is (of wil in ieder geval zijn) een omnivore analysetool, in staat om data van alle soorten te verslinden, zin te geven aan het verleden en heden, vooruit te lopen op de toekomst, en satellieten te wijzen naar wat het bepaalt wat de meest interessante delen van die toekomst zullen zijn. Dat, idealiter, maakt dingen stroomafwaarts eenvoudiger voor menselijke analisten bij andere organisaties, zoals de NGA, waarmee de satelliet-centric NRO partners.Tot nu toe werd Sentient beschouwd als een geheim van de overheid, met uitzondering van vage toespelingen in enkele toespraken en presentaties. Maar onlangs vrijgegeven documenten-veel voorheen geclassificeerd geheim of top secret-onthullen nieuwe details over de doelstellingen van het programma, vooruitgang, en bereik.

onderzoek met betrekking tot Sentient is al aan de gang sinds ten minste oktober 2010, toen het Agentschap een verzoek voor Sentient Enterprise white papers publiceerde. Een presentatie zegt dat het programma zijn eerste R&D mijlpaal bereikt in 2013, maar details over wat die mijlpaal eigenlijk was blijven geredigeerd. (Adjunct-directeur van NRO ‘ s Office of Public Affairs Karen Furgerson weigerde commentaar te geven op deze timing in een e-mail naar The Verge.) Een 2016 House Armed Services Committee hoorzitting over de nationale veiligheidsruimte opgenomen een korte samenvatting van deze data-gedreven hersenen, maar openbare vergaderingen hebben het sindsdien niet genoemd. In 2018, een presentatie online gepost beweerde Sentient zou gaan live dat jaar, hoewel Furgerson vertelde The Verge was momenteel in ontwikkeling.”De NRO heeft niet veel gezegd over Sentient in het openbaar omdat het een geclassificeerd programma is,” zegt Furgerson in een e-mail, “en NRO verschijnt zelden voor het Congres in open hoorzittingen.”

het agentschap ontwikkelt dit kunstmatige brein al jaren, maar details die voor het publiek beschikbaar zijn, blijven schaars. “Het neemt grote hoeveelheden data op en verwerkt deze”, zegt Furgerson. “Sentient catalogiseert normale patronen, detecteert anomalieën en helpt potentiële acties van tegenstanders te voorspellen en te modelleren.”De NRO gaf geen voorbeelden van patronen of anomalieën, maar men kan zich voorstellen dat dingen als “geen raket verplaatsen” versus “een raket verplaatsen” misschien op de lijst staan. Die voorspellingen in de hand, Sentient kon de sensoren van satellieten te zetten op de juiste plaats op het juiste moment om te vangen kwade wil (of wat anders het wil zien) in actie. “Sentient is een denkend systeem”, zegt Furgerson.

het is niet allemaal dystopisch: de documenten vrijgegeven door de NRO impliceren ook dat Sentient satellieten efficiënter en productiever kan maken. Het kan ook vrij te maken mensen om zich te concentreren op diepe analyse in plaats van vervelende naald-vinden. Maar het kan ook onbetwistbare vooroordelen bevatten, tot dubieuze conclusies komen en zorgen oproepen over burgerlijke vrijheden. Vanwege zijn geheimzinnige aard, weten we niet veel over die potentiële problemen.

” de standaardpraktijk van de NRO’ s en de inlichtingengemeenschap is om gevoelige bronnen en methoden niet openbaar te maken, aangezien een dergelijke openbaarmaking een hoog risico met zich meebrengt dat tegenstanders hen tegenwerken”, zegt Furgerson. “Zo’ n verlies schaadt onze natie en haar bondgenoten; het vermindert de VS. informatie voordeel en nationale veiligheid. Om die redenen blijven details over bewustzijn geheim en wat we erover kunnen zeggen is beperkt.”

satellietprogramma ‘ s zijn over het algemeen enkele van de meest geheime inlichtingen initiatieven geweest. Het eerste programma om foto ‘ s te nemen vanuit de ruimte, Corona, begon in 1958, en de satelliet met succes schoot zijn eerste emmer film terug door de atmosfeer in augustus 1960. Een paar dagen later, Edwin Land, CEO van Polaroid, ongerept de film over de vloer van de Oval Office terwijl Dwight Eisenhower keek. Voor hem lag gelijkenissen van vliegvelden en militaire installaties in de Sovjet-Unie.

” hier zijn uw foto ‘s, Mr. President,” zei Land.Deze grote onthulling, volgens een officiële geschiedenis van de NRO, leidde rechtstreeks tot de oprichting van een nieuw agentschap dat verantwoordelijk was voor het ontwerp, de acquisitie en de exploitatie van verkenningssatellieten.”

de NRO werd het volgende jaar formeel opgericht.In de jaren 70 begon het kantoor met de lancering van satellieten van de “Keyhole”-klasse die dezelfde specificaties hadden als die van de Hubble-Ruimtetelescoop, maar die gericht waren op de aarde in plaats van op andere sterrenstelsels. We weten ook dat de NRO ‘ s orbitale verzameling gegevens bevat die zijn verzameld tijdens de test of operatie van vliegtuigen, raketten of andere systemen; onderschepte spraak -, tekst-of beeldcommunicatie; en radar, onder andere bronnen. Van de meer dan 150 (bekende) Amerikaanse militaire satellieten, de NRO opereert ongeveer 50.

nu, bijna zes decennia na de oprichting van de NRO, is de hemel vol met andere naar beneden gerichte satellieten, waarvan sommige eigendom zijn van particuliere inlichtingenbedrijven. Een van deze, BlackSky, gebruikt deze satellieten om te voeden in een systeem dat in wezen Sentient ‘ s niet-geclassificeerde dubbelganger is.Toen twee olietankers werden aangevallen in de straat van Hormuz op 13 juni, stuurde BlackSky ’s programma zijn satellieten in actie en nam foto’ s van het incident terwijl de rook van de explosies nog steeds spiraalsgewijs de lucht in ging. De drijvende bakens van de schepen en lokale nieuwsberichten lieten doorschemeren dat er iets aan de hand was, waardoor BlackSky-analisten hun aandacht richtten op de drukke scheepvaartroute bij Iran.Insiders noemen dat proces “tipping and cueing”: een data tip-off van de ene bron gebruiken om een satelliet naar een bepaalde plek te laten kijken, of informatie van een satelliet gebruiken om de verzameling van een ander instrument te laten draaien. In de ideale versie van dat proces zuigt een geautomatiseerd systeem allerlei data op, synthetiseert het tot iets zinnigs, stuurt de satelliet symfonie aan, verwerkt de data van de satellieten terug in de analyselus, komt tot een slimmere conclusie, wijst de satellieten of andere sensoren weer aan, en herhaalt het hele proces. Doe dat goed genoeg, en een bedrijf (of intelligence agency) kan een toren van kennis over het verleden te bouwen, te begrijpen huidige gebeurtenissen sneller dan hun concurrenten, en — misschien op een dag — de toekomst te voorspellen.

terwijl de commerciële industrie haar netwerk van aarde-observerende orbiters heeft opgebouwd, heeft de inlichtingengemeenschap er kennis van genomen. In 2016 kondigde de NGA, die gegevens analyseert die de NRO verzamelt, samen met de NRO het commerciële GEOINT-programma aan om deze gegevens beter te kopen. In 2017 nam de NRO de inkoopverantwoordelijkheid over en heeft sindsdien ten minste drie nieuwe contracten getekend. Een daarvan was met een bedrijf genaamd Maxar, die eigenaar is van een aantal van de meest krachtige high-resolution satellieten in de particuliere sector en, voor een lange tijd, was vrijwel het enige bedrijf dat satellietbeelden verkopen aan de NRO. Deze keer heeft het agentschap echter ook een andere deal getekend met Planet, die een constellatie van kleine satellieten beheert die elke dag al het land van de aarde in beeld brengen. De derde aannemer is BlackSky.

hier is waar Sentient reenters het beeld: Alle beelden van de NRO, het leger en deze commerciële satellietbedrijven, gecombineerd met andere geospatiale intelligentie — alles wat een tijd — en een locatietag heeft-creëren een enorme hoeveelheid informatie die veel meer is dan een letterlijk leger van mensen zou kunnen doorkammen. Om bij te blijven met de brandslang van informatie, de NRO draait voor een deel naar AI. “Sentient heeft als doel analisten te helpen ‘de punten te verbinden’ in een grote hoeveelheid data, ” zegt Furgerson.

Hoe kan Sentient de punten verbinden? Dat weten we niet precies. Vrijgegeven documenten niet expliciet zeggen welke soorten gegevensbronnen Sentient kan sifon in, maar het is duidelijk dat het programma is geïnteresseerd in allerlei informatie. “Het kan elektronische Onderscheppingen van internationale communicatie omvatten; het kan eerdere beelden omvatten; het kan menselijke bronnen omvatten,” zegt Steven Aftergood, een onderzoeker bij de Federatie van Amerikaanse wetenschappers en directeur van het Project over Overheidsgeheim. “Mensen zeggen,’ Hey, er is iets aan de hand over die heuvel.”

gepensioneerde CIA-analist Allen Thomson gaat verder. “Zoals ik het begrijp, is het beoogde — en ambitieuze — antwoord ‘alles’,” zegt hij. Naast Afbeeldingen, dat kan financiële gegevens, weerinformatie, verzending statistieken, informatie van Google zoekopdrachten, records van farmaceutische aankopen, en nog veel meer, zegt hij.Denk aan wat er gebeurt in de particuliere sector: BlackSky neemt gegevens van 25 satellieten, meer dan 40.000 nieuwsbronnen, 100 miljoen mobiele apparaten, 70.000 schepen en vliegtuigen, acht sociale netwerken, 5.000 milieusensoren en duizenden internet-of-Things-apparaten. In de toekomst is het van plan om tot 60 van zijn eigen aardobserverende satellieten te hebben. Al die informatie gaat in verschillende verwerkingspijpleidingen op basis van het type. Uit een nieuwsverhaal kan BlackSky Mensen, Plaatsen, Organisaties en zoekwoorden halen. Op basis van een afbeelding kan het in kaart brengen welke gebouwen beschadigd lijken na een aardbeving. Dat alles verwerkt, maar nog steeds ongelijksoortig, gegevens gaat in wat BlackSky CTO Scott Herman noemt een “giant analytic fusion engine,” die probeert om het te zetten in meer dan de som van de delen, vertelt satellieten wat te doen, en waarschuwt menselijke analisten wanneer gebeurtenissen voldoen aan bepaalde vooraf bepaalde criteria.In de echte wereld zou BlackSky dat kunnen gebruiken om de posities van Russische jets bij te houden. Het bedrijf heeft beelden van plaatsen waar het Russische leger zijn vliegtuigen parkeert, en het kent de ruwe vorm van verschillende soorten flyers.

het bedrijf heeft ook algoritmen voor Vormherkenning, die pixels kunnen uitkiezen die samen een bepaald patroon in kaart brengen. Het kan dat algoritme afstemmen om de contouren van Russische jets uit te zoeken, zoals de MiG Fulcrum en Foxhound vliegtuigen. Als je de satellietfoto ‘ s in dat algoritme zet, kun je zien hoeveel van die vliegtuigen op Start-en landingsbanen zitten. Het begrijpen van de Betekenis van die telling — wat “45 Fulcrums bij Aleysk, maar geen Bij Krymsk” eigenlijk betekent — vergt nog meer gegevens. Het systeem zou de geschiedenis van de jet-Demografie moeten kennen, die het had kunnen bepalen aan de hand van eerdere observaties. Het kan misschien gegevens verzamelen over hoe vaak en waar ze vliegen, of zelfs naar nieuws kijken om erachter te komen of er enige onrust of actie rond Aleysk is: nu weet het systeem precies waar ze hun real-time satellieten moeten richten om de informatie te verzamelen die hun klant nodig heeft.BlackSky is nog maar net begonnen met het lanceren van zijn eigen satellieten. Het uiteindelijke succes en de bruikbaarheid van het systeem moeten nog worden bewezen. En gebaseerd op de beschikbare informatie, is het onduidelijk hoe ver het vergelijkbare systeem van Sentient is. Thomson vermoedt dat zijn meer grandioze doelen zijn nog steeds gewoon dat: doelen. “Hoe ver Sentient is gekomen of zal komen is niet duidelijk,” zegt hij.

” als het succesvol zou worden geïmplementeerd op grote schaal, zou het zeker een belangrijke vooruitgang zijn,” zegt Thomson, “maar ik zag geen enkele aanwijzing dat dat daadwerkelijk was gebeurd.”

zelfs als Sentient nog steeds vast zit in zijn vroege stadia, zijn bestaan stuurt veel rode vlaggen voor privacy experts. Werken de algoritmes echt? Op welke manieren zijn ze bevooroordeeld? Hoeveel valse positieven genereren ze? “Hoe vaak gaat Sentient onze miljarden-dollar satellieten op een wilde ganzenjacht sturen?”vraagt Aftergood. “We moeten rekening houden met de impact van Sentient leidt ons op een dwaalspoor.”

de NRO merkt op dat Sentient mensen niet volledig buiten het proces houdt, wat een soort controle geeft op de staat van zijn. “Het hebben van mensen in de lus toezicht op de inlichtingengegevens en informatie is een belangrijke manier om de prestaties van het algoritme te monitoren,” zegt Furgerson. “Sentient is mens-geholpen machine-to-machine leren.”

van het werk van zijn bedrijf merkt Herman op dat wanneer je silicon vraagt om zinvol te zijn, je het moet trainen op de juiste soort gegevens. Als je algoritmen wilt leren hoe radiotorens eruit zien, maar je laat ze alleen radiotorens in het volle zonlicht zien, zullen ze gaan denken dat “zwarte schaduw naast de toren” in feite integraal deel uitmaakt van de torenheid van de toren. Als ze dan op een bewolkte dag naar zo ‘ n bouwwerk kijken, zullen ze het helemaal niet herkennen.

dat is een banaal voorbeeld, maar je kunt je meer sinistere voorstellen-zoals software die heeft geleerd dat het woord “bom” geassocieerd wordt met terroristische plannen, maar nooit leert dat “that’ s the bomb” een relaxte zin is. In de andere rijken van AI is het niet echt alwetend of objectief bewezen, meestal op een manier die niet-blanke jongens pijn doet. Bij Amazon, bijvoorbeeld, gezichtsherkenning software consequent mislukt bij het identificeren van de geslachten van vrouwen en donkerder huid mensen. Analytics bedrijf Palantir creëerde een voorspellend rechtshandhavingsprogramma voor de politie van New Orleans, maar voedde het gegevens die volgens sommige rapporten gericht minderheden oneerlijk.

welke vooringenomenheid schuilt er in Sentient? Hoe zagen de trainingsgegevens eruit? Wie bevestigt zijn conclusies en hoe? Op dit moment zijn de antwoorden ondoorzichtig, maar geheimhouding waakhonden zoals Aftergood vragen het toch. “Dat zijn de vragen die u niet wilt dat de sponsors of financiers van Sentient zelf vragen en antwoorden,” zegt Aftergood.

vragen over wie en wat Sentient monitors zijn even hardnekkig en ook bijna onbeantwoord, maar er zijn een paar aanwijzingen over waar het programma al dan niet gluurt. Spionagesatellieten, zoals die gebruikt worden door de NRO, zijn vooral bedoeld om zich te richten op de wereld buiten de grenzen van de Verenigde Staten. En in tegenstelling tot zijn collega inlichtingendiensten — inclusief de NSA en CIA — is de NRO niet echt verstrikt geraakt in grote binnenlandse spionageschandalen. De grootste recente publieke overstuur was waarschijnlijk over de missie patch voor de lancering van de NROL-39 satelliet: het toont een gigantische gele octopus mond-gezogen naar de aarde-naar Noord-Amerika, eigenlijk. Tentakels omringen de planeet. De woorden “niets is buiten ons bereik” glimlachen in een boog onder de koppotigen.

ondanks het sentiment van de patch, zijn er een aantal plaatsen waar de NRO en Sentient over het algemeen niet worden verondersteld te bereiken. Zowel in de hemel als op aarde, beschermen wetten Amerikaanse burgers tegen onredelijke huiszoeking en inbeslagname door hun regering. “Onder het bestaande wettelijke regime, zou bewust-gedreven verkenning niet moeten plaatsvinden binnen de VS,” zegt Aftergood. “Als dat zo was, zou dat natuurlijk meteen zorgen oproepen over privacy en burgerlijke vrijheden, en een hele reeks gerelateerde vragen over hoe die verzamelde informatie werd gebruikt en opgeslagen en ga zo maar door. Maar op dit moment moet het niet worden verzameld in de eerste plaats.”

In antwoord op vragen over mogelijke binnenlandse surveillance, merkte de woordvoerder op dat de NRO de eerste richtlijn van de inlichtingengemeenschap — Executive Order 12333, evenals andere toepasselijke wetten gehoorzaamt. Deze bijzondere executive order schetst wanneer “het verzamelen, bewaren en verspreiden” van informatie over mensen in de VS is toegestaan — op voorwaarde dat de verzamelaars de juiste procedure volgen. Een van de uitzonderingen van de orde op het “laat de VS met rust” – beleid is echter wanneer inlichtingen worden verkregen door “overhead reconnaissance” die niet gericht is op specifieke personen uit de Verenigde Staten.”

maar Executive Order 12333 schetst de principes die gelden voor inlichtingendiensten en is niet op dezelfde manier van toepassing op de particuliere Aardobservatiebedrijven die in de afgelopen jaren zijn toegenomen, waaronder BlackSky. Bedrijven kunnen hun telescopen richten waar ze maar willen. Hoewel de overheid zich het recht voorbehoudt om “sluitercontrole” uit te oefenen, waardoor fotografie van een bepaald gebied verboden wordt, heeft zij dat nooit gedaan (soms koopt de overheid wel exclusieve toegang tot een gebied, een praktijk die bekend staat als “checkbook sluitercontrole”). Er zijn grenzen aan de besluiten waarbij particuliere bedrijven beelden aan het publiek en aan andere landen kunnen verkopen.

voor het grootste deel, bedrijven als Maxar, Planet, en BlackSky foto ‘ s die iedereen met een vet genoeg chequeboek kan kopen — met inbegrip van u, en met inbegrip van organisaties zoals de NRO. Dat roept een aantal interessante juridische vragen op die onderzoekers zoals Aftergood nog steeds proberen te achterhalen: als NRO geà nteresseerd was in het observeren van de VS, en zijn satellieten niet opzettelijk kan gebruiken om zich te concentreren op uw huis, zou het dan gewoon foto ‘ s van uw huis kunnen kopen bij een particulier bedrijf?

het NRO gaf geen specifiek antwoord op de rol van commerciële gegevens in Sentient. Maar limieten, zegt Aftergood, moeten nog steeds bestaan op betaalde gegevens. “Wat ze daarmee doen moet op de een of andere manier missiegericht zijn”, zegt Aftergood. “Ze horen niet te snuffelen omwille van snuffelen.”

voorlopig blijft Sentient ‘ s snooping geheim. Het denksysteem spreekt alleen tot degenen met een veiligheidsmachtiging, hoewel het naar, zoals Thomson het zei, zowat alles kan luisteren.