det är kännande

vid den sista sessionen i 2019 Space Symposium i Colorado Springs, deltagare straggled in i en jätte balsal för att lyssna på en flygvapen tjänsteman och en nationell Geospatial-Intelligence Agency (NGA) verkställande diskutera, som paneltiteln uttryckte det, ”Enterprise Disruption.”Presentationen förblev så vag som titeln tills en direkt fråga från publiken tycktes få paneldeltagarna att våndas.

hur bra, undrade personen, hade militär-och underrättelsetjänsternas algoritmer fått tolka data och vidta åtgärder baserat på den analysen? De påpekade att den kommersiella satellitindustrin har programvara som kan stämma fraktcontainrar på lastfartyg och bilar på parkeringsplatser strax efter att deras bilder har knäppts i rymden. ”När kommer försvarsdepartementet att ha realtid, automatiserad, global stridsordning?”frågade de.

”det är en bra fråga”, säger Chirag Parikh, chef för NGA: s kontor för vetenskap och metoder. ”Och det finns många riktigt bra klassificerade svar.”

han pausade och skiftade i sitt säte. ”Vad är nästa fråga?”frågade han och log. Men han fortsatte att prata och beskrev hur” geospatial intelligens ” inte längre bara betyder bilder från satelliter. Det betyder vad som helst med en tidsstämpel och en platsstämpel, och försöket att integrera alla de olika uppgifterna.

sedan svarade Parikh faktiskt på denna fråga: När skulle det översättas till nästan omedelbar förståelse och strategiutveckling?

”om inte nu”, sa han, ” mycket snart.”

Parkih nämnde inte några speciella program som kan hjälpa till att möjliggöra denna typ av autonom tolkning i realtid. Men ett initiativ som kallas Sentient har relevanta förmågor. En produkt från National Reconnaissance Office (NRO), Sentient är (eller åtminstone syftar till att vara) ett allätande analysverktyg som kan sluka data av alla slag, känna av det förflutna och nutiden, förutse framtiden och peka satelliter mot vad det bestämmer kommer att vara de mest intressanta delarna av den framtiden. Det gör det idealiskt enklare nedströms för mänskliga analytiker hos andra organisationer, som NGA, med vilka den satellitcentrerade NRO samarbetar.

hittills har Sentient behandlats som en regeringshemlighet, förutom vaga anspelningar i några tal och presentationer. Men nyligen släppta dokument — många tidigare klassificerade hemliga eller topphemliga-avslöjar nya Detaljer om programmets mål, framsteg och räckvidd.

forskning relaterad till Sentient har pågått sedan åtminstone oktober 2010, då byrån publicerade en begäran om Sentient Enterprise white papers. En presentation säger att programmet uppnådde sin första R & d milstolpe i 2013, men detaljer om vad den milstolpen faktiskt var förblir redigerad. (Biträdande chef för Nro: s kontor för offentliga angelägenheter Karen Furgerson nekade att kommentera denna tidpunkt i ett mail till The Verge.) En 2016 House Armed Services Committee utfrågning om nationellt säkerhetsutrymme inkluderade en snabb sammanfattning av denna datadrivna hjärna, men offentliga möten har inte nämnt det sedan dess. År 2018 hävdade en presentation som publicerades online att Sentient skulle gå live det året, även om Furgerson berättade för The Verge att det för närvarande var under utveckling.

”NRO har inte sagt mycket om Sentient offentligt eftersom det är ett klassificerat program”, säger Furgerson i ett mail, ”och NRO visas sällan före kongressen i öppna utfrågningar.”

byrån har utvecklat denna konstgjorda hjärna i flera år, men detaljer som är tillgängliga för allmänheten är fortfarande knappa. ”Det tar in stora volymer data och bearbetar det”, säger Furgerson. ”Sentient katalogiserar normala mönster, upptäcker anomalier och hjälper till att förutse och modellera motståndares potentiella handlingsplaner.”NRO gav inte exempel på mönster eller anomalier, men man kan föreställa sig att saker som ”inte flytta en missil” kontra ”flytta en missil” kan vara på listan. Dessa prognoser i handen, Sentient kan vända satellits sensorer till rätt plats vid rätt tidpunkt för att få sjuk vilja (eller vad som helst annat det vill se) i aktion. ”Sentient är ett tänkande system”, säger Furgerson.

det är inte allt dystopiskt: de dokument som släpptes av NRO innebär också att Sentient kan göra satelliter mer effektiva och produktiva. Det kan också frigöra människor att fokusera på djup analys snarare än tråkig nålfyndning. Men det kan också innehålla obestridliga fördomar, komma till tvivelaktiga slutsatser och väcka oro för medborgerliga friheter. På grund av dess hemliga natur vet vi inte mycket om de potentiella problemen.

”NRO: s och Intelligensgemenskapens standardpraxis är att inte avslöja känsliga källor och metoder, eftersom sådan avslöjande introducerar hög risk för att motståndarnationerna motverkar dem”, säger Furgerson. ”En sådan förlust skadar vår nation och dess allierade; det minskar USA. informationsfördel och nationell säkerhet. Av dessa skäl förblir detaljer om Sentient klassificerade och vad vi kan säga om det är begränsat.”

satellitprogram har i allmänhet varit några av de mest hysch-hysch intelligensinitiativen. Det första programmet för att ta bilder från rymden, Corona, började 1958, och satelliten sköt framgångsrikt sin första hink med film tillbaka genom atmosfären i augusti 1960. Några dagar senare, Edwin Land, VD för Polaroid, unspooled filmen över golvet i Oval Office medan Dwight Eisenhower tittade på. Före honom låg likheter med flygfält och militära installationer i Sovjetunionen.

”här är dina bilder, herr President,” sade Land.

det stora avslöjandet, enligt en officiell historia från NRO, ledde direkt till skapandet av en ny byrå med ansvar för ”design, förvärv och drift av rekognoseringssatelliter.”

NRO grundades formellt nästa år.

på 1970-talet började kontoret lansera ”nyckelhål” – klass satelliter som hade specifikationer som liknar Hubble Space Telescope, men de var riktade mot jorden istället för andra galaxer. Vi vet också att nro: s orbitalsamling innehåller data som samlats in under test eller drift av flygplan, missiler eller andra system; avlyssnad röst -, text-eller bildkommunikation; och radar, bland andra källor. Av de mer än 150 (kända) amerikanska militära satelliterna Driver NRO cirka 50.

nu, nästan sex decennier efter att NRO grundades, är himlen trångt med andra nedåtriktade satelliter, vissa ägs av privata underrättelseföretag. En av dessa, BlackSky, använder dessa satelliter för att mata in i ett system som i huvudsak är Sentient ’ s oklassificerade doppelg bisexnger.

när två oljetankfartyg attackerades i Hormuzsundet den 13 juni skickade Blackskys program sina satelliter till handling och tog bilder av händelsen medan rök från explosionerna fortfarande spiralade mot himlen. Fartygens drivande beacons och lokala nyhetsrapporter antydde att något var uppe, vilket fick BlackSky-analytiker att rikta sin uppmärksamhet mot den upptagna fraktbanan nära Iran.

Insiders kallar den processen” tipping and cueing”: med hjälp av en data tip-off från en källa för att cue en satellit för att titta på en viss plats eller använda information från en satellit för att snurra upp ett annat Instruments samling. I den ideala versionen av den processen suger ett automatiserat system in alla typer av data, syntetiserar det till något förnuftigt, cues satellitsymfonin, reincorporates satelliternas data tillbaka i analysslingan, kommer till en smartare slutsats, pekar satelliterna eller andra sensorer igen och upprepar hela processen. Gör det tillräckligt bra, och ett företag (eller underrättelsetjänst) kan bygga ett torn av kunskap om det förflutna, förstå nuvarande händelser snabbare än sina konkurrenter, och — kanske en dag — förutsäga framtiden.

när den kommersiella industrin har byggt upp sitt nätverk av Jordobservativa orbitrar har underrättelsetjänsten tagit notis. År 2016 tillkännagav NGA, som analyserar data som nro samlar in, och NRO gemensamt det kommersiella GEOINT-programmet för att bättre köpa dessa data. Under 2017 tog NRO över inköpsansvaret och har sedan dess tecknat minst tre nya kontrakt. En var med ett företag som heter Maxar, som äger några av de mest kraftfulla högupplösta satelliterna i den privata sektorn och under lång tid var ganska mycket det enda företaget som säljer satellitbilder till NRO. Den här gången tecknade byrån också en annan affär med Planet, som driver en konstellation av små satelliter som avbildar hela jordens land varje dag. Den tredje entreprenören är BlackSky.

här är där Sentient återinträder bilden: Alla bilder från NRO, militären och dessa kommersiella satellitföretag, i kombination med annan geospatial intelligens — allt som har en tidtagg och en platstagg — skapar en stor mängd information som är mycket mer än en bokstavlig arm av människor kunde kamma igenom. För att hålla jämna steg med eldslangen med information, vänder NRO delvis till AI. ”Sentient syftar till att hjälpa analytiker att” ansluta prickarna ”i en stor mängd data”, säger Furgerson.

hur kan Sentient ansluta prickarna? Vi vet inte, exakt. Släppta dokument säger inte uttryckligen vilka typer av datakällor som Sentient kan sippra in, men det är uppenbart att programmet är intresserad av all slags information. ”Det kan innehålla elektroniska avlyssningar av internationell kommunikation; det kan innehålla tidigare bilder; det kan inkludera mänskliga källor”, säger Steven Aftergood, forskare vid Federation of American Scientists och chef för projektet om Regeringshemlighet. ”Folk säger,” Hej, det händer något över den kullen.”

pensionerad CIA-analytiker Allen Thomson går vidare. ”Som jag förstår det är det avsedda och ambitiösa svaret ”allt”, säger han. Förutom bilder kan det innehålla finansiella data, väderinformation, fraktstatistik, information från Google-sökningar, register över läkemedelsinköp och mer, säger han.

Tänk på vad som händer i den privata sektorn: BlackSky tar data från 25 satelliter, mer än 40 000 nyhetskällor, 100 miljoner mobila enheter, 70 000 fartyg och flygplan, åtta sociala nätverk, 5 000 miljösensorer och tusentals Internet-of-Things-enheter. I framtiden planerar den att ha upp till 60 av sina egna jordobservationssatelliter. All denna information går in i olika bearbetningsrörledningar baserat på dess typ. Från en nyhet kan BlackSky extrahera människor, platser, organisationer och nyckelord. Från en bild kan det kartlägga vilka byggnader som verkar skadade efter en jordbävning. Allt som bearbetas, men fortfarande disparat, data går in i vad BlackSky CTO Scott Herman kallar en” jätte analytisk fusionsmotor”, som försöker göra den till mer än summan av dess delar, berättar satelliter vad man ska göra åt det och varnar mänskliga analytiker när händelser uppfyller vissa förutbestämda kriterier.

i den verkliga världen kan BlackSky använda det för att hålla reda på positionerna för ryska jets. Företaget har bilder av platser där den ryska militären parkerar sina plan, och det känner till den grova formen av olika typer av flygblad.

företaget har också formigenkänningsalgoritmer, som kan välja ut pixlar som tillsammans kartlägger ett visst mönster. Det kan ställa in den algoritmen för att välja ut konturerna av ryska jets, som mig Fulcrum och Foxhound-Planen. När du har lagt satellitbilderna i den algoritmen kan du lära dig hur många av dessa flygplan som sitter på landningsbanor. Att förstå betydelsen av den räkningen — vad ”45 stödpunkter på Aleysk men ingen på Krymsk” egentligen betyder — tar ännu mer data. Systemet skulle behöva känna till jetdemografiens historia, vilket det kunde ha bestämt från tidigare observationer. Det kan kanske samla in data om hur ofta de flyger och var, eller till och med titta på nyheter för att ta reda på om det finns någon agitation eller handling runt Aleysk: nu vet systemet exakt var de ska peka sina realtidssatelliter för att samla in den information som deras klient behöver.

BlackSky har verkligen precis börjat, efter att ha nyligen lanserat sina egna satelliter. Den ultimata framgången och nyttan av sitt system måste fortfarande bevisas. Och baserat på tillgänglig information är det oklart hur långt sentients jämförbara system är. Thomson misstänker att dess mer grandiösa mål fortfarande är helt enkelt det: mål. ”Hur långt Sentient har fått eller kommer att få är inte klart”, säger han.

” om det skulle genomföras framgångsrikt i stor skala skulle det säkert vara ett betydande framsteg”, säger Thomson, ” men jag såg ingen indikation på att det faktiskt hade hänt.”

även om Sentient fortfarande sitter fast i sina tidiga skeden, skickar dess existens upp många röda flaggor för integritetsexperter. Fungerar algoritmerna verkligen? På vilka sätt är de partiska? Hur många falska positiva genererar de? ”Hur ofta kommer Sentient att skicka våra miljarder dollar satelliter på en vild gåsjakt?”frågar Aftergood. ”Vi måste överväga effekterna av Sentient som leder oss vilse.”

NRO noterar att Sentient inte håller människor helt ur processen, vilket ger någon form av kontroll över dess tillstånd. ”Att ha människor i slingan som övervakar intelligensdata och information är ett viktigt sätt att övervaka algoritmens prestanda”, säger Furgerson. ”Sentient är mänskligt hjälpt maskin-till-maskin-lärande.”

av hans företags arbete noterar Herman att när du ber silicon att vara meningsfull måste du träna den på rätt typ av data. Om du vill att algoritmer ska lära sig hur radiotorn ser ut, men du bara visar dem radiotorn i fullt solljus, kommer de att tänka ”svart skugga bredvid tornet” är faktiskt en integrerad del av tornets torn. Om de sedan tittar på en snap av en sådan struktur på en molnig dag, kommer de inte att känna igen det alls.

det är ett banalt exempel, men du kan föreställa dig mer olycksbådande — som programvara som har lärt sig ordet ”bomb” är förknippat med terroristplaner, men lär sig aldrig att ”det är bomben” är en chill-fras. I AI: s andra världar har det faktiskt inte visat sig allvetande eller objektivt, vanligtvis på sätt som skadar icke-vita killar. På Amazon, till exempel, ansiktsigenkänningsprogram misslyckades konsekvent med att identifiera könen hos kvinnor och mörkare människor. Analysföretaget Palantir skapade ett prediktivt brottsbekämpningsprogram för polisstyrkan i New Orleans, men matade det data som enligt vissa rapporter riktade minoriteter orättvist.

vilka fördomar kan lura inuti kännande? Hur har dess träningsdata sett ut? Vem validerar sina slutsatser, och hur? För tillfället är svaren ogenomskinliga, men sekretessvakthundar som Aftergood frågar ändå. ”Det är de frågor du inte vill att sponsorerna eller finansiärerna av Sentient ska fråga och svara själva”, säger Aftergood.

frågor om vem och vilka kännande bildskärmar är lika ihållande och också nästan obesvarade, men det finns några ledtrådar om var programmet kan eller inte kan kika. Spionsatelliter, som de som används av NRO, är främst avsedda att fokusera på världen utanför USA: s gränser. Och till skillnad från sina andra underrättelsetjänster — inklusive NSA och CIA — har NRO inte riktigt blivit upptagen i stora inhemska spioneringsskandaler. Dess största senaste offentliga upprördhet var förmodligen om uppdraget patch för lanseringen av sin nrol-39 satellit: den visar en jätte gul bläckfisk mun-sugas till jorden-till Nordamerika, faktiskt. Tentakler omger planeten. Orden” ingenting är utom räckhåll ” ler i en båge under bläckfisken.

trots patchens känsla finns det några ställen där NRO och Sentient i allmänhet inte ska nå. I himlen som på jorden skyddar lagar amerikanska medborgare från orimlig sökning och beslag av deras regering. ”Enligt den befintliga lagstadgade regimen bör kännande driven rekognosering inte äga rum inom USA”, säger Aftergood. ”Om det var, skulle det naturligtvis omedelbart väcka oro för integritet och medborgerliga friheter och en hel uppsättning relaterade frågor om hur den samlade informationen användes och lagrades och så vidare. Men just nu borde det inte samlas in i första hand.”

som svar på frågor om potentiell inhemsk övervakning noterade talesmannen att NRO följer underrättelsetjänstens främsta direktiv — Executive Order 12333, liksom andra tillämpliga lagar. Denna speciella verkställande order beskriver när ”insamling, retention och spridning” av intelligens om människor i USA är tillåtet — förutsatt att samlarna följer korrekt procedur. Men i synnerhet är ett av ordningens undantag från” lämna USA ensam ”- politiken när intelligens ” förvärvas av överliggande rekognosering som inte riktas mot specifika amerikanska personer.”

men Executive Order 12333 beskriver principer som styr underrättelsetjänster och gäller inte på samma sätt för de privata Jordobservationsföretag som har spridit sig de senaste åren, BlackSky är en av dem. Företag kan peka sina teleskop ganska mycket var som helst de vill. Även om regeringen förbehåller sig rätten att utöva ”slutarkontroll”, som förbjuder fotografering av ett visst område, har det aldrig gjort det (ibland köper regeringen exklusiv tillgång till ett område, en praxis som kallas ”checkbook shutter control”). Det finns gränser för de resolutioner där privata företag kan sälja bilder till allmänheten och till andra länder.

för det mesta tar företag som Maxar, Planet och BlackSky bilder som alla med en tjock nog checkbok kan köpa — inklusive DIG och inklusive organisationer som NRO. Det väcker några intressanta juridiska frågor som forskare som Aftergood fortfarande försöker räkna ut: om NRO var intresserad av att övervaka USA och inte medvetet kan använda sina satelliter för att fokusera på ditt hus, kan det helt enkelt köpa bilder av ditt hus från ett privat företag istället?

NRO gav inte ett specifikt svar på kommersiell data roll i Sentient. Men gränser, säger Aftergood, borde fortfarande finnas på betalda data. ”Vad de gör med det borde på något sätt vara uppdragsorienterat”, säger Aftergood. ”De ska inte snooping för snooping skull.”

för tillfället förblir sentients snooping hemlig. Tankesystemet talar bara till dem med säkerhetsprövning, även om det kan lyssna på, som Thomson uttryckte det, nästan allt.