Introduction
Introduction Statistics Contact Development Disclaimer Help
# taz.de -- NSA-Überwachung: „Wollen wir das wirklich?“
> Yvonne Hofstetter entwirft Algorithmen. Für private Konzerne oder
> Rüstungsfirmen. Ein Gespräch über die wachsende Macht der Maschinen.
Bild: Sie lachen. Aber sie planen Finsteres, diese Maschinen
taz: Frau Hofstetter, Geheimdienste sammeln gigantische Datenmengen. Gibt
es überhaupt Programme, die all das verarbeiten können? Oder ersäuft die
NSA in der Datenflut?
Yvonne Hofstetter: Mein Team macht seit 18 Jahren Datenanalyse. Es ist ein
Irrglaube, anzunehmen, dass sich mit solch großen Mengen von Informationen
nichts anfangen lässt.
Was lässt sich damit anfangen?
Grundsätzlich gibt es drei Stufen der sogenannten Datenfusion. Auf der
ersten Stufe werden Daten gesammelt und in Hochleistungsdatenbanken
neuester Generation hineingepumpt. Ich spekuliere mal, dass die NSA vor
allem das macht. Aus diesen Sammlungen können Sie mit einer intelligenten
Suchmaschine entsprechende Informationen auslesen. Solche Systeme wurden
schon vor Jahrzehnten fürs Militär entwickelt.
Neu ist, dass die Speicherkapazitäten massiv gewachsen sind.
Hinzu kommt, dass vor 15 Jahren bei Weitem nicht so viel elektronisch
kommuniziert wurde wie heute. Noch nie haben Menschen so viele Daten über
sich erzeugt, nie war ihr digitaler Fußabdruck so detailliert – und der
kann natürlich systematisch digital abgerufen werden.
Was passiert bei der zweiten Stufe der Datenfusion?
Lernende Algorithmen verarbeiten die gespeicherten Daten mit mathematischen
Modellen. In dieser zweiten Stufe erzeugen sie aus den gesammelten Daten
neue Informationen. Beispielsweise werden beim Währungshandel die
Währungspreise in Echtzeit aufgezeichnet. Aus den rohen Preisdaten
errechnet ein Algorithmus dann die Information, dass der Dollar im US-Markt
innerhalb der nächsten 24 Stunden mit einer Wahrscheinlichkeit von 75
Prozent steigen wird. Diese Information kann dem Händler bei seinen
Entscheidungen helfen.
Aber es handelt noch immer der Mensch – nicht das Programm, der
Algorithmus?
Automatisiert werden diese Entscheidungen erst auf der dritten Stufe. Da
agiert der Algorithmus selbstständig. Und da wird es auch problematisch:
Der Algorithmus fängt an, den Menschen zu vereinnahmen. Im Währungshandel
habe ich Kunden, die keinen Auftrag mehr ohne Algorithmus erteilen. Das
sind Profis, Cheftrader, die sagen: „Ich möchte, dass die Maschine das
macht.“
Warum diese freiwillige Entmündigung?
Weil der Algorithmus solche Aufgaben besser erledigt als ein Mensch. Ein
Mensch handelt nie optimal unter Unsicherheit – da sind Emotionen im Spiel,
er kann einen schlechten Tag haben. Hinter der Maschine hingegen steht ein
Optimierer, ein Algorithmus, dessen Ziel es ist, die bestmögliche
Entscheidung zu treffen, Profite zu optimieren, Risiken zu minimieren.
Und Sie wehren sich vor allem gegen diese dritte Stufe – die autonomen
Algorithmen …
Nein, dagegen wehre ich mich nicht. Aber ich sage: Man muss Technologie
verantwortungsvoll einsetzen. Momentan werden schon auf der ersten Stufe
Daten in einem Ausmaß gesammelt, dass es schwierig werden wird, die
Informationen zu kontrollieren, wenn eines Tage alle drei Stufen der
Datenfusion komplett industriell ausgebaut sind. Ich möchte, dass wir uns
verständigen: Wollen wir das wirklich?
Wo sind solche eigenständigen Algorithmen schon im Einsatz?
Beim Militär gibt es diese Technologien auf jeglicher Stufe. Überhaupt sind
die meisten dieser Projekte im staatlichen Umfeld angesiedelt – dort gibt
man sich die Zeit, längerfristig zu forschen, die Systeme reifen zu lassen
und dafür die Gelder auszugeben. Häufig sind das Infrastruktur-Megaprojekte
– Wassermanagement, Energiemanagement, Transportoptimierung.
Das erleichtert doch das Leben der Menschen.
Natürlich bin ich überzeugt von dem Potenzial derartiger Algorithmen –
schließlich sehe ich täglich ihre Fähigkeiten. Aber man darf vor dem
Hintergrund der ganzen Effizienz und Potenzialsteigerung den Menschen nicht
außer Acht lassen.
Glauben Sie, dass Ihre Algorithmen sich eines Tages verselbstständigen?
Von der Herrschaft der Maschinen sind wir noch weit weg. Grundsätzlich geht
es um die Frage, wie man Algorithmen nutzt. Was mein Team jetzt häufiger
sieht und was uns beunruhigt, sind die Wünsche mancher Kunden. Da möchte
jemand ein System, das E-Mails und andere persönliche Datenflüsse
überwacht. Wir weisen dann darauf hin, dass die Ausspähung von Mitarbeitern
oder Kunden illegal ist. In den vergangenen 12 Monaten haben wir zwei
Aufträge abgelehnt, die ethisch oder rechtlich nicht vertretbar waren.
Was ist für Sie bedrohlicher – wenn Unternehmen Daten sammeln und auswerten
oder staatliche Stellen?
Ganz klar: wenn die Daten von Privaten gesammelt werden. Wenn sie nicht
mehr bei einer gesetzlich kontrollierten Institution liegen.
Mangel an gesetzlicher Kontrolle: Den Eindruck könnte man bei der NSA
allerdings auch bekommen.
Meine Erfahrung ist, dass Behörden verantwortungsvoller handeln. Ein
Beispiel: Mein Team hat vor 13 Jahren ein System für das Bayerische
Landeskriminalamt gebaut. Verschiedene bayerische Polizeidienststellen
unterhielten Töpfe mit offiziell erhobenen Daten. Diese Daten sollten
fusioniert werden, um Netzwerke von Kriminellen zu analysieren und Hinweise
zu gewinnen, wer möglicherweise neue Taten plant. Aufgrund dieser Hinweise
konnte dann ein Ermittlungsverfahren eingeleitet werden. Das hat gut
funktioniert. Aber es gab riesige Diskussionen.
Weshalb?
Die Daten, um die es ging, waren unter anderem Informationen über illegales
Glücksspiel oder Haftdaten. Die wurden ergänzt und abgeglichen mit Rohdaten
aus dem Bundeskraftfahrtregister und von Einwohnermeldeämtern. Nach der
entsprechenden Verjährungszeit mussten einige der Daten gelöscht werden.
Aber was passiert mit den neuen, von den Rohdaten abgeleiteten
Informationen, die der Algorithmus erzeugt, indem er die erhobenen Rohdaten
miteinander verknüpft? Die Behörden haben viel Wert auf einen
verantwortungsvollen Umgang gelegt. Am Ende wurde der Datenlöschmechanismus
das komplizierteste Modul des Systems.
Der Forscher Viktor Mayer-Schönberger sieht die Gefahr, dass Algorithmen
künftig berechnen könnten, wer schuldig ist und wer nicht. Das Individuum
könnte sich dann nur schwer gegen eine solche Berechnung wehren.
Ja, das ist ein großes Problem. Wenn Sie das weiterdenken: Jemand wirft
falsche Daten über Sie ins Netz – zum Beispiel über ein soziales Netzwerk.
Durch die Datenanalyse werden Sie klassifiziert, und Sie können nichts
dagegen tun. Sie werden einfach abgestempelt als nicht vertrauenswürdig
oder nicht kreditwürdig aufgrund von Daten, deren Herkunft Sie eventuell
nicht einmal kennen. Ich habe relativ wenig Bedenken bei der Datenanalyse
öffentlich verfügbarer allgemeiner Daten – wie Währungspreise. Aber ich
habe riesige Probleme, wenn es bei der Datenfusion um personenbezogene
Daten geht.
Eben klang es noch so, als sei Ihr Problem vielmehr, wer diese Daten
verarbeitet.
Natürlich kommt immer darauf an, in welchen Händen diese Technologien sind.
Wir hatten mal eine Anfrage eines Konzerns, der in der Dritten Welt Öl
fördert. Das Unternehmen wollte für einen bestimmten Landstrich ein
privates geheimdienstliches System aufbauen. Einerseits eine Analyse für
sogenannte terroristische Hotspots – etwa Warnungen, eine bestimmte Region
zu meiden, weil es dort wahrscheinlich Piratenangriffe geben wird. In einem
zweiten Schritt wollte der Konzern aber auch persönliche private
Informationen sammeln – beispielsweise über Mitglieder einer Regierung. Hat
das Staatsoberhaupt Konten in der Schweiz? Etwa um die Regierung erpressen
zu können. Hochgefährlich, wenn mächtige Algorithmen in falsche Hände
geraten. Wir haben das System nicht gebaut.
Haben andere es getan?
Das weiß ich nicht. Es gibt nicht viele Unternehmen, die das Knowhow dazu
haben. Aber es werden immer mehr, denn die Entwicklung schreitet rasch
voran, im Bereich maschinelles Lernen, künstliche Intelligenz. Auch im
Konsumentengüterumfeld wie bei Onlineshops. Wenn ein großer
Online-Buchhändler jetzt ein Team für Machine Learning aufbaut, wissen Sie,
was die vorhaben: Die wollen Kundenprofile besser herausarbeiten.
Viele Empfehlungen, die Onlineshops geben, wirken noch nicht, als sei der
Algorithmus dahinter besonders schlau, als würde er die KundInnen besonders
gut kennen.
Alles eine Frage der Zeit. Warten Sie fünf bis zehn Jahre. Diese Firmen
geben Millionen im Jahr für die Infrastruktur der Speicherung von Daten
aus: Welche Bücher ich kaufe – also was mich interessiert. Mit wie vielen
Kreditkarten ich bei ihnen angemeldet bin – also wie hoch das Budget ist,
das ich pro Jahr für Bücher ausgebe.
Ja gut, aber was sollen sie mir damit antun?
Diese Daten kann ein Konzern mit meiner Peergroup vergleichen und
Vermutungen anstellen, in welcher Gehaltsklasse ich bin, weil bekannt ist,
dass der Mensch einen bestimmten Prozentsatz seines Nettogehalts pro Jahr
in Büchern und Medien anlegt. Da gibt es eine Vielzahl an Dingen, die man
zusammenfügen kann. Und was zusammengefügt werden kann, wird es irgendwann
auch.
Klingt auch noch nicht besonders gefährlich.
Unternehmen sind sehr kreativ. Die Finanzwirtschaft wird sich überlegen, ob
sie nicht lieber auf tagesaktuelle Daten zurückgreifen will, statt auf
Angaben der Schufa. Wer bestellt was? Kann der Kunde das zahlen? Gibt es
rückläufige Überweisungen? Ein Schritt weiter wäre, jemanden zu
beeinflussen, in dem Sie ihm nur bestimmte Informationen geben und andere
vorenthalten. Dann glaubt er, gut informiert zu sein, ist es aber nicht.
Das passiert ja bisweilen schon, bei Facebook zum Beispiel. Aber es könnte
auch ein Staat sein, der so manipuliert.
Lassen sich Algorithmen austricksen, indem man sich zum Beispiel bei Amazon
lauter Dinge anschaut, die man gar nicht haben will?
Es hat keine statistische Relevanz, wenn Sie nur ein paar Mal Musik und
Bücher anklicken, die Sie gar nicht interessieren. Sie müssten schon viel
davon kaufen. Denn der Algorithmus bewertet Aktionen, hinter denen
tatsächlich Geld liegt, höher, als wenn Sie nur durch die Gegend klicken.
Wenn das weiße Rauschen, das Sie erzeugen, nicht viel stärker ist als das
Nutzsignal, kann der Algorithmus das herausrechnen.
Und was ist mit Fake-Accounts, also zum Beispiel E-Mail-Accounts, die man
unter falschem Namen anlegt?
Algorithmen können solche Fake-Accounts ziemlich leicht enttarnen. Wenn Sie
zwei, drei falsche E-Mail-Konten haben, werden Sie sich nicht jedes Mal von
einem Internetcafé aus einloggen. Sondern von zu Hause. Und das war’s: Dann
hat der Algorithmus Ihre IP-Adresse. Und merkt später, dass jemand unter
derselben IP-Adresse drei oder vier E-Mail-Accounts bedient – darunter auch
den mit Klarnamen. Ab dem Zeitpunkt haben Sie keine Fake-Accounts mehr. Das
ist genau das, was Behörden machen: Verbindungsdaten sammeln und
untersuchen.
Ihr Unternehmen lebt doch davon, Algorithmen zu programmieren. Warum warnen
Sie eigentlich vor deren Macht?
Das Verrückte ist: Wenn Sie solche Algorithmen erschaffen, das nimmt Sie
ein. Wenn ich ein Stück künstliche Intelligenz im operativen Betrieb
betrachte, sitze ich da und überlege: Würde ich genauso reagieren? Kunden
sagen, ich würde von unseren Währungshandelsagenten sprechen, als seien sie
meine Haustiere. Aber ich sehe auch die Gefahren.
Oder Sie wollen Ihre Firma einfach als die Guten in diesem Geschäft
positionieren.
Nein. Uns ist wichtig, dass der Mensch im Mittelpunkt steht. Wenn wir
moralische Bedenken haben, lehnen wir Aufträge ab. In letzter Konsequenz
würde ich die Firma sogar schließen, das ist mein Ernst! Mir wurde schon
öfter gesagt, in unserem Unternehmen sehe man schön den Kampf zwischen Gut
und Böse. Auf diesen Kampf würde ich allerdings gern verzichten, denn
unsere Haltung ist mit persönlichen und finanziellen Opfern verbunden.
Nicht dass wir verhungern würden, wir bekommen trotzdem viele interessante
und vertretbare Kundenanfragen.
Der Autor und Wissenschaftler Isaac Asimov hat 1942 Robotergesetze
erfunden, die darauf abzielen, dass ein Roboter Menschen nicht schaden
darf. Algorithmen sind im Grunde Roboter. Gibt es für sie eine Ethik?
Die Technologen beschäftigen sich mit diesen Fragen. Welche Ethik, welche
Moralvorstellungen brauchen wir? Was kann man in die Maschinen hinein
programmieren? Aus der philosophischen Ecke, also von denen, die sich mit
gesellschaftlichen Entwicklungen beschäftigen, kommt hingegen nichts oder
wenig. Die Philosophie sieht offenbar noch nicht, dass eine Sturzwelle an
intelligenten Technologien auf uns zurollt.
Wie könnte so eine Ethik konkret aussehen?
Schwierig zu beantworten. Unter Kollegen haben wir schon darüber
gesprochen, was wir denn machen, wenn diese Maschinen verantwortungslos
eingesetzt werden. Eine Idee wäre, sie zu hacken. Das ist natürlich
illegal, geht nicht.
Also?
Wir müssen uns Gedanken darüber machen, ob wir diesen Maschinen andere
Werte mitgeben. Was optimieren die meisten Algorithmen? Den Nutzen, also
den Profit. Wie in der Spieltheorie wird immer versucht, den eigenen
Vorteil zu maximieren. Und dem anderen zu schaden.
Das ist Kapitalismus. Was wollen Sie daran ändern?
Kooperativ oder kompetitiv – das ist eine Frage, wie wir den Kontext des
Spiels gestalten, in dem Algorithmen operieren. Man kann das so designen,
dass keiner übervorteilt wird.
Wäre es nicht einfacher, jedem Algorithmus fünf ethische Leitsätze
mitzugeben?
Das würde nicht funktionieren. Weil ein anderer Algorithmus, der nicht
kooperativ handelt, solche Leitsätze schnell aufdecken und zum eigenen
Vorteil ausnutzen würde. Noch interessanter werden solche ethischen Fragen
künftig werden, wenn Algorithmen sich noch mehr miteinander verflechten.
Was meinen Sie damit?
Es hängen immer mehr Maschinen am Internet. Computer, Programme,
Algorithmen. Sie kommunizieren unmittelbar oder mittelbar miteinander –
ohne menschliches Zutun. Es gibt Wechselwirkungen und Dynamiken, die der
Mensch nicht programmiert hat und die er nicht beeinflussen kann. Das
nennen wir „emergente Systeme“.
Im Science-Fiction-Spektakel „Terminator“ wird ein Computer, der sich
vernetzt, immer intelligenter und übernimmt die Herrschaft über die Erde.
Das ist tatsächlich die Zukunft?
Nein, emergente Systeme haben kein Bewusstsein, wie wir es kennen. Aber
hinter den Fiktionen steckt immer ein Körnchen Wahrheit. Und hier ist das
eben, dass ein Mensch etwas erschafft und es vernetzt mit dem, was andere
erschaffen. Und aus der Wechselwirkung entsteht eine Dynamik, die niemand
mehr kontrollieren kann.
Nennen Sie uns ein Beispiel?
Eine ganz simple Wechselwirkung: Wenn Sie in Ihrem Smartphone einen
Ortungsdienst angeschaltet haben, weiß der Dienst, wo Sie sind. Und wenn
Sie an der Filiale einer Kaffeehauskette vorbeilaufen, in der Sie kürzlich
etwas gekauft haben, könnte der Lokalisationsdienst einem Programm dieser
Kette das mitteilen, ohne dass Sie ihm das befehlen oder es auch nur
bemerken. Und das Programm wiederum macht Ihnen auf dem Handy ein Angebot:
Umsonst surfen und dazu einen Kaffee.
Klingt nicht nach „Terminator“.
Das war auch nur ein ganz einfaches Beispiel, um das grundsätzliche Prinzip
zu verdeutlichen. Es gibt schon heute mächtigere Algorithmen, erinnern Sie
sich an das System, dass ein Ölförderer bei uns in Auftrag geben wollte.
Die Wechselwirkungen mächtigerer Programme haben auch entsprechend größere
Auswirkungen. Zudem lernen die Maschinen dazu, werden klüger und
widerstandsfähiger.
Wie lernen sie denn?
Aus Abweichungen vom normalen Verlauf, aus ihren Fehlern. Unsere
Handelsagenten lernen auch online, während ihrer Einsätze. Als die Lehman
Bank 2008 in Konkurs ging, war einer der größten US-Währungshedgefonds
unser Kunde. In jener Woche fiel der Euro gegenüber dem Dollar an einem Tag
um etwa 400 Punkte – damals der bislang größte beobachtete Tagesverlust des
Euro. Der Kunde rief an und beschwerte sich: Die Handelsagenten tun ja gar
nichts!
Wie haben Sie reagiert?
Wir haben gesagt: Das liegt wahrscheinlich daran, dass der Algorithmus so
eine Volatilität in der Vergangenheit noch nie gesehen hat. Also tut er
besser nichts, bevor er eine falsche Entscheidung trifft. Er beobachtet und
lernt. Wochenlang ging das so. Hinterher hat der Kunde sich dafür bedankt,
weil er durch den passiv gewordenen Algorithmus Verluste vermieden hat.
Wenn Algorithmen im Handel bessere Entscheidungen treffen als ein Mensch,
warum sollten sie dann nicht auch darüber befinden, ob ein Mensch vor
Gericht schuldig ist oder nicht?
Ein Algorithmus würde die persönlichen Daten abgleichen mit der Gruppe, zu
denen der Angeklagte gehört. Wie bei der Schufa auch: Ihr Score, Ihre
Beurteilung, setzt sich zusammen aus der persönlichen Kontoführung im
Vergleich mit der Gruppe, der Sie anzugehören scheinen. Und es wäre
wirklich problematisch, jemanden in einen Pool zu mischen, wenn es
eigentlich darum geht, ein Individuum zu beurteilen. Außerdem geht es in
der Justiz um Wahrheitsfindung. Die Fähigkeit zur Wahrheit – das ist etwas
typisch Menschliches. Ein Algorithmus hat keine Wahrheitsfähigkeit. Der
löst einfach ein Problem.
2 Sep 2013
## AUTOREN
Meike Laaff
Daniel Schulz
## TAGS
NSA
Schwerpunkt Überwachung
NSA-Affäre
Roboter
Algorithmen
Ethik
Überwachungsstaat
Roboter
Digitalisierung
Schwerpunkt Überwachung
Pentagon
Internet
Netzbewegung
Schwerpunkt Überwachung
Computer
NSA
NSA
USA
Piratenpartei
BND
## ARTIKEL ZUM THEMA
Philosophin über Robotherethik: „Technik ist nicht neutral“
Wie und warum wir Roboter bauen und was wir sie tun lassen, ist immer auch
eine moralische Frage: Janina Loh spricht in Hamburg über Roboterethik.
Digitalisierung von Politik: Vom Start-up zum Staat-up
Steuererklärung, Krebsvorsorge, Bankgeschäfte: In Estland geht das mit
einer ID. Deutschland findet das vorbildlich. Wohin führt das?
Digitalisierung und Überwachung: Wenn Roboter Sheriff spielen
In einem kalifornischen Einkaufszentrum geht ein Roboter auf Streife. Die
KundInnen lieben ihn – trotz seiner Überwachungstechnik.
Menschenverstand für Computer: Denkst du, was ich denke?
Wissenschaftler aus Pittsburgh wollen Computern gesunden Menschenverstand
beibringen. Möglich machen soll das die Bewertung von Bildern.
Ein nationales Internet: Juhu, nur der BND liest mit!
Die Telekom überlegt, Mails von Kunden in Deutschland nicht mehr über das
Ausland zu schicken. Das Überwachungsproblem löst die Idee nicht.
Die Zukunft der Netzbewegung: Was tun! Aber was?
Snowdenleaks könnte für Internetaktivisten sein, was Tschernobyl für die
Atomkraftgegner war. Doch das Ziel ist zu abstrakt – und die Feinde auch.
Überwachungsprogramm der DEA: Die US-Polizei hört mit
Nach Berichten der „New York Times“ finanzierte die US-Drogenpolizei DEA
ein Überwachungsprogramm, das den Zugriff auf Milliarden Telefondaten
ermöglichte.
Geheimdienste mit Hacker-Methoden: USA infizieren Rechner mit Viren
Codename „Genie“: Einem Zeitungsbericht zufolge sollen die US-Geheimdienste
Zehntausende Rechner attackiert, um Zugriff auf ganze Netzwerke zu
bekommen.
Digitale Freiheitsrechte: Mit dem Völkerrecht gegen die NSA?
Nach dem NSA-Skandal will die Bundesregierung das internationale Recht
verschärfen – ohne Plan, ohne Nutzen und mit hohem Risiko.
NSA-Spionage in den USA: Eine Hand wäscht die andere
Die Kundendaten der großen Internetfirmen sind nicht kostenlos zu haben.
Die NSA soll entsprechende finanzielle Entschädigungen geleistet haben.
Debatte US-Außenpolitik: Obama macht nicht alles falsch
Der US-Präsident verhält sich immer angepasster. Warum nur? Er könnte die
ganzen Karrieristen in Washington doch einfach hinwegfegen.
Auf einer Kryptoparty: Online ohne Obama
Wie sie sich gegen Internet-Überwachung wehren können, lernen
Computernutzer auf Kryptopartys - neuerdings auch in Kleinstädten.
Auslandsüberwachung des BND: Grundgesetz gilt auch im Ausland
Wenn der Bundesnachrichtendienst Menschen in Afghanistan abhört, ist das
verfassungswidrig, sagt der Frankfurter Richter Bertold Huber.
You are viewing proxied material from taz.de. The copyright of proxied material belongs to its original authors. Any comments or complaints in relation to proxied material should be directed to the original authors of the content concerned. Please see the disclaimer for more details.