i-could-have-written-that*

Intro

Deze tekst is geschreven in een de vorm van een kort essay, waarin ik zal reflecteren op de rol van alternatieve interfaces voor machine learning software. Ik zal me toespitsen op drie experimentele tools die ik afgelopen twee jaar ontwikkelde, om zo een concreet vertrekpunt te hebben voor mijn analyses.

De tools die ik ontwikkelde zijn drie interfaces die elk een ander stukje van een machine learning proces laten zien. Als trio representeren ze verre van een volledig proces, en de keuzes voor deze machine learning onderdelen is onstaan vanuit de wens om drie types van machine learning te gebruiken: rule based learning, supervised learning en unsupervised learning.

De focus in dit project ligt op specifiek vakgebied binnen machine learning dat totaal gericht is op taal. Deze tekst zal zich met name richten op de functie en het potentieel van de interface, als tool om software te bestuderen.


Terminologie

"But the very material of software has often been left invisible." Matthew Fuller

"There is no software." Kittler

Wat is de materialiteit van software? De code, de mensen die de code schreven, de data, de mensen die tekst publiceerden online, de mensen die van deze tekst data maakten? En zo zijn er zeker nog meer bronnen van invloed te noemen.

Links: Software Studies page on Monoskop, Critical Software Thing group, Aarhus, Software Studies wiki, ?, Software Studies Lab (es), article Behind the Blip by Matthew Fuller, peer-reviewed journal Computational Culture.

Een naam voor een techniek die gebruik maakt van statistiek om voorspellingen te kunnen doen en deze te kunnen automatiseren.

Een populair machine learning software project is scikit-learn. Dit open source project wordt onder andere gebruikt voor de muziek aanbevelings algoritmes van Spotify, of voor neurologische beeldanalyse, computer visie, en beveiligings producten door het Franse bedrijf Inria. Meer toepassingen worden opgesomd op deze pagina: http://scikit-learn.org/stable/testimonials/testimonials.html. Scikit-learn is gepubliceerd onder een BSD licentie. Dit is een niet enorm strikte variant open source licentie die onder andere de vrijheid geeft om afgeleid werk onder iedere gewenste licentie te publiceren. Hierdoor is het voor commerciële bedrijven, zoals Spotify, mogelijk om de software in hun producten te implementeren, zonder de broncode daarvan vrij te geven. Scikit-learn is ontstaan tijdens een Google Summer Coding camp in 2007. In de loop der jaren hebben verschillende bedrijven en universiteiten, waaronder Google, INRIA en New York University vervolgens een studiebeurs beschikbaar gesteld aan programmeurs om voltijd aan het project te werken. De eerste versie van scikit-learn werd gepubliceerd in 2010 en is sindsdien enorm gegroeid.

Een interface wordt vaak gezien als een lees ....

Lezen? Schrijven


Software studie

Als er zoveel verschillende vormen van machine learning software om ons heen ontwikkeld en toegepast worden, moet er toch een manier zijn om met deze software in gesprek te gaan? Deze tekst is een poging om onder woorden te brengen hoe alternatieve interfaces voor machine learning software een rijk collectief schrijfproces kunnen blootleggen. Een proces dat als onzichtbaar en vaak ongrijpbaar mechanisme wordt gerealiseerd door een grote groep schrijvers/auteurs/communicerenden, programmeur(s), code en een observator. Een samengesteld collectief van actoren, bijeengebracht om 'iets' over de wereld vast te stellen. Is deze tekst geschreven door een vrouw? Is dit een betekenisvol zoekresultaat? Is deze edit een vorm van vandalisme? Heeft deze persoon een vergrootte kans om depressief te worden? Is dit een universitair opgeleid persoon? Of is dit iemand die aan het profiel van een terreur verdachte voldoet?

Deze lijst met voorbeelden laat heel verschillende toepassingen zien van machine learning software dat specifiek werkt met geschreven taal. Sommige van hen zijn onderdeel van ons dagelijks gebruik van online tools, zoals het ordenen van tijdslijnen en zoekresultaten, of het tonen van de meest relevante advertentie gebaseerd op een persoonlijk profiel. Met andere voorbeelden komen we niet zomaar in aanraking, omdat ze worden ontwikkeld binnen de academische wereld, binnen grote technologie bedrijven of door inlichtingendiensten.

i-could-have-written-that is een project geworden waarbinnen ik op zoek ben gegaan naar vormen waarop een algemeen publiek in aanraking kan komen met machine learning software, en specifiek diegene die werken met menselijke taal. De uitkomsten van de experimenten worden daardoor binnen dit project altijd uitgedrukt in taal. Een bewuste keuze. De ambigue aard van woorden en zinnen bieden een zee aan ruimte om subjectiviteit en interpretatie te kunnen gebruiken bij het observeren van deze software.

Een collage van uitspraken en motto's van machine learning bedrijven.

De begin stappen van dit project zijn aangemoedigd door de grote claims en beloftes die om machine learning en de populaire term kunstmatige intelligentie (AI) heen cirkelen. De machine learning wereld wordt (helaas) voor een groot deel gevormd door masculine taal. Machine learning zou de koper de power to know bieden, op zoek naar the absolute truth. Metaforen zoals 'raw' data, data 'mining' en machine 'learning' verfromfraaien de technieken des te meer. Het is een motivatie geweest om machine learning vanuit de techniek te willen benaderen, om zo door de metaforische benamingen heen te prikken en te zien wat er nou echt gebeurt wanneer een machine 'leert'.


3 voorbeelden:

Ik kwam bijvoorbeeld word2vec artikel tegen, waarbij het model semantisch vergelijkbare woorden heel dicht bij elkaar in een grafiek plaatst, om zo menselijke vooroordelen vast te stellen en een human-bias disclaimer aan een machine learning model te kunnen toevoegen.

Een andere anekdote komt uit een getuige-verslag van een vrouw die tijdens haar werk in haar kleding winkel naar wat afleiding zocht. Zij begon met het annoteren van visuele databases, door objecten in foto's te omlijnen, en vertelt over hoe ze op haar weg naar huis nog steeds omlijnde bomen ziet.

Een laatste anekdote komt voort uit een verbazing over de manier waarop interfaces hun gebruiker versimpeld en daarmee ook vormgeeft. De verbazing ontstond naar aanleiding van de vraag waarom machine learning implementaties vaak maar een enkel resultaat laten zien. Een resultaat dat vaak ook nog eens gepresenteerd wordt alsof er maar één enkel resultaat mogelijk is. Het verbaast me dan ook bijvoorbeeld dat de Twitter tijdslijn naast haar chronologische ordening maar één machine-learning gedreven ordeningswijze getoond wordt. Terwijl het technisch vrij goed mogelijk zou moeten zijn om een gebruiker daar invloed op te laten hebben en de parameters zelf te laten aanpassen. Waarom wordt er gekozen voor een enkele 'optimale' uitkomst wanneer het mogelijk is om een rijkdom aan mogelijkheden aan te bieden?

Deze voorbeelden intrigreren me en sporen me aan om na te denken over manier waarop we machine learning software kunnen inzetten als constructieve denk-machine, met een rol voor interfaces als plek van ontmoeting.

Het werk van Nicolas Malevé en Michael Murtaugh onder de naam Active Archives sluit totaal hierop aan. Malevé en Murthaugh werken in verschillende vormen met collecties en archieven, die ze in de laatste jaren combineren met een vorm van machine learning die specifiek werkt met visuele beeldherkenning. (Een aanrader om op de voet te volgen!) Een voorbeeld is de etalage-installatie die ze maakten voor kunstorganisatie Constant in Brussel. Veertig dagen lang lieten ze een gezichtsherkennings algoritme live-beelden van een webcam verbinden met beelden uit het machine learning geheugen. Wanneer voorbijgangers langs de camera lopen, werden hun gezichten, ogen, mond en neus vervangen met gezichten, ogen, monden en neuzen uit de trainings-database. De anonieme samengestelde gezichtsonderdelen geven inzicht in het 'zicht' van de software, vormen een masker voor de gefilmde passant, en een dwarsdoorsnede door de tijd.

Een korte reeks aan beelden uit een installatie gemaakt door Nicolas Malevé en Michael Murtaugh, getoond in de Vitrine van Constant VZW in Brussel in maart 2016, en onderdeel van het project Active Archives. Een timelapse versie van dezelfde installatie is te vinden onder deze link.

Een ander voorbeeld komt naar voren in de tekst 'Machine pedagogies'. Malevé denkt hierin hardop na over een twee-zijdige vorm van machine 'learning'. Naast het feit dat de computer wordt getraind om over de wereld te leren, beschrijft hij nog een didactisch leerproces: die van de 'annotators', de mensen die de instructies voor de computer voorbereiden. MEER https://machineresearch.wordpress.com/2016/09/26/nicolas-maleve/

Leesmachines / Schrijfmachines

i-could-have-written-that, en daarbij ook deze tekst, vallen buiten het bereik van de discussie rondom toepassingen van machine learning of als pleidooi voor eigendomsrecht over persoonlijke data. De interfaces zijn daarnaast ook niet gemaakt om een zogenoemde state-of-the-art machine learning kwaliteit te bevestigen of te verbeteren. Door me te focussen op het gebruiken van bestaande software, de code, het trainingsproces en de daarbij betrokken actoren, ben ik op zoek gegaan naar een manier om de code in een leesbare vorm te integreren in de tools. De code als co-auteur. Hoe kunnen interfaces een ontmoetingsplek zijn voor machine learning technieken en gebruiker?


writing machines

Rule-based modality

supervised writing

tekst van Michael over bag-of-words

Samenvatting hier.

cosine similarity gaps

Getelde taal

Tekstuele data is niet iets dat direct van het internet te downloaden is. Er is enorm veel tekst beschikbaar, dat zeker, maar om met tekst als data te kunnen werken moet dit materiaal omgezet worden in nummers. Tekst wordt interessant genoeg in de computer wetenschappen daarom ook wel 'ongestructureerde data' genoemd.

In de machine learning wereld worden unieke woorden, woordsoorten, of omgevingswoorden geteld. Er is een enorme reeks aan tel-methodes beschikbaar om een geschreven stuk tekst naar een reeks aan cijfers, een vector, te vertalen.

De manier waarop een vector wordt gebruikt om een representatie te maken van een werkelijke situatie is ongelofelijk in de fascinerende én verontrustende zin van het woord. Fascinerend is het om resultaten te zien, vergelijkbare woorden die gevonden worden en de poëzie die deze algoritmes soms kunnen creëeren. (voorbeeld). Maar ook verontrustend is het daarentegen, om te zien hoe concepten als 'sentiment' worden versimplificeert en overal in de machine learning wereld worden uitgedrukt in 'positief' en 'negatief'. Dit project is daarom gedreven door een zorg en fascinatie tegelijk, dat zich uit in een reeks aan software tools rondom de veelzijdigheid van taal in machine learning praktijken.

Om deze reeks aan gevoelens ongeloof te vertalen en leesbaar te maken, ben ik begonnen met het maken van alternatieve interfaces van machine learning. De interfaces zie ik als tools om specifieke genormaliseerde werkwijzes binnen een machine learning proces uit te lichten. Door het moment van interactie met machine learning software (de interface) vorm te geven, onderzoek ik een reflectieve positie die de gebruiker kan in nemen ten opzichte van de software.

performativity in de interface

Samenvatting van Johanna Drucker's idee over performativity.


niet in gebruik

Leren

Mijn fascinatie voor het onderwerp werd gedreven door de naam die deze technieken van computationele statistiek is gegeven: 'machine learning'. Het gebruik van het woord 'leren' is een directe vorm van antropomorphisme: het toekennen van menselijke eigenschappen aan een machine. In de laatste jaren is het niet vreemd om een computer 'slim' te noemen, of zelfs 'intelligent'. Alan Turing schreef in 19?? een bekend artikel met de titel "Can machines think?".

Het begrip 'leren', zo waardevol en rijk, wordt gebruikt om te zeggen dat de computer geprogrammeerd wordt op zo'n manier dat het uitspraken kan doen over situaties in de wereld. Want wat betekent 'leren' in deze context precies? En wie is er allemaal betrokken bij dit leerproces. Is dit een eenzijdige mens-computer beweging, of is er sprake van een vorm van multi-leer-beweging?

autonomie

Hoe kan het dat mensen hun eigen autonomie zo gemakkelijk afstaan aan nieuwe technologie? Het zou een vraag van in het huidige debat rondom AI en machine learning kunnen zijn, maar dat is niet de bron van deze vraag. In 1976 vroeg Joseph Weizenbaum zich af hoe het kon dat mensen hun eigen autonomie zo gemakkelijk over leverden aan de nieuwe populaire machines in die tijd: computers. En "[w]anneer de mens zijn afhankelijkheid van zulke machines op iets anders wil baseren dan louter wanhoop of blind vertrouwen, dan moet hij begrijpen wat deze machines doen en zelfs hoe ze doen wat ze doen."

Het is belangrijk in bredere zin na te gaan in hoeverre de mens zijn eigen autonomie heeft afgestaan aan een machinale wereld.

Taal theorie

Tijdens de cybernetics beweging in de jaren '40 in Amerika onstond er een duidelijke focus op performance-gebaseerd analyseren. Wetenschappers begonnen zich te focussen op informatie stromen als centraal onderzoeks materiaal. Ward Cunningham, een van de grondleggers van neurale netwerken, verving de vraag "wat ís het brein?" voor "wat dóet het brein?". In plaats van een simulatie van het menselijk brein te willen maken gebaseerd op fysieke overeenkomsten, was Cunningham veel meer geïnteresseerd om de functies die het brein creëerde te analyseren. Vertaald naar taal-gebaseerde machine learning projecten betekent dat een verplaatsing van de intresse om niet te willen weten wát een persoon precies bedoelt, naar een interesse in de manier waarop iemand zich uit in taal.

In de praktijk betekent dat op dit moment dat onze communicatie kanalen en berichten die we uitwisselen met familie, vrienden, collega's etc. worden gebruikt voor nog een heel ander doel: om te categoriseren, suggesties te geven en sociale media berichten of zoekresultaten te ordenen.


Taalkundige richtingen:


en ook:


sociologie/taalkunde:

taal is een systeem waarvan de waarde binnen een bepaalde groep bepaald wordt


language games, taal is een performatief medium, dat pas waarde krijgt wanneer het gebruikt wordt

Intuitief komen er veel vraagtekens naar boven wanneer ik denk over tekstuele machine learning toepassingen, die geschreven taal gebruiken als statische objecten. Omdat meerdere personen hetzelfde woord gebruiken, vaak in combinatie met andere woorden, vallen ze in dezelfde categorie? Dat klinkt toch echt als een vrij toevallige als niet platte aanname.

Maar hoe meer ik in de theorieën van de cybernetics beweging ben gedoken, hoe meer duidelijk het me werd dat data-gedreven systemen juist gericht zijn op het HOE, en minder op de vraag wat iets IS. Door te richten op vormen van uitdrukking die gemeten kunnen worden, bijvoorbeeld vormen van communicatie, ontstaat er een nieuw soort meetbaar materiaal (data) en daarbij nieuwe methodes van werken (data analyse).

Vocabulair

algorithmic agreeability:


tekst van ... over pragmatiek en algoritmes in Software Studies .

Samenvatting hier.


ideas


* De titel van dit project, i-could-have-written-that, kent zijn oorsprong in het artikel "ELIZA--A Computer Program For the Study of Natural Language Communication Between Man and Machine" geschreven door Joseph Weizenbaum in 1966. De titel wordt genoemd in de volgende context: It is said that to explain is to explain away. This maxim is nowhere so well fulfilled as in the area of computer programming, especially in what is called heuristic programming and artificial intelligence. For in those realms machines are made to behave in wondrous ways, often sufficient to dazzle even the most experienced observer. But once a particular program is unmasked, once its inner workings are explained in language sufficiently plain to induice understanding, its magic crumbles away; it stands revealed as a mere collection of procedures, each quite comprehensible. The observer says to himself "I could have written that". With that thought he moves the program in question from the shelf marked "intelligent" to that reserved for curios, fit to be discussed only with people less enlightened that he. Link naar de volledige tekst.