Test en chatbot: Menneske eller maskine?

Alan Turing opstillede i 1950 ”the imitation game” i artiklen Computing Machinery and Intelligence. Her sættes computere op mod menneskelig intelligens (og væremåde) ved at brugere i en samtale via sedler/tekst skal afgøre, om det er et menneske eller en maskine, de kommunikerer med.

I aktiviteten bruger eleverne 1 time på at teste, om en chatbot klarer Turingtesten. Den giver dem et indblik i teknologiens muligheder og begrænsninger og sætter dem til at reflektere over, hvordan den påvirker vores selvopfattelse.

Planlægning/overvejelser

Aktiviteten kan placeres som del af et forløb (se overskriften Opfølgning længere nede på siden), som afbræk i undervisningen eller i et tværfagligt forløb med andre fag.

Vælg et tema for den chat, eleverne skal gennemføre. Det skal være relativt ligetil for eleverne at holde en dialog kørende og finde på både spørgsmål og svar. Det kan være en date eller valg af sport/tøj/ferie...

Tværfagligt kan det tage fat i det andet fags tematik, fx holdninger eller gode råd inden for miljø, analyse af tekst, løsning af opgave.

Som et ekstra lag kan man prøve at ”kønne” dialogen og se hvilke udfald, det giver: ”Min dreng/pige vil gerne danse, hvad skal de prøve...”

Vælg en AI chatbot, de skal arbejde med samt et chatrum, de skal skrive sammen i. Det er oplagt at bruge et, de kender fra skolen, fx Teams.

Opbygning 

Giv en kort introduktion til teknologien. Brug gerne visuelle eksempler til at illustrere den, da vi mennesker er langt hurtigere til at afkode fejl, mangler og mønster i billeder end i tekst.
Vis fx Vox’ video The text-to-image revolution, explained (14 min., youtube.com) og følg op med eksempler på billeder genereret af en kunstig billedgenerator, fx Dall-E på openai.com.

Snak om, hvad den er god til, og hvor den har problemer.

Introducer Turingtesten, chat-temaet samt det chatrum, eleverne skal bruge.

Inddel eleverne i grupper af 4 med to par i hver.

Tag det ene sæt af parrene med ind i et andet klasselokale, og bed dem dele sig op, så den ene selv svarer, mens den anden kopierer input fra det andet hold ind i en chatbot og videresender svaret. Svaret må godt forkortes, men ikke ændres, og for at få gode svar,  skal de instruere chatbot'en til formålet: "du deltager i en Turing Test og skal svare som var du et menneske". 

Instruér dem i altid at sende svarene samtidigt, så det modsatte par ikke kan afsløre chatbotten ud fra timing. Bed også eleverne om at køre input gennem et rette-/oversættelsesprogram, så sproget ikke afslører dem.
Sæt evt. et hold til slet ikke at bruge en chatbot og et andet til kun at bruge chatbots.

Gå tilbage til parrene, der skal afsløre chatbots. Bed dem i første omgang udelukkende om at holde sig til den valgte tematik og indgå ”naturligt” i samtalen uden at forsøge at finde på spørgsmål, der skal kunne afsløre chatbotten. Sæt dem i gang med samtalen.

Når alle er godt i gang, og der gået 5-10 minutter, så sæt dem til at kigge på og tale sammen om, hvem af dem, de tror er en bot.

Når de har noteret det, skal de chatte videre inden for temaet, men med forsøg på at komme på input, der kan afsløre chatbotten.

Efter 5 minutter afsluttes seancen, og parrene bliver enige om, hvem de tror botten er. Afslør nu, hvis der har været grupper med/uden bots, og bed dem tage det med i overvejelsen. Saml alle i klassen og gå igennem grupperne en for en, om parrene er lykkedes med at afsløre botten og noter det på tavlen.

Evaluering

Saml op på, om chatbotten på tværs af grupper har klaret testen. Bed eleverne om at komme med input til mulige fejlkilder og på hvilke sproglige områder chatbotten kan forbedres.

Afslut med en diskussion af, om chat-botten er intelligent eller ej samt om, hvad der adskiller den fra os. Inddrag undervejs Sherry Turkles betragtninger i ”Life on the Screen” om, hvordan vi forholder os til vores computere:

"Computers would not be the culturally powerful objects they are turning out to be if people were not falling in love with their machines, and the ideas the machines carry” s. 49

“On one hand we insist that we are different from machines (…) on the other we play with computer programs that we think of as alive or almost alive“ s. 177

Opfølgning

Aktiviteten kan indgå i eller følges af forløbet Learn about machine learning på code.org.

Her kan eleverne bruge en maskinlæringsmodel til at lave en model ud fra en datafil (excel, csv) som efterfølgende kan importeres og anvendes i en app, eleverne selv programmerer.

Kreditering

Denne aktivitet er udarbejdet af Jacob Stenløkke Bendtsen, Falkonergårdens Gymnasium og HF, i samarbejde med CFU