Transformers & LLMs
Övning 1: Finjustera en svensk språkmodell
Syfte: Att få praktisk erfarenhet av att specialisera en stor, generell språkmodell för en specifik uppgift.
Verktyg: Hugging Face och Google Colab.
Instruktioner:
- (Denna övning kräver ett förberett Google Colab-notebook från läraren.)
- Öppna det förberedda Colab-notebooket. Det kommer att innehålla kod för att ladda en förtränad svensk språkmodell (t.ex. en från KB-BERT-familjen).
- Ladda data: Koden kommer också att ladda ett dataset med svenska film- eller bokrecensioner, där varje recension har en etikett: "positiv" eller "negativ".
- Finjustera: Kör cellen som startar finjusteringsprocessen. Modellen, som redan kan svenska, kommer nu att tränas specifikt på att känna igen mönster som förknippas med positiva och negativa recensioner. Detta tar oftast bara några minuter.
- Testa: När modellen är klar, skriv in dina egna korta recensioner och se om modellen korrekt kan klassificera dem som positiva eller negativa. Testa med både uppenbara och mer tvetydiga formuleringar.
- Varför är det mer effektivt att finjustera en befintlig modell än att träna en helt ny från grunden?
- Vilka andra specifika uppgifter skulle man kunna finjustera en svensk språkmodell för? Ge tre exempel på tillämpningar inom svensk industri eller offentlig sektor.
Övning 2: Digital Detox (Kognitivt Experiment)
Syfte: Att uppleva och reflektera över skillnaden mellan att formulera en egen tanke från grunden och att redigera ett AI-förslag.
Instruktioner:
- Välj ett ämne du är intresserad av och som du har en åsikt om.
- Skriv en kort (ca 200 ord) argumenterande text om detta ämne helt utan hjälp från några AI-verktyg. Stäng av alla assistenter. Förlita dig helt på din egen hjärna.
- Reflektera över processen:
- Vilka delar var svåra? Att komma igång? Att hitta rätt ord? Att strukturera argumenten?
- Hur kändes det? Var det ansträngande? Givande? Frustrerande?
- Jämför: Öppna nu ett AI-verktyg. Ge den en prompt för att skriva en liknande text. Redigera sedan AI:ns förslag så att det matchar dina åsikter.
- Reflektera över skillnaden: Beskriv känslan av att formulera en egen tanke från grunden, jämfört med att redigera ett AI-förslag. Vilka delar av din hjärna kändes aktiverade i de två olika scenarierna? Vad säger denna skillnad om värdet av den långsammare, mer ansträngande tankeprocessen?
Övning 3: Debatt - Det Kinesiska Rummet
Syfte: Att fördjupa förståelsen för den mest centrala filosofiska kritiken mot LLMs.
Instruktioner:
- Organisera en formell debatt i klassen kring påståendet: "En LLM som ChatGPT kan aldrig uppnå verklig förståelse, oavsett hur övertygande dess svar är."
- Ena sidan argumenterar för påståendet, med John Searles "Kinesiska Rummet" som sitt huvudargument.
- Andra sidan argumenterar emot påståendet. De kan till exempel hävda att "förståelse" är ett emergent fenomen och att det inte finns någon fundamental skillnad mellan hur en hjärna och ett komplext neuralt nätverk processar information.
Bok 1: The Shallows av Nicholas Carr
Läs: Nicholas Carr - The Shallows: What the Internet Is Doing to Our Brains.
Reflektera: Carr argumenterar för att internet omformar våra hjärnor till att bli bättre på att snabbt skumma information, men sämre på djupläsning och koncentrerat tänkande. Håller ni med? Har ni märkt denna förändring hos er själva? Diskutera konkreta strategier för att medvetet träna "djupt tänkande" i en värld av AI-assistenter.
Bok 2: Alone Together av Sherry Turkle
Läs: Sherry Turkle - Alone Together: Why We Expect More from Technology and Less from Each Other (utvalda kapitel).
Diskutera: Turkle beskriver en paradox där vi är mer uppkopplade men känner oss mer ensamma. Hur kan AI-kompanjoner både lindra och förvärra denna paradox? Vilka är de sociala riskerna om vi börjar föredra AI-relationer framför mänskliga? Vad är skillnaden mellan konversation och anslutning (connection)?