Scena 1 di 7
Micro-lezione visuale · Tappa 08 di 10 · 7–9 minuti
Il contesto che sposta il senso
Perché «pesca» accanto ad «albero» non è la stessa parola di «pesca» accanto a «lago».
La tappa precedente si è fermata su un limite preciso: ogni pezzo di testo ha un indirizzo fisso, sempre lo stesso, mentre il significato dipende da ciò che gli sta intorno. Qui c'è il meccanismo che risolve il problema — l'attenzione — ed è il pezzo che ha reso possibili i modelli linguistici moderni.
Come usare questa lezione
Perché esiste un limite di contesto.
Se hai mai provato a dare in pasto a un assistente un documento lungo e ti sei sentito rispondere che è troppo, adesso sai perché — e non è una scelta commerciale. Ogni pezzo del testo deve essere confrontato con ogni altro pezzo, quindi raddoppiare la lunghezza non raddoppia il lavoro: lo quadruplica.
La conseguenza pratica è che vale la pena selezionare prima. Cinque pagine pertinenti producono risposte migliori e più economiche di cinquecento pagine in cui le cinque sono annegate — e non solo per una questione di costo: più materiale irrilevante c'è, più attenzione viene distribuita su di esso.
Questa lezione copre gli stessi concetti del sesto capitolo della serie Neural networks di Grant Sanderson (3Blue1Brown), che resta il riferimento migliore per chi voglia poi affrontarne la matematica. Testi, esempi e diagrammi di questa pagina sono originali.