moderátora obléká maminka

Na navigaci | Klávesové zkratky

Tajemný svět ChatGPT očima Stephena Wolframa

Jak funguje ChatGPT uvnitř popsal v podrobném článku (dnes dokonce knize) Stephen Wolfram, tvůrce úžasných matematických projektů. Baví mě, že jeho povídání je zhusta protkáno podobnými větami: 😀

  • Proč se sčítají tyto dvě hodnoty? Nemyslím si, že by v tom byla nějaká zvláštní věda. Jde jen o to, že se zkoušely různé věci, a tohle je jedna z těch, které se zdají být funkční.
  • Každá z hlav pracuje nezávisle na různých částech hodnot ve vkládaném vektoru. A ano, neznáme žádný konkrétní důvod, proč je dobré takto vstup rozdělit nebo co jednotlivé části znamenají; je to prostě jedna z těch věcí, které se ukázaly jako funkční.
  • Je těžké pochopit, co tato vrstva dělá.
  • Co určuje tuto strukturu? Nakonec je to pravděpodobně nějaké „neuronové síťové kódování“ vlastností lidského jazyka. Jaké vlastnosti to mohou být, však zatím není známo.
  • Nakonec je však pozoruhodné, že všechny tyto operace – jakkoli jsou jednotlivě jednoduché – dokážou dohromady odvést tak dobrou „lidskou“ práci při generování textu.
  • Je třeba znovu zdůraznit, že (alespoň pokud víme) neexistuje žádný konečný teoretický důvod, proč by něco takového mělo fungovat.
  • Tohle musíme považovat za potenciálně překvapivý vědecký objev: že v neuronové síti, jako je ChatGPT, je nějakým způsobem možné zachytit podstatu toho, co lidský mozek dokáže při generování jazyka.
  • Některé texty byly při tréninku podány několikrát, některé pouze jednou. Nějakým způsobem však z textu, který vidělo, „dostalo, co potřebovalo“.
  • Zjišťujeme, že ano, je to tam složité a nerozumíme tomu, ale nakonec to produkuje rozpoznatelný lidský jazyk.

Mohlo by vás zajímat