ChatGPT podbiło świat szturmem, olśniewając ludzi elokwentnym, pełnym niuansów językiem naturalnym. Ale choć z pozoru robi wrażenie, zajrzenie pod maskę ujawnia zauważalne słabości.
W tym poście odkryjemy tajemnice wewnętrznego działania dużych modeli językowych (LLM), takich jak ChatGPT. Moim celem jest autorytatywna analiza oddzielająca fakty od fikcji na temat najnowszych osiągnięć AI.
Jak działają LLM: zrozumienie ich jednoczesnych obietnic i ograniczeń
Czym dokładnie są LLM i jak lubią modelki ChatGPT działać? W skrócie:
- LLM korzystają z ogromnych zbiorów danych tekstowych, co pozwala im przewidywać niezwykle płynny język ludzki
- Jednak w przeciwieństwie do ludzi, LLM nie mają zrozumienia, rozumowania i oparcia na faktach na temat prawdziwego świata
- Chociaż mogą więc generować pięknie dopracowany tekst, często brakuje im spójności, dokładności i solidnych podstaw logicznych
Przyjrzyjmy się bliżej mechanice i ograniczeniom LLM…
LLM tak naprawdę nie rozumieją słów, które generują
Kluczem do zrozumienia mocnych i słabych stron LLM jest metodologia szkolenia:
- Pochłaniają nawet setki miliardów słów ze stron internetowych, książek, artykułów i nie tylko
- Wykrywając wzorce słów, uczą się prawdopodobieństwa potencjalnych sekwencji
- Dzięki temu mogą następnie generować nowe kombinacje zgodne z tymi wzorcami językowymi
Jednak z tymi słowami nie wiąże się żadne zakodowane znaczenie. Jedynie przewidywane sekwencje na podstawie wcześniejszych przykładów.
Tak więc, chociaż jest to elokwentne, za kulisami nie ma prawdziwego zrozumienia ani rozumowania. To wyjaśnia wiele rażących błędów merytorycznych i luk logicznych popełnianych przez LLM.
LLM nie mają uziemienia w prawdziwym świecie
Co więcej, ponieważ menedżerowie LLM korzystają jedynie z korpusów tekstowych podczas szkolenia, brakuje im wiedzy z rzeczywistego świata o tym, jak działa rzeczywistość.
Zatem wszelkie „fakty” lub „wiedza” prezentowane przez modele takie jak ChatGPT jest płytkie i niedokładne – ułożone na podstawie schematów słownych, a nie oparte na prawdzie.
Ten brak rozumowania i podstaw faktycznych wyjaśnia notorycznie nieprawidłowe lub bezsensowne stwierdzenia LLM. Ich odpowiedzi mogą wydawać się niesamowite, ale często są kompletną fikcją.
Nie ma spójnego systemu tożsamości ani przekonań
Wreszcie, LLM brakuje również trwałej tożsamości łączącej odpowiedzi:
- Z biegiem czasu ludzie rozwijają spójne przekonania i integralność wokół tematów
- LLM lubią ChatGPT generuj każdą odpowiedź niezależnie, bez spójności
- Będziesz więc widzieć rażące sprzeczności, gdy będziesz je badać w odpowiedzi na pytania
W izolacji wyniki LLM mogą wydawać się spójne i inteligentne. Ale pchnij dalej, a ich wady staną się widoczne.
Przemyślenia końcowe: umiarkowany optymizm w obliczu szumu
Szybki postęp w dziedzinie sztucznej inteligencji języka naturalnego jest imponujący. W wąskich zastosowaniach narzędzia takie jak ChatGPT pokaż obietnicę.
Jednak przesadne twierdzenia o inteligencji na poziomie ludzkim wydają się przedwczesne. LLM zaszły daleko, ale nadal borykają się z podstawowymi ograniczeniami związanymi z poznaniem biologicznym.
Ekscytacja jest uzasadniona, ale szum powinien być umiarkowany. Droga przed nami pozostaje długa, ale LLM dają niewielki wgląd w przyszłe możliwości.