LLM "agentowe" do przeszukiwania sieci
Wyciągam komcia z zamkniętego wątku u kolegi który opisywał jak mu LLMy halucynowały nieistniejące dzieła kultury kiedy spytał o wszystko z danym nawiązaniem czy frazą.
Jest już chyba konsensusem (przynajmniej w moim częściowo-AI bąbelku) że nie należy pytać LLM o "wiedzę" zawartą w modelu, bo kompresja sprzyja halucynacjom. Najlepiej do takich zadań odpalić tryb agenta żeby przeszukał internet i wrócił z odnośnikami. "Deep Research" jest ficzerem którego używam częściej niż zwykłej "rozmowy" z modelem.
Co oczywiście jest bardzo nie w smak firmom od największych modeli komercyjnych bo ich przewaga polegała na tym że były wielkie (co wymaga klastrów drogich kart graficznych) i non-stop dotrenowywane na nowych treściach z internetu czy ebooków.
Jest już chyba konsensusem (przynajmniej w moim częściowo-AI bąbelku) że nie należy pytać LLM o "wiedzę" zawartą w modelu, bo kompresja sprzyja halucynacjom. Najlepiej do takich zadań odpalić tryb agenta żeby przeszukał internet i wrócił z odnośnikami. "Deep Research" jest ficzerem którego używam częściej niż zwykłej "rozmowy" z modelem.
Co oczywiście jest bardzo nie w smak firmom od największych modeli komercyjnych bo ich przewaga polegała na tym że były wielkie (co wymaga klastrów drogich kart graficznych) i non-stop dotrenowywane na nowych treściach z internetu czy ebooków.
Tymczasem skuteczne modele agentowe bywają tak małe że uruchamialne na konsumenckim sprzęcie. Jak na przykład Mistral-small, Qwen 2.5 8b/14 czy zaskakująco dobry model agentowy od Salesforce na bazie Llamy, Salesforce/Llama-xLAM-2-8b.
To jest jeden z głównych powodów dla których uważam że największe modele to ślepa uliczka a pieniądze włożone w ich rozwój będą nie do odzyskania (w całości) przez inwestorów.
To jest jeden z głównych powodów dla których uważam że największe modele to ślepa uliczka a pieniądze włożone w ich rozwój będą nie do odzyskania (w całości) przez inwestorów.