Какво научих, докато преподавах GenAI на 200 студенти
Най-честите заблуди за езиковите модели — и как ги обяснявам за две минути.
Преподавам GenAI и обработка на естествен език в университет. През последните семестри през курса минаха около двеста студенти, а през корпоративните обучения — още толкова служители. Заблудите се повтарят почти дословно и в двете групи.
„Моделът знае“
Най-упоритата. Езиковият модел не проверява факти — той продължава текста по начин, който е вероятен спрямо това, което е видял.
Обяснението, което работи най-добре: представи си човек, прочел половината интернет, но без достъп до нищо в момента на въпроса и без право да каже „не помня“. Ще ти отговори уверено. Понякога ще е прав.
Оттук идва и практическият извод: ако отговорът трябва да е верен, ти трябва да му дадеш източника. Затова съществува RAG.
„Ако му кажа да не халюцинира, няма да халюцинира“
Инструкцията помага малко. Не решава нищо.
Онова, което наистина сваля грешките, е структурно: подай контекст, искай цитат към него и проверявай отговора с код. Ако очакваш JSON с три полета — провери, че е JSON с три полета, вместо да се надяваш.
„По-дългият промпт е по-добър промпт“
В час пускам едно и също упражнение: групата пише промпт от 400 думи, после го свива до 80, без да губи изискванията. По-късата версия печели в около седем от десет случая.
Причината е проста — противоречивите инструкции се трупат с дължината. Ако в промпта пише едновременно „бъди изчерпателен“ и „отговаряй кратко“, моделът ще избере едното наслуки.
„Температура 0 значи, че отговорът е верен“
Значи само, че е по-предвидим. Уверено грешният отговор си остава грешен и при температура 0.
„AI ще ми напише системата“
Ще напише голяма част от кода. Няма да реши какво да се построи, коя грешка е приемлива и коя не, кой има право да вижда какво.
На студентите го казвам така: моделът е много бърз младши колега, който не знае нищо за твоята фирма. Полезен е точно толкова, колкото добре си описал задачата — и точно толкова опасен, колкото малко проверяваш.
Кое се научава най-трудно
Не промптингът. Оценката.
Хората свикват да гледат един отговор и да казват „става“. Умението, което наистина променя резултата, е да съставиш набор от 30 задачи с известен верен отговор и да мериш всяка промяна спрямо тях. Скучно е и почти никой не го прави доброволно — затова и толкова внедрявания се разпадат след първата демонстрация.
Същите тези неща минавам и с екипи във фирми — за един ден, върху техните документи и техните процеси. Ако това ти е интересно, пиши ми.