Големите езикови модели стават по‑точни при анализа на зависимости в отворения код, но паралелно с това стават и по‑предпазливи. Ново изследване на Sonatype показва, че това повишено внимание всъщност запазва уязвимости в проектите и създава измамно усещане за сигурност.
Проучването разглежда 37 000 препоръки за обновяване на зависимости, генерирани от различни AI агенти. Данните разкриват структурен компромис: когато моделите намаляват халюцинациите без достъп до реални данни, те преминават към стратегията „не прави нищо“. Така се оформят два еднакво проблемни режима на грешка, представляващи измислени препоръки или пълна пасивност.
По‑малко халюцинации, но за сметка на действие
Според Sonatype процентът на халюцинации при моделите на Anthropic, Google и OpenAI е спаднал значително, от около 25% до 10–13%, като Claude Opus 4.6 достига най‑ниските стойности от 6%. Но този напредък идва с цена: моделите стават все по‑неуверени.
Дялът на препоръките „без промяна“ почти се е удвоил – от 16% в началото на 2025 г. до 26–31% в началото на 2026 г. Без достъп до актуални данни за средата, уязвимостите и политиките на организацията, моделите предпочитат да не предприемат нищо, за да избегнат грешки. В производствена среда това е също толкова опасно, колкото и халюцинациите, така че в това отношение положението не се променя съществено.
Данните са по‑важни от размера на модела
„По‑големите модели може да са по‑добри в разсъжденията, но управлението на зависимости не е само логически проблем – това е проблем с данните“, подчертава Брайън Фокс, съосновател и CTO на Sonatype. Според него модел, който не познава реалната инфраструктура и актуалните уязвимости, може да дава само „образовани предположения“.
Изследването показва, че малък, но добре „заземен“ модел, снабден с реалновременна информация, води до значително по‑малко критични и високорискови препоръки, при това на до 71 пъти по‑ниска цена от водещите модели.
Пълният доклад е достъпен на сайта на Sonatype.
