KI-Benchmarks prägen Beschaffung, Konformitätsnachweise und zunehmend auch Streitfälle. Eine empirische Untersuchung im Projektrisikomanagement zeigt jedoch, dass LLM-basierte Systeme keine stabile Merkmalskonstanz aufweisen und ihre ausgegebene Konfidenz kein verlässlicher Indikator der tatsächlichen Verlässlichkeit ist. Der Beitrag leitet daraus Anforderungen an belastbare Leistungsnachweise ab.
Matthias Ernst
IT Sachverständiger | Digital Transformation Architect