Empirische Evaluation des Verhaltens von LLMs auf Basis sprachphilosophischer Theorien: Methode und Pilotannotationen

Die zunehmende Verwendung großer Sprachmodelle (LLMs) hat zu einer intensiven Debatte über ihre Fähigkeit geführt, sprachliches Verstehen zu simulieren. Dieses Abstract trägt zu dieser Diskussion bei, indem es eine Methode zur Generierung von Testdatensätzen vorstellt, die auf spezifischen Sprachtheorien basieren. Diese Methode ermöglicht die Bewertung, inwieweit das Verhalten eines LLMs mit dem eines kompetenten Sprechers übereinstimmt, wie er von der zugrunde liegenden Sprachtheorie definiert wird. Die Methode wird exemplarisch anhand der Sprachphilosophie von Donald Davidson erläutert. Durch die Erstellung eines Datensatzes, der zentralen theoretischen Prinzipien einer Sprachtheorie widerspiegelt, können wir das Verhalten von LLMs in verschiedenen Sprachkontexten untersuchen und beurteilen. Diese Arbeit leistet einen Beitrag zur methodischen und theoretischen Analyse der Fähigkeiten von LLMs und bietet ein Werkzeug zur Evaluierung ihrer sprachlichen Kompetenz.