Wenn Llamas Chips testen: Sprachmodelle zur Automatisierung von System-Level Test Programmen

Ilia Polian, Denis Schwachhofer, Peter Domanski, Dirk Pflüger (Universität Stuttgart)

Integrierte Schaltungen in Nanometertechnologien unterliegen höchsten Qualitätsanforderungen, die nur mit fortschrittlichsten Testmethoden erreicht werden können. Neben bekannten strukturellen und funktionalen Testansätzen hat sich in letzter Zeit System-Level Test (SLT) durchgesetzt, bei dem eine Schaltung in einer der reellen Anwendung angenäherten Umgebung mit angeschlossener Speicherhierarchie und Peripherieschnittstellen betrieben wird. Als Testinhalt werden in der Regel funktionale Workloads verwendet, was zu sehr hohen Testzeiten führt; eine automatische Erstellung von SLT-Programmen mit gewünschten Eigenschaften wäre außerordentlich attraktiv. Dies stellt ein schwieriges Problem dar, welches das Wissen über die Architektur des getesteten System-on-Chip (SoC), der darauf laufenden Software, ihres nichtfunktionalen Verhaltens (etwa ihres Stromverbrauchs) und ihrer Interaktionen erfordert. Sind heutige LLMs dieser Herausforderung gewachsen?
Dieser Vortrag zeigt, wie LLMs mit Hilfe von intelligentem Prompting bereits heutzutage eine vielversprechende Methode zur Generierung von SLT Programmen darstellen können. Sie erreichen aber noch nicht die Leistungsfähigkeit der besten Ansätze des heutigen Stands der Technik, insbesondere Genetic Programming. Die besten Ergebnisse erreichen LLMs derzeit basierend auf „Structural Chain of Thought Prompting“; wir vergleichen diese Ergebnisse mit dem Stand der Technik und diskutieren, welche Verbesserungen noch möglich sind. Stellt das LLM selbst die Grenze dar, die von einer neueren Version vielleicht überwunden wird? Ist die Generierung in der Hochsprache C eine fundamentale Beschränkung gegenüber Genetic Programming, das auf Assembler-Ebene arbeitet? Welche Rolle spielen die Compilerflags? Wie viel bringt das Fine-Tuning des LLM-Prompts?
Die vorgestellten Ergebnisse wurden im Rahmen einer Zusammenarbeit zwischen zwei Projekten der Graduate School Intelligent Methods for Test and Reliability (gefördert durch Advantest) erzielt.

Biografie: 

Ilia Polian ist seit 2017 Direktor des Instituts für Technische Informatik an der Universität Stuttgart. Er hat 2003 an der Universität Freiburg promoviert, ist Koautor von über 250 wissenschaftlichen Veröffentlichungen und erhielt zwei Best Paper Awards. Prof. Polian ist ein Direktor des Graduiertenkollegs „Intelligente Methoden für Test und Zuverlässigkeit“ in Stuttgart (gefördert durch Advantest) und Sprecher des DFG-Schwerpunktprogramms 2253 „Nano Security“. Seine wissenschaftlichen Interessen umfassen Testmethoden und Zuverlässigkeit, hardwareorientierte Sicherheit, neue Rechnerarchitekturen und Quantencomputer.