Was ist Attention (Aufmerksamkeit)

Definition

Attention (Aufmerksamkeit) bzw. Self-Attention ist ein mathematischer Mechanismus in neuronalen Netzen, der berechnet, wie stark einzelne Elemente einer Sequenz (z. B. Wörter in einem Satz) miteinander in Beziehung stehen.

Erklärung

Der Attention-Mechanismus ist die Schlüsselkomponente der Transformer-Architektur und ermöglicht es Modellen, den Kontext eines Begriffs flexibel zu bestimmen. Statt Wörter starr nacheinander zu lesen, bewertet das Modell dynamisch, welche anderen Wörter im Text für die Bedeutung des aktuellen Worts am wichtigsten sind (z. B. bezieht sich das Pronomen "er" auf "Kunde" oder "Vertrag"). Dadurch können KI-Systeme auch in sehr langen Texten feine Nuancen und komplexe Bezüge fehlerfrei abbilden. Im B2B-Sales hilft diese präzise Kontextanalyse beispielsweise dabei, in Kunden-E-Mails implizite Kaufabsichten oder verdeckte Einwände verlässlich zu erkennen. Dadurch steigert die Attention-Technologie die Qualität automatisierter Textanalysen und die Relevanz generierter Antworten erheblich.