Zurück zum Glossar
Attention-Mechanismus
Modelle & Architekturen
Gewichtet relevante Teile der Eingabe.
Attention berechnet gewichtete Kombinationen von Repräsentationen, um relevante Informationen zu fokussieren.
- Typen: Self-, Cross-, Causal-Attention.
- Nutzen: bessere Kontextverarbeitung, Erklärbarkeit via Aufmerksamkeitskarten (mit Vorsicht).
- Kosten: quadratische Komplexität bei vollem Self-Attention (Long-Context-Kniffe nötig).