Was ist Pre-training (Vortraining)

Definition

Pre-training (Vortraining) ist die erste Phase des KI-Trainings, bei der ein Modell auf riesigen, unstrukturierten Datensätzen lernt, allgemeine Sprachstrukturen, Grammatik und logische Zusammenhänge zu verstehen.

Erklärung

Beim Pre-training lernt ein neuronales Netz im Grunde, wie die Welt und unsere Sprache aufgebaut sind, indem es fehlende Wörter in Texten vorhersagt (selbstüberwachtes Lernen). Dieser Prozess ist extrem rechen- und kostenintensiv und bildet die Basis für alle nachfolgenden Anpassungen des Modells. Erst durch das Vortraining erhält ein Foundation Model seine breiten, flexibel einsetzbaren Fähigkeiten. Im B2B- und SaaS-Kontext stellt das Pre-training den Ausgangspunkt dar: Unternehmen nutzen vorab trainierte Open-Source- oder kommerzielle Modelle, um sie anschließend mit deutlich weniger Aufwand auf ihre spezifischen Geschäftsanforderungen abzustimmen. Dies spart wertvolle Ressourcen und ermöglicht einen schnellen Go-to-Market von KI-Features.