Was ist CLIP

Definition

CLIP (Contrastive Language-Image Pre-training) ist ein von OpenAI entwickeltes neuronales Netzwerk, das Bild- und Textdaten in einem gemeinsamen Vektorraum verarbeitet und visuelle Konzepte direkt über natürliche Sprache erlernt.

Erklärung

Klassische Computer-Vision-Modelle benötigen meist vorklassifizierte Bilddatensätze mit starren Kategorien. CLIP hingegen nutzt ein kontrastives Lernverfahren und wurde mit Hunderten Millionen von Bild-Text-Paaren aus dem Internet trainiert, wodurch das Modell lernt, welche Textphrasen zu welchen Bildinhalten passen. Dadurch beherrscht CLIP die sogenannte Zero-Shot-Klassifizierung: Es kann Bilder präzise einordnen, die es während des Trainings noch nie gesehen hat, indem es einfach die semantische Ähnlichkeit zum eingegebenen Text misst. CLIP ist die technologische Grundlage für moderne Bildgeneratoren wie DALL-E oder Stable Diffusion sowie für fortschrittliche multimodale Suchsysteme. In B2B- und SaaS-Lösungen wird das Modell vor allem für intelligente Bildsuchen, automatische Verschlagwortung (Auto-Tagging) und die Klassifizierung großer unstrukturierter Mediensammlungen eingesetzt.