— Kleine offene Modelle
Feintuning ist sinnvoll, wenn Tests einen wiederkehrenden Qualitätsabstand zeigen und ausreichend kuratierte Daten vorhanden sind. Ich arbeite mit kleinen offenen Modellen, nicht mit dem Versprechen, ein sehr großes öffentliches Modell neu zu trainieren.
Der Weg beginnt bei Ihren Daten: Prüfung, Kuratierung, Trennung von Training und Evaluation. Erst danach folgt das eigentliche Feintuning, die Bereitstellung und ein Rückfallweg. Wenn Suche und klare Anweisungen ausreichen, sage ich das vor einem Training.
Im Labor ist das Stapeln von Erstinbetriebnahme und Live-Diagnose an einem Cisco-Router in einem Modell-Adapter mit 1,5 Milliarden Parametern gescheitert. Das nächste Experiment ist ein von Ihnen umgeschalteter Beiwagen: Sie benennen den Auftrag, fügen den Standort ein, der passende Modell-Adapter tippt auf der seriellen Konsole. Die Live-Anbindung ist geparkt.
— Vom Datensatz bis zum Betrieb
Ich prüfe Herkunft, Rechte, Duplikate, Lücken, sensible Inhalte und ob die Beispiele den gewünschten Arbeitsablauf wirklich abbilden. Das Ergebnis ist eine klare Aussage, ob Feintuning überhaupt lohnt.
Wir bereinigen, vereinheitlichen und beschriften Instruction-Paare so, dass ein Mensch die Qualität nachvollziehen kann. Schlechte Beispiele werden entfernt, statt sie ins Training zu mischen.
Trainingsbeispiele und Testbeispiele bleiben getrennt. Die Evaluation misst den gleichen Arbeitsablauf, den Sie später im Betrieb erwarten – nicht nur eine interne Verlustkurve.
Ich passe ein kleines offenes Modell mit einem nachvollziehbaren Verfahren in der Klasse von QLoRA an. Checkpoints, Hyperparameter und Vergleichsläufe gegen das Ausgangsmodell werden festgehalten.
Das angepasste Modell wird so bereitgestellt, dass Ihr Team es aufrufen, messen und bei Bedarf auf die vorherige Version zurücksetzen kann. Dokumentation und Abnahmetests gehören zur Übergabe.
— Wann Sie nicht feinjustieren sollten
Viele Vorhaben brauchen zuerst bessere Anweisungen und dokumentengestützte Suche. Feintuning kommt erst, wenn diese Schritte den Qualitätsabstand nicht schließen.
Wenn Antworten vor allem in Dateien, Richtlinien oder Wissensbasen stehen, ist retrieval-gestützte Suche mit Quellenangaben meist schneller, günstiger und leichter zu prüfen.
Wenn der Arbeitsablauf durch Anweisungen, Vorlagen und Freigaben steuerbar ist, lohnt sich zuerst Prompt-Design mit messbaren Testfällen – ohne Modellgewichte zu ändern.
Ohne ausreichend kuratierte Instruction-Paare und eine echte Evaluationsmenge entsteht nur ein teurer Overfit. Dann bleibt der nächste Schritt Datensatzarbeit oder ein anderer Ansatz.
— Was Sie erhalten
Sie wissen, ob Feintuning, Suche oder Anweisungen der richtige nächste Schritt ist – anhand von Tests, nicht anhand einer Vorführung.
Kuratierte Instruction-Paare, getrennte Trainings- und Evaluationsmengen und eine kurze Beschreibung, was bewusst ausgeschlossen wurde.
Vergleich gegen das Ausgangsmodell auf denselben Testfällen, inklusive bekannter Schwächen.
Bereitstellung, Messung und ein Rückfall auf die vorherige Version, damit Ihr Team den Schritt wiederholen kann.
— Häufige Fragen
Beschreiben Sie den Arbeitsablauf, die verfügbaren Daten und was Sie bereits mit Anweisungen oder Suche versucht haben. Ich melde mich mit einer ersten Einschätzung.