FLUX-Text ist ein Open-Source-Diffusionstransformatormodell für die Szenentextbearbeitung (Scene Text Editing). Es unterstützt die Änderung, Hinzufügung und Reparatur von mehrsprachigem Text. Es eignet sich für Bild- und Textverarbeitungsszenarien wie Plakatbearbeitung, Emoticon-Produktion und Werbegestaltung.

FLUX-Text

FLUX-Text (Flux Text) ist ein mehrsprachiges Szenentextbearbeitungsmodell (Scene Text Editing, STE), das vom AMAP-Team für maschinelles Lernen als Open-Source-Lösung bereitgestellt wird. Der Schwerpunkt liegt auf dem Ändern, Löschen oder Hinzufügen von neuem Text zu vorhandenem Text in Bildern. Anders als bei Allzweck-Grafikmodellen (wie Stable Diffusion und Midjourney) besteht die Kernfunktion von FLUX-Text darin, „den Textinhalt im Bild präzise zu steuern“ – Benutzer können festlegen, dass der chinesische Titel auf dem Poster in Englisch geändert, der Textblasentext im Emoticon-Paket geändert oder der Preistext auf dem Produktbild ersetzt wird – und die Änderungsergebnisse behalten die natürliche visuelle Integration bei und hinterlassen keine Bearbeitungsspuren.

Kernparameter und Statistiken

Parameterelemente	Spezifikationen
Produktname	FLUX-Text
Kategorie	AI-Bildbearbeitung/Szenentextbearbeitung
Lieferform	Open-Source-Modell (vorab trainierte Gewichte + Inferenzcode)
Open-Source-Lizenz	Vorbehaltlich des offiziellen Repositorys
Modellarchitektur	Diffusionstransformator (DiT)
Unterstützte Sprachen	Chinesisch, Englisch und andere Sprachen
Kernaufgaben	Szenentextbearbeitung (Text in Bildern ändern/hinzufügen/löschen)
Projekteigentum	AMAP ML-Team (Alibaba / AMAP)
Papier veröffentlicht	arXiv (2025-05)
Open-Source-Plattform	GitHub + Hugging Face
Demoumgebung	Gradio-Demo
Forschungsteam	Rui Lan et al.

Der grundlegende Unterschied zwischen FLUX-Text und allgemeinen Textzeichnungsmodellen: P-Zeichensoftware und allgemeine KI-Bildwerkzeuge können bei der Verarbeitung von Text in Bildern normalerweise nur das „Neuzeichnen des gesamten Bildes“ durchführen und können die Änderung bestimmter Textbereiche nicht präzise steuern – sie können den Hintergrund, die Zeichen oder die Komposition ändern. FLUX-Text bearbeitet nur den angegebenen Textbereich und lässt andere Teile des Bildes unverändert. Dies macht es unersetzlich in Szenarien wie Posterbearbeitung, Werbemodifikation, Erstellung von Ausdruckspaketen, Preisaktualisierung von Produktbildern usw., bei denen „nur die Wörter, nicht aber das Bild“ geändert werden müssen.

Benutzer- und Markterkennung

Als akademisches Open-Source-Projekt spiegelt sich der Einfluss von FLUX-Text vor allem in der Forschungs- und Open-Source-Community wider. Das Papier wurde auf arXiv (2025-05) veröffentlicht und hat im unterteilten Forschungsfeld der Szenentextbearbeitung (STE) gewisse Aufmerksamkeit erhalten. Das GitHub-Repository bietet vollständigen Inferenzcode und vorab trainierte Gewichte, und die auf Hugging Face gehostete Gradio-Demo ermöglicht es Benutzern, die Modelleffekte online zu erleben.

Derzeit hat FLUX-Text noch keinen breiten Endbenutzermarkt gebildet – seine Hauptzielgruppe sind KI-Forscher und -Entwickler, anstatt sich direkt an C-End-Verbraucher zu wenden. Bei der Produktform handelt es sich eher um ein Open-Source-Modell als um eine SaaS-Plattform, was bedeutet, dass Benutzer über bestimmte technische Fähigkeiten (Python-Umgebungskonfiguration, Modell-Download und Inferenz) verfügen müssen, um es verwenden zu können. Es wird empfohlen, dass die Kernindikatoren für die Marktbekanntheit – die Anzahl der Papierzitierungen, GitHub-Stars und Hugging-Face-Downloads – auf den Echtzeitdaten jeder Plattform basieren und hier keine spekulativen Zitate abgegeben werden.

Kostenvorteil

Kostendimension	Beschreibung
Softwarelizenz	$0 (Open-Source-Modell, unterliegt einer offiziellen Lizenz)
Inferenzberechnung	GPU erforderlich (16 GB+ VRAM empfohlen), Cloud-GPU-Miete kostet etwa 0,5–2 $/Stunde
Bereitstellung und Betrieb	Erfordert die Konfiguration der Python- und PyTorch-Umgebung
API-Dienst	Keine offiziell gehostete API; Gradio Demo dient Forschungs- und Demonstrationszwecken

Die wichtigsten Kostenvorteile des Open-Source-Modells: keine Lizenzgebühren + vollständig anpassbar. Im Vergleich zu kommerzieller Bildbearbeitungs-SaaS (wie Adobe Firefly, Canva AI) auf Abonnementbasis (10–60 USD/Monat) eignet sich FLUX-Text für Teams mit technischen Fähigkeiten für den privaten Einsatz und die Stapelverarbeitung. In einem E-Commerce-Szenario, in dem täglich Textersetzungen für 1.000 Produktbilder verarbeitet werden müssen, sind die Grenzkosten für die Selbstbereitstellung von FLUX-Text hauptsächlich GPU-Rechenleistung (ca. 15–30 $/Tag), während die Kosten für den Massenkauf kommerzieller KI-Bearbeitungsdienste normalerweise 100–500 $/Tag betragen.

Versteckte Kosten: Die Modellinferenz erfordert GPU-Ressourcen (16 GB+ VRAM empfohlen), die von technisch nicht versierten Benutzern nicht direkt genutzt werden können. Das Modell ist möglicherweise nicht ideal für die Bearbeitung unkonventioneller Schriftarten (z. B. Handschrift, Wortkunst). Die aktuelle Version unterstützt die Bearbeitung von Szenentexten in Videos nicht.

Hauptfunktionen

• Änderung des Szenentextes: Ersetzen Sie den Textinhalt im angegebenen Bereich des Bildes durch den Zieltext. Beispiel: Ändern Sie „2025 Spring Conference“ im Poster in „2025 Summer Promotion“, und das Modell passt automatisch den Schriftartstil, die Schriftgröße, die Farbe und den Perspektivenwinkel des ursprünglichen Texts an, sodass der geänderte Text optisch nahtlos in den Hintergrund übergeht.
• Szenentext löschen: Löschen Sie unerwünschte Textbereiche im Bild und füllen Sie die gelöschten Bereiche mit angemessenem Hintergrundinhalt. Beispiel: Entfernen Sie den Text des Markenlogos aus Produktbildern und entfernen Sie Zeitstempel aus Screenshots. Die Ergebnisse des Radierens hängen von der Komplexität des Hintergrunds ab – das Radieren funktioniert am besten mit einem einfarbigen oder gleichmäßig strukturierten Hintergrund.
• Neuer Szenentext: Fügen Sie den angegebenen Text in leere Bereiche in Bildern ein (z. B. Wände, Banner, Etiketten). Die Position des neuen Textes wird vom Benutzer vorgegeben (markiert durch einen rechteckigen Rahmen oder eine Maske), und das Modell ermittelt automatisch die perspektivische Beziehung und die Lichtverhältnisse des Bereichs und generiert dazu passende Texteffekte.
• Unterstützung mehrerer Sprachen: Unterstützt die Bearbeitung von Szenentexten auf Chinesisch und Englisch. Beide Sprachen werden unter demselben Modellrahmen verarbeitet, und chinesischer und englischer Text können gemischt und im selben Bild bearbeitet werden.
• Standardmigration des Schriftstils: Beim Bearbeiten von Text extrahiert das Modell automatisch den Schriftstil des Originaltexts (Serife/Serifenlos, Stärke und Neigungswinkel) und wendet ihn auf den Zieltext an, ohne dass der Benutzer ihn manuell angeben muss.
• Hintergrundkonsistenz: Bildinhalte außerhalb des Bearbeitungsbereichs werden überhaupt nicht verändert. - FLUX-Text funktioniert nur auf dem vom Benutzer angegebenen Textbereich. Dies ist der Hauptunterschied zu allgemeinen Bildbearbeitungsmodellen (diese Modelle neigen dazu, umgebende Bereiche zu „modifizieren“).

Modell- und Versionsentwicklung

Version	Erscheinungsdatum	Wichtige Änderungen
v0.9 (Forschungsversion)	06.05.2025	Veröffentlichung von arXiv-Papier und erstem Begründungscode, um die Machbarkeit der Szenentextbearbeitung zu überprüfen
v1.0 (offizielle Version)	04.07.2025	Öffnen Sie die Gradio-Demo und trainieren Sie die Gewichte vorab, unterstützen Sie die Bearbeitung mehrsprachiger Szenentexte

Versionsdatensätze unterliegen der offiziellen GitHub-Version und den arXiv-Papierversionen. Die iterative Richtung von FLUX-Text wird vom Forschungsteam basierend auf Community-Feedback und technischem Fortschritt vorangetrieben. Derzeit gibt es keine öffentliche Versions-Roadmap.

Technische Vorteile

• Diffusion Transformer (DiT)-Architektur: FLUX-Text basiert auf dem Diffusion Transformer anstelle des traditionellen U-Net-Diffusionsmodells. Die DiT-Architektur übertrifft ähnliche U-Net-Modelle in der Qualität der Bilderzeugung und erzeugt klarere Textkanten und natürlichere Texturfusionseffekte. Das Modell verwendet beim Training umfangreiche Bild-Text-Paardaten + spezielle Textbearbeitungsdaten (einschließlich gepaarter Bilder vor/nach der Bearbeitung).
• Textbewusster Aufmerksamkeitsmechanismus: Das Modell führt während des Diffusionsprozesses die Aufmerksamkeitsverzerrung des Textbereichs ein. Während der Inferenz achtet das Modell mehr auf die Pixelkonsistenz des vom Benutzer angegebenen Bearbeitungsbereichs, während die Eigenschaften des Nichtbearbeitungsbereichs unverändert bleiben. Dadurch wird das Problem der „Diffusionsleckage“ (Pixel außerhalb des Bearbeitungsbereichs werden versehentlich geändert) an Bearbeitungsgrenzen beseitigt.
• Perspektivische und geometrische Anpassung: Bei schrägem Text, der nicht von vorne aufgenommen wird (z. B. perspektivischer Text auf Produktverpackungen), erkennt das Modell automatisch die geometrischen Transformationsparameter (Rotation, Skalierung, perspektivische Matrix) des Textbereichs und wendet dieselbe Transformation beim Generieren des Zieltexts an, sodass der bearbeitete Text visuell mit dem ursprünglichen perspektivischen Winkel übereinstimmt.
• Bedingte Steuereingabe: Benutzer können den Bearbeitungsbereich über eine Textmaske (Binärmaske) genau angeben oder ein rechteckiges Feld für grobe Anmerkungen verwenden. Maskierte Eingaben ermöglichen beliebig geformte Bearbeitungsbereiche, während rechteckige Felder eine bequemere Möglichkeit der Interaktion bieten.
• Trainingsdatenstrategie: Das Modell verwendet eine hybride Trainingsstrategie aus synthetischen Daten + realen Szenendaten. Synthetische Daten decken eine große Anzahl von Schriftart-, Hintergrund- und Perspektivenänderungen ab, um die Vielseitigkeit des Modells sicherzustellen; Echte Szenendaten (echte Bilder mit aus dem Internet gesammeltem Text) verbessern die Generalisierungsfähigkeit des Modells in realen Umgebungen.

Wie man es benutzt

So verwenden Sie	Eingang	Anleitung
Gradio-Demo	Umarmende Gesichtsräume	Online-Erfahrung, keine lokale Bereitstellung erforderlich (es gibt eine Warteschlange)
Lokale Schlussfolgerung	GitHub-Repository	Code klonen → Abhängigkeiten installieren → Gewichte herunterladen → Inferenzskript ausführen
Lesen Sie den Artikel	arXiv	Verstehen Sie die technischen Details und die experimentelle Auswertung
Modellgewichte	Umarmendes Gesicht	Laden Sie vorab trainierte Gewichte für lokale Inferenz herunter

Typischer Nutzungsprozess (lokale Bereitstellung): „Bash Git-Klon https://github.com/AMAP-ML/FluxText cdFluxText pip install -r Anforderungen.txt python run.py --input image.jpg --mask mask.png --target_text „Neuer Textinhalt“ „

Eingabeanforderungen: ein Originalbild mit Text + ein Maskenbild (oder rechteckige Rahmenkoordinaten), das den Bearbeitungsbereich identifiziert + Zieltextinhalt. Ausgabe: bearbeitete Bilddatei.

Produktpreise

Nutzungsmodell	Gebühren	Beschreibung
Gradio-Demo (Online-Erlebnis)	Kostenlos	Forschungsdemonstrationsnutzung, Nutzungsbeschränkungen und Warteschlangen
Lokale Bereitstellung (selbst gehostet)	0 $ (Software) + GPU-Rechenleistungskosten	Software ist kostenlos und Open Source, es werden nur Hardware- oder Cloud-GPU-Kosten übernommen
Kommerzielle Nutzung	Es gelten die Open-Source-Lizenzbedingungen	Bestätigen Sie die Einschränkungen des Lizenztyps im kommerziellen Szenario

Für einzelne Forscher und KI-Enthusiasten kann Gradio Demo gelegentliche Anforderungen an die Bearbeitung von Bildtexten erfüllen, ist jedoch durch Warteschlangen- und Parallelitätsbeschränkungen eingeschränkt. Für den Batch-Einsatz in Produktionsumgebungen wird die lokale Bereitstellung empfohlen, und die Kosten für die Anmietung einer Cloud-GPU betragen etwa 0,5 bis 2 US-Dollar pro Stunde (je nach GPU-Modell).

Anwendungsszenarien

• Batch-Änderung von Postern und Werbebildern: Das Marketingteam ändert häufig die Datums-, Preis- und Veranstaltungsinformationen im Poster vor und nach großen Werbeaktionen. Die Verwendung von FLUX-Text zum stapelweisen Ersetzen von Texten ist 10–50 Mal effizienter als die manuelle Änderung einzeln in PS. Überprüfungsmethode: Vergleichen Sie die Genauigkeit der Stapeländerung (Textposition/-größe/-winkel stimmt mit dem Originalbild überein) und das manuelle Korrekturverhältnis.
• Aktualisierung von Preis und Parametern des Produktbildes: Das E-Commerce-Betriebsteam aktualisiert regelmäßig den Preis, das Werbeetikett und die Spezifikationsparameter auf dem Hauptbild des Produkts. FLUX-Text kann Preisnummern in einem bestimmten Bereich präzise ersetzen, wobei der Hintergrund und andere visuelle Elemente unverändert bleiben. Überprüfungsmethode: Ob die Klickrate und die Konversionsrate des bearbeiteten Produktbildes auf der Plattform durch Bearbeitungsspuren beeinflusst werden.
• Emoticon- und Social-Media-Grafikerstellung: Inhaltsersteller können den Textblaseninhalt in Emoticons ändern und den Dialogtext in Screenshots ersetzen. Überprüfungsmethode: Ob die Bearbeitungsspuren visuell erkennbar sind.
• Desensibilisierung von Dokumenten und Screenshots: Verwenden Sie FLUX-Text, um vertrauliche Informationen (Name, Telefonnummer, E-Mail usw.) zu löschen, bevor Sie interne Dokument-Screenshots freigeben, was natürlicher ist als manuelles Mosaik. Überprüfungsmethode: Bewertung der Natürlichkeit der Hintergrundfüllung in gelöschten Bereichen.
• Ersetzen von Untertiteln für Filme und Spiele: Ersetzen Sie Text in Videobildern (z. B. Ersetzen von Chinesisch durch Englisch in der Benutzeroberfläche des Spiels), der Bild für Bild verarbeitet werden muss. Hinweis: Die aktuelle Version ist für die Einzelbildbearbeitung vorgesehen und die Videobearbeitung muss Bild für Bild erfolgen.

Anwendbare Personen

Menschenmenge	Anpassungswert	Voraussetzungen
KI-Forscher	Recherchieren Sie den Textbearbeitungsalgorithmus für Szenen, der als Basisvergleich verwendet werden kann	Python + PyTorch-Umgebung
E-Commerce-Betriebs- und Designteam	Batch-Änderung von Produktbildern und Postertexten	Technische Studenten werden benötigt, um bei der Bereitstellung oder Verwendung von Gradio Demo	zu helfen
Inhaltsersteller	Emoticon-Pakete und Social-Media-Grafiken und Textmodifikation	Gradio Demo reicht für den leichten Gebrauch
Datendesensibilisierungsteam	Löschung vertraulicher Informationen in Dokument-Screenshots	Zur Verarbeitung großer Datenmengen ist eine lokale Bereitstellung erforderlich
Nicht für die Masse geeignet	Gründe
---	---
Normale Benutzer ohne technischen Hintergrund	Für die native Nutzung ist eine Befehlszeilenoperation erforderlich
Szenen, die eine Videobearbeitung erfordern	Derzeit werden nur Einzelbilder unterstützt und Videos müssen Bild für Bild verarbeitet werden
Professionelle Designs, die extrem hohe Anforderungen an die Wiederherstellung von Schriftarten stellen	Der Grad der Wiederherstellung nicht standardmäßiger Schriftarten ist möglicherweise unzureichend

Zusammenfassung und Ausblick

FLUX-Text bietet eine hochwertige Open-Source-Lösung im hochspezialisierten Nischenbereich der Szenentextbearbeitung (STE). Sein Kernwert liegt in der „präzisen Steuerung des Textinhalts im Bild, ohne andere visuelle Elemente zu beeinflussen“ – in der Vergangenheit erforderte dies entweder eine manuelle Verarbeitung von professionellen Designern Pixel für Pixel (ein einzelnes Bild dauerte 15–60 Minuten) oder konnte nur indirekt durch Neuzeichnen des gesamten Bildes erreicht werden, war aber unkontrollierbar. FLUX-Text reduziert die für diesen Vorgang erforderliche Zeit auf Sekunden und behält gleichzeitig die professionelle visuelle Qualität der Bearbeitungsergebnisse bei.

Aktuelle Einschränkungen: (1) Modellinferenz erfordert GPU-Ressourcen (empfohlen 16 GB+ VRAM), was den „Null-Schwellenwert“-Vorteil von Open Source schwächt – Benutzer ohne geeignete Hardware können mit Gradio Demo nur begrenzte Erfahrung machen; (2) Der Textbearbeitungseffekt bei unkonventionellen Schriftarten (Handschrift, künstlerische Schriftarten, dekorative Schriftarten) ist instabil – die Trainingsdatenabdeckung des Modells für diese Schriftarten ist möglicherweise unzureichend; (3) Unterstützt derzeit nur die Einzelbildverarbeitung und keine Stapelverarbeitungspipelines oder Textbearbeitung in Videoszenen. (4) Der vom Modell ausgegebene Text kann subtile visuelle Fehler (z. B. diskontinuierliche Striche und Farbabweichungen) aufweisen, die bei vergrößerter Betrachtung möglicherweise auffallen. Kauf-/Einführungsvorschläge: Die E-Commerce- und Marketingteams empfehlen, zunächst Stapeltests an einer kleinen Anzahl tatsächlicher Bilder (50–100 Bilder) durchzuführen, um zu bewerten, ob die Bearbeitungsqualität den Geschäftsanforderungen an Genauigkeit und visuelle Natürlichkeit entspricht. Forschungsteams können die Gewichte und den Code direkt herunterladen, um ihre eigenen Datensätze zu verfeinern. Zu den weiteren Anweisungen gehören: Optimierung der Modellinferenzgeschwindigkeit (Unterstützung der Stapelverarbeitung), Unterstützung weiterer Sprachen und Integration mit anderen Bildbearbeitungsfunktionen (z. B. Hintergrundersetzung + kombinierte Textbearbeitungsvorgänge).

Verwandte Tools: CrewAI, langchain

Versionsinfo

• Offizielle Version von FLUX-Text ：Öffnen Sie die Gradio-Demo und vorab trainierte Gewichte und unterstützen Sie die Textbearbeitung in mehreren Sprachen. （2025-07-04）
• frühe Forschungsversion ：Geben Sie das arXiv-Papier und den ersten Begründungscode frei, um die Machbarkeit der Szenentextbearbeitung zu überprüfen. （2025-05-06）