Lokale KI
Ich wollte KI-Modelle lokal auf meinem Xiaomi Redmi Note 14 Pro+ 5G betreiben. Die Ausführung via Termux auf Android schien machbar. Ziel war volle Datenkontrolle und Unabhängigkeit. Die Realität sah anders aus.
Hardware-Limits waren brutal. Modelle über 3 Milliarden Parameter crashten zuverlässig. Der RAM meines Geräts setzte hier die klare Grenze. Versuche mit Qwen 2.5 1.5B oder SmolLM2 scheiterten an dieser Hürde. Lokale LLMs waren nicht stabil genug für meine Projekte wie NeoBild oder Planier. Optimierungen am Compiler, etwa -march=armv8-a+dotprod+i8mm, brachten keine fundamentale Lösung. Das Problem war und blieb der verfügbare Arbeitsspeicher.
Migration zu Vertex AI: Der einzige Weg
Eine Entscheidung musste her. Ich habe meinen kompletten LLM-Stack zu Vertex AI migriert. Ich nutze jetzt Gemini 2.5 Flash über den Vertex AI Endpoint in europe-west1. Das war kein idealistischer Schritt, sondern eine technische Notwendigkeit.
- Stabilität: Keine Modellabstürze mehr. Die Workflows laufen zuverlässig.
- Leistung: Gemini 2.5 Flash liefert die nötige Geschwindigkeit. Lokal war das unerreichbar.
- Fokus: Meine Zeit geht in die Entwicklung meiner Apps, nicht in das Debugging von lokalen LLM-Installationen.
- Kontrolle: Die Integration in meine Sicherheitsinfrastruktur mit Service Accounts und Token-Management bleibt bestehen.
Effizienz ist Souveränität
Lokal war die Effizienz nicht gegeben. Die Ressourcen reichten einfach nicht aus. Der Wechsel zu Vertex AI ermöglicht mir einen leistungsstarken und stabilen LLM-Betrieb. Souveränität bedeutet, die passende technische Lösung zu nutzen. Das zählt.