Lokale KI am Limit: Darum setze ich jetzt voll auf Vertex AI.
Lokale KI
Ich wollte KI-Modelle lokal auf meinem Xiaomi Redmi Note 14 Pro+ 5G betreiben. Die Ausführung via Termux auf Android schien machbar. Ziel war volle Datenkontrolle und Unabhängigkeit. Die Realität sah anders aus.
Hardware-Limits waren brutal. Modelle über 3 Milliarden Parameter crashten zuverlässig. Der RAM meines Geräts setzte hier die klare Grenze. Versuche mit Qwen 2.5 1.5B oder SmolLM2 scheiterten an dieser Hürde. Lokale LLMs waren nicht stabil genug für meine Projekte wie NeoBild oder Planier. Optimierungen am Compiler, etwa -march=armv8-a+dotprod+i8mm, brachten keine fundamentale Lösung. Das Problem war und blieb der verfügbare Arbeitsspeicher.