ETH Zurich und EPFL : Open-Source LLM fördert transparente KI-Forschung

Auf Einen Blick

• ETH Zürich und EPFL kündigen ein transparentes, öffentliches LLM an.
• Das Modell wird auf dem klimaneutralen Supercomputer „Alps“ trainiert und unterliegen der Apache 2.0-Lizenz.
• Es unterstützt über 1.500 Sprachen und bietet eine nachhaltige Infrastruktur.

Einführung des Schweiz LLM

Die ETH Zürich und die École Polytechnique Fédérale de Lausanne (EPFL) haben die Einführung eines vollständig öffentlichen Sprachmodells bekannt gegeben. Dieses Modell, welches als „Schweizer offenes LLM“ bezeichnet wird, bietet eine transparente Alternative zu den gängigen KI-Modellen, die oft als „Black-Box“-Lösungen fungieren. Das Modell wird voraussichtlich später in diesem Jahr veröffentlicht.

Besonderheiten des neuen Modells

Das Schweizer LLM hebt sich durch mehrere Merkmale hervor:
– **Offene Architektur:** Alle Parameter des neuronalen Netzwerks, die Trainingscodes und Datenreferenzen werden unter der Apache 2.0-Lizenz bereitgestellt. Dies ermöglicht Entwicklern, das Modell ohne Einschränkungen anzupassen und zu testen.
– **Multilinguale Reichweite:** Mit einem Umfang von 15 Billionen Token deckt das LLM über 1.500 Sprachen ab und stellt damit eine ernsthafte Herausforderung für englisch-zentrierte Modelle dar.
– **Energieeffiziente Infrastruktur:** Für das Training werden 10.000 Nvidia Grace-Hopper Superchips verwendet, die vollständig mit erneuerbarer Energie betrieben werden.

Regulatorische Vorteile

Das Schweizer LLM ist so konzipiert, dass es den Anforderungen des EU AI Acts entspricht. Am 18. Juli 2025 hat die Europäische Kommission Richtlinien für risikobehaftete Grundmodelle veröffentlicht, die neue Anforderungen an Transparenz und Sicherheit beinhalten. Das bevorstehende Schweizer Modell erfüllt viele dieser Vorgaben bereits und bietet somit einen Compliance-Vorteil.

Vergleich mit anderen Modellen

Im Vergleich zu anderen offenen Modellen wie Alibaba’s Qwen bietet das Schweizer LLM eine umfassende Transparenz und einen klareren Fokus auf akademische Ziele. Während Qwen eine Vielzahl an Modellen und eine größere Anzahl an Parametern anbietet, konzentriert sich das Schweizer Modell auf Forschungsanwendungen mit klaren, nutzbaren Modellgrößen von 8 und 70 Milliarden Parametern.

Herausforderungen der offenen LLMs

Trotz der Vorteile, die öffentliche LLMs bieten, gibt es auch Herausforderungen, die es zu bewältigen gilt. Dazu gehören Leistungs- und Skalierungslücken, komplexe Implementierungen, hohe Anforderungen an die Rechenressourcen, sowie Dokumentationsdefizite, die den Übergang zur praktischen Nutzung erschweren können.

Schlussfolgerung

Das Schweizer LLM verspricht, einen Meilenstein in der KI-Forschung und der generativen KI zu setzen, indem es hohe Transparenz mit umfassender multilingualer Unterstützung und umweltfreundlicher Berechnung kombiniert. Diese Initiative könnte nicht nur die Grundlagen der AI-Entwicklung verändern, sondern auch die Art und Weise, wie zukünftige KI-Lösungen designt und implementiert werden.