Zum Hauptinhalt springen

KI-Cluster für unterschiedlichste Zielgruppen

Das Institut für Informationssysteme betreibt in Kooperation mit der Fakultät Informatik einen KI-Cluster, in dem Studierende, Forschende, Lehrende und die Verwaltung auf Hard- und Software-Ressourcen für KI-Anwendungen zurückgreifen kann. Wir unterscheiden dabei zwischen Systemen, die für Lehre und Inferencing, also den Betrieb von KI-Modellen wie dem Chatbot LISA und dem Bildgenerator LUIS eingesetzt werden, und Systemen für die Forschung zu KI und damit insb. das Training neuer oder die Spezialisierung bestehender KI-Modelle. Für die Forschung haben wir selbst erhebliche Ressourcen vor Ort, die insb. für den interaktiven Betrieb (ich brauche mal schnell eine Grafikkarte fürs Testen eines neuen Modells) und kürzer laufende Trainings gedacht sind und weiteren Systemen, die von der Hochschule Hof finanziert wurden, aber in einen größeren Rechencluster bei der FAU Erlangen Nürnberg im NHR Höchstleistungsrechenzentrum stehen und dort betrieben werden. 

Letztere sind für länger laufende Trainings über mehrere Wochen ideal. Dort können wir nicht nur auf das eine bestehende und zweite in Beschaffung befindliche System zugreifen, sondern bei Bedarf für einzelne Trainings für einige Zeit auch mal 16 oder 32 GPUs auf einmal nutzen, solange das übers Jahr verteilt im Rechenbudget der Hochschule bleibt.

Verfügbare KI-Modelle

Ressourceneffizienz ist uns wichtig. Daher betreiben wir fast ausschließlich quantisierte Modelle, die nur ein Viertel der ursprünglichen Größe haben und daher auch deutlich schneller sind, aber geringfügig an Genauigkeit verlieren. Zusätzlich setzen wir nicht nur die typische Rechenzentrums-Hardware von Nvidia ein, sondern punktuell auch Spezialtechnik aus dem Consumer-Bereich. 

Spezialtechnik

  • Laufen aktuell auf Mac Studio M4 Max Rechnern mit 128 GB RAM bzw. Mac Studio M3 Ultra Rechnern mit 256 GB RAM

    Diese sind nicht nur viel günstiger in der Anschaffung, sondern verbrauchen auch deutlich weniger Strom als die sonst notwendigen H200 Grafikkarten und liefern trotzdem sehr schnelle Ergebnisse.