Mein LLM-Interface ist ein von Grund auf selbst entwickeltes Web-Frontend und Node.js Backend für lokale LLMs (large language model) ähnlich zu ChatGPT. Es lassen sich beliebig viele Chats erstellen, individuell bearbeiten, in unterschiedlichen Designs darstellen und mit mehreren Modi verwenden, sowie importieren und exportieren.
Das Design ist responsive und verfügt über einen CLI-Modus mit Tab-Vervollständigung, welche auch auf Mobilgeräten funktioniert (mit ENTER statt TAB, da diese Taste nicht auf allen virtuellen Tastaturen vorhanden ist). Die Chat-Auswahl lässt sich entweder mithilfe der Maus oder Tastaturnavigation verwenden.
Es lassen sich sieben verschiedene Designs, zwei Schriftarten, zwei Sprachen, fünf verschiedene Modis und alle installierten Modelle auswählen. Die Einstellungen werden jeweils im local storage gespeichert und direkt ohne ein Neuladen der Seite angewandt. Nur der Chatverlauf wird nicht automatisch übersetzt.
Sobald eine Nachricht eingegeben und mit ENTER versendet wurde, generiert das lokale LLM eine entsprechende Antwort. Je nach Modus variiert die Ausgabe stark. Im folgenden Video verwendete ich den regulären Assistenten.
Kurze und lange Ausgaben sind ebenfalls möglich:
Ausserdem lassen sich mithilfe des Rollenspiel-Modus interessante Geschichten verfassen:
Über die Chatverwaltung können beliebig viele Konversationen erstellt, gelöscht, exportiert und importiert werden.
Mithilfe des CLI-Modus lässt sich das LLM-Interface wie ein Terminal bedienen:
Aufgrund des hohen Ressourcenverbrauchs dieses LLM-Interface existiert hierzu keine öffentliche Demo. Unter Umständen werde ich jedoch das Github-Repository veröffentlichen.