Massive-Language-Modelle (LLMs) haben das Potenzial, die Arbeitslast zu automatisieren und zu reduzieren, einschließlich der von Cybersicherheitsanalysten und Incident Respondern. Generischen LLMs fehlt jedoch das domänenspezifische Wissen, um diese Aufgaben intestine zu bewältigen. Auch wenn sie mit Trainingsdaten erstellt wurden, die Cybersicherheitsressourcen enthalten, reicht dies oft nicht aus, um spezialisiertere Aufgaben zu übernehmen, die aktuelles und in einigen Fällen auch proprietäres Wissen erfordern, um sie intestine auszuführen – Wissen, das den LLMs bei ihrer Ausbildung nicht zur Verfügung stand.
Es gibt mehrere bestehende Lösungen für das Tuning von „Commonplace“-LLMs (unveränderte LLMs) für bestimmte Arten von Aufgaben. Doch leider waren diese Lösungen für die Anwendungsarten von LLMs, die Sophos X-Ops verwendet, unzureichend. Aus diesem Grund hat das SophosAI-Group ein Framework zusammengestellt, das DeepSpeed nutzt, eine von Microsoft entwickelte Bibliothek, mit der die Inferenz eines Modells mit (theoretisch) Billionen von Parametern trainiert und abgestimmt werden kann. Dabei wird die Rechenleistung und die Anzahl der beim Coaching verwendeten Grafikprozessoren (GPUs) erhöht. Das Framework steht unter Open-Supply-Lizenz zur Verfügung und ist in der GitHub-Repository von Sophos zu finden.
Framework-Model als Open Supply verfügbar
Damit ein LLM seine volle Wirkung entfalten kann, müssen alle seine Parameter vorab trainiert werden, um das firmeneigene Wissen eines Unternehmens zu erlernen. Dieses Unterfangen kann ressourcenintensiv und zeitaufwendig sein. Deshalb hat Sophos sich für sein Trainingsframework, das in Python implementiert wurde, an DeepSpeed gewandt. Die Model des Frameworks, die Sophos als Open Supply freigibt, kann im Amazon Net Providers SageMaker Service für maschinelles Lernen ausgeführt aber auch an andere Umgebungen angepasst werden. Trainingsframeworks (einschließlich DeepSpeed) ermöglichen die Skalierung großer Modelltrainingsaufgaben durch Parallelität.
Obwohl viele Teile des Frameworks nicht neu sind und auf bestehende Open-Supply-Bibliotheken zurückgreifen, hat das SophosAI-Group einige der wichtigsten Komponenten zusammengefasst, um die Nutzung zu erleichtern. Zum Zeitpunkt seiner Erstellung battle dieses Instrument-Repository das erste, das Coaching und beide DeepSpeed-Inferenztypen (DeepSpeed-Inferenz und ZeRO-Inferenz) in einem konfigurierbaren Skript kombiniert. Es battle auch das erste Repository, das einen benutzerdefinierten Container für die Ausführung der neuesten DeepSpeed-Model auf dem SageMaker von Amazon Net Service erstellte. Und es battle das erste Repository, das verteilte Skripte ausführt.
Weitere technische Particulars sind im folgenden Sophos-Artikel aufgeführt: DeepSpeed: a tuning device für massive language fashions
