Schlagwort: Memory

  • Anwälte bekommen mit Harvey II ein intelligentes Gedächtnis

    Ein Anwalt mit KI-Agent

    GPT-Images-2.0

    Kurzfassung
    ▾

    Quellen
    ▾

    Harvey hat die zweite Generation seiner Legal-AI-Plattform mit einem integrierten Gedächtnis vorgestellt.
    Die KI lernt den individuellen Schreibstil von Anwälten und wendet diesen direkt in Word und Outlook an.
    Neue projektbezogene Arbeitsräume bündeln zudem alle Dokumente und Zugriffsrechte eines Mandats sicher an einem Ort.

    Harvey Pressemitteilung

    Harvey hat am Dienstag die zweite Generation seiner Legal-AI-Plattform vorgestellt. Sie erhält ein Erinnerungsvermögen und lernt künftig die individuellen Schreibstile und Arbeitsweisen von Anwälten, anstatt für jede Aufgabe neue Vorgaben zu benötigen. Gedächtnis für Word und Outlook Im Zentrum des Updates steht die neue Funktion Memory. Bisher müssen Nutzer bei jedem Prompt neu erklären, welche Textstruktur, Detailtiefe oder Zitierweise sie erwarten. Memory speichert diese Vorlieben ab und wendet sie automatisch an. Das funktioniert direkt in Harvey, greift aber auch auf Microsoft Word und Outlook über. + Quelle: harvey ai Memory informiert die angebundenen KI-Agenten über bevorzugte Arbeitsschritte. Nutzer können jederzeit einsehen, was Harvey sich gemerkt hat, und Einträge ändern oder löschen. Harvey versichert, dass diese persönlichen Daten niemals in das Training der Modelle einfließen. Anzeige Arbeitsräume für den Fallkontext Das Update bündelt die juristische Arbeit in sogenannten Spaces. Diese projektspezifischen Bereiche fassen alle Dokumente, Aufgaben und Zugriffsrechte eines Mandats zusammen. Die KI-Agenten operieren künftig direkt innerhalb eines Spaces. Sie kombinieren dort das persönliche Gedächtnis des Anwalts mit den Dokumenten aus dem jeweiligen Fall. Dadurch können die Agenten inhaltlich anspruchsvollere Aufgaben übernehmen, ohne dass Nutzer den Sachverhalt zuvor aufwendig rekonstruieren müssen. In Kanzleien synchronisieren sich die Berechtigungen direkt aus den bestehenden IT-Strukturen in den Space. Wenn Mitarbeiter zwischen Projekten wechseln, nehmen sie keine vertraulichen Daten mit. In drei Phasen zum Kanzlei-Standard Harvey hat Memory in den vergangenen sechs Monaten mit internationalen Großkanzleien und Rechtsabteilungen von Fortune-500-Unternehmen entwickelt. Die Funktion startet zunächst als Early Access für Einzelpersonen. In den kommenden Monaten weitet Harvey Memory auf Mandats- und Bereichsebene aus. Später soll die Funktion unternehmensweit arbeiten. Dabei ergänzen sich die Daten auf jeder Ebene, während vertrauliche Mandanteninformationen isoliert bleiben. Harvey wird laut Unternehmensangaben weltweit bereits von 100.000 Anwälten in 70 Ländern genutzt und von Investoren wie dem OpenAI Startup Fund unterstützt.

  • Nvidia reduziert den KI-Speicherbedarf mit neuer DMS-Technik deutlich

    Viele Nvidia HBM Speicher werden zu einem HBM Speicher

    Nano Banana

    Kurzfassung
    ▾

    Quellen
    ▾

    Nvidia hat mit Dynamic Memory Sparsification eine Methode zur achtfachen Kompression des KV-Caches von Sprachmodellen entwickelt. Die Technik analysiert Token während der Textgenerierung und löscht unwichtige Kontextinformationen dynamisch aus dem Speicher. Dadurch sinkt der Hardwarebedarf für lange Überlegungsketten massiv, ohne die Genauigkeit der KI-Antworten zu beeinträchtigen.

    arXiv: Inference-Time Hyper-Scaling with KV Cache Compression

    Nvidia hat mit Dynamic Memory Sparsification (DMS) eine neue Methode vorgestellt, die den Speicherbedarf von Sprachmodellen bei der Textgenerierung deutlich senkt. Die Technik komprimiert den sogenannten KV-Cache um den Faktor acht, ohne die Genauigkeit der Berechnungen messbar zu verringern. Der Flaschenhals im Arbeitsspeicher Moderne KI-Modelle durchlaufen bei komplexen Anfragen einen ausführlichen Überlegungsprozess, bevor sie eine finale Antwort ausgeben. Jeder generierte Zwischenschritt belegt dabei Platz im sogenannten Key-Value-Cache (KV-Cache). Dieser Zwischenspeicher hält den bisherigen Kontext bereit, damit der Prozessor ihn nicht bei jedem neuen Wort komplett neu berechnen muss. Bei langen Überlegungsketten füllt sich der Videospeicher der Grafikkarten rasend schnell. Das führt unweigerlich zu einem Hardware-Limit, da die Kapazität des Grafikspeichers die maximale Länge der Antwort begrenzt. Um längere Ausgaben zu ermöglichen, mussten Betreiber bisher teure Rechencluster mit mehr Arbeitsspeicher zusammenschalten. Eine reine Vergrößerung der Hardware skaliert jedoch schlecht und treibt die Betriebskosten in die Höhe. Anzeige Dynamisches Aussortieren von Daten Der Lösungsansatz von Nvidia setzt exakt bei diesem Speicherproblem an. Das DMS-Verfahren analysiert während der Textausgabe kontinuierlich die Wichtigkeit der gespeicherten Token im Cache. Unwichtige oder redundante Informationen löscht der Algorithmus umgehend aus dem Speicher. Nur die für den logischen Zusammenhang zwingend notwendigen Daten verbleiben für weitere Berechnungen. Im Gegensatz zu älteren Kompressionsmethoden arbeitet die Technik nicht mit starren Vorgaben. Laut dem veröffentlichten Forschungspapier passt sich der Löschvorgang in Echtzeit an die jeweilige Aufgabe an. Forscher der University of Edinburgh dokumentieren in einer Analyse, dass diese gezielte Verkleinerung des Speichers die Ausgabequalität sogar stabilisiert. Das Modell verliert bei sehr langen Texten seltener den Fokus durch überflüssige Kontextinformationen. + Quelle: arxiv.org/abs/2506.05345 Effizienzgewinn in der Praxis Die Speicherersparnis durch DMS ermöglicht den Modellbetrieb mit einem Bruchteil der bisher nötigen Systemressourcen. Nvidia verspricht in den Dokumentationen eine achtfache Kompression des Speichers. Das bedeutet, dass Server achtmal längere Kontextfenster auf der exakt gleichen Grafikkarte verarbeiten. In der Praxis muss sich zeigen, ob dieser theoretische Wert bei jedem Modelltyp verlässlich greift. Erste Implementierungen stehen der Entwicklergemeinde bereits zur Verfügung. Auf Plattformen für maschinelles Lernen finden sich angepasste Varianten aktueller Sprachmodelle, welche die DMS-Technik nativ ausführen. Gleichzeitig integriert der Hersteller den Code in seine bestehenden Basis-Bibliotheken. Erste Praxistests starten nun.