HDC im Überblick

• High-Dimensional Computing With Sparse Vectors Using Clojure: der große. Binäre dünn besetzte Blockcodes in Clojure, ein Sparse Distributed Memory (SDM) mit Multi-Value-Modus, ein k-fach-Sequenzspeicher und meine These, dass Kanervas Adressdecoder ein leserzentrierter Zellverband (Cell Assembly) ist, vom Leser aus gesehen: der Decoder ist der Leser, die Eingabemuster innerhalb seines Radius sind seine Verbände.
• Machine Learning Diary: Iris klassifizieren mit einem Sparse Distributed Memory, im Erkundungsmodus.
• Neuronal Ensemble Memetics: der sehr große Notizstapel zu Zellverbänden, in dem HDC zum ersten Mal auftaucht, als der prinzipiellere Zugang zu einigen derselben Ideen.
• Neuronal Memetics Overview: die Kurzfassung. Ensembles als aktive Datenstrukturen, ein Hyperraum als Begriffsraum.
• Current Stuff | November 2024: eine Momentaufnahme, mit einem Abschnitt zu HDC, SDM und assoziativen Modellen.

Ein kleines Clojure, in dem jeder Wert ein Vektor aus 2048 Zahlen ist: Listen, Maps, Sets, ganze Zahlen, Closures und die Umgebung, in der der Evaluator läuft. Es überträgt Hey Pentti, We Did It! von Tomkins-Flanagan und Kelly, ein Lisp 1.5 aus holographischen reduzierten Repräsentationen, auf Clojure³ und lässt es dann laufen, bis es bricht. Die Übersicht und der Aufbau sind Notebooks, deren Zahlen der Code live berechnet. Code.

• A Vector-Symbolic Clojure: die Übersicht. Das Design, wie robust es ist, Programmieren in Überlagerung und die fünf Fallen, in die ich getappt bin.
• Building a Vector-Symbolic Interpreter: von Zufallsvektoren bis (fact 5), Schritt für Schritt.
• How the Vector-Symbolic Clojure Got Here: was kaputtging, ungefähr in der Reihenfolge, in der ich es fand, und was sich geändert hat.
• Reproducing the Traps in the Original Code: die fünf Fallen, ausgeführt gegen den Code der ursprünglichen Autoren selbst; das zeigt, welche davon dort zutreffen, mit Errata für die Autoren.⁴

HDC-MiniROCKET ist die Arbeit von Kenny Schlegel, Peer Neubert und Peter Protzel, damals alle an der TU Chemnitz. Schlegel ist noch dort; Neubert ist jetzt an der Universität Koblenz.⁵ MiniROCKET macht aus einer Zeitreihe etwa 10.000 Merkmale, die ignorieren, wann etwas passiert ist. HDC-MiniROCKET bindet die Merkmale jedes Zeitschritts an einen Vektor, der diesen Zeitpunkt kodiert, und ein Skalenparameter s legt fest, wie fein die Zeitauflösung ist (s = 0 ist einfaches MiniROCKET).⁶ Ein späteres Paper von Schlegel, Rachkovskij, Kleyko und weiteren Autoren gibt drei reellwertige Varianten der Positionskodierung; eine davon, Sinusoid, hat einen exakten Verschiebungsoperator.⁷ Die Ideen stammen von ihnen. Diese Serie reproduziert ihre Arbeit und zieht an Fäden, die sie offen gelassen haben. Vier Teile, negative Ergebnisse als negativ benannt:

1. Reproducing HDC-MiniROCKET: eine Neuimplementierung im Clean-Room-Verfahren, auf allen 128 UCR-Datensätzen. Die veröffentlichten Genauigkeiten pro Datensatz reproduzieren sich exakt aus dem Code der Autoren, so wie er vor einem Bugfix von 2022 war. Die drei reellwertigen Kodierungen unterscheiden sich nicht signifikant. Der Verschiebungsoperator verschiebt Positionen; er sagt nicht den Vektor eines verschobenen Signals voraus.⁸
2. Choosing the Time Scale: wie man s wählt, ohne in die Testdaten zu schauen. Ein Entwicklungslauf auf 20 Datensätzen mit drei Seeds, in meiner Kodierung und auch in Kodierung und Pipeline der Autoren: Keine Methode, die ich probiert habe, schlägt die automatische Wahl aus ihrem Folgepaper von 2025, und diese Wahl ist auch nicht signifikant besser, als die Zeitkodierung ganz wegzulassen. Mehr als die Hälfte des Orakel-Gewinns ist Auswahl auf dem Rauschen der Testdaten. Die 20 Datensätze neigen zur Zeitkodierung hin, das sind also Entwicklungsergebnisse, keine Schlüsse.⁹
3. Streaming HDC-MiniROCKET: den Sequenzvektor mit dem Verschiebungsoperator in O(D) pro Sample aktuell halten. Er gleicht dem Batch-Vektor des Anfangsstücks, sobald der Rand nachgezogen ist, und bei Fenstern von 256 bis 4096 Samples ist ein Schritt zehn- bis hundertfach billiger als neu zu kodieren, wenn man bei jedem Sample vorhersagt. Negativ: Auf Anfangsstücken einer Reihe ist HDC nicht besser als einfache MiniROCKET-Merkmale, und ein Klassifikator, der auf ganzen Reihen trainiert ist, kann Anfangsstücke nicht lesen.¹⁰
4. Finding the Shift: zwei Reihen ausrichten, indem man die Verschiebung zwischen ihren Vektoren durchfährt, die ganze Ähnlichkeitskurve in einer Transformation. Negativ: Eine eingepflanzte Kopie in einem Datenstrom findet es seltener als der schlichte MASS-Algorithmus, selbst mit viel mehr Speicher als der Rohdatenstrom, und mit nicht mehr Speicher als der Strom findet es sie in 10 % der Fälle gegen 93 % bei MASS. Das Finden von Reihen derselben Klasse kommt im Mittel nah an MASS heran, aber nicht auf jedem Datensatz.¹¹

Alle diese Repos sind öffentlich auf GitHub.

• vector-symbolic-clj: der Code hinter der Serie A Vector-Symbolic Clojure.
• vsa-binary-sparse-distributed-segments-clj: binäre dünn besetzte segmentierte Vektoren nach Laiho et al.,¹² das SDM und kleine Beispiele für Programmieren in Überlagerung: What is the dollar in Mexico?, nichtdeterministische Automaten, Bäume, Analogien.
• hdc-anomaly-skab: Anomalieerkennung auf dem Sensor-Benchmark SKAB. F1 0,71, gegen 0,78 für die besten Methoden der Bestenliste, mit Training in einem Durchgang und einem Modell von 1,2 KB. Mein Schwellwert ist auf dem Test-Split eingestellt, während die Notebooks der Bestenliste ihren ohne die Test-Labels festlegen, also ist die 0,71 optimistisch.¹³
• clj-hdc-push: eine Clojure-Bibliothek zum Erkunden von HDC auf PyTorch: MAP, HRR, FHRR und Blockcodes, Resonatornetze. Gedacht als HDC-Schicht für genetisches Programmieren im Stil von Push.
• hdc-wolfram: die Anfänge eines HD/VSA-Frameworks für Wolfram, gesteuert aus Clojure über Wolframite, mit Notebooks.
• hyper-substrates: Visualisierung ensembleartiger neuronaler Netze (Blerps), auf dem Weg, ein biologisches Substrat mit HDC und assoziativem Speicher zusammenzubringen.

• Zeitskala auf zurückgehaltenen Daten. Die Methoden aus dem Entwicklungslauf einfrieren, dann die 108 zurückgehaltenen UCR-Datensätze mit drei Seeds rechnen. Erst dann zählt irgendeine Aussage über s.
• Streaming auf einem echten Datenstrom. Daten menschlicher Aktivität statt synthetischer Ströme, und eine echte Strategie zur frühen Klassifikation, die aufhört, sobald sie sicher ist, mit ihrem Abwägen zwischen Frühzeitigkeit und Genauigkeit.
• Verschiebungsinvariante Ähnlichkeit. Das Maximum über alle Verschiebungen als Ähnlichkeit zwischen Reihen, für 1-Nächster-Nachbar-Klassifikation, gegen euklidischen Abstand und DTW.
• Bessere Lokalisierung. Den Ausläufer des Verschiebungsschätzers reparieren, der im Median stimmt und zu oft grob danebenliegt.

• Ist ein neuronales Ensemble ein Hypervektor, oder sieht es nur von Weitem so aus?
• Die Verschiebungssuche sagt: Die Vektoren tragen das Was gut und das Wo schlecht. Ist das eine Grenze der Dimension, oder eine glatter Signale, die ihre Energie auf wenige Frequenzen legen?
• Ist ein festes s = 7 wirklich so gut, oder spricht da die kleine Entwicklungsmenge?
• Braucht frühe Klassifikation einen Klassifikator pro Länge des Anfangsstücks, oder gibt es eine Kodierung, in der ein Anfangsstück nur ein verrauschtes Ganzes ist?
• Wo hört Programmieren in Überlagerung auf, billiger zu sein als schlichtes Suchen?
• Was spielt im Gehirn die Rolle des Cleanup-Speichers?