6 Aug 2026, 08:53 UTC32 views1 reactionsread 8 August 2026 Photo
Proof of Concept
Проверил также вариант, где значения не вычисляются из ключей, то есть имеем три классические отдельные проекции входа в ключи, запросы и значения.
Схема другая, работает как ассоциативная память ключ-значение:
1. Связываем пары ключ-значение и собираем их суперпозицию – операция записи в память: ∑ⱼkⱼ⊙vⱼ. Используем cumsum для причинности.
2. Умножаем суперпозицию на запрос qᵢ – операция чтения …
❤1
6 Aug 2026, 08:10 UTC50 views3 reactionsread 8 August 2026 Photo
Proof of Concept
Сделал проверку концепции суперпозиции концепций.
Заменил в небольшом трансформере в self-attention вычисление оценок внимания и softmax на суперпозицию (ака векторная память).
Для этого:
1. Собираем суперпозицию ключей: ∑ⱼkⱼ. Используем cumsum для причинности.
2, Умножаем суперпозицию на запрос qᵢ (произведение суперпозиций), это даёт суперпозицию всех связанных пар ключ-запрос: qᵢ⊙∑ⱼkⱼ
3. Про…
🔥3
4 Aug 2026, 12:16 UTC38 views1 reactionsread 8 August 2026 Матричная ассоциативная память (линейное внимание) и векторная ассоциативная память
В линейном внимании в матрицу памяти S пара ключ-значение добавляется как внешнее произведение их векторов.
S = S + kᵀv
В векторную память пара ключ-значение добавляется как поэлементное произведение.
S = S + k⊙v
Чтение из линейного внимания – это матричное умножение ключа и состояния.
o = kS
Чтение из векторной памяти – это по…
🔥1
3 Aug 2026, 17:29 UTC62 viewsread 8 August 2026 Суперпозиция также представляет из себя ассоциативную память, из которой можно читать по запросу.
Если суперпозиция содержит в себе пары концепций: [ac, ad, bc, bd], то умножив её на вектор запроса q = a, получим суперпозицию значений [c, d], где запрос является частью пары.
(ac + ad + bc + bd) * a = c + d
import torch
import torch.nn.functional as F
D = 1024
# Векторы концепций
a, b, c, d = F.normalize(torch.ra…
3 Aug 2026, 16:57 UTC61 viewsread 8 August 2026 Если скрытое состояние представляет из себя суперпозицию, то возведение её в квадрат, например в ReLU², даст суперпозицию попарных взаимодействий элементов.
S² = (a + b + c + d) * (a + b + c + d) = aa + 2ab + 2ac + 2ad + bb + 2bc + 2bd + cc + 2cd + dd
import torch
import torch.nn.functional as F
D = 1024
# Векторы концепций
a, b, c, d = F.normalize(torch.randn(4, D))
# Исходная суперпозиция
S = a + b + c + d
# …
3 Aug 2026, 16:10 UTC68 viewsread 8 August 2026 import torch
import torch.nn.functional as F
D = 1024
# Векторы концепций
a, b, c, d = F.normalize(torch.randn(4, D))
# Исходные суперпозиции
S1 = a + b
S2 = c + d
# Произведение суперпозиций
S = S1 * S2
S = F.normalize(S.unsqueeze(0)).squeeze(0)
# Пары концепций
ac = a * c
ad = a * d
bc = b * c
bd = b * d
z = torch.vstack([ac, ad, bc, bd])
z = F.normalize(z)
# Находим пары концепций в результирующей суперпози…
3 Aug 2026, 16:09 UTC63 views1 reactionsread 8 August 2026 💡
Произведение двух суперпозиций даёт суперпозицию попарных взаимодействий их элементов.
Пример
Пусть первая суперпозиция S1 содержит в себе концепции a и b, а вторая S2 - c и d.
Перемножаем суперпозиции:
S = S1 * S2 = (a + b) * (c + d) = ac + ad + bc + bd
Результирующая суперпозиция S содержит в себе коды всех попарных комбинаций концепций. То есть получаем все возможные комбинации всего за одну операцию поэле…
👍1
3 Aug 2026, 13:38 UTC41 viewsread 8 August 2026 Photo
Photo, posted without a caption
3 Aug 2026, 13:37 UTC43 views1 reactionsread 8 August 2026 Weight-norm Criticality: A Mechanism for Loss Spikes Induced by the Normalization and Weight Decay
Критичность нормы весов: Механизм скачков функции потерь, вызванных нормализацией и L2-регуляризацией
https://www.alphaxiv.org/overview/2607.21005
Исследователи представляют "критичность нормы весов" — механизм, объясняющий всплески потерь в глубоких нейронных сетях, где взаимодействие слоев нормализации и уменьшения в…
🔥1
1 Aug 2026, 04:59 UTC61 views1 reactionsread 8 August 2026 Новый китайский стартап в области робототехники Light Origin.
https://d.fixupx.com/ErenChenAI/status/2080638854311059759
🔥1
31 Jul 2026, 09:15 UTC68 viewsread 8 August 2026 When Does Recurrence Become an Algorithm? Convergence Selection in Weight-Tied Looped Transformers
Когда рекуррентность становится алгоритмом? Выбор сходимости в зацикленных трансформерах со связанными весами
https://www.alphaxiv.org/overview/2607.20594
Это исследование показывает, что трансформеры с циклическим выполнением и связанными весами реализуют «линейный вычислительный фронт» для решения алгоритмических зад…
30 Jul 2026, 23:03 UTC52 viewsread 8 August 2026 Полуавтономный робот для услуг по уборке в домах (робот на час) в Сан-Франциско.
https://www.tau-robotics.com/
https://d.fixupx.com/CyberRobooo/status/2082271944976826720
Showing the 12 most recent of 20 posts we hold for @SparseHashAI. View and reaction counts are the latest single reading for each post, not a live figure, and a recent post is still accumulating both. A view count marked ≈ was rounded by Telegram before we ever saw it — t.me prints views in full below 1,000 and to three significant figures above, so ≈1,200,000 means somewhere between 1,150,000 and 1,249,999. Unmarked counts are exact. Text is reproduced from the public post preview and truncated for length.