27 Oct 2026, 10:09 UTC≈1,500 views31 reactionsread 9 November 2026 DFlash — диффузионный метод спекулятивного декодинга
Сегодня поговорим о DFlash — методе спекулятивного декодинга, использующем легковесную модель блочной диффузии для параллельной генерации драфтовых токенов.
Но для начала о том, почему имеет смысл использовать диффузионные модели в спекулятивном декодинге. Средняя задержка генерации одного токена определяется суммой времени верификации и времени драфтинга, делённ…
❤🔥17❤8🔥6
29 Sept 2026, 09:09 UTC≈2,710 views27 reactionsread 9 November 2026 Photo
Технический отчёт DeepSeek-V4.1-Flash — часть 2/2
Продолжаем разбирать техрепорт DeepSeek-V4.1-Flash. Сегодня поговорим об архитектуре, а ещё речь пойдёт об обучении.
В SWA прогоняется не весь контекст, а только последние 128 токенов для построения начального SWA KV. Это не сильно влияет на качество, но позволяет уменьшать общий размер кеша в восемь раз по сравнению с тем, что было у DeepSeek-V4-Flash.
Также в вер…
🔥11👍9❤5❤🔥2
24 Sept 2026, 08:48 UTC≈3,060 views30 reactionsread 9 November 2026 Photo
Технический отчёт DeepSeek-V4.1-Flash — часть 1/2
Разберём технический отчёт DeepSeek-V4.1-Flash. В первой части обсудим архитектуру модели. Главное достижение авторов — экстремальное сжатие KV-кеша. При стандартном для frontier-моделей максимальном контексте в миллион токенов глобальный KV-кеш на один токен составляет 890 байт, что делает инференс даже максимального числа токенов почти бесплатным (менее одного гига…
❤18🔥6👍4👾2
11 Sept 2026, 12:15 UTC≈3,580 views31 reactionsread 9 November 2026 Photo
Дистилляция DeepSeek-R1
Сегодня разберём, как DeepSeek-R1 на 671B параметров дистиллировали в модель на 32 миллиарда параметров. Зачем вообще это нужно? Вышедшая в сентябре 2024 года o1 доказала, что test-time scaling работает — если дать модели подумать, то она даст более качественный ответ. Однако тогда пользователю не показывали сырую цепочку рассуждений, а особенности метода не раскрывали. Было непонятно, как эт…
❤16👍7🤷♂3🥴3🔥2
3 Sept 2026, 11:15 UTC≈3,600 views28 reactionsread 9 November 2026 Photo
Loop the Loopies!
Сегодня обсудим статью, которая посвящена моделям Loopies, построенным на шеринге параметров между разными слоями.
Обычно у трансформерных моделей и свёрточных нейросетей отдельные параметры на каждом блоке, благодаря чему объём вычислений и число параметров масштабируются с глубиной. Это даёт гибкость — каждый блок может выполнять специфические задачи. Но при этом с ростом числа слоёв растёт и ко…
🔥19❤4❤🔥3💯1🤔1
20 Aug 2026, 12:20 UTC≈3,400 views15 reactionsread 9 November 2026 Photo
Context-1 — поисковый агент, который умеет избавляться от лишнего. Часть 2/2
Продолжаем изучать агент Context-1. В первой части мы рассмотрели, что это вообще такое и какие задачи перед собой ставили авторы. А в этой части поговорим о метриках и обучении.
Для оценки качества ответа авторы предлагают использовать четыре метрики: Final answer found (смогла ли модель найти документ с правильным ответом в выдаче), Reca…
🔥8❤4❤🔥2🗿1
13 Aug 2026, 11:41 UTC≈3,420 views16 reactionsread 9 November 2026 Context-1 — поисковый агент, который умеет избавляться от лишнего. Часть 1/2
Авторы сегодняшней статьи заявляют следующую проблему. Когда агент ищет что-то в поиске, то нерелевантные страницы, выданные браузером, всё равно остаются в контексте агента. Чтобы справиться с этим, контекст можно обрезать или суммировать.
Ещё одно весьма перспективное направление в этой области — self-editing context, при котором модель …
❤7🔥5❤🔥3🤮1
6 Aug 2026, 12:28 UTC≈3,650 views21 reactionsread 9 November 2026 Photo
Как агенты оценивают собственный успех
Представим ситуацию: инженеру нужно починить баг в сервисе аутентификации с помощью кодового агента. До начала работ агент сообщает, что вероятность успеха — 72%. По ходу работы меняет мнение на 78%, после всех изменений — 92%, а какой-нибудь AI-ревьюер пророчит положительный результат с вероятностью 85%. Однако по итогу патч, сделанный агентом, не работает — то есть прогнозы о…
❤9🔥8❤🔥3👍1
31 Jul 2026, 08:42 UTC≈3,330 views24 reactionsread 9 November 2026 Photo
AgentFold — метод управления контекстом для агентов на длинных задачах
На длинных сценариях поиска и анализа веб-агенты либо хранят слишком много сырой информации, либо слишком часто её суммаризируют, что забивает контекст. Авторы сегодняшней статьи предлагают метод AgentFold (GitHub), призванный решить эту проблему, сделав память агента динамической и управляемой самим агентом.
Сейчас в веб-поиске используются два…
❤🔥10👍9❤3🔥2
21 Jul 2026, 09:12 UTC≈3,220 views18 reactionsread 9 November 2026 File
Asynchronous Reasoning: Training-Free Interactive Thinking LLMs
Сегодня поговорим о статье, в написании которой принимали участие инженеры Яндекса. Публикация посвящена асинхронному ризонингу, а в её основе лежит метод, описанный в работе Hogwild! Inference: Parallel LLM Generation via Concurrent Attention, поэтому сперва — кратко о ней.
Это тоже статья от Yandex Research, а также от HSE и IST Austria. Авторы поста…
🔥13❤3👍2
17 Jul 2026, 09:40 UTC≈4,590 views27 reactionsread 9 November 2026 Photo
Тренды из мира бенчмарков на ICML 2026 [2/2]
SWE-rebench V2: Language-Agnostic SWE Task Collection at Scale
Ребята из Nebius расширили свой SWE-rebench на новые языки: сфокусировались на масштабируемости и пригодности для сбора RL-лёрна. Две ключевые части пайплайна: сборка окружения под каждый репозиторий и отбор задач для тестов.
Окружение собирают собственным интерактивным агентом. Он читает README или конфиги …
❤🔥10🔥8❤7👎1🤩1
17 Jul 2026, 09:40 UTC≈2,410 views15 reactionsread 9 November 2026 Photo
Тренды из мира бенчмарков на ICML 2026 [1/2]
Работ о бенчмарках на ICML традиционно много. По сравнению с прошлым годом, в 2026 стало заметно больше бенчей для агентов. А ещё начали чаще встречаться работы из академии.
Объяснение простое. Корпорации вкладывают много сил во внутренние бенчи: делают сами, покупают их у data-labeling-компаний (например, Surge, Mercor, Handshake AI, Toloka) — и, как следствие, такие бе…
👍7❤5❤🔥2🔥1
Showing the 12 most recent of 15 posts we hold for @stuffyNLP. View and reaction counts are the latest single reading for each post, not a live figure, and a recent post is still accumulating both. A view count marked ≈ was rounded by Telegram before we ever saw it — t.me prints views in full below 1,000 and to three significant figures above, so ≈1,200,000 means somewhere between 1,150,000 and 1,249,999. Unmarked counts are exact. Text is reproduced from the public post preview and truncated for length.