7 Aug 2026, 12:16 UTC155 views4 reactionsread 8 August 2026 Я тут копошусь по корпусам тектостов статей и вижу зияющее подтверждение того о чём говрил раньше - придумать механизм и сделать чтобы сообщество его заметило - две очень разные вещи.
Помнится на на датафесте год назад я рассказывал про то, что локальных минимумов, не счуществует, а ландшафт на самом деле каньон в котором оптимизатор мечется между стенками.
Позже выяснилось, что статья о том, что локальных минимумов …
❤4
13 Jul 2026, 10:57 UTC360 views5 reactionsread 8 August 2026 Photo
Ту самую гроккинговую задачку я уже знаю как облупленную. Подумал я тут на досуге, а что если дать той же сетке задачку посложнее, и дал. Три оппернда в обратной польской записи, все возможные операции, то есть 16 вариантов операций в общей сложности. Модуль взял 47, потому что размеры датасета получились, как куб от модуля - эпохи по 10 секунд. Как обычно 50% в валидейшене. В общем-то я ожидал любого разхвития ситуа…
😁5
8 Jul 2026, 15:32 UTC466 views1 reactionsread 8 August 2026 Photo
Что бы такого замутить на юбилей? И на сколько это что-то должно быть заумное. Пишите в комментариях.
❤1
8 Jul 2026, 09:34 UTC444 views4 reactionsread 8 August 2026 Photo
А вы раньше знали, что для достижения лучшего validation loss ваше расписание lr иногда должно его не уменьшать, а увеличивать?
🤯4
4 Jul 2026, 06:44 UTC656 views9 reactionsread 8 August 2026 Photo
Если вы занимаетесь агентской автоматизацией, и ещё не знаете с какой вероятностью LLM полностью крэшит вашу работу, значит вы ещё не до конца разобрались в агентской автоматизации...
😁5🔥4
1 Jul 2026, 21:04 UTC549 views4 reactionsread 8 August 2026 И вот уже бенчмарк Fable снова наливается соком и актуальностью. :))))
🎉2👍2
28 Jun 2026, 07:12 UTC661 views5 reactionsread 8 August 2026 Photo
Гроккинг другим способом, без weight_decay, кстати, ранг матриц после гроккинга не меняет, уже не использующиеся веса и связи так и продолжают лежать в матрице балластом.
🔥5
27 Jun 2026, 17:43 UTC517 views8 reactionsread 8 August 2026 Photo
Вот это гроккинг на 750-ой эпохе, а вот это - как меняются ранги матриц после гроккинга. После гроккинга значительная часть матриц становится попросту не нужна, и спокойненько деградирует в 2-5 раз. Так что киньте тапочком в того, кто скажет, что современные модели оптимальны, и реально нуждаются в том количестве параметров, которые им необходимы до того, как они правильно решат задачу.
👍5🔥3
27 Jun 2026, 13:31 UTC576 views3 reactionsread 8 August 2026 Сегодня обсуждали интересную возникшую петлю отрицательной обратной связи, для большинства метрикой успеха ИИ является принятое количество мердж реквестов, и исправлений, но их проверкой занимаются те же люди которые делают внедрение. Получается, чем менее качественно они свою работу по проверке того, что им натворил ИИ, тем выше оценка его полезности.
В голову приходят радикальные меры, типа мы не принимаем ваш рез…
👍1🤔1😁1
19 Jun 2026, 14:34 UTC524 views8 reactionsread 8 August 2026 Только что Клод собрал мне валидную научную статью, соответствующую формальным ограничениям, и общепринятому здравому смыслу с одного четёрехстрочного промпта. Конечно при этом ему было доступна более крупная версия моей статьи, включающая ту же тему, доступно было две папки результатов тестовых прогонов, под двести штук, папка с текстами 67 статей по связанным темам, и беглый анализ совпадающих и не совпадающих те…
😁7🤔1
18 Jun 2026, 18:25 UTC515 views6 reactionsread 8 August 2026 Из 67 статей по теме гроккинга 21 прошла на A*, хлебная тема, короче, для тех, чей успех и доход зависят от публикаций.
😁5👍1
18 Jun 2026, 08:42 UTC≈1,130 views10 reactionsread 8 August 2026 File
Оценка Fale-5 с циферками.
Если хотите лайкнуть - лучше сначала репостните.
Напомню, пока эта штука была доступна я успел прогнать свой бенчмарк, (на который пожёг свои лимиты), но не успел подвести итоги с циферками в руках, только качественные выводы и вот наконец-то подъехало сравнение количественное и подробный анализ использованных стратегий.
Спонсором и таким образом соавтором этого выпуска является Chill guy…
👍6🔥4
Showing the 12 most recent of 14 posts we hold for @GradientWitnesses. View and reaction counts are the latest single reading for each post, not a live figure, and a recent post is still accumulating both. A view count marked ≈ was rounded by Telegram before we ever saw it — t.me prints views in full below 1,000 and to three significant figures above, so ≈1,200,000 means somewhere between 1,150,000 and 1,249,999. Unmarked counts are exact. Text is reproduced from the public post preview and truncated for length.