28 Jul 2026, 14:40 UTC≈9,560 views39 reactionsread 8 August 2026 Вернувшись с ICML, с головой закопался в новый апдейт SWE-rebench и лидерборда! 🛠️
Этот релиз мы сделали масштабнее, он мультиязычный. Собрал 111 задач на 5 языках, сделал кучу прогонов и зарылся в траектории агентов, чтобы отловить, как именно модели читерят и обманывают эвалы.
Всю более подробную аналитику собрал в большой блогпост.
📊 Статья с разбором: https://teletype.in/@ibragim_bad/swe-rebench-2026-07
🏆 Лид…
🔥27❤🔥7💩4👍1
4 Jul 2026, 08:31 UTC≈2,560 views64 reactionsread 8 August 2026 Photo
Приехал в Сеул на ICML (одна из трех топ ai конференций) с SWE-rebench-v2, который прошёл сюда, так что буду со стенгазетой на постерной сессии ICML, а потом ещё на воркшопе про код.
В этот раз у нас здесь большая команда и сразу две статьи на main track.
Приходите, если вы тоже здесь, и пишите — сгоняем попить прохладительные напитки.
Фотку приложу со своей прошлой поездки в Сеул, потому что новых пока не сделал.
👍39❤9💩7❤🔥5🔥4
1 Jul 2026, 17:46 UTC≈2,540 views38 reactionsread 8 August 2026 За последний месяц сделали несколько апдейтов SWE-rebench Leaderboard:
https://swe-rebench.com/
> собрали новые задачи и прогнали кучу моделей на свежем срезе
> обновили интерфейс, сделали его более понятным и красивым
> добавили rebench в HarborHub: теперь бенчмарк можно запускать в Harbor
Мы немного поменяли формат апдейтов: теперь делаем их не каждый месяц, а примерно раз в два месяца. Зато в каждом таком обнов…
❤🔥15👍11🔥8❤3💩1
17 Jun 2026, 15:28 UTC≈12,500 views63 reactionsread 8 August 2026 Photo
В начале апреля я выступал на AI Engineer Europe – и на днях вышло видео моего доклада!
имхо: AI Engineer — сейчас одна из лучших конференций по прикладному AI. Еще у них есть YouTube-канал, на 500к+ подписчиков, куда выкладывают видео выступлений. Там много классных записей!
видео доклада:
https://youtu.be/wcUJWP6WpGM
Я рассказывал про лидерборд SWE-rebench — динамический бенчмарк со свежими SWE-задачами с GitHub…
❤🔥28🔥18😁9👍4❤2👀1💩1
14 May 2026, 12:20 UTC≈3,700 views51 reactionsread 8 August 2026 Photo
Когда-то в университетские годы мы много организовывали мероприятия с минимальным бюджетом. Концерт студвесны на два часа: с костюмами, реквизитом и типографией — умудрялись собрать примерно за 12 тысяч рублей.
Потом были ивенты побольше. На одном из награждений нужно было накормить 100+ человек, а бюджет был всё такой же минимальный. Тогда мы собрали волонтёров, которые помогли приготовить огромный казан плова — им…
❤🔥20❤17🔥12💩2
28 Apr 2026, 15:52 UTC≈4,330 views44 reactionsread 8 August 2026 Буду в Казани, решил сделать небольшое выступление + встречу подписчиков.
Поговорим про кодовых агентов. Сделал комфортный уровень для понимания, но при этом плотно по смыслу. Никакой сухой теории или пересказов чужих кейсов — сконцентрированный опыт по агентам и эвалам: как гоняем сами, как сравнивать модели итп. Будет полезно тем, кто уже ими пользуется и/или интересуется темой.
Ещё добавил развлекательную часть:…
❤21🔥14❤🔥5👍4
15 Apr 2026, 10:46 UTC≈4,420 views82 reactionsread 8 August 2026 Как я смонтировал видео с лекции прямо с телефона (и без ручного труда)
Выложил видео с недавнего выступления на Innovation Guild. Посмотреть можно тут.
Я никогда не занимался видеомонтажом и не хотел тратить на это время. Был запрос: уложиться в час-два максимум и получить адекватное качество.
Более того, я хотел сделать это автоматически и автономно , так что я запустил агента и вышел из дома, потом уже просто …
❤🔥35🔥32👍12👏3
13 Apr 2026, 16:10 UTC≈2,950 views7 reactionsread 8 August 2026 File
File, posted without a caption
❤7
13 Apr 2026, 16:10 UTC≈3,070 views35 reactionsread 8 August 2026 Два доклада и как прошел AI Engineer: впечатления спикера
Прошлая неделя выдалась плотной: я выступил с докладом про SWE-rebench Leaderboard два раза!
Сначала заглянул на Innovation Guild. Хорошая аудитория, комфортная атмосфера. Получилось отлично пообщаться, классные вопросы — спасибо Айбулату за приглашение! Если вы в Лондоне, горячо рекомендую заглядывать к ним в офлайне.
Про AI Engineer Europe. Это их первый …
🔥19❤11❤🔥4👍1
24 Mar 2026, 13:38 UTC≈3,620 views39 reactionsread 8 August 2026 Мои новости сразу пачкой:
1. Пару недель назад сходил попить кофе с Ross Taylor из gr.inc ($10M raised), кофаундером Papers with Code (кто-то помнит еще такое?) и лидом по ризонингу в Llama 2/3. Сегодня они запустили свою платформу для RL - OpenReward. По сути, это клей между разными датасетами задач для RL и бэкендами для обучения (как Tinker, например). Мы поддержали там SWE-rebench-V2 с первого дня.
2. Обновили …
❤🔥24❤8🔥4👍2🎉1
6 Mar 2026, 15:42 UTC≈4,460 views54 reactionsread 8 August 2026 недавно записали подкаст с ребятами из JetBrains Research
https://youtu.be/-G3e0qffIPE?is=MAmdpFNKXu3n16AB
Подкаст свежий, это только второй выпуск (первый был с Анной Коган, ex-ceo OpenCV)
поговорили про мой путь из стоматологии в рисерч, SWE-rebench, кодовых агентов,
наши свежие релизы (SWE-rebench-V2 и contree)!
Советую чекнуть профили ведущих!
Игорь один из авторов известного курса по CV на степике, это был м…
🔥27❤19👍8
3 Mar 2026, 10:46 UTC≈49,200 views107 reactionsread 8 August 2026 Photo
Последние пару месяцев я плотно работал над этим релизом, и наконец-то мы выкатываем его в опенсорс!
📟 Встречайте SWE-rebench-V2: самый большой открытый, мультиязычный датасет для обучения кодовых агентов!
Вместе с командой Nebius AI R&D мы построили пайплайн для масштабного сбора задач из реальных GitHub репозиториев и теперь делимся всем с комьюнити. На текущий момент это самый большой и разнообразный открытый да…
❤64🔥35✍4👍3🤔1
Showing the 12 most recent of 20 posts we hold for @c0mmit. View and reaction counts are the latest single reading for each post, not a live figure, and a recent post is still accumulating both. A view count marked ≈ was rounded by Telegram before we ever saw it — t.me prints views in full below 1,000 and to three significant figures above, so ≈1,200,000 means somewhere between 1,150,000 and 1,249,999. Unmarked counts are exact. Text is reproduced from the public post preview and truncated for length.