13 Feb 2024, 13:42 UTC≈1,500 views12 reactionsread 8 August 2026 Cloudflare — пример того, как нужно решать вопросики.
Даже за вычетом их крутых продуктов, которыми пользуется весь мир, (например 1.1.1.1 и CDN), они идут в сторону своей миссии — открытого и безопасного интернета для всех.
Они пишут очень крутые постмортемы (рекомендую прочитать последний), делают крутые партнерки (serverless деплой модельки с HF на CDN), а также сражаются с патентными троллями, о чем и сегодняшн…
👍10❤1🤮1
3 Feb 2024, 10:45 UTC≈1,570 views18 reactionsread 8 August 2026 В одной из первых домашек курса Efficient Deep Learning Systems предлагается порешать маленькие задачки, чтобы научить глубже понимать, как работает код на GPU – https://github.com/srush/GPU-Puzzles. 14 небольших задач на Python+NUMBA – несколько прекрасных вечеров, проведенных за решением этих головоломок, вам обеспечены. У srush много подобных занимательных задач, есть и про распределенное обучение, и про трансформ…
👍12❤3🤔2🔥1
2 Feb 2024, 14:43 UTC≈1,570 views13 reactionsread 8 August 2026 На фоне того, что Цукерберг скупает сотни H100 для обучения новых версий LLama, все остальные начинают страдать от нехватки high-end видеокарт.
А что делать бедным ресерчерам, у которых нет доступа к таким ресурсам?
Ну например, пробовать дообучать большие модели через децентрализацию, как делают в Petals.
Или, как предложили те же авторы Petals, обучать их, используя SWARM Parallelism.
Сегодня разбор именно этого по…
🔥11🤔1🥰1
31 Jan 2024, 16:45 UTC≈1,080 views12 reactionsread 8 August 2026 Наверное, стоит отдельно рассказать про топ 1 решение Kaggle соревы из поста выше.
Не буду вдаваться глубоко в детали моделей, так как победители одновременно являются сотрудниками компании Owkin, которая занимается почти такой же задачей. Так что они использовали обученный у себя ViT(Phikon) как backbone для генерации признаков.
Идея понятная — несколько разных ViT-like моделей как генераторы эмбеддов из кусков бол…
🔥8👍3❤1
31 Jan 2024, 16:40 UTC819 views9 reactionsread 8 August 2026 Про аугментации.
Я довольно давно не копался в CV. Последнее, что я помнил — albumentations лучшие в плане скорости работы и ассортимента методов в API.
С тех пор не сильно что-то изменилось, кроме того, что я успел подергать torchvision в Мете, и он мне реально понравился в плане удобства и скорости работы.
В рамках соревы все-таки задался вопросом, что сейчас происходит в аугментациях. Рассказываю.
Ну во-первых,…
👍7🔥2
30 Jan 2024, 12:20 UTC669 views5 reactionsread 8 August 2026 Photo
Про бенчмарки загрузки png картинок.
Ужасно сгорел, перебирая разные способы загрузки png картинок. Настолько, что сел искать разные замены PIL. Так я наткнулся на бенч из поста выше и решил немного допилить его под png.
Сводные результаты для картинок размером около imagenet (300х300) и огромных (10к х 10к) прикрепил.
Ссылку на код закину в комменты.
Из интересного:
— Torchvision стабильно аутперформит всех и вся …
🔥5
30 Jan 2024, 12:18 UTC608 views9 reactionsread 8 August 2026 Поучаствовал в прошлом месяце в UBC-Ocean сореве вместе с Димой. Больше ради того, чтобы вспомнить (а где-то и узнать), что там такого в компьютерном зрении происходит.
Суть соревнования простая — есть снимки проб человеческих тканей, надо распознавать тип рака.
Но, конечно, есть несколько нюансов:
— Есть два типа картинок: WSI (whole slide images) и TMA (tissue microarrays). TMA — это 40-кратный зум среза, при этом…
👍6🔥3
25 Jan 2024, 14:12 UTC807 views14 reactionsread 8 August 2026 Я потихоньку копаю историю про затачивание LLM-ок под свои задачи, желательно с инференсом на ноутбуке/смартфоне. Очень зацепила история про то, как дообучать большие модели меньшими ресурсами.
Собственно, про LoRa и QLoRa сейчас из каждого утюга, я вам принес разбор первой.
LoRA (Low-Rank Adaptation of Large Language Models) — это один из способов дообучать любую большую модель меньшим ресурсом (впрочем, можно приме…
🔥10⚡1❤1🍓1🥴1
Channel photo updated
28 Dec 2023, 12:27 UTC≈1,110 views14 reactionsread 8 August 2026 Этот год был тяжелым во всех смыслах. Но в то же время он был вдохновляющим и интересным.
В отпуске в Шотландии у меня было время поразмышлять о том, каким будет следующий год. И вот к каким мыслям я пришёл:
— мы все больше будем видеть применение больших моделек на персональных девайсах. Вычислительная фотография там уже давно, ждём звук и текст. Мне нравится движение вокруг ollama comfyui. Компании медленно начина…
🔥10❤4
24 Dec 2023, 17:51 UTC844 views11 reactionsread 8 August 2026 Коротко про навыки ML инженера
Я считаю, что каждый ML инженер, кроме своей области ML, должен разбираться еще в двух вещах:
- алгоритмах;
- инфраструктуре, которую он использует.
В целом это верно в том числе и для дата инженеров.
Понимание алгоритмов дает вам интуицию при оценке скорости работы вашего кода (а еще иногда идеи для ускорения).
Однажды я увидел в продакшене код составления драфта рекомендаций, которы…
🔥9❤2
23 Dec 2023, 17:27 UTC684 views7 reactionsread 8 August 2026 Рекомендаций книг пост
В 2020 году я прочитал «Проект Феникс». Увидел множество рекомендаций этой книги в чате ctodaily (чат при канале Самата, ведущего подкаста «Запуск завтра»), так и дополз.
Эта книга написана в довольно интересном жанре «бизнес-роман». Если вкратце про жанр – это попытка донести какую-то бизнес-концепцию с помощью незамысловатого сюжета. Другие интересные примеры этого жанра – «Цель» Голдратта …
🔥4✍2❤1
Showing the 12 most recent of 19 posts we hold for @pragmaticml. View and reaction counts are the latest single reading for each post, not a live figure, and a recent post is still accumulating both. A view count marked ≈ was rounded by Telegram before we ever saw it — t.me prints views in full below 1,000 and to three significant figures above, so ≈1,200,000 means somewhere between 1,150,000 and 1,249,999. Unmarked counts are exact. Text is reproduced from the public post preview and truncated for length.