29 Jul 2026, 10:19 UTC201 views5 reactionsread 8 August 2026 Photo
Software ручной работы
Кстати в гипотезу из предыдущего поста укладывается аналогия с ремеслами, которые сейчас стали историей.
Например, кузнечное дело. За тысячи лет кузнецы создали множество хитроумных приспособлений, приёмов как ковать металл и получать из него изделия. Были специальные инструменты, которые сейчас можно увидеть в музеях. Их ремесло казалось вершиной развития именно в том виде.
Но когда наука и…
👍5
27 Jul 2026, 12:17 UTC225 views10 reactionsread 8 August 2026 Языки программирования были нужны только человеку?
Мне пришла одна мысль и я попытался ее развить и порассуждать.
Что, если стек абстракций — от языков программирования до фреймворков — появился прежде всего как интерфейс для человека? Тогда что произойдёт с ним, если новым пользователем вычислительной техники становится AI?
Если оглянуться назад, развитие информационных технологий почти всегда шло через добавлени…
❤8💯2
13 Jul 2026, 16:18 UTC376 views12 reactionsread 8 August 2026 Асимметрия обратной связи
На днях поймал себя на мысли.
Иногда к концу дня чувствуется внутреннее напряжение. Стал разбираться, откуда оно берется, и пришел к такой мысли.
Мне кажется, у инженеров данных есть особенность обратной связи, которая создает психологическую нагрузку.
Обычно у продукта есть понятная обратная связь. Можно оценить, насколько часто он приносит пользователям ценность.
У разработчика сайта …
💯4👍3🤔3🤝1😁1
19 Jun 2026, 10:57 UTC554 views13 reactionsread 8 August 2026 Photo
Когда в последний день перед отпуском пытаешься доделать всё😁
😁12❤1
2 Jun 2026, 15:24 UTC727 views18 reactionsread 8 August 2026 Photo
Нужно запретить сортировку в дата-инжиниринге на законодательном уровне.
* так пошутил инженер из Databricks, объясняя работу Spark. Он показал, что сортировка увеличивает потребление ресурсов и время выполнения задачи в несколько раз. Мне понравилась эта цитата, потому что я пришел ровно к тому же выводу работая с Clickhouse. В итоге пришлось изменить свои привычки, наработанные в строковых базах.
©️Большая часть …
👍14❤2🔥2
29 Apr 2026, 09:54 UTC701 views4 reactionsread 8 August 2026 Полезный ресурс про то, что происходит в мире ai. Не только про код, а вообще. Вот ссылка на сайт, но у них ещё есть newsletter. Не реклама. У ребят 700 тысяч подписчиков и им реклама у меня точно не нужна 😂
Я читаю у них далеко не все, но чтобы оставаться в теме, по-моему, посматривать стоит.
Например, в последнем посте есть ссылка на репозиторий со скилами. Выглядит интересно 👍 я вот еще в использование скилов н…
🔥4
16 Apr 2026, 18:20 UTC673 views7 reactionsread 8 August 2026 Photo
Искажение модели
Иногда мы принимаем за бизнес-модель то, что ей не является.
Организационная структура — один из частых источников искажения модели данных.
❗️Элементы оргструктуры начинают определять сущности, метрики, сегментации.
❗️Бизнес-определения начинают разъезжаться —
не потому что меняется бизнес,
а потому что разные отделы «так видят».
❗️Границы ответственности превращаются в границы данных.
И со врем…
❤4❤🔥1💯1🔥1
26 Mar 2026, 15:59 UTC597 views7 reactionsread 8 August 2026 Нужно ли хранить историю на уровне моделей?
Часто это воспринимается как дефолт:
делаем модель → сразу закладываем версионирование, SCD, valid_from / valid_to.
Но вопрос — действительно ли это всегда нужно?
История, конечно, важна.
Но важно разделить уровни.
👍 На уровне ingestion layer — да.
Сырые данные, события, изменения в источнике — это базовый слой, который должен сохранять полную историю и не зависеть от да…
👍5❤2
22 Feb 2026, 19:13 UTC656 views15 reactionsread 8 August 2026 Photo
Попробовал code agent
На неделе впервые попробовал code agent. Пока что не multi agent со множеством ролей (к этому ещё приду), а просто один агент, который выполняет задачу полностью, даже вместе с деплоем.
Я, конечно, много видел упоминаний и описаний того, как оно работает, но пока сам не попробуешь на своей реальной задаче, всё равно непонятно. Тут как раз появилась простая задачка – идеальная, чтобы начать раб…
🔥8👍4❤2😁1
12 Feb 2026, 10:38 UTC644 views18 reactionsread 8 August 2026 Photo
Материализация vs стриминг в ETL: контроль потребления памяти в Airflow
Рассмотрим простой ETL-процесс, реализованный в Airflow.
Есть источник и назначение. На практике это может быть база приложения → DWH или DWH → какая-то система (reverse ETL). Посередине есть оркестратор, который отправляет запрос в источник, получает результат и отправляет его в назначение.
Если вы используете встроенные операторы Airflow, то …
👍9🔥7❤2
16 Jan 2026, 16:41 UTC723 views11 reactionsread 8 August 2026 Ловушка кодера
Писать код или использовать готовый инструмент? 🤔
Есть задача, и ты точно знаешь, что нужно сделать. Ты точно знаешь, что можешь написать код, обеспечивающий нужное поведение. При этом есть инструмент, который вроде как умеет это делать, но ты только слышал/читал о нём без практического опыта. У задачи конечно есть сроки и требования к качеству.
Вариант «накодить» понятен и предсказуем: известно, чт…
🔥7🤔2❤1💩1
2 Jan 2026, 17:03 UTC868 views11 reactionsread 8 August 2026 Photo
Покажи деньги!
В последнее время я много размышляю о конечной пользе для бизнеса от существования данных и существования дата-платформы. Поэтому мне понравился недавний пост Джо Рейса — автора книги Fundamentals of Data Engineering.
Вот небольшая выдержка из него:
Как продать моделирование данных?
Анти-патерн: Продажа «качества данных» или «единого источника правды» в качестве конечной цели.
«Нам нужно моделирова…
❤7👍4
Showing the 12 most recent of 20 posts we hold for @engineeranddata. View and reaction counts are the latest single reading for each post, not a live figure, and a recent post is still accumulating both. A view count marked ≈ was rounded by Telegram before we ever saw it — t.me prints views in full below 1,000 and to three significant figures above, so ≈1,200,000 means somewhere between 1,150,000 and 1,249,999. Unmarked counts are exact. Text is reproduced from the public post preview and truncated for length.