29 Apr 2026, 09:13 UTC648 views10 reactionsread 8 August 2026 Если не сталкивались с понятием watermark
Watermark (водяной знак) в инженерии данных — это механизм, используемый в потоковой обработке (streaming) для обработки данных, поступающих с задержкой или не по порядку. Он представляет собой метку времени, которая сообщает системе: "данные с более ранним временем возникновения уже гарантированно получены, можно завершать вычисления для этого периода".
Если кратко — отметка…
custom 50129776505499164835👍4❤🔥1
29 Apr 2026, 09:06 UTC563 views22 reactionsread 8 August 2026 Photo
Задачка 🤪
Есть таблица-источник, которую мы грузим инкрементально.
В таблице есть два важных поля:
created_dt -- когда запись создана
updated_at -- когда запись последний раз обновлялась
Инкрементальная загрузка работает примерно так:
where created_dt > last_watermark_created_dt
or updated_at > last_watermark_updated_at
То есть мы забираем:
🟢новые записи;
🟢старые записи, которые были изменены после прошлой…
custom 50129776505499164837🤔6❤5🐳3❤🔥1
16 Apr 2026, 07:13 UTC763 views32 reactionsread 8 August 2026 Photo
Когда лид сказал, что в легаси подробная документация к коду.
Тем временем документация 🤪
@etl_kitchen
😁14custom 501297765054991648312custom 53552016626024550966
14 Apr 2026, 09:28 UTC760 views33 reactionsread 8 August 2026 Ларчик-то просто открывался
Когда-то рассказывал, что у меня есть мой домашний сервер для поднятия проектов и для души.
На днях перестал подрубаться к нему remote ssh из VSCode - соединение падает, при этом через powershell все стабильно.
«ну, ща починим» - подумал я и потратил весь день 🤪
Вооружившись Claude, гуглом и собственными кривыми руками начал пробовать:
🟢откатить VSCode до прошлой версии, на ноуте и на с…
custom 501297765054991648311custom 535520166260245509611🤔8👍3
8 Apr 2026, 08:18 UTC779 views28 reactionsread 8 August 2026 У вас есть только 10 рублей, соберите себе идеальный конвейер данных 🤪
🟢Источник не меняет схему без предупреждения — 14 рублей
🟢DAG зелёный с первого запуска — 8 рублей
🟢Нормальная документация от предыдущего инженера — 20 рублей
🟢Бизнес не меняет ТЗ после деплоя — 15 рублей
🟢Данные в источнике без дублей — 3 рубля
🟢Мониторинг, который алертит ДО того, как напишет аналитик — 7 рублей
🟢API отдаёт данные ровно так, ка…
😁17🤔6🐳3custom 50129776505499164832
6 Apr 2026, 07:12 UTC673 views33 reactionsread 8 August 2026 Photo
Закрывал глаза в пятницу, открыл, а уже понедельник((
Заходи учиться, все бесплатно
➡️ https://etl-kitchen-book.ru/data/
@etl_kitchen
😁17❤7custom 50129776505499164836🔥2custom 53552016626024550961
4 Apr 2026, 09:12 UTC691 views46 reactionsread 8 August 2026 Photo
Когда всю неделю на работе разбираешься с парсингом XML, а на выходных решаешь просто отдохнуть и посмотреть телевизор… но у XML другие планы 🤪
@etl_kitchen
custom 535520166260245509622😁16custom 50129776505499164837❤1
3 Apr 2026, 14:23 UTC689 views38 reactionsread 8 August 2026 Photo
Хорошего вечера пятницы!
Обогатил материалами свой сайт, каждый раздел обрел свои квизы и даже задачки 🤪
В поте лица трудилась связка Claude, NotebookLM и меня 🤪
➡️ https://etl-kitchen-book.ru/data/
Появились полноценные материалы по SQL, Python, dbt, Kafka, Data Modeling и многому другому.
Если словите какие-то баги или несостыковки то пишите под этим постом или мне в личку - будем фиксить 😏
За вдохновение спа…
❤20👍8🐳7🔥3
1 Apr 2026, 04:44 UTC646 views40 reactionsread 8 August 2026 Photo
И смешно и грустно
@etl_kitchen
😁20custom 501297765054991648312custom 53552016626024550968
30 Mar 2026, 06:37 UTC686 views48 reactionsread 8 August 2026 Photo
Если у вас не получилось установить расширение для dbeaver, то вот вам план Б — скидывайте менеджеру и скажите, что волнуетесь за его долголетие 🤓
@etl_kitchen
custom 535520166260245509627😁13💯8
27 Mar 2026, 06:48 UTC781 views60 reactionsread 8 August 2026 Photo
Можно бесконечно радоваться крутому стэку на работе, как круто ты пишешь код или активно вайбкодишь свое мега уникальное приложение, но все это меркнет перед рабочей задачей «помочь выгрузить данные в эксель» 🤪
Все кто работал с dbeaver наверняка знают, что можно экспортировать данные в csv. Вот только такой способ не подойдет если надо сохранить тип данных json, xml или текстовое поле где есть переносы строк.
Коне…
👍28custom 501297765054991648315😁9🔥7🤔1
25 Mar 2026, 07:01 UTC637 views61 reactionsread 8 August 2026 Photo
❌ Словить тоску от ожидаемой блокировки ТГ
✅Впервые в жизни сходить в отпуск на 2 недели
Съездили во Вьетнам туром с прямым перелётом из СПб.
11 часов в самолёте - то ещё удовольствие, но оно того стоило на 100%.
На фото, конечно же, чай 🤓
Осталось вернуться в рабочий режим 🤪
А там и до канала с сайтом руки дойдут, накопилось несколько идей😳
@etl_kitchen
custom 498347360463827831527🔥16🐳15👍2custom 50129776505499164831
Showing the 12 most recent of 19 posts we hold for @etl_kitchen. View and reaction counts are the latest single reading for each post, not a live figure, and a recent post is still accumulating both. A view count marked ≈ was rounded by Telegram before we ever saw it — t.me prints views in full below 1,000 and to three significant figures above, so ≈1,200,000 means somewhere between 1,150,000 and 1,249,999. Unmarked counts are exact. Text is reproduced from the public post preview and truncated for length.
