6 Aug 2026, 12:47 UTC64 views6 reactionsread 6 August 2026 Airbyte убрал лишний круг данных внутри Redshift
В Airbyte Destination Redshift 4.0 данные передаются между контейнерами через Unix-сокеты в Protobuf, а не гоняются через оркестратор в JSON. Типы теперь приводятся до загрузки, поэтому записи сразу попадают в итоговые таблицы без промежуточных _airbyte_raw_* и дополнительного SQL.
В тестах пропускная способность выросла с 8,36 до 38,27 МБ/с — в 4,6 раза. Заодно сниж…
custom 54181439573537666603❤🔥2custom 62059822853390377771
5 Aug 2026, 21:35 UTC94 views6 reactionsread 6 August 2026 Uber поставила на роботакси больше $10 млрд
Uber планирует вложить свыше $10 млрд в развитие сети беспилотных машин и хочет вывести до 120 000 роботакси минимум в 15 городах уже к концу года.
Компания, которая ещё в 2020 году закрыла собственное направление беспилотников, теперь решила стать главным диспетчером чужих автономных машин — Waymo, Zoox, Rivian, Wayve и других.
Война за роботакси закончилась: теперь кон…
custom 61926318089961499816
5 Aug 2026, 10:31 UTC108 views6 reactionsread 6 August 2026 Photo
#dev #memes #datalake
@data_engi
custom 53841561932183718326
5 Aug 2026, 06:43 UTC116 views11 reactionsread 6 August 2026 Китайский автопилот выходит на дороги Дании
WeRide договорилась с датским оператором GreenMobility о запуске публичного сервиса роботакси. Если регуляторы разрешат, первые поездки начнутся в первой половине 2027 года.
Дания станет уже шестой европейской страной, куда вышла китайская компания. Пока WeRide в основном тестирует машины за рубежом, но явно строит глобальную сеть — от Китая и ОАЭ до Европы.
Китайские ро…
custom 54181439573537666606custom 62059822853390377773❤🔥1custom 52827969192428926661
5 Aug 2026, 05:14 UTC113 views8 reactionsread 6 August 2026 Video
#dev #ai #llm #memes #agentic
@data_engi
custom 53841561932183718327custom 54181439573537666601
4 Aug 2026, 18:13 UTC124 views9 reactionsread 6 August 2026 Arrow научился сжимать Bloom-фильтры уже после записи данных
В Apache Arrow 25.0.0 изменили создание Bloom-фильтров для Parquet. Сначала фильтр выделяется под предполагаемое число уникальных значений, а после записи автоматически уменьшается под фактическую кардинальность.
Раньше консервативная оценка могла оставлять в каждом файле неоправданно большой фильтр. Теперь Parquet экономит место, сохраняя заданную вероят…
custom 54181439573537666605❤🔥4
4 Aug 2026, 08:54 UTC169 views12 reactionsread 6 August 2026 Prefect покупает Dagster
13 июля Prefect объявила о покупке Dagster Labs. Два проекта, почти десять лет конкурировавшие на рынке оркестрации данных, окажутся внутри одной компании.
Dagster сохранит название, открытую лицензию и коммерческий сервис Dagster+. Развёртывания, тарифы и поддержка клиентов пока не меняются. Объединённая компания будет работать под брендом Prefect.
Для инженеров немедленной миграции нет. …
custom 52739555529704193207custom 52827969192428926663❤🔥2
3 Aug 2026, 21:00 UTC135 views6 reactionsread 6 August 2026 ScyllaDB погасила шторм из 380 тысяч подключений
После перезапуска узла драйверы одновременно переподключались к каждому процессорному ядру. Очереди раздувались, подключения не укладывались в тайм-ауты, клиенты повторяли запросы — и P99 задержка взлетала с 4 мс до 5 секунд.
В ScyllaDB 2026.2 добавили ограничение параллельной инициализации соединений, единый кеш прав и ролей, вытесняемое вычисление хешей паролей и о…
custom 54181439573537666606
2 Aug 2026, 21:27 UTC142 views8 reactionsread 6 August 2026 🧈 Как молочное лобби заставляло красить маргарин в розовый
В 1880-х годах американские производители молока столкнулись с опасным конкурентом — маргарином. Он стоил дешевле масла и позволял использовать жиры, которые прежде считались отходами.
Особенно популярным заменитель стал среди семей, не способных регулярно покупать настоящее сливочное масло.
Молочная промышленность объявила маргарин подделкой. Отчасти прет…
custom 53841561932183718326custom 52827969192428926662
2 Aug 2026, 18:19 UTC143 views10 reactionsread 6 August 2026 Trino наконец получил нормальный PIVOT
В Trino 483 появился оператор PIVOT, превращающий значения строк в столбцы. Больше не нужно вручную собирать отчёт через десятки конструкций sum(CASE WHEN ...).
Поддерживаются несколько агрегатов, многомерные ключи и итоги через ROLLUP, CUBE и GROUPING SETS. Для инженеров это означает короче SQL-модели и меньше ошибок в отчётных преобразованиях.
Ограничение: набор будущих сто…
custom 54181439573537666604❤🔥3custom 62059822853390377773
2 Aug 2026, 16:32 UTC143 views6 reactionsread 6 August 2026 Video
#dev #memes #agentic
@data_engi
custom 53841561932183718326
2 Aug 2026, 11:02 UTC149 views7 reactionsread 6 August 2026 Flink SQL научился превращать обычный поток в CDC и обратно
В Apache Flink 2.3 появились функции FROM_CHANGELOG и TO_CHANGELOG.
Первая превращает поток строк с кодами операций в динамическую таблицу с INSERT, UPDATE и DELETE. Вторая делает обратное — переводит обновляемую таблицу в append-only журнал событий.
Для инженеров это означает, что нестандартные CDC-форматы, аудит и запись в append-only хранилища теперь м…
❤🔥7
Showing the 12 most recent of 20 posts we hold for @data_engi. View and reaction counts are the latest single reading for each post, not a live figure, and a recent post is still accumulating both. A view count marked ≈ was rounded by Telegram before we ever saw it — t.me prints views in full below 1,000 and to three significant figures above, so ≈1,200,000 means somewhere between 1,150,000 and 1,249,999. Unmarked counts are exact. Text is reproduced from the public post preview and truncated for length.