6 Aug 2026, 11:02 UTC199 views8 reactionsread 8 August 2026 پایان عصر Feature Storeها؟ | درسهای عملیاتی از معماری جدید نتفلیکس (GenRec)
اگر به عنوان مهندس داده در تیمهای پیشرو فعالیت میکنید، خوب میدانید که نقش ما دیگر صرفاً نگهداری دیتابیس و انتقال ساده داده نیست. ما بخش زیادی از زمان خود را صرف زیرساختهای یادگیری ماشین (MLOps) میکنیم؛ بهویژه مهندسی ویژگی (Feature Engineering).
منظور از مهندسی ویژگی همان فرآیند پرزحمت و پرهزینهی تبدیل دادههای خام به متغیرهای عدد…
👍8
3 Aug 2026, 21:23 UTC343 views4 reactionsread 8 August 2026 File
نسخه کامل کتاب LLMs-4-Humans
👍4
3 Aug 2026, 19:34 UTC337 views3 reactionsread 8 August 2026 File
چند صفحه نمونه از کتاب ۲۵۶ صفحه ای : LLM به زبان آدمیزاد - علی نجفی 👆👆
❤3
3 Aug 2026, 19:31 UTC344 views3 reactionsread 8 August 2026 پرامپتنویسی مهمه، اما خیلی وقتها مشکل اصلاً از پرامپت نیست.
پستی از علی نجفی در لینکدین
وقتی جواب مدل خراب میشه، اولین واکنش خیلیها اینه که یک پاراگراف دیگه به پرامپت اضافه کنن. اما گاهی مشکل جای دیگهست:
• اطلاعات لازم داخل کانتکست نبوده
• سیستم RAG اطلاعات درست رو پیدا نکرده
• مدل ابزار مناسب نداشته
• جریان کار یا اعتبارسنجی ایراد داشته
• آزمونی نداریم که ثابت کنه تغییر جدید بهتره
اگر یکی از اینها درست باشه…
👍3
3 Aug 2026, 14:30 UTC319 views5 reactionsread 8 August 2026 دیتابیس #TigerBeetle: دیتابیسی بسیار سریع و مقیاسپذیر و پایدار برای سامانههای پرداخت
اکثر ما هنگام یادگیری مفهوم «تراکنش» (Transaction) در دیتابیسها، با این مثال معروف مواجه شدهایم: “فرض کنید مبلغی از حساب A کسر و به حساب B واریز میشود؛ این عملیات باید کاملاً اتمیک (Atomic) باشد (یا همه یا هیچ).”
اما همین عملیاتِ بهظاهر ساده، پایه و اساس تمامی سیستمهای پرداخت و فینتک دنیا با حجم تراکنش روزانه بسیار بالاست. …
❤3👍1😁1
31 Jul 2026, 22:32 UTC375 views4 reactionsread 8 August 2026 دیتابیسی که مخصوص DataFrameها ساخته شده؛ پایان درگیری با زیرساخت!
همه ما دادهچیها (مشابه با گاریچی/تلفنچی البته بلانسبت) این مسیر را رفتهایم: خواندن دیتا از فایلهای اکسل، Parquet یا دیتابیسهای سنتی، و بعد ساعتها صرفِ تمیزکاری و تبدیل دادهها. در تمام این سناریوها، پیشفرض ما این بوده که باید داده را از یک منبع خارجی بخوانیم و تازه بعد از آن پردازش را شروع کنیم.
اما چه میشد اگر دیتابیسی داشتیم که دقیقاً برا…
👍3👏1
29 Jul 2026, 13:21 UTC348 views1 reactionsread 8 August 2026 File
آشنایی با PREWHERE در کلیک هوس - مرتبط با پست بالا 👆👆
🙏1
29 Jul 2026, 13:19 UTC313 views2 reactionsread 8 August 2026 قهرمان خاموشِ پرفورمنس در کلیکهوس: ترکیب جادویی PREWHERE و Skip Indexes
ما هر روز با SQL و ابزارهای Modern Data Stack مثل ClickHouse سر و کار داریم؛ کوئری مینویسیم، پایپلاین میسازیم و داشبوردها را تحویل میدهیم.
اما تسلط بر سینتکس (Syntax) همیشه کافی نیست. برای رساندن پرفورمنسِ پایپلاینها به بالاترین سطح ممکن، باید مکانیسمهای درونی و معماری پایهی این موتورها را درک کنیم و پابهپای تکامل آنها آپدیت بمانیم…
❤1👍1
29 Jul 2026, 07:08 UTC400 views9 reactionsread 8 August 2026 مقادیر پیشفرض؛ دشمنِ خاموشِ محیط پروداکشن
داستانِ ۲۰۰ گیگابایت لاگِ اضافی و درسی که گرفتم
چند هفته پیش در یک پروژهی مشاوره، یک کلاستر ۶ نودیِ ClickHouse (شامل ۳ شارد و ۳ رپلیکا) طراحی کردیم. طبق استراتژی ذخیرهسازی، دادهها باید تا ۳۰ روز روی سرور اصلی میماندند و سپس توسط مکانیزم TTL به Object Storage منتقل میشدند. روی کاغذ همهچیز بینقص بود؛ تا اینکه روز گذشته برای پروفایلینگِ مجدد منابع، سراغ کلاستر رفتم.
…
👍8🙏1
27 Jul 2026, 19:33 UTC266 views4 reactionsread 8 August 2026 هشت سنگبنای اصلی مهندسی داده - آنچه ابزارها بر روی آنها بنا میشوند.
اگر از کسی بپرسید: «چطور یک جراح ماهر شوم؟» و پاسخ بشنوید: «اول کار با تیغ را یاد بگیر، بعد دستکش و در نهایت بخیه زدن را»، قطعاً به او میخندید! جراحان با حفظ کردن کاتالوگ تجهیزات به مهارت نمیرسند؛ تخصص آنها در درک آناتومی و تفکر سیستمی است.
اما متأسفانه ما مهندسی داده را شبیه لیست خرید آموزش 📚 میدهیم: #Spark, #Kafka, dbt, Apache #Iceberg و ل…
👍4
26 Jul 2026, 17:05 UTC381 views3 reactionsread 8 August 2026 File
شروع کار با سرویس های ابری رایج دنیا روی سیستم شخصی - راهنمای نصب سریع Floci - 👆👆
❤2👍1
26 Jul 2026, 17:04 UTC407 views7 reactionsread 8 August 2026 آشنایی با محصولات ابری حوزه داده (آمازون، آژور، گوگل) بر روی سیستم شخصی؛ بدون تحریم، بدون هزینه ارزی! 🚀☁️
کار با محیطهای ابری (Cloud Environments) دیگر یک انتخاب نیست، بلکه یکی از الزامات قطعی مهندسان داده و معماران سیستمهای نرمافزاری مدرن است. چالشی که به دلیل تحریمها و هزینههای سنگین ارزی، فعالان زیرساخت و دیتای ایرانی را غالباً مجبور به استفاده از جایگزینهای Open-Source و معماریهای Local-First کرده است.
ابز…
❤6🔥1
Showing the 12 most recent of 20 posts we hold for @bigdata_ir. View and reaction counts are the latest single reading for each post, not a live figure, and a recent post is still accumulating both. A view count marked ≈ was rounded by Telegram before we ever saw it — t.me prints views in full below 1,000 and to three significant figures above, so ≈1,200,000 means somewhere between 1,150,000 and 1,249,999. Unmarked counts are exact. Text is reproduced from the public post preview and truncated for length.