שרת NVIDIA DGX H200

להצעות מחיר והתייעצות פנו אלינו במייל Motti@pc-online.co.il או בטלפון 0504560444

שרת AI / NVIDIA DGX Server / AI Supercomputer / פתרון AI לארגונים

מערכת NVIDIA DGX H200 מוגדרת כשרת ה־AI המתקדם ביותר בעולם, מיועד להרצת עומסי AI ברמה ארגונית, לאימון מודלי Generative AI ומודלי שפה גדולים, ליישומי Deep Learning כבדים ולסביבות HPC. שרת זה משמש בסיס לבניית תשתיות AI בקנה מידה עצום, כולל NVIDIA DGX SuperPOD, ומספק יכולות עיבוד יוצאות דופן הודות למבנה חומרה ייעודי, קישוריות פנימית מתקדמת, תוכנה ארגונית מלאה ופתרונות ניהול ייעודיים.

1. הגדרת מערכת כוללת

NVIDIA DGX H200 הוא שרת AI מלא שתוכנן כפתרון End-to-End לארגונים. כיוון שמדובר ב־NVIDIA DGX Server, הוא כולל לא רק חומרה ברמת דטה־סנטר, אלא גם סט תוכנות מלא הכולל ניהול, תזמור, MLOps, Deployment ויכולות Scaling לאלפי GPUs. ה־DGX H200 פועל כ־AI Supercomputer עצמאי או כחלק מקלאסטר ארגוני.

המערכת תוכננה לבצע:

• אימון מודלי שפה עצומים (LLMs) בקנה מידה גבוה.

• הפעלת Generative AI במיליוני פרמטרים ובזמן תגובה נמוך.

• הרצת עומסי HPC כבדים.

• יישומי Data Science בקנה מידה רחב.

• תשתית AI לארגונים עם זמינות ויציבות של דאטה־סנטר.

2. מעבדי GPU (ליבת עיבוד ה־AI)

המערכת מצוידת בתצורת GPU ייחודית הממקמת אותה כפתרון העיבוד המוביל בעולם:

• שמונה (8) כרטיסי NVIDIA H200 Tensor Core GPU.

• זיכרון GPU לכל כרטיס: 141GB HBM3E (זיכרון דור חדש, בעל רוחב פס גבוה במיוחד).

• סך זיכרון ה־GPU הכולל במערכת: 1.128TB GPU Memory – הגדולה ביותר בקטגוריית שרתי AI.

• ביצועי עיבוד: 32 PetaFLOPS FP8, המתאימים לחישובי טרנספורמרים מודרניים ולמודלים עצומים.

• התממשקות מלאה ל־NVIDIA NVLink מהדור החדש.

• חיבור פנימי באמצעות 4 יחידות NVSwitch, המאפשרות תקשורת מהירה מאוד בין כל ה־GPUs ללא צווארי בקבוק.

מבנה GPU זה הופך את המערכת לפתרון אופטימלי ל־AI Supercomputer ברמת ארגון, כולל עיבוד של מיליארדי פרמטרים בו־זמנית.

3. מעבדים מרכזיים (CPU)

השרת כולל שני מעבדים חזקים במיוחד מסדרת Intel Xeon Platinum:

• שני מעבדי Intel Xeon Platinum 8480C.

• סך כל הליבות במערכת: 112 ליבות CPU.

• תדר בסיס: 2.0GHz.

• תדר Boost: עד 3.8GHz.

• תמיכה מלאה בזיכרון מערכת ECC כולל הוצאת עומסי IO מורכבים.

תצורה זו מאפשרת למערכת לשמש כפתרון AI לארגונים שגם מריצים עומסי נתונים מקבילים, תוך שמירה על ביצועי GPU מקסימליים.

4. זיכרון מערכת (RAM)

• זיכרון כולל: 2TB RAM.

• מותאם לעומסי דאטה כבדים, פרה־עיבוד, Preprocessing ו־Orchestration.

• זיכרון ECC מלא לשמירה על יציבות ברמת HPC.

5. תקשורת ורשת (Networking) – רמת דטה־סנטר

המערכת בנויה לרמות ה־Throughput הגבוהות ביותר בקטגוריית שרתי AI:

• ארבעה חיבורי OSFP המשמשים שמונה ממשקי NVIDIA ConnectX-7 VPI.

  • מהירות: עד 400Gb/s לכל חיבור.

  • תמיכה ב־InfiniBand או Ethernet לפי בחירה.

• שני חיבורי QSFP112 Dual Port – מאפשרים תוספת תקשורת של עד 400Gb/s נוספים.

• חיבור ניהול 10GbE RJ45.

• חיבור ניהול 100GbE נוסף.

• בקר BMC מלא (Baseboard Management Controller) לשלט רחוק, ניטור, והפעלה מאובטחת.

ה־NVIDIA DGX Server מותאם לסביבות Cluster גדולות, כולל חיבור למאות או אלפי יחידות DGX אחרות.

6. אחסון פנימי (Storage)

המערכת כוללת שני סוגי אחסון נפרדים – מערכת הפעלה ואחסון מהיר לעומסי AI.

אחסון מערכת הפעלה:

• שני כונני NVMe M.2 בנפח של 1.92TB כל אחד.

אחסון נתונים פנימי:

• שמונה כונני NVMe U.2 בנפח 3.84TB כל אחד.

• נפח כולל: 30.72TB NVMe.

• מותאם לעומסים גבוהים של Dataset I/O, תהליכי Training, ו־Checkpointing.

7. מערכות תוכנה – NVIDIA AI Stack המלא

כחלק מפתרון AI לארגונים, המערכת מגיעה עם סט תוכנות מלא:

NVIDIA AI Enterprise

חבילת התוכנה הרשמית של NVIDIA הכוללת:

• Frameworks ל־Deep Learning ו־Machine Learning.

• כלי פריסה (Deployment).

• ספריות ביצועים ל־Data Science.

• תמיכה ברמת Enterprise.

NVIDIA Base Command

תשתית ניהול ו־MLOps ברמת דטה־סנטר:

• תזמון עבודות.

• ניטור משאבים.

• ניהול קלאסטרים.

• פריסה של עשרות עד אלפי GPUs.

• תאימות מלאה ל־Kubernetes ול־SLURM.

מערכות הפעלה תואמות

• DGX OS.

• Ubuntu.

• Red Hat Enterprise Linux.

• Rocky Linux.

שילוב זה מאפשר לשרת לתפקד כ-AI Supercomputer מלא ללא צורך בתשתיות נוספות.

8. חשמל, קירור וצריכת אנרגיה

• צריכת חשמל סטנדרטית: 10.2kW.

• בתצורת CTS (Custom Thermal Solution): עד 14.3kW.

• דרישות קירור ברמת דאטה־סנטר בלבד.

• ממשקי ניטור צריכת חשמל ותרמיות משולבים כחלק מ־DGX Base Command.

9. מימדים, מבנה פיזי ומשקל

• גובה: 14 אינץ’ (356 מ”מ).

• רוחב: 19 אינץ’ (482.2 מ”מ).

• עומק: 35.3 אינץ’ (897.1 מ”מ).

• משקל מערכת: 130.45 ק”ג.

• משקל כולל אריזה: 170.45 ק”ג.

• מארז 19″ Rack Mount – מתאים למתקני Data Center בלבד.

10. טווח טמפרטורות עבודה

• טמפרטורת עבודה מומלצת: 5°C עד 30°C.

• עמידות מלאה לעומסי AI ללא ירידה בביצועים תחת עומס.

11. אחריות ותמיכה

• שלוש (3) שנות תמיכה חומרתית ותוכנתית ברמת Enterprise.

• גישה לתמיכה רשמית של NVIDIA.

• עדכוני תוכנה מלאים ל-AI Enterprise ו-Base Command.

• SLA מותאם לסביבות ארגוניות קריטיות.

להצעות מחיר והתייעצות פנו אלינו במייל Motti@pc-online.co.il