当社は、社内でAIモデルを稼働させるための設備として、NVIDIA DGX Spark を導入いたしました。本稿では、電源投入から手元のPCより接続できる状態になるまでの手順と、その所要時間をご紹介いたします。
導入の背景
DGX Sparkは128GBのメモリをCPUとGPUで共有する構成であり、単体で最大2,000億パラメーターのモデルの推論に対応しております。一般的なGPU単体のメモリには収まらない規模のモデルについても、データを社外に出すことなく検証できるようになります。
DGX Sparkの概要
- チップ：NVIDIA GB10 Grace Blackwell スーパーチップ（20コアのArm CPUとBlackwell世代のGPU）
- メモリ：128GB（LPDDR5x、CPUとGPUで共有する統合メモリ）
- AI性能：最大1 PFLOP（FP4、スパース演算時の理論値）
- ストレージ：4TB NVMe
- OS：NVIDIA DGX OS
- 本体寸法：150 × 150 × 50.5 mm、1.2kg
机の上に置ける大きさで、前面は金属のフォーム素材で覆われております。
セットアップの流れ
本体にモニター、キーボード、マウス、有線LANを接続し、電源を入れて作業を開始いたしました。電源投入から手元のPCより接続できるまでに要した時間は、途中の休止を含めて約50分です。
1. 初期設定（約7分）
電源を入れると、初期設定の画面が起動します。キーボードとマウスの接続確認、表示言語、タイムゾーン、キーボードレイアウト、ソフトウェア使用許諾契約への同意、アカウントの作成、分析データの提供可否を順に設定いたします。
2. システムとファームウェアの更新（約25分）
初期設定を終えると、システムの更新のダウンロードとインストールが自動で始まります。続いてファームウェアの更新が行われ、その間に数回再起動いたします。当社の環境では、システムの更新に約11分、ファームウェアの更新と再起動に約13分を要しました。
更新の間は操作の必要がありません。更新をダウンロードするため、あらかじめネットワークに接続しておくことをお勧めいたします。更新が終わるとログイン画面が表示され、電源投入からここまでが約30分でした。
3. 起動後の確認
ログイン後、ブラウザで http://localhost:11000 を開くと、DGX Dashboard が表示されます。初期設定で作成したアカウントでサインインすると、更新の有無を確認し、適用することができます。当社の環境では、初期設定の時点で最新の状態となっており、追加の更新はありませんでした。
ターミナルで nvidia-smi を実行し、GPUが認識されていることを確認いたしました。
- GPU：NVIDIA GB10
- ドライバー：580.178.04
- CUDA：13.0
- Docker：29.6.2（あらかじめ導入済み）
メモリ使用量の欄が「Not Supported」と表示されているのは、GPU専用のメモリを持たず、CPUと共有する統合メモリの構成であるためです。
4. 手元のPCからの接続（数分）
NVIDIAが提供する NVIDIA Sync を手元のPCに導入すると、同じネットワーク上のDGX Sparkが自動で検出されます。画面の案内に従って追加すると、DGX Dashboard、リソースモニター、ターミナル、VS Code をメニューから起動できるようになります。NVIDIA Sync は macOS、Windows、Linux に対応しております。
ターミナルを選ぶと、NVIDIA Sync が設定したSSHの接続先で、本体のシェルが開きます。SSHの鍵や接続先の設定を手作業で行う必要はありませんでした。
ここまで完了すれば、本体にモニターやキーボードを接続しておく必要はありません。以降は手元のPCから利用いたします。
所要時間のまとめ
- 初期設定：約7分
- システムとファームウェアの更新（再起動を含む）：約25分
- 起動後の確認と、手元のPCからの接続：約10分
全体で約50分のうち、半分ほどは更新を待つ時間です。作業者が操作する時間は限られており、特別な準備も必要ありませんでした。
お問い合わせ
当社では、ローカルLLMの導入に向けた機材の選定から、構築、導入後の運用までを一貫してお引き受けしております。社内に閉じた形でのAI活用をご検討されている場合は、適用可否のご判断の段階からご相談を承っております。
お気軽にお問い合わせください。