Kerangka NVIDIA NeMo

spésifikasi

• Ngaran produk: Kerangka NVIDIA NeMo
• Platform anu kapangaruhan: Windows, Linux, macOS
• Vérsi anu kapangaruhan: Sadaya vérsi sateuacan 24
• Kerentanan Kaamanan: CVE-2025-23360
• Skor Dasar Penilaian Risk: 7.1 (CVSS v3.1)

Parentah Pamakéan Produk

Pamasangan Update Kaamanan:
Pikeun ngajaga sistem anjeun, tuturkeun léngkah ieu:

1. Unduh pelepasan panganyarna tina halaman Kaluaran NeMo-Framework-Launcher dina GitHub.
2. Buka Kaamanan Produk NVIDIA kanggo inpormasi salajengna.

Rincian Pembaruan Kaamanan:
Pembaruan kaamanan alamat kerentanan dina Kerangka NVIDIA NeMo anu tiasa nyababkeun palaksanaan kode sareng data t.ampering

Ngaronjatkeun Parangkat Lunak:
Upami anjeun nganggo sékrési cabang sateuacana, disarankeun pikeun ngamutahirkeun kana sékrési cabang panganyarna pikeun ngatasi masalah kaamanan.

Leuwihview

NVIDIA NeMo Framework mangrupikeun kerangka AI generatif anu scalable sareng awan-asli anu diwangun pikeun panaliti sareng pamekar anu damel. Modél Basa Gedé, Multimodal, jeung Biantara AI (misalna Pangwanoh Biantara Otomatis jeung Text-to-Speech). Éta ngamungkinkeun para pamaké pikeun éfisién nyiptakeun, ngaropea, sareng nyebarkeun modél AI generatif énggal ku cara ngamangpaatkeun kode anu tos aya sareng titik pamariksaan modél anu tos dilatih.

Parentah Setup: Pasang NeMo Framework

Modél Basa Gedé jeung Modél Multimodal
NeMo Framework nyadiakeun pangrojong tungtung-to-tungtung pikeun ngamekarkeun Model Basa Besar (LLM) jeung Modél Multimodal (MM). Éta nyayogikeun kalenturan pikeun dianggo di tempat, di pusat data, atanapi sareng panyadia awan anu anjeun pikaresep. Éta ogé ngadukung palaksanaan dina SLURM atanapi Kubernetes lingkungan anu diaktipkeun.

Kurasi Data
Kurator NeMo [1] mangrupakeun perpustakaan Python nu ngawengku suite tina modul pikeun pertambangan data jeung generasi data sintétik. Éta tiasa diskalakeun sareng dioptimalkeun pikeun GPU, ngajantenkeun aranjeunna idéal pikeun ngokolakeun data basa alami pikeun ngalatih atanapi nyaluyukeun LLM. Kalayan NeMo Curator, anjeun tiasa épisién nimba téks kualitas luhur tina atah éksténsif web sumber data.

Pelatihan sareng Kustomisasi

NeMo Framework nyadiakeun alat pikeun latihan efisien sarta kustomisasi tina LLMs sarta modél Multimodal. Éta kalebet konfigurasi standar pikeun pangaturan klaster komputasi, unduh data, sareng hiperparameter modél, anu tiasa disaluyukeun pikeun ngalatih set data sareng modél énggal. Salian ti pra-latihan, NeMo ngadukung téhnik Supervised Fine-Tuning (SFT) sareng Parameter Efficient Fine-Tuning (PEFT) sapertos LoRA, Ptuning, sareng seueur deui.

Dua pilihan sayogi pikeun ngaluncurkeun pelatihan di NeMo - nganggo antarmuka API NeMo 2.0 atanapi nganggo NeMo Run.

• Kalayan NeMo Run (Disarankeun): NeMo Run nyadiakeun antarbeungeut pikeun nyegerkeun konfigurasi, palaksanaan sareng manajemén percobaan dina sagala rupa lingkungan komputasi. Ieu kalebet ngaluncurkeun padamelan di workstation anjeun sacara lokal atanapi dina klaster ageung - boh SLURM diaktipkeun atanapi Kubernetes dina lingkungan awan.
  • Pra-latihan & PEFT Quickstart sareng NeMo Run
• Ngagunakeun NeMo 2.0 API: Metoda ieu hade jeung setelan basajan ngalibetkeun model leutik, atawa lamun kabetot dina nulis pamuat data custom sorangan, puteran latihan, atawa ngarobah lapisan model. Éta masihan anjeun langkung kalenturan sareng kontrol kana konfigurasi, sareng ngagampangkeun ngalegaan sareng ngaluyukeun konfigurasi sacara program.
  • Training Quickstart kalawan NeMo 2.0 API
  • Migrasi tina NeMo 1.0 ka NeMo 2.0 API

Ngajajar

• NeMo-Aligner [1] mangrupakeun toolkit scalable pikeun alignment modél efisien. Toolkit éta ngagaduhan dukungan pikeun algoritma alignment modél canggih sapertos SteerLM, DPO, Reinforcement Learning from Human Feedback (RLHF), sareng seueur deui. Algoritma ieu ngamungkinkeun pamaké pikeun nyaluyukeun modél basa janten langkung aman, teu bahaya, sareng mantuan.
• Sadaya titik pamariksaan NeMo-Aligner cocog sareng ékosistem NeMo, ngamungkinkeun pikeun kustomisasi salajengna sareng panyebaran inferensi.

Alur kerja léngkah-léngkah tina tilu fase RLHF dina modél GPT-2B leutik:

• latihan SFT
• Latihan modél ganjaran
• latihan PPO

Salaku tambahan, kami nunjukkeun dukungan pikeun sababaraha metode alignment novel anu sanés:

• DPO: algoritma alignment lightweight dibandingkeun RLHF kalawan fungsi leungitna basajan.
• Maén sorangan Fine-Tuning (SPIN)
• SteerLM: téhnik dumasar kana conditioned-SFT, kalawan kaluaran steerable.

Pariksa dokuméntasi pikeun inpormasi lengkep: Dokuméntasi Alignment

Modél Multimodal

• NeMo Framework nyayogikeun parangkat lunak anu dioptimalkeun pikeun ngalatih sareng nyebarkeun modél multimodal canggih dina sababaraha kategori: Modél Basa Multimodal, Yayasan Visi-Basa, modél Text-to-Image, sareng saluareun Generasi 2D nganggo Neural Radiance Fields (NeRF).
• Masing-masing kategori dirarancang pikeun nyayogikeun kabutuhan khusus sareng kamajuan di lapangan, ngamangpaatkeun modél canggih pikeun nanganan rupa-rupa jinis data, kalebet téks, gambar, sareng modél 3D.

Panyebaran sareng Inferensi
NeMo Framework nyayogikeun rupa-rupa jalur pikeun inferensi LLM, nyayogikeun kana skenario panyebaran anu béda sareng kabutuhan kinerja.

Nyebarkeun sareng NVIDIA NIM

• NeMo Framework mulus ngahijikeun sareng alat panyebaran modél tingkat perusahaan ngalangkungan NVIDIA NIM. Integrasi ieu dikuatkeun ku NVIDIA TensorRT-LLM, mastikeun inferensi anu dioptimalkeun sareng scalable.
• Kanggo inpo nu langkung lengkep ihwal NIM, mangga buka NVIDIA websitus.

Nyebarkeun sareng TensorRT-LLM atanapi vLLM

• NeMo Framework nawiskeun skrip sareng API pikeun ngékspor modél ka dua perpustakaan anu dioptimalkeun inferensi, TensorRT-LLM sareng vLLM, sareng nyebarkeun modél anu diékspor sareng NVIDIA Triton Inference Server.
• Pikeun skénario anu meryogikeun kinerja anu dioptimalkeun, modél NeMo tiasa ngungkit TensorRT-LLM, perpustakaan khusus pikeun ngagancangkeun sareng ngaoptimalkeun inferensi LLM dina GPU NVIDIA. Prosés ieu ngalibatkeun ngarobah modél NeMo kana format anu cocog sareng TensorRT-LLM nganggo modul nemo.export.
  • LLM deployment Leuwihview
  • Nyebarkeun Modél Basa NeMo ageung sareng NIM
  • Nyebarkeun NeMo Modél Basa ageung sareng TensorRT-LLM
  • Nyebarkeun NeMo Model Basa ageung sareng vLLM

Model anu dirojong

Modél Basa Gedé

Modél Basa Gedé

Modél Basa Gedé	Pra-latihan & SFT	PEFT	Ngajajar	Konvergénsi Pelatihan FP8	TRT/TRTLLM	Ngarobah Ka & Ti Nangkeup Beungeut	Evaluasi
Llama3 8B/70B, Llama3.1 405B	Sumuhun	Sumuhun	x	Sumuhun (sawaréh diverifikasi)	Sumuhun	Duanana	Sumuhun
Mixtral 8x7B/8x22B	Sumuhun	Sumuhun	x	Sumuhun (teu diverifikasi)	Sumuhun	Duanana	Sumuhun
Nemotron 3 8B	Sumuhun	x	x	Sumuhun (teu diverifikasi)	x	Duanana	Sumuhun
Nemotron 4 340B	Sumuhun	x	x	Sumuhun (teu diverifikasi)	x	Duanana	Sumuhun
Baichuan2 7B	Sumuhun	Sumuhun	x	Sumuhun (teu diverifikasi)	x	Duanana	Sumuhun
ObrolanGLM3 6B	Sumuhun	Sumuhun	x	Sumuhun (teu diverifikasi)	x	Duanana	Sumuhun
Gemma 2B/7B	Sumuhun	Sumuhun	x	Sumuhun (teu diverifikasi)	Sumuhun	Duanana	Sumuhun
Gemma2 2B/9B/27B	Sumuhun	Sumuhun	x	Sumuhun (teu diverifikasi)	x	Duanana	Sumuhun
Mamba2 130M/370M/780M/1.3B/2.7B/8B/ Hybrid-8B	Sumuhun	Sumuhun	x	Sumuhun (teu diverifikasi)	x	x	Sumuhun
Phi3 mini 4k	x	Sumuhun	x	Sumuhun (teu diverifikasi)	x	x	x
Qwen2 0.5B/1.5B/7B/72B	Sumuhun	Sumuhun	x	Sumuhun (teu diverifikasi)	Sumuhun	Duanana	Sumuhun
StarCoder 15B	Sumuhun	Sumuhun	x	Sumuhun (teu diverifikasi)	Sumuhun	Duanana	Sumuhun
StarCoder2 3B / 7B / 15B	Sumuhun	Sumuhun	x	Sumuhun (teu diverifikasi)	Sumuhun	Duanana	Sumuhun
BERT 110M / 340M	Sumuhun	Sumuhun	x	Sumuhun (teu diverifikasi)	x	Duanana	x
T5 220M / 3B / 11B	Sumuhun	Sumuhun	x	x	x	x	x

 

Modél Basa Visi

 

Embedding Modél

 

Modél Yayasan Dunya

Catetan
NeMo ogé ngadukung pralatihan pikeun arsitéktur difusi sareng autoregressive text2world model yayasan.

Biantara AI

Ngembangkeun modél AI paguneman nyaéta prosés kompléks anu ngalibatkeun watesan, ngawangun, sareng ngalatih modél dina domain khusus. Prosés ieu biasana ngabutuhkeun sababaraha iterasi pikeun ngahontal tingkat akurasi anu luhur. Ieu sering ngalibatkeun sababaraha iterasi pikeun ngahontal akurasi luhur, fine-tuning on rupa tugas jeung domain-spésifik data, mastikeun kinerja latihan, sarta Nyiapkeun model pikeun deployment inferensi.

NeMo Framework nyayogikeun pangrojong pikeun palatihan sareng kustomisasi modél Speech AI. Ieu kalebet tugas sapertos Automatic Speech Recognition (ASR) sareng Text-To-Speech (TTS) sintésis. Éta nawiskeun transisi anu lancar pikeun panyebaran produksi tingkat perusahaan sareng NVIDIA Riva. Pikeun ngabantosan pamekar sareng panalungtik, NeMo Framework kalebet titik pamariksaan anu tos dilatih, alat pikeun ngolah data ucapan anu tiasa diulang, sareng fitur pikeun eksplorasi interaktif sareng analisa set data ucapan. Komponén tina NeMo Framework for Speech AI nyaéta kieu:

Pelatihan sareng Kustomisasi
NeMo Framework ngandung sadaya anu diperyogikeun pikeun ngalatih sareng ngaropea modél pidato (ASR, Klasifikasi Biantara, Pangwanoh Speaker, Speaker diarisasi, jeung TTS) dina cara anu tiasa diulang.

Model SOTA Pra-dilatih

• NeMo Framework nyayogikeun resep-resep canggih sareng titik pamariksaan anu tos dilatih tina sababaraha ASR jeung TTS model, kitu ogé parentah tentang kumaha carana ngamuat aranjeunna.
• Pakakas Biantara
• NeMo Framework nyayogikeun sakumpulan alat anu kapaké pikeun ngembangkeun modél ASR sareng TTS, kalebet:
  • NeMo Forced Aligner (NFA) pikeun ngahasilkeun token-, kecap- jeung segment-tingkat timestamps pidato dina audio ngagunakeun modél Pangenal Biantara Otomatis basis CTC NeMo.
  • Prosesor Data Ucapan (SDP), toolkit pikeun nyederhanakeun ngolah data ucapan. Eta ngidinan Anjeun pikeun ngagambarkeun operasi ngolah data dina config a file, ngaminimalkeun kode boilerplate sarta ngamungkinkeun reproducibility na shareability.
  • Speech Data Explorer (SDE), basis Dash web aplikasi pikeun éksplorasi interaktif jeung analisis datasets ucapan.
  • Alat nyiptakeun set data nu nyadiakeun pungsi pikeun align audio panjang files jeung transkrip saluyu jeung dibeulah kana fragmen pondok nu cocog pikeun latihan model Automatic Speech Recognition (ASR).
  • Alat Babandingan pikeun Model ASR pikeun ngabandingkeun prediksi model ASR béda dina tingkat akurasi kecap jeung ngucapkeun.
  • ASR Evaluator pikeun meunteun kinerja model ASR sareng fitur sejenna sapertos Deteksi Aktivitas Sora.
  • Alat Normalisasi Teks pikeun ngarobah téks tina wangun tulisan kana wangun lisan jeung sabalikna (misalna "31st" vs "tilu puluh kahiji").
• Jalur pikeun Deployment
• Model NeMo anu parantos dilatih atanapi disaluyukeun nganggo NeMo Framework tiasa dioptimalkeun sareng disebarkeun sareng NVIDIA Riva. Riva nyadiakeun peti jeung Helm grafik husus dirancang pikeun ngajadikeun otomatis léngkah pikeun deployment push-tombol.

Sumberdaya lianna

Repos GitHub

• NeMo: Repository utama pikeun kerangka NeMo
• NeMo–Lumpat: Alat pikeun ngonpigurasikeun, ngajalankeun jeung ngatur percobaan mesin learning Anjeun.
• NeMo-Aligner: Toolkit Scalable pikeun alignment modél efisien
• NeMo-Kurator: Data scalable pra-processing na curation toolkit pikeun LLMs

Meunangkeun Pitulung
Kalibet sareng komunitas NeMo, naroskeun patarosan, kéngingkeun dukungan, atanapi ngalaporkeun bug.

• Sawala NeMo
• Isu NeMo

Basa Pemrograman sareng Kerangka

• Python: Antarbeungeut utama pikeun ngagunakeun kerangka NeMo
• Pytorch: NeMo Framework diwangun dina luhureun PyTorch

Lisénsi

• NeMo Github repo dilisensikeun dina lisénsi Apache 2.0
• NeMo Framework dilisensikeun dina NVIDIA AI PRODUCT AGREEMENT. Ku cara narik sareng nganggo wadahna, anjeun nampi sarat sareng kaayaan lisénsi ieu.
• Wadahna NeMo Framework ngandung bahan Llama diatur ku Meta Llama3 Pasatujuan Lisensi Komunitas.

Catetan suku
Ayeuna, NeMo Curator sareng NeMo Aligner ngadukung pikeun modél Multimodal mangrupikeun padamelan sareng bakal sayogi pas.

FAQ

Q: Kumaha carana abdi tiasa pariksa naha sistem abdi kapangaruhan ku kerentanan?
A: Anjeun tiasa pariksa naha sistem anjeun kapangaruhan ku pariksa versi NVIDIA NeMo Framework dipasang. Upami éta langkung handap vérsi 24, sistem anjeun tiasa rentan.

Q: Saha anu ngalaporkeun masalah kaamanan CVE-2025-23360?
A: Masalah kaamanan dilaporkeun ku Or Peles - JFrog Security. NVIDIA ngaku kontribusina.

Q: Kumaha carana abdi tiasa nampi bewara buletin kaamanan hareup?
A: Buka halaman Kaamanan Produk NVIDIA pikeun ngalanggan béwara buletin kaamanan sareng tetep terang ngeunaan apdet kaamanan produk.

Dokumén / Sumberdaya

Kerangka NVIDIA NeMo [pdf] Pituduh pamaké Kerangka NeMo, NeMo, Kerangka

Rujukan

• Manual pamaké