Canllaw Defnyddiwr Fframwaith NVIDIA NeMo

Fframwaith NVIDIA NeMo

Manylebau

• Enw CynnyrchFframwaith NVIDIA NeMo
• Llwyfannau yr effeithir arnynt: Windows, Linux, macOS
• Fersiynau yr Effeithir Arnynt: Pob fersiwn cyn 24
• Bregusrwydd Diogelwch: CVE-2025-23360
• Sgôr Sylfaenol Asesiad Risg: 7.1 (CVSS fersiwn 3.1)

Cyfarwyddiadau Defnydd Cynnyrch

Gosod Diweddariad Diogelwch:
I amddiffyn eich system, dilynwch y camau hyn:

1. Lawrlwythwch y datganiad diweddaraf o dudalen Rhyddhau NeMo-Framework-Launcher ar GitHub.
2. Ewch i NVIDIA Product Security am ragor o wybodaeth.

Manylion Diweddariad Diogelwch:
Mae'r diweddariad diogelwch yn mynd i'r afael â gwendid yn Fframwaith NVIDIA NeMo a allai arwain at weithredu cod a dataampering.

Uwchraddio Meddalwedd:
Os ydych chi'n defnyddio rhyddhad cangen cynharach, argymhellir uwchraddio i'r rhyddhad cangen diweddaraf i fynd i'r afael â'r mater diogelwch.

Drosoddview

Mae Fframwaith NVIDIA NeMo yn fframwaith AI cynhyrchiol graddadwy a brodorol i'r cwmwl a adeiladwyd ar gyfer ymchwilwyr a datblygwyr sy'n gweithio ar Modelau Iaith Mawr, Amlfodd, a Deallusrwydd Artiffisial Lleferydd (ee Adnabyddiaeth Lleferydd Awtomatig a Testun-i-LeferyddMae'n galluogi defnyddwyr i greu, addasu a defnyddio modelau AI cynhyrchiol newydd yn effeithlon trwy fanteisio ar god presennol a phwyntiau gwirio modelau sydd wedi'u hyfforddi ymlaen llaw.

Cyfarwyddiadau Gosod: Gosod Fframwaith NeMo

Modelau Iaith Mawr a Modelau Amlfodd
Mae Fframwaith NeMo yn darparu cefnogaeth o'r dechrau i'r diwedd ar gyfer datblygu Modelau Iaith Mawr (LLMs) a Modelau Amlfodd (MMs). Mae'n darparu'r hyblygrwydd i'w ddefnyddio ar y safle, mewn canolfan ddata, neu gyda'ch darparwr cwmwl dewisol. Mae hefyd yn cefnogi gweithredu ar amgylcheddau sydd wedi'u galluogi gan SLURM neu Kubernetes.

Curadu Data
Curadur NeMo [1] yn llyfrgell Python sy'n cynnwys cyfres o fodiwlau ar gyfer cloddio data a chynhyrchu data synthetig. Maent yn raddadwy ac wedi'u optimeiddio ar gyfer GPUs, gan eu gwneud yn ddelfrydol ar gyfer curadu data iaith naturiol i hyfforddi neu fireinio LLMs. Gyda NeMo Curator, gallwch echdynnu testun o ansawdd uchel yn effeithlon o ddata crai helaeth web ffynonellau data.

Hyfforddiant ac Addasu

Mae Fframwaith NeMo yn darparu offer ar gyfer hyfforddi ac addasu effeithlon LLMs a modelau amlfoddol. Mae'n cynnwys ffurfweddiadau diofyn ar gyfer sefydlu clwstwr cyfrifiadurol, lawrlwytho data, a hyperbaramedrau modelu, y gellir eu haddasu i hyfforddi ar setiau data a modelau newydd. Yn ogystal â hyfforddi ymlaen llaw, mae NeMo yn cefnogi technegau Addasu Manwl Goruchwyliedig (SFT) a Addasu Manwl Effeithlon Paramedr (PEFT) fel LoRA, Addasu Manwl, a mwy.

Mae dau opsiwn ar gael i lansio hyfforddiant yn NeMo – gan ddefnyddio rhyngwyneb API NeMo 2.0 neu gyda NeMo Run.

• Gyda NeMo Run (Argymhellir): Mae NeMo Run yn darparu rhyngwyneb i symleiddio ffurfweddu, gweithredu a rheoli arbrofion ar draws amrywiol amgylcheddau cyfrifiadurol. Mae hyn yn cynnwys lansio swyddi ar eich gweithfan yn lleol neu ar glystyrau mawr – wedi'u galluogi gan SLURM neu Kubernetes mewn amgylchedd cwmwl.
  • Hyfforddiant Cyn-amserol a Chychwyn Cyflym PEFT gyda NeMo Run
• Gan ddefnyddio'r API NeMo 2.0: Mae'r dull hwn yn gweithio'n dda gyda gosodiad syml sy'n cynnwys modelau bach, neu os oes gennych ddiddordeb mewn ysgrifennu eich llwythwr data personol eich hun, dolenni hyfforddi, neu newid haenau model. Mae'n rhoi mwy o hyblygrwydd a rheolaeth i chi dros gyfluniadau, ac yn ei gwneud hi'n hawdd ymestyn ac addasu cyfluniadau'n rhaglennol.
  • TraCychwyn Cyflym gyda NeMo 2.0 API
  • Mudo o NeMo 1.0 i NeMo 2.0 API

Aliniad

• NeMo-Aligner [1] yn becyn cymorth graddadwy ar gyfer aliniad modelau effeithlon. Mae'r pecyn cymorth yn cefnogi algorithmau aliniad modelau o'r radd flaenaf fel SteerLM, DPO, Reinforcement Learning from Human Feedback (RLHF), a llawer mwy. Mae'r algorithmau hyn yn galluogi defnyddwyr i alinio modelau iaith i fod yn fwy diogel, diniwed, a defnyddiol.
• Mae holl bwyntiau gwirio NeMo-Aligner yn gydnaws â'r ecosystem NeMo, gan ganiatáu ar gyfer addasu a defnyddio casgliadau pellach.

Llif gwaith cam wrth gam o bob un o'r tri cham o RLHF ar fodel GPT-2B bach:

• Hyfforddiant SFT
• Hyfforddiant model gwobrwyo
• Hyfforddiant PPO

Yn ogystal, rydym yn dangos cefnogaeth i amryw o ddulliau alinio newydd eraill:

• DPO: algorithm aliniad ysgafn o'i gymharu â RLHF gyda swyddogaeth golled symlach.
• Hunan-Chwarae Addasu Manwl (SPIN)
• LlywioLM: techneg yn seiliedig ar SFT cyflyredig, gydag allbwn llywadwy.

Edrychwch ar y ddogfennaeth am ragor o wybodaeth: Dogfennaeth Aliniad

Modelau Amlfodd

• Mae Fframwaith NeMo yn darparu meddalwedd wedi'i optimeiddio i hyfforddi a defnyddio modelau amlfodd o'r radd flaenaf ar draws sawl categori: Modelau Iaith Amlfodd, Seiliau Gweledigaeth-Iaith, modelau Testun-i-Delwedd, a thu hwnt i Gynhyrchu 2D gan ddefnyddio Meysydd Ymlewyrch Niwral (NeRF).
• Mae pob categori wedi'i gynllunio i ddiwallu anghenion a datblygiadau penodol yn y maes, gan fanteisio ar fodelau arloesol i drin ystod eang o fathau o ddata, gan gynnwys testun, delweddau a modelau 3D.

Defnyddio a Chasglu
Mae Fframwaith NeMo yn darparu amrywiol lwybrau ar gyfer casglu LLM, gan ddiwallu anghenion gwahanol senarios defnyddio ac perfformiad.

Defnyddio gyda NVIDIA NIM

• Mae Fframwaith NeMo yn integreiddio'n ddi-dor ag offer defnyddio modelau lefel menter trwy NVIDIA NIM. Mae'r integreiddio hwn yn cael ei bweru gan NVIDIA TensorRT-LLM, gan sicrhau casgliad wedi'i optimeiddio a graddadwy.
• Am ragor o wybodaeth am NIM, ewch i NVIDIA websafle.

Defnyddio gyda TensorRT-LLM neu vLLM

• Mae Fframwaith NeMo yn cynnig sgriptiau ac APIs i allforio modelau i ddwy lyfrgell sydd wedi'u optimeiddio ar gyfer casgliadau, TensorRT-LLM a vLLM, ac i ddefnyddio'r model a allforiwyd gyda Gweinydd Casgliadau Triton NVIDIA.
• Ar gyfer senarios sydd angen perfformiad wedi'i optimeiddio, gall modelau NeMo fanteisio ar TensorRT-LLM, llyfrgell arbenigol ar gyfer cyflymu ac optimeiddio casgliad LLM ar GPUs NVIDIA. Mae'r broses hon yn cynnwys trosi modelau NeMo i fformat sy'n gydnaws â TensorRT-LLM gan ddefnyddio'r modiwl nemo.export.
  • Defnyddio LLM Ar Drawsview
  • Defnyddio Modelau Iaith Mawr NeMo gyda NIM
  • Defnyddio Modelau Iaith Mawr NeMo gyda TensorRT-LLM
  • Defnyddio Modelau Iaith Mawr NeMo gyda vLLM

Modelau â Chymorth

Modelau Iaith Mawr

Modelau Iaith Mawr

Modelau Iaith Mawr	Cyn-hyfforddi a SFT	PEFT	Aliniad	Cydgyfeirio Hyfforddiant FP8	TRT/TRTLLM	Trosi I ac O Wyneb Cwtsio	Gwerthusiad
Llama3 8B/70B, Llama3.1 405B	Oes	Oes	x	Ydw (wedi'i wirio'n rhannol)	Oes	Y ddau	Oes
Mixtral 8x7B/8x22B	Oes	Oes	x	Ie (heb ei wirio)	Oes	Y ddau	Oes
Nemotron 3 8B	Oes	x	x	Ie (heb ei wirio)	x	Y ddau	Oes
Nemotron 4 340B	Oes	x	x	Ie (heb ei wirio)	x	Y ddau	Oes
Baichuan2 7B	Oes	Oes	x	Ie (heb ei wirio)	x	Y ddau	Oes
SgwrsGLM3 6B	Oes	Oes	x	Ie (heb ei wirio)	x	Y ddau	Oes
Gemma 2B/7B	Oes	Oes	x	Ie (heb ei wirio)	Oes	Y ddau	Oes
Gemma2 2B/9B/27B	Oes	Oes	x	Ie (heb ei wirio)	x	Y ddau	Oes
Mamba2 130M/370M/780M/1.3B/2.7B/8B/ Hybrid-8B	Oes	Oes	x	Ie (heb ei wirio)	x	x	Oes
Phi3 mini 4k	x	Oes	x	Ie (heb ei wirio)	x	x	x
Qwen2 0.5B/1.5B/7B/72B	Oes	Oes	x	Ie (heb ei wirio)	Oes	Y ddau	Oes
StarCoder 15B	Oes	Oes	x	Ie (heb ei wirio)	Oes	Y ddau	Oes
StarCoder2 3B/7B/15B	Oes	Oes	x	Ie (heb ei wirio)	Oes	Y ddau	Oes
BERT 110M/340M	Oes	Oes	x	Ie (heb ei wirio)	x	Y ddau	x
T5 220M/3B/11B	Oes	Oes	x	x	x	x	x

 

Modelau Iaith Gweledigaeth

 

Mewnosod Modelau

 

Modelau Sefydliad y Byd

Nodyn
Mae NeMo hefyd yn cefnogi hyfforddi ymlaen llaw ar gyfer pensaernïaethau trylediad ac awto-atchweliad. text2world modelau sylfaen.

Deallusrwydd Artiffisial Lleferydd

Mae datblygu modelau AI sgwrsiol yn broses gymhleth sy'n cynnwys diffinio, adeiladu a hyfforddi modelau o fewn meysydd penodol. Mae'r broses hon fel arfer yn gofyn am sawl ailadrodd i gyrraedd lefel uchel o gywirdeb. Yn aml mae'n cynnwys sawl ailadrodd i gyflawni cywirdeb uchel, mireinio gwahanol dasgau a data penodol i'r parth, sicrhau perfformiad hyfforddi, a pharatoi modelau ar gyfer defnyddio casgliadau.

Mae Fframwaith NeMo yn darparu cefnogaeth ar gyfer hyfforddi ac addasu modelau AI Lleferydd. Mae hyn yn cynnwys tasgau fel Adnabod Lleferydd Awtomatig (ASR) a synthesis Testun-i-Leferydd (TTS). Mae'n cynnig trosglwyddiad llyfn i ddefnyddio cynhyrchu ar lefel menter gyda NVIDIA Riva. I gynorthwyo datblygwyr ac ymchwilwyr, mae Fframwaith NeMo yn cynnwys pwyntiau gwirio wedi'u hyfforddi ymlaen llaw o'r radd flaenaf, offer ar gyfer prosesu data lleferydd atgynhyrchadwy, a nodweddion ar gyfer archwilio a dadansoddi setiau data lleferydd yn rhyngweithiol. Dyma gydrannau Fframwaith NeMo ar gyfer AI Lleferydd:

Hyfforddiant ac Addasu
Mae Fframwaith NeMo yn cynnwys popeth sydd ei angen i hyfforddi ac addasu modelau lleferydd (ASR, Dosbarthiad Lleferydd, Adnabyddiaeth Siaradwr, Dyddiadur y Siaradwr, a TTS) mewn modd atgynhyrchadwy.

Modelau SOTA wedi'u Hyfforddi ymlaen llaw

• Mae Fframwaith NeMo yn darparu ryseitiau o'r radd flaenaf a phwyntiau gwirio wedi'u hyfforddi ymlaen llaw ar gyfer sawl un ASR a TTS modelau, yn ogystal â chyfarwyddiadau ar sut i'w llwytho.
• Offer Lleferydd
• Mae Fframwaith NeMo yn darparu set o offer sy'n ddefnyddiol ar gyfer datblygu modelau ASR a TTS, gan gynnwys:
  • Alinydd Gorfodol NeMo (NFA) ar gyfer cynhyrchu amseroedd lefel tocyn, gair a segmentampo leferydd mewn sain gan ddefnyddio modelau Adnabod Lleferydd Awtomatig NeMo sy'n seiliedig ar CTC.
  • Prosesydd Data Lleferydd (SDP), pecyn cymorth ar gyfer symleiddio prosesu data lleferydd. Mae'n caniatáu ichi gynrychioli gweithrediadau prosesu data mewn cyfluniad file, gan leihau cod boilerplate a chaniatáu atgynhyrchadwyedd a rhannu.
  • Archwiliwr Data Lleferydd (SDE), sy'n seiliedig ar Dash web cymhwysiad ar gyfer archwilio a dadansoddi rhyngweithiol setiau data lleferydd.
  • Offeryn creu set ddata sy'n darparu swyddogaeth i alinio sain hir files gyda'r trawsgrifiadau cyfatebol a'u rhannu'n ddarnau byrrach sy'n addas ar gyfer hyfforddiant model Adnabod Lleferydd Awtomatig (ASR).
  • Offeryn Cymharu i Fodelau ASR gymharu rhagfynegiadau gwahanol fodelau ASR ar lefel cywirdeb geiriau ac ynganiad.
  • Gwerthuswr ASR ar gyfer gwerthuso perfformiad modelau ASR a nodweddion eraill fel Canfod Gweithgaredd Llais.
  • Offeryn Normaleiddio Testun ar gyfer trosi testun o'r ffurf ysgrifenedig i'r ffurf lafar ac i'r gwrthwyneb (e.e. “31ain” yn erbyn “unfed ar hugain”).
• Llwybr i'w Ddefnyddio
• Gellir optimeiddio a defnyddio modelau NeMo sydd wedi'u hyfforddi neu eu haddasu gan ddefnyddio Fframwaith NeMo gyda NVIDIA Riva. Mae Riva yn darparu cynwysyddion a siartiau Helm sydd wedi'u cynllunio'n benodol i awtomeiddio'r camau ar gyfer defnyddio botwm gwthio.

Adnoddau Eraill

Storfeydd GitHub

• NeMoY brif storfa ar gyfer Fframwaith NeMo
• NeMo–RhedegOfferyn i ffurfweddu, lansio a rheoli eich arbrofion dysgu peirianyddol.
• NeMo-Aligner: Pecyn cymorth graddadwy ar gyfer aliniad model effeithlon
• Curadur NeMo: Pecyn cymorth cyn-brosesu a churadu data graddadwy ar gyfer LLMs

Cael Help
Ymgysylltwch â chymuned NeMo, gofynnwch gwestiynau, ceisiwch gymorth, neu rhowch wybod am fygiau.

• Trafodaethau NeMo
• Problemau NeMo

Ieithoedd Rhaglennu a Fframweithiau

• PythonY prif ryngwyneb i ddefnyddio Fframwaith NeMo
• PytorchMae Fframwaith NeMo wedi'i adeiladu ar ben PyTorch

Trwyddedau

• Mae repo NeMo Github wedi'i drwyddedu o dan drwydded Apache 2.0
• Mae Fframwaith NeMo wedi'i drwyddedu o dan GYTUNDEB CYNHYRCHION AI NVIDIA. Drwy dynnu a defnyddio'r cynhwysydd, rydych chi'n derbyn telerau ac amodau'r drwydded hon.
• Mae cynhwysydd Fframwaith NeMo yn cynnwys deunyddiau Llama sy'n cael eu llywodraethu gan Gytundeb Trwydded Gymunedol Meta Llama3.

Troednodiadau
Ar hyn o bryd, mae cefnogaeth NeMo Curator a NeMo Aligner ar gyfer modelau Amlfodd yn waith sy'n mynd rhagddo a bydd ar gael yn fuan iawn.

FAQ

C: Sut alla i wirio a yw'r bregusrwydd yn effeithio ar fy system?
A: Gallwch wirio a yw eich system wedi'i heffeithio drwy wirio fersiwn Fframwaith NVIDIA NeMo sydd wedi'i osod. Os yw'n is na fersiwn 24, efallai bod eich system yn agored i niwed.

Q: Pwy adroddodd y mater diogelwch CVE-2025-23360?
A: Adroddwyd am y broblem diogelwch gan Or Peles – JFrog Security. Mae NVIDIA yn cydnabod eu cyfraniad.

C: Sut alla i dderbyn hysbysiadau bwletin diogelwch yn y dyfodol?
A: Ewch i dudalen Diogelwch Cynnyrch NVIDIA i danysgrifio i hysbysiadau bwletin diogelwch a chael gwybod am ddiweddariadau diogelwch cynnyrch.