 |
| Sumber Gambar : NVIDIA Blog |
Jogjaterkini.id - Perkembangan kecerdasan buatan (AI) di lingkungan perusahaan membuat kebutuhan terhadap model yang digunakan menjadi semakin beragam. Tidak semua pekerjaan membutuhkan model AI berukuran besar dengan kemampuan penalaran tingkat tinggi.
Melihat kebutuhan tersebut, Nvidia memperkenalkan Nemotron 3.5 Lightning, model AI yang dirancang untuk menangani berbagai tugas dengan kecepatan tinggi. Bersamaan dengan itu, Nvidia juga memperkenalkan NeMo Switchyard, pustaka open source yang memungkinkan sistem AI memilih model paling sesuai berdasarkan jenis pekerjaan.
Kedua teknologi tersebut ditujukan untuk membantu perusahaan mengelola penggunaan berbagai model AI secara lebih tepat sesuai kebutuhan, mulai dari pekerjaan sederhana hingga tugas yang membutuhkan kemampuan penalaran lebih kompleks.
Nemotron 3.5 Lightning Andalkan Arsitektur Mixture-of-Experts
Nemotron 3.5 Lightning merupakan model AI dengan 30 miliar parameter atau 30B. Model tersebut menggunakan arsitektur mixture-of-experts (MoE) dan menjadi bagian dari keluarga Nemotron 3 yang diperkenalkan Nvidia pada Desember 2025.
Keluarga Nemotron 3 dikembangkan sebagai fondasi terbuka untuk membangun sistem AI agentic. Konsep tersebut memungkinkan agen AI menangani berbagai pekerjaan berdasarkan instruksi dan kebutuhan pengguna.
Nvidia menyebut Nemotron 3.5 Lightning mampu menghasilkan output hingga empat kali lebih cepat dibandingkan model lain di kelasnya. Model tersebut juga diklaim dapat menyelesaikan tugas agentic hingga 30 persen lebih cepat.
Kemampuan tersebut menjadi penting bagi perusahaan yang harus memproses permintaan AI dalam jumlah besar. Dengan waktu pemrosesan yang lebih singkat, model dapat digunakan untuk mendukung berbagai alur kerja yang membutuhkan respons cepat.
Model AI Bisa Disesuaikan dengan Kebutuhan Perusahaan
Salah satu aspek yang ditonjolkan Nvidia dari Nemotron 3.5 Lightning adalah kemudahan dalam melakukan kustomisasi.
Perusahaan dapat melakukan post-training menggunakan Nvidia NeMo dengan memanfaatkan data, perangkat, dan alur kerja internal. Pendekatan ini memungkinkan model disesuaikan untuk kebutuhan tertentu tanpa harus membuat model AI baru dari awal.
Nvidia juga menyediakan dataset post-training, resep pelatihan, serta framework yang dapat digunakan pengembang. Data tersebut dapat dikombinasikan dengan dataset milik perusahaan sehingga hasil pelatihan dapat lebih relevan dengan kebutuhan bisnis.
Kustomisasi tersebut juga diklaim tidak selalu membutuhkan perangkat keras dengan spesifikasi sangat tinggi. Nvidia memberikan contoh CodeRabbit yang menggunakan resep pelatihan standar Nvidia untuk melatih model selama satu epoch.
Proses tersebut diklaim membutuhkan biaya sekitar 85 dollar AS atau sekitar Rp 1,5 juta dengan waktu pengerjaan sekitar dua jam.
NeMo Switchyard Membantu Memilih Model AI
Selain Nemotron 3.5 Lightning, Nvidia memperkenalkan NeMo Switchyard sebagai pustaka open source untuk melakukan routing model AI.
Teknologi ini dirancang untuk membantu agen AI menentukan model yang paling tepat berdasarkan jenis tugas yang harus diselesaikan. Pendekatan tersebut berangkat dari kenyataan bahwa satu sistem AI dapat menangani berbagai jenis pekerjaan dengan tingkat kesulitan berbeda.
Sebagai contoh, pekerjaan tertentu mungkin hanya membutuhkan respons sederhana dengan kecepatan tinggi. Sementara itu, tugas lain dapat membutuhkan kemampuan coding, pemahaman konteks yang lebih luas, atau penalaran yang lebih kompleks.
NeMo Switchyard memungkinkan permintaan tersebut diarahkan ke model yang sesuai dengan karakteristik tugasnya.
Routing Model Bisa Disesuaikan dengan Prioritas
Pengembang juga dapat menentukan strategi routing yang digunakan oleh NeMo Switchyard. Beberapa pertimbangan yang dapat digunakan antara lain kualitas jawaban, biaya, kecepatan, dan latensi.
Dengan sistem tersebut, perusahaan tidak perlu selalu menggunakan model AI dengan kemampuan paling tinggi untuk setiap permintaan. Model berukuran lebih ringan dapat menangani pekerjaan sederhana, sedangkan model dengan kemampuan penalaran lebih tinggi digunakan ketika tugas membutuhkan kemampuan tersebut.
Pendekatan ini dapat membantu perusahaan mengatur penggunaan sumber daya AI berdasarkan kebutuhan masing-masing pekerjaan.
Nvidia Kembangkan NeMo Switchyard Bersama Ekosistem AI
Pengembangan NeMo Switchyard dilakukan Nvidia bersama sejumlah perusahaan dan organisasi yang berada dalam ekosistem AI.
Beberapa pihak yang disebut terlibat dalam pengembangannya antara lain Boomi, Cadence Design Systems, Classmethod, Cognition AI, Kong, LangChain, Nous Research, dan Siemens.
Kehadiran berbagai pihak tersebut menunjukkan bahwa kebutuhan terhadap sistem routing model semakin relevan seiring bertambahnya jumlah dan jenis model AI yang dapat digunakan dalam satu sistem.
Nemotron 3.5 Lightning dan NeMo Switchyard Hadirkan Pendekatan Fleksibel
Peluncuran Nemotron 3.5 Lightning dan NeMo Switchyard memperlihatkan pendekatan Nvidia dalam menghadapi kebutuhan AI perusahaan yang semakin kompleks.
Nemotron 3.5 Lightning berfokus pada model AI yang cepat dan dapat dikustomisasi, sedangkan NeMo Switchyard berperan dalam menentukan model yang paling sesuai untuk setiap tugas.
Kombinasi keduanya memungkinkan perusahaan mempertimbangkan kebutuhan pekerjaan sebelum menentukan model yang digunakan. Tugas dengan tingkat kompleksitas rendah dapat dikerjakan model yang lebih ringan, sementara pekerjaan yang membutuhkan kemampuan penalaran lebih tinggi dapat diarahkan ke model yang lebih mumpuni.
Dengan pola tersebut, penggunaan AI di lingkungan perusahaan tidak hanya bergantung pada seberapa besar atau canggih sebuah model, tetapi juga bagaimana model tersebut dipilih dan disesuaikan dengan kebutuhan pekerjaan.
