PROBACA.COM – Menggunakan AI lokal terasa menarik karena data pribadi tidak perlu dikirim ke layanan cloud. Namun, pengalaman Antonio G. Di Benedetto, reviewer laptop The Verge, menunjukkan bahwa prosesnya juga bisa membingungkan dan membuat frustrasi.
Di Benedetto mulai mencoba AI secara rutin setelah sebelumnya ragu memberikan data pribadinya kepada layanan cloud. Menurutnya, kini semakin memungkinkan untuk menjalankan model AI yang kuat secara lokal dan menguji kemampuannya. Ia juga ingin melihat apakah teknologi tersebut cukup berguna untuk membenarkan pengeluaran besar pada komputer atau laptop dengan RAM berkapasitas tinggi.
Apple menjadikan kemampuan AI lokal sebagai salah satu bagian dari penawaran Mac desktop terbarunya. Di sisi Windows, jajaran komputer RTX Spark baru akan hadir dengan RAM hingga 128GB dan ditujukan untuk penggunaan AI agentic.
Di Benedetto mengatakan gagasan memiliki “asisten kecil” yang hanya berjalan di komputer miliknya terasa berbeda dibandingkan mempercayai layanan cloud atau berlangganan chatbot dari OpenAI, Google, Microsoft, dan Anthropic. Meski begitu, ia menegaskan tidak akan menggunakan AI untuk menulis, mengedit, atau membuat brosur yang menurutnya buruk. Dengan privasi yang lebih terjaga, ia mulai mencari pekerjaan rutin yang bisa “dipercayakan” kepada AI.
Dalam pengujian berkelanjutan terhadap M5 Ultra Mac Studio dan sejumlah sistem Mac serta Windows lain, ia memasang beberapa LLM lokal. Percobaan itu dimulai dengan Hermes Agent, aplikasi desktop AI agent open source yang dapat dijalankan di macOS, Windows, dan Linux.
Hermes Agent bisa digunakan secara gratis jika pengguna memilih LLM lokal. Karena M5 Ultra Mac Studio yang dipakai memiliki unified memory sebesar 256GB, Di Benedetto dapat menjalankan hampir semua model yang diinginkannya.
Di situlah prosesnya mulai terasa membingungkan. Menurut Di Benedetto, jumlah model yang tersedia sangat banyak dan sebagian dirancang untuk penggunaan khusus. Secara umum, model dengan parameter hingga miliaran lebih banyak dapat melakukan lebih banyak hal dibandingkan model yang lebih kecil. Karena model lokal tidak mengenakan biaya berdasarkan token, ia memutuskan memulai dengan model berukuran besar.
Melalui antarmuka pengaturan awal dan pemilih model Hermes yang sederhana, ia memilih Qwen 3.8 Flash Next. Model tersebut memiliki 125 miliar parameter dan ukuran sekitar 105GB.
Ia juga berencana mencoba model Qwen yang lebih kecil pada perangkat seperti M6 Mac Mini, M5 MacBook Air, Asus TUF Gaming A14 dengan prosesor AMD Strix Halo, serta RTX Spark. Hermes dan Qwen dapat digunakan dalam waktu relatif singkat, termasuk dikendalikan melalui ponsel dengan bantuan bot Telegram.
Namun, setelah semuanya siap, ia kembali berhadapan dengan masalah yang biasa ditemuinya saat menggunakan AI: kotak teks.
“Apa yang harus saya lakukan dengan benda ini?”
Langkah pertama yang ia coba adalah membuat ringkasan pagi harian berdasarkan sejumlah saran di YouTube. Ia memulai dari hal kecil menggunakan cron job untuk memastikan sistem berjalan. Hermes memindai email dan kalender, memberi tahu hal-hal yang membutuhkan perhatian segera, lalu menyajikan laporan cuaca singkat.
Menurut Di Benedetto, fitur tersebut belum terlalu berguna dan jelas tidak membutuhkan komputer seharga 12.000 dolar AS. Namun, sistem itu bisa dikembangkan dari waktu ke waktu.
Ringkasan tersebut sempat gagal dibuat. Ia kemudian mengetahui bahwa macOS tidak boleh berada dalam kondisi tidur ketika tugas dijalankan pada pukul 07.30. Setelah masalah itu diatasi, sistem dapat bekerja secara teratur melalui Telegram. Meski demikian, ia masih perlu mencari informasi tambahan yang bisa diambil Hermes agar hasilnya lebih bermanfaat.
Tugas lain yang dianggap lebih berguna adalah menata ulang perpustakaan Steam miliknya. Di Benedetto memiliki lebih dari 400 gim di Steam dan baru mulai mengelompokkannya agar lebih mudah memilih gim baru secara spontan. Steam tidak mengategorikan gim secara otomatis, sehingga proses tersebut harus dilakukan satu per satu.
***
DISCLAIMER: Sebagian proses pengolahan artikel ini dibantu oleh teknologi AI. Pembaca disarankan memverifikasi kembali data dan informasi melalui sumber resmi atau sumber primer
Disadur dari Theverge
