Kolaborasi strategis antara Alibaba Cloud, penyedia layanan cloud terkemuka di dunia, dan MediaTek, perusahaan semikonduktor fabless global, berupaya untuk menghadirkan kecerdasan buatan (AI) generatif langsung ke perangkat smartphone.
Transformasi Lewat Gabungan Teknologi Alibaba Cloud dan MediaTek
Alibaba Cloud telah mengembangkan versi large language model (LLM) bernama Qwen dengan parameter 1.8 miliar dan 4 miliar yang mampu dijalankan pada chipset premium generasi ketiga dari MediaTek, Dimensity 9300 dan Dimensity 8300. Sinergi dari kedua teknologi ini memungkinkan smartphone untuk menjalankan fungsi AI secara mandiri, bahkan tanpa koneksi internet yang stabil atau terbatas.
Sebelumnya, AI generatif hanya dapat diakses melalui pusat data, namun saat ini dapat diakses dengan mudah oleh konsumen umumnya. Hal ini membuka celah-celah inovasi baru dalam penggunaan AI di berbagai aplikasi, mulai dari asisten virtual hingga pemrosesan bahasa alami (NLP).
Masa Depan Penggunaan AI di smartphone
Menurut Gartner, hingga akhir tahun 2024, diperkirakan akan ada 240 juta smartphone dengan teknologi GenAI dan 54,5 juta PC dengan AI yang akan segera didistribusikan. Data tersebut mencakup sekitar 22% dari total smartphone kelas biasa, menengah, dan premium, serta 22% dari keseluruhan PC di tahun 2024.
Peralihan dari cloud ke smartphone memerlukan adanya optimasi model AI untuk mencapai keseimbangan antara akurasi, efisiensi biaya, dan efisiensi energi.
Alibaba Cloud telah mengoptimalkan versi open source dari LLM dengan parameter 1.8 miliar, Qwen-1.8B, untuk perangkat yang lebih kecil. Model ini membutuhkan daya komputasi yang lebih sedikit untuk dijalankan, sehingga memungkinkan aplikasi AI berjalan di smartphone tanpa membutuhkan jaringan internet.
Tantangan Integrasi Teknologi
Integrasi teknologi AI generatif ke dalam perangkat genggam tentunya dihadapkan pada tantangan dalam hal kompatibilitas hardware, software, dan protokol komunikasi. Kerja sama Alibaba Cloud dan MediaTek juga mencakup pada pencarian solusi akan hal ini, termasuk dalam optimasi ukuran model, optimasi inferensi, serta penyimpanan, agar mencapai keseimbangan yang ideal.
Dengan dukungan dari chipset Dimensity 9300, versi model Qwen dengan parameter 1.8 miliar dapat mencapai kinerja yang optimal. Saat bekerja, proses inferensi AI-nya menggunakan kurang dari 30% CPU dan 2 GB RAM, dapat mencapai lebih dari 20 token per detik. Dengan konsumsi daya dalam proses inferensi kurang dari 3 watt, sinergi teknologi ini meningkatkan performance dalam menjalankan task AI dengan penggunaan energi yang efisien.
Paket Pengembangan Perangkat Lunak untuk Produsen
Untuk memastikan adopsi teknologi AI di smartphone berjalan dengan lancar, Alibaba Cloud dan MediaTek akan merilis paket pengembangan software bagi produsen dan pengembang smartphone.
Solusi ini memungkinkan produsen dan pengembang untuk memberikan fitur-fitur AI generatif pada perangkat mereka secara custom. Produsen dan pengembang smartphone dapat melatih dan menyempurnakan model untuk fitur AI versi mereka yang lebih canggih.
Penggunaan AI generatif secara langsung di smartphone tentu saja membuka banyaknya peluang baru dalam penggunaan teknologi AI di berbagai aplikasi. Belum lagi produsen dan pengembang yang dapat memberikan sentuhan unik dan personal pada AI buatan mereka dapat memastikan adopsi yang besar terjadi di masa depan.
