Meta mengatakan bahwa mereka telah menciptakan alat AI generatif untuk pengkodean yang mirip dengan Copilot milik GitHub.
Perusahaan ini membuat pengumuman di sebuah acara yang berfokus pada upaya infrastruktur AI-nya, termasuk chip khusus yang dibuat Meta untuk mempercepat pelatihan model AI generatif. Alat pengkodean, yang disebut CodeCompose, tidak tersedia untuk umum – setidaknya belum. Namun Meta mengatakan bahwa timnya menggunakannya secara internal untuk mendapatkan saran kode untuk Python dan bahasa lain saat mereka mengetik di IDE seperti VS Code.
“Model yang mendasari dibangun di atas penelitian publik dari [Meta] yang telah kami sesuaikan untuk kasus penggunaan dan basis kode internal kami,” kata Michael Bolin, seorang insinyur perangkat lunak di Meta, dalam video yang telah direkam sebelumnya. “Dari sisi produk, kami dapat mengintegrasikan CodeCompose ke dalam permukaan apa pun di mana para pengembang atau ilmuwan data kami bekerja dengan kode.”
Model CodeCompose terbesar yang dilatih Meta memiliki 6,7 miliar parameter, lebih dari setengah jumlah parameter dalam model yang menjadi dasar Copilot. Parameter adalah bagian dari model yang dipelajari dari data pelatihan historis dan pada dasarnya menentukan keterampilan model pada suatu masalah, seperti menghasilkan teks.
CodeCompose disesuaikan dengan kode pihak pertama Meta, termasuk pustaka internal dan kerangka kerja yang ditulis dalam Hack, bahasa pemrograman yang dikembangkan Meta, sehingga dapat memasukkannya ke dalam saran pemrogramannya. Dan kumpulan data pelatihan dasarnya disaring dari praktik pengkodean yang buruk dan kesalahan, seperti API yang sudah usang, untuk mengurangi kemungkinan model merekomendasikan potongan kode yang bermasalah.
Dalam praktiknya, CodeCompose memberikan saran seperti anotasi dan pernyataan impor saat pengguna mengetik. Sistem ini dapat menyelesaikan satu baris kode atau beberapa baris, secara opsional mengisi seluruh potongan kode yang besar.
“CodeCompose dapat memanfaatkan kode yang ada di sekitarnya untuk memberikan saran yang lebih baik,” lanjut Bolin. “Ini juga dapat menggunakan komentar kode sebagai sinyal dalam menghasilkan kode.”
Meta mengklaim bahwa ribuan karyawan menerima saran dari CodeCompose setiap minggunya dan tingkat penerimaannya lebih dari 20%.
Namun, perusahaan tersebut tidak membahas kontroversi seputar AI yang menghasilkan kode.
Microsoft, GitHub, dan OpenAI digugat dalam gugatan class action yang menuduh mereka melanggar undang-undang hak cipta dengan mengizinkan Copilot memuntahkan kembali bagian dari kode berlisensi tanpa memberikan kredit. Di samping tanggung jawab, beberapa ahli hukum telah menyarankan bahwa AI seperti Copilot dapat menempatkan perusahaan dalam risiko jika mereka tanpa disadari memasukkan saran yang dilindungi hak cipta dari alat tersebut ke dalam perangkat lunak produksi mereka.
Tidak jelas apakah CodeCompose juga dilatih dengan kode berlisensi atau kode berhak cipta – bahkan tanpa sengaja. Ketika dimintai komentar, juru bicara Meta mengatakan hal ini:
“CodeCompose dilatih menggunakan InCoder, yang dirilis oleh divisi riset AI Meta. Dalam sebuah makalah yang merinci InCoder, kami mencatat bahwa, untuk melatih InCoder, ‘Kami mengumpulkan korpus (1) kode publik dengan lisensi sumber terbuka yang permisif, non-bajakan, dan open source dari GitHub dan GitLab dan (2) pertanyaan, jawaban, dan komentar dari StackOverflow. Satu-satunya pelatihan tambahan yang kami lakukan untuk CodeCompose adalah pada kode internal Meta.”
Alat pengkodean generatif juga dapat memperkenalkan kode yang tidak aman. Menurut sebuah penelitian terbaru dari Stanford, insinyur perangkat lunak yang menggunakan sistem AI penghasil kode lebih mungkin menyebabkan kerentanan keamanan pada aplikasi yang mereka kembangkan. Meskipun penelitian ini tidak melihat CodeCompose secara khusus, masuk akal jika pengembang yang menggunakannya akan menjadi korban yang sama.
Bolin menekankan bahwa pengembang tidak perlu mengikuti saran CodeCompose dan bahwa keamanan adalah “pertimbangan utama” dalam membuat model. “Kami sangat senang dengan kemajuan kami di CodeCompose hingga saat ini, dan kami percaya bahwa para pengembang kami paling baik dilayani dengan membawa pekerjaan ini secara internal,” tambahnya.
Sumber : https://techcrunch.com/2023/05/18/meta-built-a-code-generating-ai-model-similar-to-copilot/