Gila, Kamu Bisa Bikin AI Pintar Sendiri! 🤖✨
Halo semua, hari ini aku mau cerita tentang petualangan bikin AI buat ngebantuin Winglang, bahasa pemrograman keren yang lagi naik daun. Jadi gini, kita mau bikin AI biar bisa jawab pertanyaan-pertanyaan dari dokumentasi Winglang. Tapi, bingung deh, soalnya si AI belum terlalu pinter baca Winglang.
Opsi pertama, kita coba pake asisten dari OpenAI atau database vektor lainnya pake RAG. Lumayan sih, tapi tetep aja banyak kesalahan. Terus opsi kedua, masukin semua dokumentasi ke jendela konteks, tapi itu mah makin mahal budgetnya. Akhirnya, kita putusin buat bikin sendiri aja deh AI-nya.
Langkah pertama, kita bikin dataset buat train modelnya. Gampang aja, ambil semua URL dari sitemap, lalu minta kontennya. Setelah itu, kita parse HTML-nya biar jadi konten yang bisa dibaca. Terus, kita latih pakai ChatGPT 4 untuk konversi kontennya jadi dataset CSV. Simpel kan?
Setelah dataset selesai, sekarang kita masuk ke tahap pelatihan model. Karena komputer aku agak lemah, jadi pilih model yang kecil aja, cuma 7 milyar parameter. Kita pake Huggingface Autotrain biar gampang, tinggal pake CLI-nya tanpa harus ngejalanin kode Python.
Pertama-tama, install dulu Autotrain:
Terus, jalankan perintah Autotrain:
Setelah selesai, kamu bakal dapet folder baru namanya “autotrain-wing” dengan model yang udah dilatih.
Nah, untuk main-main sama modelnya, kamu bisa ikutin langkah ini:
Terus, buat file Python baru namanya invoke.py, dan isi kodenya kayak gini:
Gampang banget, kan? Jadi, kita udah bahas soal bikin AI buat bantu dokumentasi Winglang, tapi ternyata nyimpen perubahan-perubahan modelnya itu susah banget. Git ga terlalu friendly buat yang ukurannya gede banget, lebih dari 100 GB.
Nah, solusinya ada di KitOps. Ini alat keren banget buat ngurusin model LLM. Aku yakin ini bakal jadi standar di dunia LLM. Jadi, pastikan kamu bintangin repo-nya ya, biar bisa dipake nanti.
Langkah selanjutnya, download rilis terbaru KitOps dan langsung install. Terus, masuk ke folder model kamu dan jalankan perintah untuk nge-pack LLM kamu:
Keren kan? Nah, kalo kamu mau, kamu juga bisa push LLM kamu ke Docker Hub dengan perintah:
Oh iya, kalo mau tau cara pake DockerHub, cek link ini ya.
Jadi, Jangan menunggu sempurna untuk memulai, tetapi jalanilah walaupun itu burik.! 💪🚀
