Generative AI adalah cabang dari kecerdasan buatan yang berfokus pada pembuatan konten baru, seperti teks, gambar, suara, video, dan bahkan kode komputer. Model generatif AI bekerja dengan cara mempelajari pola dari data yang ada dan kemudian menggunakan pola-pola ini untuk menciptakan data yang baru dan orisinal. Ini berbeda dari model AI tradisional yang biasanya hanya memprediksi hasil berdasarkan data input yang diberikan.

1. Prinsip Dasar Generative AI

Generative AI memanfaatkan berbagai teknik, terutama jaringan saraf tiruan, untuk mempelajari distribusi data dalam set data pelatihan dan kemudian menghasilkan sampel baru yang mengikuti distribusi ini. Berikut adalah beberapa konsep utama yang menjadi dasar operasional generative AI:

Pembelajaran Representasi: Model generatif belajar dari data masukan untuk memahami representasi internal yang dapat digunakan untuk menghasilkan data baru. Ini melibatkan pembelajaran fitur atau pola yang mendasari data.
Ruang Laten: Model generatif sering bekerja dengan konsep ruang laten, yang merupakan representasi matematis dari karakteristik data yang telah dipelajari. Dengan memanipulasi vektor di dalam ruang laten, model dapat menciptakan variasi baru dari data.
Distribusi Probabilistik: Generative AI menggunakan model probabilistik untuk mempelajari kemungkinan distribusi data, memungkinkan mereka untuk menghasilkan sampel yang realistis.

2. Teknik dan Arsitektur dalam Generative AI

Ada beberapa teknik dan arsitektur utama yang digunakan dalam generative AI:

Generative Adversarial Networks (GANs): GAN adalah salah satu teknik paling populer dalam generative AI. Ia terdiri dari dua jaringan saraf yang saling berhadapan, yaitu generator dan diskriminator. Generator bertugas menghasilkan data baru, sementara diskriminator mencoba membedakan antara data yang dihasilkan dan data asli. Tujuan dari generator adalah untuk membuat data yang tidak dapat dibedakan oleh diskriminator dari data nyata.
Variational Autoencoders (VAEs): VAEs adalah jenis autoencoder yang mempelajari representasi laten dari data input dan menggunakan distribusi probabilistik untuk menghasilkan data baru. Mereka sangat baik untuk menghasilkan data yang bervariasi tetapi realistis.
Transformers: Model transformer, seperti GPT-3 dan GPT-4, adalah model generatif berbasis jaringan perhatian (attention networks) yang sangat efektif untuk pemrosesan bahasa alami (NLP). Mereka dilatih pada sejumlah besar teks untuk mempelajari cara menghasilkan teks yang koheren dan relevan.
Autoregressive Models: Model-model ini, seperti PixelRNN atau PixelCNN, menghasilkan data satu langkah pada satu waktu, dengan setiap langkah bergantung pada langkah sebelumnya. Ini digunakan dalam generasi gambar atau teks yang sekuensial.

3. Aplikasi Generative AI

Generative AI telah menemukan aplikasi di berbagai bidang, beberapa di antaranya adalah:

Pemrosesan Bahasa Alami (NLP): Model generatif digunakan untuk menerjemahkan bahasa, merangkum dokumen, menghasilkan artikel atau cerita, dan menjawab pertanyaan. Chatbots cerdas yang dapat berinteraksi secara natural dengan pengguna adalah contoh lain.
Pembuatan Gambar dan Video: Teknologi seperti GAN digunakan untuk menghasilkan gambar realistis dari deskripsi tekstual, membuat deepfakes, dan menciptakan konten visual baru untuk permainan atau film.
Pengembangan Obat: Dalam bidang medis, generative AI dapat digunakan untuk merancang molekul obat baru dengan sifat yang diinginkan, mempercepat proses penemuan obat.
Rekomendasi Produk: Generative AI digunakan untuk menciptakan pengalaman pelanggan yang lebih personal dengan menghasilkan rekomendasi produk yang sesuai dengan preferensi pengguna berdasarkan data histori pembelian.
Desain Grafis dan Seni: Seniman menggunakan AI generatif untuk menghasilkan karya seni digital, poster, dan bahkan fashion. Contohnya adalah penggunaan AI dalam desain pakaian atau pembuatan seni generatif.

4. Keuntungan Generative AI

Kreativitas Tak Terbatas: Generative AI dapat menghasilkan jumlah konten yang hampir tidak terbatas berdasarkan pola yang telah dipelajari, membuatnya sangat berguna untuk aplikasi kreatif.
Otomatisasi: Generative AI dapat mengotomatiskan tugas yang memerlukan kreativitas atau desain, yang sebelumnya hanya bisa dilakukan oleh manusia.
Pemahaman Mendalam: Dengan mempelajari pola dari data yang ada, generative AI dapat menawarkan wawasan baru dan mendalam tentang data tersebut, yang bisa berguna dalam penelitian dan pengembangan.

5. Tantangan dan Risiko Generative AI

Halusinasi: Model generatif, terutama yang digunakan dalam NLP, terkadang dapat menghasilkan informasi yang salah atau tidak berdasar, yang dikenal sebagai halusinasi AI.
Bias: Jika data pelatihan yang digunakan mengandung bias, model generatif akan cenderung memperkuat bias tersebut dalam output yang dihasilkan.
Keamanan dan Penyalahgunaan: Kemampuan generative AI untuk menghasilkan gambar, video, atau teks yang realistis menimbulkan kekhawatiran tentang penyalahgunaan teknologi ini untuk tujuan jahat, seperti deepfake dan disinformasi.
Kualitas dan Akurasi: Menjaga kualitas dan akurasi data yang dihasilkan adalah tantangan besar, terutama dalam aplikasi yang memerlukan keakuratan tinggi, seperti di bidang medis atau hukum.

6. Masa Depan Generative AI

Generative AI terus berkembang pesat dengan penelitian dan pengembangan yang berkelanjutan. Masa depannya melibatkan:

Integrasi yang Lebih Baik dengan Teknologi Lain: Penggabungan generative AI dengan Internet of Things (IoT), robotika, dan augmented reality akan membuka peluang baru.
Peningkatan Kapasitas dan Skala: Dengan meningkatnya kekuatan komputasi, model generatif akan dapat menangani dataset yang lebih besar dan lebih kompleks, menghasilkan output yang lebih realistis dan bervariasi.
Etika dan Regulasi: Akan ada kebutuhan yang semakin besar untuk regulasi dan panduan etika dalam penggunaan generative AI untuk memastikan teknologi ini digunakan dengan cara yang bertanggung jawab dan bermanfaat bagi masyarakat.

Generative AI adalah salah satu pilar penting dalam perkembangan teknologi AI masa kini dan masa depan, dengan potensi besar untuk mengubah cara kita hidup dan bekerja. Namun, pemanfaatan yang tepat dan pengawasan etis sangat diperlukan untuk memastikan bahwa teknologi ini membawa manfaat maksimal dengan risiko yang minimal.

Retrieval Augmented Generation (RAG) adalah sebuah pendekatan yang menggabungkan kemampuan generatif dari model bahasa besar (Large Language Models/LLMs) dengan kemampuan retrieval (pengambilan informasi) dari sumber data eksternal untuk menghasilkan teks yang lebih akurat, faktual, dan relevan. Dengan menggunakan RAG, model AI dapat mengurangi risiko halusinasi (menghasilkan informasi yang salah atau tidak berdasar) dan bias, yang merupakan masalah umum dalam model AI generatif.

Apa itu RAG?

RAG bekerja dengan cara menggabungkan dua komponen utama:

Retriever: Bagian ini bertanggung jawab untuk mencari dan mengambil informasi dari basis data eksternal atau dokumen saat model AI dihadapkan dengan pertanyaan atau permintaan tertentu.
Generator: Setelah informasi yang relevan diambil oleh retriever, bagian generator menggunakan informasi tersebut untuk menghasilkan teks yang lebih terinformasi dan sesuai dengan konteks.

Bayangkan RAG seperti seorang siswa yang tidak hanya mengandalkan pengetahuan di otaknya saat ujian tetapi juga diperbolehkan membuka buku referensi untuk menemukan jawaban yang lebih tepat. Dengan demikian, RAG menggabungkan kekuatan model generatif dengan akses ke sumber informasi yang diperbarui dan luas.

Mengapa RAG Penting?

Mengurangi Halusinasi: Model generatif cenderung membuat informasi yang tampaknya benar tetapi sebenarnya salah. Dengan mengakses informasi dari sumber eksternal, RAG dapat memverifikasi fakta sebelum menghasilkan jawaban.
Mengurangi Bias: Data pelatihan yang tidak seimbang atau bias dapat menyebabkan model AI menghasilkan jawaban yang tidak akurat atau condong ke arah tertentu. RAG memungkinkan akses ke sumber data yang lebih beragam, membantu mengurangi bias ini.
Meningkatkan Akurasi: Dengan memanfaatkan data eksternal, RAG dapat memberikan jawaban yang lebih akurat dan up-to-date, yang sangat penting terutama dalam konteks di mana informasi terus berubah.

Contoh Penggunaan RAG:

Chatbot: Dengan menggunakan RAG, chatbot dapat memberikan jawaban yang lebih tepat dan berdasarkan fakta terbaru, karena dapat menarik informasi langsung dari basis data atau dokumen perusahaan.
Penulisan Artikel: Alat penulisan berbasis AI yang dilengkapi dengan RAG dapat menghasilkan artikel yang lebih informatif dan berdasarkan fakta, dengan menarik data dari sumber yang kredibel.
Pencarian Informasi: Mesin pencari yang menggunakan RAG dapat memahami konteks pertanyaan pengguna dengan lebih baik dan menyediakan hasil pencarian yang lebih relevan.

Tantangan dalam RAG:

Kualitas Sumber Data: Informasi yang diambil dari sumber eksternal harus dapat dipercaya. Jika tidak, model RAG berisiko menghasilkan jawaban yang salah atau bias.
Waktu Proses: Mengambil dan memproses informasi dari sumber eksternal membutuhkan waktu lebih lama daripada hanya menggunakan data yang ada di model.
Privasi Data: Penggunaan RAG harus memperhatikan isu privasi, terutama jika data yang digunakan bersifat sensitif atau pribadi.

RAG adalah inovasi yang menjanjikan dalam bidang AI generatif, memberikan solusi terhadap beberapa kelemahan utama seperti halusinasi dan bias. Dengan kemampuan untuk mencari dan menggunakan informasi dari berbagai sumber, RAG dapat membuat model AI lebih akurat dan andal.

Implementasi Generative AI dan RAG menggunakan Tools LLM offline

Menggunakan Large Language Models (LLM) secara offline dapat menjadi pilihan yang baik untuk menjaga privasi, meningkatkan keamanan data, atau mengurangi ketergantungan pada koneksi internet. Berikut adalah beberapa tools dan framework yang memungkinkan penggunaan LLM secara offline:

1. GPT-Neo dan GPT-J (EleutherAI)

Deskripsi: GPT-Neo dan GPT-J adalah model bahasa terbuka yang dikembangkan oleh EleutherAI. Keduanya merupakan alternatif open-source dari model GPT-3 OpenAI dan dapat dijalankan secara lokal.
Fitur:
- Mendukung inferensi secara offline.
- Model tersedia dalam berbagai ukuran (125M, 1.3B, 2.7B, 6B parameter).
Kebutuhan: Komputer dengan GPU yang kuat untuk menjalankan model yang lebih besar.

2. LLaMA (Large Language Model Meta AI)

Deskripsi: LLaMA adalah rangkaian model bahasa besar yang dikembangkan oleh Meta AI dan dirancang untuk efisiensi dalam penggunaan daya komputasi.
Fitur:
- Model lebih kecil dan lebih efisien daripada model seukuran lainnya, sehingga lebih mudah dijalankan secara offline.
- Tersedia dalam berbagai ukuran, mulai dari 7B hingga 65B parameter.
Kebutuhan: Sumber daya komputasi yang cukup untuk menangani model skala besar, termasuk GPU.

3. Alpaca (Stanford Alpaca)

Deskripsi: Alpaca adalah model berbasis LLaMA yang dilatih untuk mengikuti instruksi dalam berbagai tugas. Dapat digunakan untuk inferensi secara offline dengan modifikasi.
Fitur:
- Dioptimalkan untuk tugas-tugas instruksi berbasis teks.
- Dapat dijalankan pada perangkat keras yang lebih terbatas dibandingkan model bahasa besar lainnya.
Kebutuhan: GPU dengan kapasitas memori yang memadai, tergantung ukuran model.

4. Open Assistant

Deskripsi: Open Assistant adalah inisiatif dari komunitas Hugging Face untuk menciptakan alternatif open-source dari asisten AI komersial. Dapat diimplementasikan dengan model yang tersedia secara publik.
Fitur:
- Dapat dijalankan secara lokal untuk menjaga privasi dan keamanan data.
- Menggunakan model bahasa open-source yang dapat diunduh dan dijalankan offline.
Kebutuhan: Bergantung pada model yang dipilih, bisa menggunakan CPU atau GPU.

5. BERT (Bidirectional Encoder Representations from Transformers)

Deskripsi: BERT adalah model berbasis transformer yang dirancang untuk pemahaman bahasa. Dapat digunakan untuk tugas NLP spesifik dan tersedia dalam varian yang lebih kecil untuk dijalankan secara offline.
Fitur:
- Cocok untuk tugas seperti klasifikasi teks, entitas pengenalan, dan lainnya.
- Implementasi lebih kecil seperti DistilBERT memungkinkan penggunaan di perangkat dengan sumber daya terbatas.
Kebutuhan: Dapat dijalankan pada CPU atau GPU, tergantung varian model.

6. Fairseq (Facebook AI Research Sequence-to-Sequence Toolkit)

Deskripsi: Fairseq adalah toolkit open-source dari Facebook AI untuk pelatihan dan inferensi model sequence-to-sequence, termasuk transformer, secara lokal.
Fitur:
- Mendukung berbagai arsitektur model bahasa, termasuk GPT, BART, dan lainnya.
- Sangat fleksibel dan mendukung pelatihan serta inferensi secara offline.
Kebutuhan: Komputer dengan GPU untuk pelatihan model besar, namun inferensi bisa dilakukan pada CPU.

7. Hugging Face Transformers

Deskripsi: Library populer untuk mengakses berbagai model bahasa termasuk BERT, GPT-2, dan model lain yang dapat dijalankan secara lokal.
Fitur:
- Dukungan yang luas untuk berbagai model dan arsitektur.
- Dokumentasi yang komprehensif dan komunitas aktif.
Kebutuhan: Komputer dengan GPU untuk model besar, tetapi model yang lebih kecil dapat dijalankan di CPU.

8. SentenceTransformers

Deskripsi: Library untuk mengimplementasikan model berbasis transformer yang dioptimalkan untuk embedding kalimat dan tugas-tugas NLP terkait.
Fitur:
- Mendukung berbagai model berbasis transformer yang dapat dijalankan secara offline.
- Dapat digunakan untuk pencarian semantik, klasifikasi teks, dan lainnya.
Kebutuhan: Bergantung pada ukuran model, dapat dijalankan di CPU atau GPU.

9. Bloom

Deskripsi: Bloom adalah model bahasa besar yang dikembangkan oleh BigScience, sebuah kolaborasi internasional yang bertujuan untuk membuat model bahasa besar yang terbuka dan dapat diakses.
Fitur:
- Model open-source yang besar, dirancang untuk mendukung multibahasa.
- Mendukung penggunaan dan pengembangan secara lokal.
Kebutuhan: Infrastruktur GPU yang kuat, terutama untuk versi model yang lebih besar.

Pertimbangan Sebelum Implementasi LLM Offline:

Sumber Daya Komputasi: LLM besar memerlukan GPU yang kuat untuk performa yang optimal. Versi lebih kecil dari model mungkin bisa dijalankan pada perangkat keras yang lebih sederhana.
Memori dan Penyimpanan: LLM sering kali memerlukan memori yang besar dan penyimpanan yang cukup untuk menyimpan model dan dataset terkait.
Keamanan dan Privasi: Menjalankan model secara offline dapat meningkatkan keamanan data dan privasi, terutama untuk aplikasi yang menangani informasi sensitif.

Menggunakan LLM secara offline menawarkan banyak keuntungan, terutama terkait dengan privasi, keamanan, dan kendali atas data. Namun, implementasinya memerlukan pertimbangan teknis yang matang, termasuk kebutuhan akan sumber daya komputasi yang memadai dan pengelolaan data yang efisien. Berbagai tools open-source di atas memberikan fleksibilitas dalam memilih model yang sesuai dengan kebutuhan dan infrastruktur yang tersedia.

Implementasi Generative AI dengan Retrieval Augmented Generation (RAG) menggunakan tools LLM offline melibatkan integrasi model bahasa besar (Large Language Models, LLM) dengan sistem pengambilan informasi dari basis data lokal atau dokumen. Berikut ini adalah panduan langkah demi langkah untuk mengimplementasikan generative AI dengan RAG menggunakan LLM yang dapat dioperasikan secara offline:

1. Pilih Model LLM Offline

Pilih model bahasa yang sesuai dengan kebutuhan Anda berdasarkan kapasitas komputasi dan persyaratan aplikasi. Beberapa pilihan populer yang dapat digunakan secara offline termasuk:
- GPT-J (6B parameter) oleh EleutherAI.
- LLaMA oleh Meta AI.
- GPT-NeoX oleh EleutherAI.
- Vicuna (berbasis LLaMA).
- BLOOM untuk dukungan multibahasa.

2. Persiapkan Lingkungan Pengembangan

Perangkat Keras: Pastikan Anda memiliki perangkat keras yang cukup kuat, seperti GPU dengan memori tinggi (16GB atau lebih). Ini penting untuk menjalankan inferensi LLM secara efisien.
Perangkat Lunak: Instal perangkat lunak dan pustaka yang diperlukan:
- Python: Versi terbaru (Python code :3.8 atau lebih baru).
- PyTorch: Library deep learning yang populer dan mendukung LLM.
- Transformers: Library dari Hugging Face untuk mengelola model bahasa.
- FAISS: (Facebook AI Similarity Search) untuk pengindeksan dan pencarian cepat, berguna dalam komponen retrieval.

bash

pip install torch transformers faiss-cpu

3. Set Up Model LLM Offline

Unduh Model: Unduh model yang telah Anda pilih dari repositori atau sumber yang sesuai (misalnya, Hugging Face Model Hub).
Muat Model: Gunakan library Transformers dari Hugging Face untuk memuat model ke dalam kode Python code :Anda.

python

from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "EleutherAI/gpt-j-6B"

tokenizer = AutoTokenizer.from_pretrained(model_name)

model = AutoModelForCausalLM.from_pretrained(model_name, device_map="auto")

4. Implementasi Retrieval Mechanism

Indexing Dokumen: Siapkan basis data lokal atau koleksi dokumen yang akan diindeks. Gunakan FAISS untuk membuat indeks vektor untuk pencarian cepat.

python

import faiss

import numpy as np

# Contoh data dokumen

documents = ["Dokumen pertama...", "Dokumen kedua...", "Dokumen ketiga..."]

# Encode dokumen menjadi vektor

document_embeddings = [encode(doc) for doc in documents] # encode adalah fungsi yang mengubah teks menjadi vektor

document_embeddings = np.array(document_embeddings).astype('float32')

# Membuat index FAISS

index = faiss.IndexFlatL2(document_embeddings.shape[1]) # L2 jarak euclidean

index.add(document_embeddings)

Pencarian Dokumen: Gunakan FAISS untuk mencari dokumen yang relevan berdasarkan input dari pengguna.

python

def search(query, k=3):

query_embedding = encode(query) # encode adalah fungsi yang mengubah teks menjadi vektor

distances, indices = index.search(np.array([query_embedding]), k)

return [documents[i] for i in indices[0]]

hasil_pencarian = search("informasi tentang teknologi AI")

5. Kombinasikan Retrieval dan Generation (RAG)

Langkah 1: Gunakan sistem pencarian untuk mengambil dokumen atau informasi relevan berdasarkan kueri pengguna.
Langkah 2: Gabungkan informasi yang diambil dengan prompt pengguna dan gunakan LLM untuk menghasilkan teks.

python code :

def generate_response(query):

retrieved_docs = search(query)

context = " ".join(retrieved_docs)

input_text = context + " " + query

input_ids = tokenizer.encode(input_text, return_tensors='pt').to(model.device)

output = model.generate(input_ids, max_length=500, num_return_sequences=1)

response = tokenizer.decode(output[0], skip_special_tokens=True)

return response

query = "Bagaimana cara mengimplementasikan AI?"

response = generate_response(query)

print(response)

6. Optimasi dan Evaluasi

Optimasi: Sesuaikan parameter model seperti panjang maksimum respons, jumlah urutan yang dihasilkan, atau metode decoding (misalnya, greedy search, beam search) untuk mencapai hasil yang optimal.
Evaluasi: Uji sistem dengan berbagai pertanyaan dan kueri untuk memastikan bahwa output akurat dan sesuai. Evaluasi juga perlu dilakukan terhadap bias yang mungkin muncul.

7. Keamanan dan Privasi

Pastikan data yang diambil untuk pencarian dan konteks adalah aman dan sesuai dengan kebijakan privasi. Hindari menyimpan data pribadi atau sensitif yang dapat diakses oleh pihak yang tidak berwenang.

Implementasi RAG menggunakan LLM offline memberikan fleksibilitas dan keamanan yang lebih baik dibandingkan dengan solusi berbasis cloud. Dengan mengkombinasikan kemampuan generatif dari LLM dengan data retrieval yang relevan dan aktual, Anda dapat menghasilkan respons yang lebih akurat, faktual, dan berguna. Pendekatan ini sangat cocok untuk aplikasi seperti chatbot customer service, asisten penulisan, dan sistem pencarian berbasis AI.

Glosarium Generative AI dan RAG

Artificial Intelligence (AI): Teknologi yang memungkinkan komputer untuk melakukan tugas yang biasanya membutuhkan kecerdasan manusia, seperti pengenalan suara, penglihatan komputer, pengambilan keputusan, dan pemahaman bahasa alami.
Generative AI: Subbidang AI yang berfokus pada model yang dapat menghasilkan konten baru, seperti teks, gambar, suara, atau data lainnya, berdasarkan pola dan data pelatihan yang ada. Contoh generative AI termasuk model bahasa besar seperti GPT-3 dan model gambar seperti DALL-E.
Large Language Model (LLM): Model AI yang sangat besar yang telah dilatih pada sejumlah besar teks untuk memahami dan menghasilkan bahasa alami. LLM memiliki miliaran parameter dan dapat menghasilkan teks yang mirip dengan manusia berdasarkan input teks.
Retrieval Augmented Generation (RAG): Pendekatan dalam Generative AI yang menggabungkan kemampuan model bahasa besar dengan mekanisme pencarian informasi. Model ini dapat mengambil data relevan dari sumber eksternal saat menghasilkan respons, meningkatkan akurasi dan relevansi output.
Halusinasi AI: Fenomena di mana model generatif menghasilkan informasi yang salah atau tidak berdasar, yang tampak benar. Ini terjadi ketika model mengandalkan data pelatihannya tanpa referensi ke fakta yang dapat diverifikasi.
Bias AI: Ketidakberpihakan atau preferensi dalam output AI yang muncul karena bias dalam data pelatihan. Bias ini bisa berbentuk prasangka rasial, gender, atau jenis bias lainnya yang tercermin dalam keputusan atau output AI.
Prompt: Input teks atau pertanyaan yang diberikan kepada model generatif untuk menghasilkan respons. Kualitas prompt dapat sangat mempengaruhi kualitas output yang dihasilkan oleh model AI.
Token: Unit dasar teks yang diproses oleh model bahasa, biasanya berupa kata, subkata, atau karakter. Dalam konteks LLM, token adalah bagian kecil dari teks yang dianalisis dan dihasilkan oleh model.
Embedding: Representasi vektor dari teks atau data lain yang digunakan oleh model untuk memahami dan memproses informasi. Embedding memungkinkan model untuk bekerja dengan teks dalam format numerik yang dapat diproses secara matematis.
Inference: Proses di mana model AI menghasilkan output berdasarkan input yang diberikan, menggunakan pola yang telah dipelajari selama pelatihan. Dalam konteks LLM, ini adalah proses di mana model menghasilkan teks berdasarkan prompt.
Fine-Tuning: Proses melatih model AI lebih lanjut pada dataset spesifik setelah pelatihan awal, untuk menyesuaikan model dengan tugas atau konteks tertentu. Fine-tuning membantu meningkatkan akurasi dan relevansi model untuk aplikasi spesifik.
Contextual Understanding: Kemampuan model AI untuk memahami konteks kalimat atau dialog secara keseluruhan, bukan hanya berdasarkan kata-kata individual. Pemahaman kontekstual penting untuk menghasilkan respons yang koheren dan relevan.
Decoding: Proses di mana model generatif menghasilkan teks dari representasi internal vektor (embedding). Decoding dapat dilakukan dengan berbagai strategi, seperti greedy search atau beam search, untuk mengontrol kualitas output.
Beam Search: Teknik decoding yang digunakan untuk menghasilkan teks dengan menjaga beberapa alternatif teks yang memungkinkan pada setiap langkah, sehingga meningkatkan peluang untuk menghasilkan output yang lebih optimal.
Greedy Search: Metode decoding yang memilih opsi terbaik pada setiap langkah tanpa mempertimbangkan alternatif, yang sering kali lebih cepat tetapi mungkin menghasilkan output yang kurang optimal dibandingkan dengan metode lain seperti beam search.
Knowledge Base: Kumpulan informasi yang digunakan oleh sistem RAG untuk mengambil data relevan. Basis pengetahuan ini bisa berupa dokumen internal, database, atau koleksi teks yang disusun khusus untuk tujuan tertentu.
FAISS (Facebook AI Similarity Search): Pustaka perangkat lunak yang digunakan untuk pencarian cepat vektor embedding dalam basis data besar, sering digunakan dalam sistem RAG untuk mencari informasi yang relevan berdasarkan query pengguna.
Neural Information Retrieval (NIR): Teknik yang menggunakan jaringan saraf untuk meningkatkan proses pengambilan informasi, memungkinkan sistem pencarian untuk lebih memahami dan mencocokkan query dengan konten yang relevan.
Self-Supervised Learning: Metode pelatihan di mana model belajar dari data yang tidak berlabel dengan membuat dan menyelesaikan tugas pelatihan buatan (misalnya, memprediksi kata yang hilang), yang sering digunakan dalam pelatihan awal model bahasa besar.
Transfer Learning: Teknik dalam machine learning di mana model yang telah dilatih pada satu tugas diterapkan pada tugas lain yang serupa, dengan modifikasi minimal. Ini memungkinkan model untuk memanfaatkan pengetahuan yang sudah diperoleh untuk meningkatkan kinerja pada tugas baru.
Zero-Shot Learning: Kemampuan model AI untuk melakukan tugas tanpa pelatihan khusus pada tugas tersebut, hanya berdasarkan pemahaman umumnya tentang bahasa atau konsep yang dipelajari selama pelatihan awal.
Few-Shot Learning: Kemampuan model AI untuk melakukan tugas dengan sedikit contoh pelatihan, menggunakan contoh ini untuk memahami tugas dan menghasilkan output yang relevan.
Domain Adaptation: Proses penyesuaian model AI yang dilatih pada satu domain atau jenis data agar bekerja dengan baik pada domain lain yang berbeda, sering kali menggunakan teknik seperti fine-tuning atau transfer learning.
Self-Attention Mechanism: Komponen utama dalam arsitektur transformer, memungkinkan model untuk memfokuskan perhatian pada bagian teks yang berbeda pada waktu yang sama, untuk memahami konteks dan hubungan antara kata-kata dalam sebuah kalimat.
Transformer: Arsitektur jaringan saraf yang menjadi dasar bagi banyak model bahasa besar modern, seperti GPT dan BERT. Transformer menggunakan mekanisme perhatian untuk memproses teks dalam bentuk urutan, memungkinkan pemahaman konteks yang lebih baik.