64 Konsep AI yang Wajib Dikuasai Software Engineer: Panduan Arsitektur Bagian 1

Catatan: Artikel ini diadaptasi dan diulas secara komprehensif dari buletin arsitektur sistem System Design One edisi 5 Oktober 2026 (#187) karya Neo Kim.

Bagi sebagian besar pengguna akhir, berinteraksi dengan kecerdasan buatan terasa magis: Anda mengetik pertanyaan di kolom obrolan, dan dalam beberapa detik jawaban cerdas muncul di layar.

Namun, bagi seorang insinyur perangkat lunak (software engineer), keajaiban itu harus didekonstruksi menjadi tumpukan arsitektur yang dapat diukur dan dikendalikan: apa yang sebenarnya terjadi di antara tanda tanya Anda dan respons yang dikembalikan model?

Di balik interaksi sederhana itu bekerja tumpukan berlapis yang terdiri dari model fondasi, tokenisasi, jendela konteks, vektor pencarian, pemanggilan fungsi (tool calling), serta infrastruktur evaluasi.

Berikut adalah dekonstruksi pilar-pilar penting dari bagian pertama panduan arsitektur System Design One.

Konsep arsitektur ini juga relevan untuk developer frontend yang mengikuti rilis stabil React 19.3 — terutama pola workflow dan tooling modern.

1. LLM (Large Language Models): Prediksi Token, Bukan Kesadaran

Model bahasa besar (LLM) pada intinya adalah model probabilistik yang dilatih di atas triliunan kata untuk memprediksi token berikutnya:

• Mekanisme Kerja: Teks input Anda dipecah menjadi potongan-potongan kecil bernama token (bisa berupa kata, suku kata, atau tanda baca). Model memilih token lanjutan berdasarkan bobot numerik internal (weights) yang dipelajari selama proses pelatihan.
• Analogi Autocomplete Ponsel: Bayangkan fitur pelengkap otomatis di papan ketik ponsel Anda. Ketika Anda mengetik “Sampai jumpa,” ponsel menyarankan “nanti.” LLM membawa gagasan ini ke skala raksasa, merangkai paragraf logika, penjelasan matematika, dan kode program.
• Jebakan Fatal Pengembang: Mempercayai kode atau jawaban model hanya karena kalimatnya terdengar sangat meyakinkan (confident hallucination). Selalu lakukan pengujian otomatis (automated tests) dan verifikasi dokumentasi pustaka sebelum mengadopsi keluaran kode AI ke sistem produksi.

2. Generative AI vs Machine Learning Konvensional

Banyak tim pemula mencampuradukkan antara Generative AI, Machine Learning (ML), dan Deep Learning:

• Machine Learning: Mesin belajar mengenali pola dari data tanpa aturan manual yang kaku (misalnya: filter spam yang belajar mengenali kombinasi sinyal email penipuan).
• Deep Learning: Cabang ML yang memanfaatkan arsitektur jaringan syaraf tiruan berlapis banyak (multi-layer neural networks) untuk mengekstrak fitur kompleks seperti pengenalan wajah atau suara.
• Generative AI: Kategori yang lebih luas yang menghasilkan konten baru (teks, audio, gambar, kode) dari distribusi probabilitas data latih.
• Analogi Koki Restoran: Seorang koki yang telah mempelajari ratusan resep. Saat diminta hidangan sayur pedas, koki meracik bahan dan teknik yang familier untuk membuat sajian baru yang sesuai dengan pesanan Anda. Namun, Anda tetap harus mencicipinya sebelum disajikan ke tamu.

3. RAG (Retrieval-Augmented Generation): Ujian Buka Buku untuk LLM

Model bahasa besar memiliki pengetahuan statis yang terhenti pada tanggal pemotongan data latih (training cutoff). Melatih ulang model untuk setiap perubahan dokumen internal perusahaan membutuhkan biaya jutaan dolar yang mustahil dipertahankan.

Inilah mengapa arsitektur RAG menjadi salah satu pola arsitektur yang banyak dipakai di lingkungan enterprise:

• Mekanisme Kerja: Saat pengguna bertanya, sistem terlebih dahulu mengambil petikan dokumen yang paling relevan dari indeks pencarian perusahaan — salah satunya dengan basis data vektor (vector database), selain opsi lain seperti pencarian kata kunci (keyword search), indeks semantik, atau pendekatan hibrida — lalu menyematkan petikan tersebut ke dalam prompt model sebagai bukti referensi.
• Analogi Ujian Buka Buku (Open-Book Exam): Alih-alih menghafal seluruh ensiklopedia di luar kepala, Anda mencari halaman buku yang tepat sebelum menjawab soal ujian. Nilai akhir Anda ditentukan oleh kecepatan menemukan halaman yang benar dan ketepatan menafsirkannya.
• Tradeoff Kritis: RAG tidak menjamin 100% jawaban benar jika lapisan retrieval mengembalikan dokumen kebijakan lama atau melewatkan klausul pengecualian — apa pun jenis indeksnya. Rancang agen Anda untuk berani menjawab “Data tidak ditemukan” ketika dokumen pendukung memang tidak ada.

4. Agen AI vs Alur Kerja Statis (Agentic Workflows)

Batas antara bot otomatisasi biasa dan agen AI terletak pada derajat kebebasan memilih tindakan (autonomy in task execution):

• Alur Kerja Statis (Fixed Workflow): Urutan langkah yang telah ditentukan secara kaku (misal: “ringkas tiket → klasifikasikan kategori → kirim ke departemen X”).
• Agen AI (AI Agent): Diberikan tujuan akhir dan seperangkat perkakas (tools). Agen membaca galat, memutuskan membaca file tertentu, memodifikasi kode, menjalankan tes ulang, dan mengevaluasi apakah hasilnya sudah memenuhi kriteria selesai.
• Pencegahan Malapetaka: Jangan pernah memberi agen akses ke perkakas tanpa batasan izin (permissions), kuota pengeluaran token, dan kondisi henti (stopping conditions). Aksi-aksi berdampak permanen (seperti penghapusan tabel basis data atau pembayaran finansial) wajib melewati gerbang persetujuan manusia (human-in-the-loop).

Pelajaran Praktis bagi Pengembang

1. Dekonstruksi Masalah Sebelum Memilih Model: Jangan gunakan model penalaran termahal jika masalah Anda dapat diselesaikan dengan pencarian RAG sederhana.
2. Evaluasi Berbasis Bukti (Evaluation-Driven Development): Bangun metrik tolok ukur internal untuk mengukur akurasi model sebelum melakukan pembaruan dependensi AI di produksi.
3. Posisikan AI sebagai Draf Pertama: Anggap hasil kecerdasan buatan sebagai rekan junior yang cerdas namun butuh peninjauan teliti dari insinyur senior.

Artikel ini juga melengkapi panduan spec-driven development dengan agentic AI yang membahas penerapan spesifikasi, tool, dan API untuk workflow coding.

Sumber

• System Design One (#187) — Neo Kim: “64 AI Concepts Every Software Engineer Should Know” — https://newsletter.systemdesign.one/p/ai-concepts-explained-for-beginners