> ## Documentation Index
> Fetch the complete documentation index at: https://docs.dripsender.id/llms.txt
> Use this file to discover all available pages before exploring further.

# Cara Mengatur Web Extractor pada Agent AI

> Panduan langkah demi langkah menghubungkan Web Extractor untuk melakukan scraping data website secara realtime (contoh: mengambil FAQ dari https://berangkatinumrah.id/faqs)

Fitur **Web Extractor** di Agent AI memungkinkan asisten Anda membaca konten situs web eksternal secara langsung (*real-time scraping*) saat percakapan WhatsApp sedang berlangsung. Fitur ini sangat berguna jika informasi bisnis Anda (seperti daftar harga, ketersediaan stok, jadwal keberangkatan, atau artikel FAQ) sering diperbarui di situs web perusahaan, sehingga Anda tidak perlu memperbarui basis pengetahuan secara manual satu per satu.

Panduan ini memandu Anda menghubungkan Web Extractor secara langkah demi langkah dengan contoh studi kasus pengambilan data halaman FAQ dari `https://berangkatinumrah.id/faqs`.

## Prasyarat

> [!TIP]
>
> URL website target dapat diakses secara publik tanpa captcha atau proteksi login ketat.

> [!TIP]
>
> Akun Anda memiliki akses ke instance WhatsApp di portal DripSender.

***

## 1. Memilih Web Extractor pada Menu Alat (Step 1)

1. Buka menu **Agent AI** di portal DripSender, lalu klik tab **Tools**.
2. Pada kartu bagian bawah **Integrasi**, klik tombol **Tambah Integrasi**.
3. Di modal pemilihan jenis connector data, pilih kartu **Scraper - Web Extractor** yang ditandai kotak merah:

![Memilih Scraper Web Extractor pada Modal Connector](https://mintcdn.com/dripsender/VKy8eMl5dLP2MOYU/images/agent-ai/web-extractor-01-pilih.png?fit=max\&auto=format\&n=VKy8eMl5dLP2MOYU\&q=85\&s=08c6a77f9e59f949be580188809582a2)

***

## 2. Mengisi Nama Integrasi dan Deskripsi Pemicu untuk AI (Step 2)

Modal konfigurasi Web Extractor akan terbuka pada langkah **1 Setup URL & Parameters**:

![Mengisi Nama Integrasi dan Deskripsi untuk AI](https://mintcdn.com/dripsender/VKy8eMl5dLP2MOYU/images/agent-ai/web-extractor-02-nama-desc.png?fit=max\&auto=format\&n=VKy8eMl5dLP2MOYU\&q=85\&s=4387bd66a1de9b011b43ff4492ebd62a)

1. **Nama Integrasi**:
   Beri nama integrasi yang mudah dikenali, misalnya: `FAQ Berangkatin Umrah`.
2. **Deskripsi untuk AI**:
   Jelaskan instruksi kapan AI harus memanggil tool ini:
   *Contoh:*
   > *"Gunakan tool ini ketika pelanggan menanyakan syarat pendaftaran, jadwal keberangkatan, rincian biaya paket, visa, atau pertanyaan FAQ seputar umrah."*

***

## 3. Mendaftarkan Domain yang Diizinkan (Allowed Hosts) (Step 3)

Demi alasan keamanan jaringan dan mencegah bot mengakses domain berbahaya, daftarkan domain website resmi Anda pada kolom **Allowed Hosts**:

![Mendaftarkan Domain yang Diizinkan pada Allowed Hosts](https://mintcdn.com/dripsender/VKy8eMl5dLP2MOYU/images/agent-ai/web-extractor-03-allowed-hosts.png?fit=max\&auto=format\&n=VKy8eMl5dLP2MOYU\&q=85\&s=252bf2c1d088cabedd634ee2d8b8ed96)

Masukkan nama host domain tanpa protokol `https://` (pisahkan dengan koma jika ada lebih dari satu domain):

```text theme={null}
berangkatinumrah.id
```

***

## 4. Menentukan Mode URL dan URL Template Target (Step 4)

Pada bagian **Mode URL Website** dan **URL Template Target**:

![Menentukan Mode URL dan URL Template Target](https://mintcdn.com/dripsender/VKy8eMl5dLP2MOYU/images/agent-ai/web-extractor-04-url-target.png?fit=max\&auto=format\&n=VKy8eMl5dLP2MOYU\&q=85\&s=c9d816d770f3caf9e9b07a4bea45f4af)

1. **Mode URL Website**:
   Pilih **URL Tetap (Static Page)** karena kita menargetkan satu halaman FAQ permanen.
   *(Pilih mode dinamis dengan parameter jika Anda ingin bot mengakses URL produk berdasarkan slug tertentu, misal `https://tokosaya.com/produk/{{slug}}`).*
2. **URL Template Target**:
   Masukkan URL lengkap halaman FAQ tujuan:
   ```text theme={null}
   https://berangkatinumrah.id/faqs
   ```

***

## 5. Mengatur Batas Waktu dan Durasi Cache (Step 5)

Pada bagian **Timeout (ms)** dan **Cache TTL (detik)**:

![Mengatur Timeout dan Cache TTL Web Extractor](https://mintcdn.com/dripsender/VKy8eMl5dLP2MOYU/images/agent-ai/web-extractor-05-timeout-cache.png?fit=max\&auto=format\&n=VKy8eMl5dLP2MOYU\&q=85\&s=d3789a9a75cef189654d1655e20464cb)

1. **Timeout (ms)**: Masukkan angka `10000` (10 detik waktu tunggu maksimal pemuatan halaman).
2. **Cache TTL (detik)**: Masukkan angka `60` detik (menyimpan hasil pembacaan web dalam cache sementara agar bot tidak memuat ulang halaman secara berulang-ulang untuk chat yang masuk bersamaan).
3. Klik tombol biru **Lanjut ke JSON Mapper →**.

***

## 6. Menyiapkan JSON Mapper & AI Scrape (Step 6)

Pada langkah kedua **2 JSON Mapper & AI Scrape**, tentukan bagaimana konten halaman web diekstraksi ke dalam format terstruktur yang dipahami model AI:

![Konfigurasi JSON Mapper dan Ekstraksi Konten Web](https://mintcdn.com/dripsender/VKy8eMl5dLP2MOYU/images/agent-ai/web-extractor-06-mapper.png?fit=max\&auto=format\&n=VKy8eMl5dLP2MOYU\&q=85\&s=afff4f40103b784c5ee6a6b146a4bc47)

1. **Mode AI Auto-Mapper**:
   Secara default, AI akan memindai kontainer teks halaman web secara otomatis untuk mengekstrak pasangan pertanyaan dan jawaban FAQ yang relevan.
2. **CSS Selector Kustom (Opsional)**:
   Jika Anda hanya ingin mengekstrak blok elemen tertentu dari website, tentukan selector HTML spesifik (misalnya `.faq-list`, `article.content`, atau `.accordion-body`).
3. Klik tombol biru **Tambah Integrasi** atau **Simpan Integrasi**.

***

## 7. Pengujian Respon Agent AI

Setelah integrasi tersimpan:

1. Buka tab [Uji Coba (Playground)](https://docs.dripsender.id/agent-ai/playground.md).
2. Kirim pesan pengujian sebagai calon jamaah (misalnya: *"Berapa lama proses pembuatan visa umrah?"* atau *"Apakah ada syarat vaksin untuk lansia?"*).
3. Agent AI akan secara otomatis memanggil Web Extractor, membaca data realtime dari `https://berangkatinumrah.id/faqs`, dan menyusun jawaban yang akurat sesuai informasi di situs web tersebut.


This documentation is built and hosted on [Mintlify](https://mintlify.com), a developer documentation platform.