> ## Documentation Index
> Fetch the complete documentation index at: https://docs.dripsender.id/llms.txt
> Use this file to discover all available pages before exploring further.

# Mengatur Web Extractor untuk Mengambil Data Website

> Panduan lengkap menghubungkan Web Extractor untuk scraping data real-time dari website bisnis, dengan studi kasus https://berangkatinumrah.id/faqs

**Web Extractor** adalah fitur konektor pada Chat AI yang memungkinkan bot melakukan *web scraping* secara *real-time* langsung dari halaman website bisnis Anda. Dengan fitur ini, AI selalu memiliki data teranyar tanpa mengharuskan Anda menyalin ulang teks secara manual setiap kali ada pembaruan di situs web.

## Prasyarat

> [!TIP]
>
> Chat AI sudah aktif pada akun DripSender Anda.

> [!TIP]
>
> Halaman website target dapat diakses publik tanpa login/captcha.

***

## 1. Membuka Formulir Web Extractor

1. Buka menu **WhatsApp** > **Chat AI** > tab **Automation** > **Actions**.
2. Gulir ke kartu **Integrasi Tool AI**.
3. Klik tombol **Tambah Integrasi**.

![Kartu Integrasi Tool AI pada Tab Actions](https://mintcdn.com/dripsender/kIsn-jyNQ4PGY5vv/images/chat-ai/19-integrasi-tool-ai.png?fit=max\&auto=format\&n=kIsn-jyNQ4PGY5vv\&q=85\&s=9d2ea10e58d5655a7b6b701be9d93c2f)

4. Pada jendela pilihan konektor, pilih **Scraper Web Extractor**.

***

## 2. Langkah 1: Setup URL & Parameters

Sebagai contoh praktis, kita akan mengonfigurasi tool untuk mengambil daftar pertanyaan dan jawaban seputar umrah dari situs `https://berangkatinumrah.id/faqs`:

![Formulir Setup URL Web Extractor](https://mintcdn.com/dripsender/kIsn-jyNQ4PGY5vv/images/chat-ai/web-extractor-modal.png?fit=max\&auto=format\&n=kIsn-jyNQ4PGY5vv\&q=85\&s=13b9e498d7f85ff15d032b443356c538)

Lengkapi kolom konfigurasi berikut:

| Kolom Input | Nilai Contoh | Penjelasan |
| - | - | - |
| **Nama Integrasi** | `FAQ Berangkatin Umrah` | Nama penanda tool di dasbor Anda. |
| **Function ID** | `get_faq` | Identifier fungsi unik yang dipanggil oleh model AI. |
| **Deskripsi untuk AI** | *"Panggil tool ini ketika calon jamaah menanyakan FAQ umum seputar syarat umrah, pembuatan paspor, vaksinasi, pelunasan biaya, atau fasilitas hotel dari website Berangkatin Umrah."* | Memandu AI agar tahu persis kapan harus mengekstrak data dari web. |
| **Allowed Hosts** | `berangkatinumrah.id` | Domain yang diizinkan untuk diakses oleh bot (mencegah scraping domain lain). |
| **Mode URL Website** | `URL Tetap (Static Page)` | Pilih URL Tetap untuk halaman tunggal, atau *URL Dinamis* jika menggunakan parameter slug `{{slug}}`. |
| **URL Template Target** | `https://berangkatinumrah.id/faqs` | Tautan lengkap halaman web yang berisi data tanya-jawab. |
| **Timeout (ms)** | `10000` (10 detik) | Batas waktu pengambilan data dari server website. |
| **Cache TTL (detik)** | `60` | Durasi penyimpanan cache agar tidak membebani server situs web Anda saat banyak pesan masuk bersamaan. |

Setelah semua kolom terisi, klik tombol **Lanjut ke JSON Mapper →**.

***

## 3. Langkah 2: JSON Mapper & AI Scrape

Pada tahap kedua, Anda menentukan bagian elemen HTML yang akan diekstrak dan memverifikasi hasilnya langkah demi langkah:

### A. Fetch Halaman Sample

Pastikan URL target dapat diakses dan di-load oleh sistem:

1. Masukkan URL sample target (`https://berangkatinumrah.id/faqs`).
2. Klik tombol **Fetch Halaman**.
3. Sistem akan memuat kode HTML halaman dan menampilkan badge hijau **✓ HTML Loaded** saat berhasil.

![Fetch Halaman Sample](https://mintcdn.com/dripsender/kIsn-jyNQ4PGY5vv/images/chat-ai/we-step2-fetch-sample.png?fit=max\&auto=format\&n=kIsn-jyNQ4PGY5vv\&q=85\&s=d3c2f0366c2c1c9922b77fa132801361)

### B. Analisa Auto-AI Mapping

Memanfaatkan AI untuk mendeteksi kontainer dan menyusun selector secara otomatis:

1. Masukkan CSS selector kontainer pembungkus daftar tanya-jawab pada kolom **Root/Item Selector** (misal: `.faq-item` atau `#faqs`).
2. Berikan petunjuk pada kolom **Hint tambahan untuk AI** (contoh: *"ambil pertanyaan dan jawaban umrah"*).
3. Klik tombol biru **Analisa HTML → Generate Mapping JSON**.

![Analisa Auto-AI Mapping](https://mintcdn.com/dripsender/kIsn-jyNQ4PGY5vv/images/chat-ai/we-step2-auto-ai.png?fit=max\&auto=format\&n=kIsn-jyNQ4PGY5vv\&q=85\&s=16f832cf74e1679d76afd7fa0093f39a)

### C. JSON Mapper (Manual / Edit)

Meninjau atau menyunting pasangan field hasil ekstraksi data:

1. Pilih tipe struktur data: **Single Object** (untuk halaman tunggal) atau **Array List of Objects** (untuk daftar berulang seperti FAQ atau katalog).
2. Periksa baris field mapping:
   * **JSON Key:** Nama data untuk AI (misal: `pertanyaan` dan `jawaban`).
   * **CSS Selector:** Selector elemen HTML spesifik (misal: `h4.question` dan `div.answer`).
   * **Atribut:** Tipe teks yang diambil (`Text`, `href`, `src`, dll.).
3. Klik **+ Tambah Field Manual** jika ingin menambahkan kolom ekstraksi tambahan.

![JSON Mapper Manual dan Edit](https://mintcdn.com/dripsender/kIsn-jyNQ4PGY5vv/images/chat-ai/we-step2-json-mapper.png?fit=max\&auto=format\&n=kIsn-jyNQ4PGY5vv\&q=85\&s=3442cf70bf4a11a5b7772d5cf2af143b)

### D. Preview Output JSON

Sebelum menyimpan tool, uji coba ekstraksi data:

1. Klik tombol **Jalankan Mapper Test**.
2. Periksa hasil data JSON pada kotak pratinjau untuk memastikan teks pertanyaan dan jawaban terbaca dengan benar.

![Preview Output JSON](https://mintcdn.com/dripsender/kIsn-jyNQ4PGY5vv/images/chat-ai/we-step2-preview-json.png?fit=max\&auto=format\&n=kIsn-jyNQ4PGY5vv\&q=85\&s=064b0e004ee05863a7730d0d2d2ed8ce)

3. Jika data sudah sesuai, klik tombol hijau **Tambah Integrasi** di sudut kanan bawah untuk menyimpan tool.

***

## 4. Cara AI Menjawab Menggunakan Web Extractor

Ketika calon jamaah mengirim pesan WhatsApp:

> *"Assalamu'alaikum, kalau paspor saya masa berlakunya tinggal 5 bulan apakah bisa daftar umrah?"*

Alur kerja AI di latar belakang:

1. AI mendeteksi bahwa pertanyaan tersebut berkaitan dengan syarat paspor di FAQ.
2. AI memanggil tool `get_faq` ke `https://berangkatinumrah.id/faqs`.
3. Web Extractor mengambil jawaban resmi dari website: *"Paspor wajib berlaku minimal 7 bulan sebelum tanggal keberangkatan."*
4. AI merangkai jawaban sopan ke calon jamaah:
   > *"Wa'alaikumsalam Warahmatullahi Wabarakatuh Bapak/Ibu. Berdasarkan ketentuan resmi Berangkatin Umrah, masa berlaku paspor wajib minimal **7 bulan** sebelum tanggal keberangkatan. Jika saat ini tersisa 5 bulan, kami sarankan untuk melakukan perpanjangan paspor terlebih dahulu ya. Ada hal lain yang bisa kami bantu? 😊"*


This documentation is built and hosted on [Mintlify](https://mintlify.com), a developer documentation platform.