Panduan Penggunaan

Langkah demi langkah menghubungkan dan mengimpor data ke Databricks Unity Catalog secara mudah dan aman.

Lompat ke Langkah:

1. Siapkan Databricks 2. Beri Izin Akses 3. Isi Pengaturan 4. Upload File 5. Periksa Pratinjau 6. Kirim ke Databricks 7. Jika Ada Error

Siapkan Databricks

Persiapan SQL Warehouse, Catalog/Schema/Volume, dan Access Token.

Langkah pertama adalah memastikan workspace Databricks Anda sudah memiliki komputasi dan tempat penyimpanan data.

Anda membutuhkan SQL Warehouse aktif untuk mengeksekusi query, serta Unity Catalog dengan Skema dan Volume sebagai tujuan penyimpanan berkas.

Terakhir, buat Personal Access Token (PAT) melalui menu Settings > Developer > Access tokens di Databricks Workspace Anda.

Daftar Periksa:

SQL Warehouse berstatus Running (disarankan tipe Serverless atau Pro).
Katalog, Skema, dan Volume Unity Catalog telah dibuat atau gunakan yang sudah ada.
Personal Access Token (PAT) telah disalin dan disimpan dengan aman.

Beri Izin Akses

Berikan hak akses SQL Unity Catalog kepada pengguna atau token.

Agar aplikasi dapat membaca dan menulis data ke Unity Catalog, token pengguna membutuhkan hak akses khusus pada level katalog, skema, dan volume.

Buka menu SQL Editor di Databricks Workspace Anda, lalu jalankan perintah SQL berikut menggunakan akun yang memiliki hak administrator.

Sesuaikan nama katalog (main), skema (csv_tidy), volume (raw_uploads), dan email pengguna dengan konfigurasi Anda.

Salin dan jalankan query di Databricks SQL Editor

-- 1. Izin penggunaan Katalog
GRANT USE CATALOG ON CATALOG `main` TO `nama_pengguna@email.com`;

-- 2. Izin penggunaan Skema dan pembuatan Tabel
GRANT USE SCHEMA, CREATE TABLE ON SCHEMA `main`.`csv_tidy` TO `nama_pengguna@email.com`;

-- 3. Izin baca dan tulis ke Volume
GRANT READ VOLUME, WRITE VOLUME ON VOLUME `main`.`csv_tidy`.`raw_uploads` TO `nama_pengguna@email.com`;

Daftar Periksa:

Ganti nama_pengguna@email.com dengan akun pemilik token PAT Anda.
Jalankan query hingga muncul status Success pada Databricks SQL Editor.

Isi Pengaturan

Hubungkan aplikasi ke Databricks melalui halaman Pengaturan.

Buka halaman Pengaturan untuk memasukkan kredensial koneksi Databricks Anda.

Semua data kredensial disimpan aman pada server lokal dan token dienkripsi menggunakan AES-256-GCM tanpa pernah dikirim kembali ke browser.

Setelah mengisi data, klik tombol 'Tes Koneksi' untuk memverifikasi bahwa URL, Warehouse, Token, dan Volume sudah terhubung hijau.

Daftar Kolom & Contoh Pengisian:

Workspace URLAlamat URL instans Databricks Workspace Anda.

https://dbc-f8a4707b-9fe1.cloud.databricks.com

SQL Warehouse IDID SQL Warehouse (dapat dilihat di tab SQL Warehouses > Connection details).

5e6af75272a52041

Personal Access TokenToken otentikasi Databricks yang diawali dengan dapi...

dapi1234567890abcdef...

Katalog DefaultNama katalog Unity Catalog tempat data disimpan.

main

Skema DefaultNama skema di dalam katalog yang dituju.

csv_tidy

Volume DefaultNama volume tempat penampungan berkas mentah.

raw_uploads

Daftar Periksa:

Isi semua kolom dengan teliti sesuai workspace Anda.
Klik tombol 'Simpan Pengaturan'.
Klik tombol 'Tes Koneksi' dan pastikan indikator berubah menjadi hijau.

Buka Halaman Pengaturan

Upload File

Unggah berkas data CSV, TSV, atau Excel (.xlsx) dengan pembersihan otomatis.

Pilih atau seret berkas data Anda ke area upload pada halaman Impor. Aplikasi mendukung format .csv, .tsv, dan .xlsx dengan ukuran hingga 500 MB.

Aplikasi menormalisasi data saat streaming secara langsung tanpa membebani memori server.

Tanda kutip pembungkus yang berantakan, header ganda, baris total, dan encoding lawas (Latin-1/Windows-1252) akan diperbaiki otomatis menjadi UTF-8 bersih.

Daftar Periksa:

Format berkas yang didukung: .csv, .tsv, dan .xlsx.
Untuk berkas Excel dengan banyak sheet, Anda dapat memilih lembar kerja yang ingin diimpor.
Periksa kartu 'Hasil Deteksi' setelah upload untuk melihat ringkasan baris dan perbaikan otomatis.

Mulai Impor Berkas

Periksa Pratinjau

Tinjau data sebelum dan sesudah perbaikan, lalu sesuaikan kolom.

Setelah berkas terunggah, buka halaman Tidy untuk meninjau pratinjau tabel secara interaktif.

Tampilan komparasi menunjukkan kondisi data mentah versus hasil pembersihan secara berdampingan.

Anda dapat mengubah nama kolom, memilih tipe data (STRING, BIGINT, DOUBLE, DATE, TIMESTAMP), atau menandai aturan validasi khusus.

Daftar Periksa:

Periksa apakah baris header dan nama kolom sudah tepat.
Ubah tipe data kolom sesuai kebutuhan analitik Anda.
Tinjau rekomendasi pembersihan otomatis pada kartu rencana pembersihan.

Kirim ke Databricks

Pilih tabel target, mode tulis, dan terbitkan data ke Unity Catalog.

Langkah terakhir adalah mempublikasikan data bersih menjadi Delta Lake Table resmi di Databricks Unity Catalog.

Tentukan nama tabel tujuan dan tentukan mode penulisan: Buat Baru (membuat tabel baru), Tambah Data (append ke tabel ada), atau Timpa (overwrite seluruh data lama).

Setelah proses selesai, klik tautan tabel untuk langsung membukanya di Databricks Data Explorer.

Daftar Periksa:

Pilih mode tulis yang sesuai: Buat Baru, Tambah Data, atau Timpa.
Pastikan nama tabel tujuan valid (hanya huruf, angka, dan underscore).
Klik tombol 'Eksekusi Pembersihan & Simpan ke Databricks'.
Buka tautan tabel Databricks untuk mulai menganalisis data dengan SQL atau notebook.

Jika Ada Error

Solusi cepat untuk pesan kesalahan umum yang dapat muncul di aplikasi.

Token Tidak Valid atau Kadaluarsa

ERR_AUTH_FAILED

Penyebab: Personal Access Token salah ketik, telah dicabut di Databricks, atau melewati masa aktif (expired).

Solusi: Buka halaman Pengaturan, klik 'Ganti token', masukkan token baru yang masih aktif dari Databricks (Settings > Developer > Access tokens), lalu klik Simpan.

SQL Warehouse Berhenti (Stopped)

ERR_WAREHOUSE_STOPPED

Penyebab: SQL Warehouse dalam status mati untuk menghemat biaya komputasi.

Solusi: Buka Databricks Workspace > SQL Warehouses, klik tombol 'Start' pada warehouse Anda, atau tunggu 1-2 menit karena Databricks akan menyalakan warehouse secara otomatis saat query masuk.

Izin Akses Ditolak (Permission Denied)

ERR_PERMISSION_DENIED

Penyebab: Akun Databricks Anda belum memiliki izin USE CATALOG, USE SCHEMA, READ/WRITE VOLUME, atau CREATE TABLE.

Solusi: Minta admin workspace menjalankan perintah SQL pada Langkah 2 di atas untuk memberikan hak akses kepada akun atau service principal Anda.

Volume atau Skema Tidak Ditemukan

ERR_TARGET_NOT_FOUND

Penyebab: Nama Katalog, Skema, atau Volume yang diisi di Pengaturan salah eja atau belum dibuat di Databricks.

Solusi: Periksa kembali ejaan nama di halaman Pengaturan. Jika belum ada, buat volume baru di Databricks dengan perintah: CREATE VOLUME IF NOT EXISTS `katalog`.`skema`.`volume`;

Format Berkas atau Header Tidak Dikenali

ERR_UNSUPPORTED_FORMAT / ERR_NO_HEADER

Penyebab: Ekstensi berkas bukan .csv, .tsv, atau .xlsx, isi berkas kosong, atau tidak terdapat baris yang dapat diidentifikasi sebagai nama kolom.

Solusi: Pastikan berkas berformat .csv, .tsv, atau .xlsx. Buka berkas Anda di spreadsheet dan pastikan baris pertama atau kedua berisi nama-nama kolom yang jelas tanpa sel kosong menyeluruh.

Masih Mengalami Kendala?

Gunakan fitur "Tes Koneksi" di halaman Pengaturan untuk mendiagnosis langkah koneksi yang gagal secara rinci.

Buka Pengaturan & Tes Koneksi