Implementasi TeMA Data Flow untuk Data Ingestion/Acquisition di PT Telkom

Transforming Legacy Data Acquisition into an Integrated, Governed, and Scalable Data Flow Platform

Pada Juni 2026, PT Tech Mayantara Asia (TMA) kembali mendapatkan tantangan untuk menghadirkan solusi modernisasi teknologi di lingkungan PT Telkom. Kali ini, tantangannya bukan sekadar membangun aplikasi baru, melainkan melakukan transformasi terhadap proses data ingestion dan data acquisition yang selama ini telah berjalan dan menjadi bagian dari ekosistem pengolahan data perusahaan.

Proses yang sebelumnya dibangun menggunakan berbagai Bash Script harus dipindahkan ke dalam sebuah platform yang lebih terstruktur, terkelola, mudah dimonitor, dan siap dikembangkan lebih lanjut. TMA membawa solusi tersebut ke dalam TeMA Data Flow, bagian dari ekosistem TeMA yang dirancang untuk menangani kebutuhan data acquisition, ingestion, orchestration, monitoring, dan integrasi data secara lebih modern.

Tantangan utama dalam project ini adalah memastikan proses transformasi tersebut tidak mengganggu proses bisnis yang sudah berjalan. Data yang selama ini diperoleh melalui mekanisme script harus tetap tersedia, alur pemrosesan harus tetap berjalan, dan hasil akhirnya harus tetap dapat digunakan oleh platform Big Data yang telah menjadi bagian dari ekosistem PT Telkom.

Dengan demikian, project ini bukan sekadar migrasi script. Ini adalah sebuah proses modernisasi data pipeline.

Sebelum modernisasi, proses data acquisition dan ingestion banyak bergantung pada Bash Script. Pendekatan seperti ini memang dapat bekerja dengan baik untuk kebutuhan tertentu, terutama ketika sistem dibangun secara bertahap dan kebutuhan awal relatif sederhana. Namun ketika jumlah proses semakin banyak, sumber data semakin beragam, kebutuhan monitoring meningkat, serta kebutuhan integrasi dengan platform Big Data semakin kompleks, pendekatan berbasis script mulai menghadapi berbagai keterbatasan.

Pengelolaan script dapat menjadi semakin sulit ketika jumlah workflow bertambah. Monitoring proses juga membutuhkan mekanisme tambahan. Ketika sebuah proses gagal, diperlukan upaya untuk mengetahui di mana kegagalan terjadi, apakah pada sumber data, proses transfer, koneksi, transformasi, atau proses penyimpanan. Selain itu, pengembangan dan pemeliharaan script membutuhkan ketergantungan terhadap pengetahuan teknis tertentu.

Di sinilah TeMA Data Flow menjadi bagian penting dari transformasi.

Alih-alih mempertahankan proses ingestion sebagai kumpulan script yang berjalan secara terpisah, TMA memindahkan proses tersebut menjadi workflow yang terkelola dalam sebuah platform data flow. Dengan pendekatan ini, proses data tidak lagi dipandang hanya sebagai script yang menjalankan perintah, tetapi sebagai sebuah pipeline yang dapat divisualisasikan, dikendalikan, dimonitor, dan dikembangkan.

Namun, memindahkan proses yang sudah berjalan ke platform baru bukanlah pekerjaan sederhana. Salah satu pekerjaan penting adalah melakukan pemetaan terhadap proses existing. Setiap Bash Script perlu dipahami fungsi dan dependensinya: dari mana data berasal, bagaimana data diperoleh, kapan proses dijalankan, bagaimana data dipindahkan, apa yang terjadi setelah proses selesai, bagaimana error ditangani, hingga ke mana data akhirnya disimpan.

TMA kemudian memetakan proses tersebut menjadi workflow pada TeMA Data Flow.

Dalam proses migrasi ini terdapat dua karakteristik proses yang harus ditangani, yaitu batch processing dan streaming processing. Keduanya memiliki karakteristik, kebutuhan monitoring, serta pola eksekusi yang berbeda.

Untuk proses batch, workflow harus mampu menjalankan proses berdasarkan scheduler atau trigger tertentu. Proses dapat berupa pengambilan data secara periodik, pemindahan file, proses transformasi, maupun pengiriman data ke storage atau platform berikutnya.

Sementara itu, proses streaming membutuhkan pendekatan yang berbeda karena data harus diproses secara kontinu atau mendekati real-time. Pipeline harus mampu menjaga aliran data sekaligus menyediakan mekanisme monitoring terhadap kondisi proses.

Tantangan lainnya adalah bagaimana mempertahankan karakteristik proses existing tanpa sekadar melakukan "copy-paste" script ke platform baru. Migrasi dilakukan dengan memahami fungsi bisnis dari setiap proses, kemudian menerjemahkannya ke dalam workflow yang lebih terstruktur.

Dengan pendekatan tersebut, TMA tidak hanya memindahkan teknologi, tetapi juga meningkatkan kualitas pengelolaan pipeline data.

Aspek berikutnya yang tidak kalah penting adalah integrasi keamanan dan identitas pengguna. Ekosistem PT Telkom telah memiliki mekanisme user management berbasis LDAP. Karena itu, implementasi TeMA Data Flow tidak dapat berdiri sendiri dengan sistem user yang terpisah.

TMA perlu mengintegrasikan mekanisme autentikasi yang sudah digunakan dengan SSO TeMA Data Flow, sehingga pengguna dapat mengakses platform dengan identitas yang terintegrasi dengan ekosistem existing.

Integrasi ini memberikan dua manfaat sekaligus. Dari sisi pengguna, akses menjadi lebih sederhana karena tidak membutuhkan pengelolaan akun yang terpisah. Dari sisi administrator, pengelolaan identitas dan akses dapat dilakukan secara lebih terkontrol dan konsisten dengan kebijakan yang telah diterapkan di lingkungan enterprise.

Dengan demikian, modernisasi data platform tidak hanya berbicara tentang bagaimana data dipindahkan, tetapi juga bagaimana siapa yang boleh mengakses dan mengelola data flow dapat dikendalikan.

Setelah proses ingestion berhasil dimodernisasi, tantangan berikutnya adalah memastikan TeMA Data Flow dapat terhubung dengan ekosistem Big Data yang sudah ada.

PT Telkom memiliki lingkungan Big Data dengan kebutuhan penyimpanan dan pengolahan data yang beragam, termasuk platform yang menggunakan HDFS maupun S3-based storage. Karena itu, TeMA Data Flow harus mampu menjadi penghubung antara berbagai sumber data dengan target storage tersebut.

Arsitektur ini menempatkan TeMA Data Flow sebagai salah satu lapisan penting dalam data ecosystem. Data dapat berasal dari berbagai sumber, masuk melalui proses acquisition, kemudian diproses dalam workflow ingestion sebelum diteruskan menuju platform Big Data.

Secara konseptual, alurnya dapat digambarkan sebagai:

Data Sources → TeMA Data Flow → Processing & Validation → Big Data Platform → HDFS / S3

Dengan pendekatan tersebut, TeMA Data Flow tidak berdiri sebagai sistem yang terisolasi. Platform ini menjadi bagian dari ekosistem data yang lebih luas.

Hal menarik dari project ini adalah bahwa keberhasilan migrasi tidak hanya diukur dari apakah Bash Script berhasil digantikan. Ukuran keberhasilannya jauh lebih luas: apakah proses tetap berjalan, apakah data tetap dapat diterima oleh downstream system, apakah proses dapat dimonitor dengan lebih baik, apakah pengguna dapat mengakses platform secara aman, dan apakah platform baru mampu menjadi fondasi untuk kebutuhan data di masa mendatang.

Karena itu, TMA menerapkan prinsip modernize without disrupting.

Transformasi dilakukan secara bertahap dengan tetap mempertahankan fungsi utama dari proses existing. Setiap workflow perlu diuji dan divalidasi untuk memastikan hasil data tetap sesuai dengan proses sebelumnya. Untuk proses batch maupun streaming, validasi dilakukan tidak hanya pada workflow, tetapi juga pada output dan integrasinya dengan platform Big Data.

Project yang dimulai pada Juni 2026 ini menjadi contoh bahwa modernisasi teknologi data di lingkungan enterprise bukan hanya persoalan memilih tools atau platform baru. Yang jauh lebih penting adalah bagaimana teknologi baru tersebut dapat masuk ke dalam ekosistem existing tanpa menimbulkan gangguan terhadap operasional.

Bagi TMA, TeMA Data Flow dikembangkan bukan sekadar sebagai tool untuk memindahkan data. Ia dirancang sebagai bagian dari visi yang lebih besar: membangun data flow ecosystem yang terintegrasi, terukur, mudah dikelola, dan siap berkembang.

Transformasi dari Bash Script menuju TeMA Data Flow juga menunjukkan perubahan cara pandang terhadap data engineering. Dari proses yang sebelumnya tersebar dalam script dan scheduler, menuju workflow yang dapat divisualisasikan dan dikelola dalam satu platform. Dari proses yang sulit dimonitor secara terpusat, menuju pipeline yang lebih observable. Dari pengelolaan user yang terpisah, menuju integrasi dengan SSO. Dan dari proses ingestion yang berdiri sendiri, menuju integrasi langsung dengan ekosistem Big Data berbasis HDFS dan S3.

Pada akhirnya, modernisasi bukan berarti menghapus seluruh teknologi lama dan menggantinya dengan teknologi baru dalam satu malam. Modernisasi yang baik adalah kemampuan untuk memahami apa yang sudah berjalan, menjaga apa yang bernilai, lalu membangun fondasi yang lebih baik untuk masa depan.

Melalui project ini, TMA menunjukkan bagaimana TeMA Data Flow dapat digunakan untuk menjembatani proses data existing dengan kebutuhan data platform modern.

From Bash Scripts to Managed Data Flows.
From Fragmented Processes to an Integrated Data Ecosystem.
From Data Acquisition to Data Readiness.

Teknologi berubah. Data terus berkembang. Tetapi tujuan akhirnya tetap sama: membuat data bekerja lebih baik untuk manusia dan bisnis.