Ngopi IT TMA: Mengenal Teknologi Data Streaming dari IBM Streams, Apache NiFi, hingga Apache Kafka

Summarecon, 19 Oktober 2026 — Bagaimana sebuah sistem teknologi dapat mengolah jutaan data dalam waktu hampir bersamaan, mengenali pola yang mencurigakan, dan mengirimkan informasi ke sistem lain tanpa harus menunggu seluruh data terkumpul? Pertanyaan ini menjadi salah satu pintu masuk untuk memahami teknologi data streaming, sebuah pendekatan pengolahan data yang semakin penting dalam membangun sistem digital yang responsif dan terintegrasi.

Melalui kegiatan Ngopi IT, PT Tech Mayantara Asia (TMA) mengangkat tema Data Streaming Technology dalam sesi berbagi pengetahuan yang dilaksanakan pada Senin, 19 Oktober 2026, pukul 16.00 WIB. Kegiatan ini diselenggarakan secara luring di Kantor Magna dan secara daring melalui Discord, sehingga memberikan kesempatan bagi peserta untuk mengikuti diskusi dan berbagi wawasan dalam suasana yang lebih terbuka.

Materi dibawakan dengan membahas tiga teknologi utama, yaitu IBM Streams, Apache NiFi, dan Apache Kafka. Ketiganya memiliki karakteristik serta peran yang berbeda dalam pengolahan dan perpindahan data secara berkelanjutan. Pembahasan juga mencakup arsitektur dan pipeline data, konsep dasar setiap teknologi, contoh penerapan, serta studi kasus mengenai transisi dari IBM Streams menuju pendekatan berbasis teknologi yang lebih terbuka.

Bagi TMA, Ngopi IT merupakan bagian dari upaya membangun budaya belajar di lingkungan perusahaan. Teknologi terus berkembang, dan pemahaman terhadap teknologi tidak cukup hanya diperoleh melalui dokumentasi atau pekerjaan sehari-hari. Diskusi teknis, pertukaran pengalaman, dan pembelajaran bersama menjadi ruang penting untuk memperdalam pengetahuan sekaligus mengembangkan kemampuan dalam menghadapi persoalan nyata.

Memahami Data Streaming dan Pipeline Data

Sesi dimulai dengan pengenalan konsep data streaming, yakni pendekatan pengolahan data yang memungkinkan data diproses secara berkelanjutan ketika data tersebut tersedia, tanpa harus menunggu seluruh kumpulan data terkumpul terlebih dahulu.

Pendekatan ini berbeda dari pemrosesan batch yang mengolah data dalam kelompok pada waktu atau interval tertentu. Pada sistem yang membutuhkan respons cepat, data streaming memungkinkan aplikasi merespons peristiwa dengan jeda yang rendah. Contohnya adalah pemantauan aktivitas layanan, pengumpulan log sistem, analisis transaksi, hingga pendeteksian anomali pada aliran data telekomunikasi.

Untuk memahami penerapannya, peserta juga diajak mengenal arsitektur dan pipeline data. Sebuah pipeline dapat mencakup pengambilan data dari berbagai sumber, validasi dan transformasi, pengiriman melalui perantara data, hingga penyaluran hasilnya ke sistem tujuan untuk diproses atau disimpan.

Setiap tahap memiliki tanggung jawab yang berbeda. Sistem akuisisi memastikan data dapat diambil dari sumbernya, komponen integrasi mengatur perpindahan dan perutean data, sedangkan platform streaming dapat menjadi jalur distribusi yang memungkinkan berbagai aplikasi menerima data sesuai kebutuhan.

Pemahaman terhadap pembagian peran ini penting karena keberhasilan sistem streaming tidak hanya ditentukan oleh kecepatan pemrosesan. Keandalan aliran data, kemampuan menangani lonjakan beban, kemudahan pemantauan, dan ketahanan terhadap gangguan juga menjadi bagian dari pertimbangan arsitektur.

IBM Streams: Pengalaman Pemrosesan Real-Time

Salah satu teknologi yang dibahas adalah IBM InfoSphere Streams, sebuah platform analitik terdistribusi yang dirancang untuk memproses data streaming dalam volume besar dan dengan kecepatan tinggi.

Dalam materi Ngopi IT, IBM Streams dijelaskan melalui konsep Stream Processing Language (SPL), yaitu bahasa khusus untuk mendefinisikan aliran pemrosesan data. SPL memungkinkan pengembang menyusun rangkaian operasi data yang berjalan secara paralel dan terdistribusi, dengan dukungan integrasi Java dan C++ untuk kebutuhan logika yang lebih kompleks.

Pembahasan ini juga mengangkat pengalaman penerapan IBM Streams pada FRAMES, sistem Fraud Management System yang memanfaatkan pemrosesan Call Detail Record (CDR) untuk membantu mendeteksi indikasi fraud panggilan telepon secara real-time.

Contoh tersebut memperlihatkan bagaimana data yang mengalir terus-menerus dapat dimanfaatkan untuk mengenali pola aktivitas dan mendukung pengambilan keputusan dengan cepat. Dalam konteks telekomunikasi, kemampuan mengolah CDR sebelum atau ketika data diteruskan ke sistem berikutnya dapat menjadi bagian penting dari proses pemantauan dan deteksi fraud.

Namun, penggunaan platform enterprise juga memiliki tantangan. Materi menyoroti biaya lisensi, kebutuhan infrastruktur, kurva pembelajaran SPL, serta keterbatasan komunitas dan sumber pembelajaran dibandingkan sejumlah teknologi open-source. Pertimbangan ini menjadi relevan ketika organisasi perlu mengevaluasi keberlanjutan teknologi dan merancang strategi transisi.

Apache NiFi: Mengelola Aliran Data Secara Visual

Pembahasan berikutnya beralih ke Apache NiFi, perangkat lunak open-source yang dirancang untuk mengotomatisasi dan mengelola aliran data antarberbagai sistem.

Salah satu karakteristik utama NiFi adalah antarmuka visual berbasis web. Melalui mekanisme drag-and-drop, pengembang dapat menyusun aliran data menggunakan komponen yang disebut processor. Setiap processor menjalankan fungsi tertentu, seperti mengambil data, memfilter isi, melakukan validasi, mentransformasi format, atau mengirimkan data ke sistem lain.

NiFi juga menyediakan kemampuan data provenance, yaitu pelacakan perjalanan data yang membantu kebutuhan audit, pemecahan masalah, dan pemahaman terhadap proses yang telah dijalankan. Sementara itu, fitur seperti backpressure membantu mengendalikan aliran ketika komponen di bagian hilir tidak mampu menerima data secepat komponen di bagian hulu mengirimkannya.

Dalam praktiknya, NiFi dapat dimanfaatkan untuk mengintegrasikan API dan database, mengumpulkan log maupun data perangkat, serta mengirimkan hasil akuisisi ke data lake atau platform streaming seperti Kafka. Kemampuan scripting dan pembuatan custom processor juga memberikan ruang untuk menangani kebutuhan integrasi yang lebih spesifik.

Meski demikian, penggunaan NiFi tetap memerlukan perencanaan kapasitas komputasi dan pemahaman terhadap mekanisme internalnya, terutama ketika diterapkan pada lingkungan produksi berskala besar.

Apache Kafka: Jalur Distribusi Data yang Andal

Teknologi ketiga yang dibahas adalah Apache Kafka, platform distributed event streaming open-source yang dirancang untuk memublikasikan, menyimpan, dan mendistribusikan aliran kejadian atau data dalam skala besar.

Peserta diperkenalkan pada konsep utama Kafka, termasuk topic, partition, producer, consumer, dan broker. Producer mengirimkan data ke topic, sementara consumer membaca data tersebut sesuai kebutuhan aplikasi. Broker bertanggung jawab menyimpan data dan melayani permintaan dari producer maupun consumer, sedangkan partition memungkinkan distribusi data dan pemrosesan secara paralel.

Salah satu nilai penting Kafka adalah kemampuannya memisahkan produsen data dari aplikasi yang mengonsumsinya. Dengan pendekatan ini, sebuah sistem tidak harus selalu mengirim data secara langsung kepada setiap aplikasi tujuan. Data dapat terlebih dahulu ditempatkan di Kafka, lalu dibaca oleh berbagai consumer sesuai kebutuhan masing-masing.

Pola tersebut bermanfaat dalam arsitektur microservices, agregasi log, pencatatan aktivitas pengguna, dan integrasi berbagai layanan digital. Kafka juga menyediakan mekanisme penyimpanan serta replikasi yang mendukung ketahanan data, dengan hasil yang bergantung pada konfigurasi dan rancangan klaster.

Di sisi lain, Kafka membutuhkan perhatian pada kapasitas penyimpanan, konfigurasi klaster, replikasi, serta pengelolaan consumer group dan offset. Karena itu, pemilihan teknologi tetap perlu disesuaikan dengan kebutuhan dan skala sistem yang akan dibangun.

Studi Kasus: Transisi dari IBM Streams ke Arsitektur Terbuka

Bagian penting dari materi adalah studi kasus migrasi IBM Streams pada FRAMES. Materi memaparkan kebutuhan transisi setelah lisensi enterprise IBM Streams tidak lagi diperpanjang, dengan tuntutan agar perpindahan teknologi dilakukan tanpa mengganggu operasional sistem yang berjalan.

Dalam rancangan yang dibahas, Apache NiFi ditempatkan untuk menangani akuisisi, validasi awal, transformasi tertentu, dan perutean data. Apache Kafka berperan sebagai lapisan distribusi dan penyangga data sebelum diteruskan ke sistem hilir. Logika yang sebelumnya ditulis menggunakan SPL perlu dipetakan dan diimplementasikan kembali sesuai kebutuhan pada lingkungan baru.

Materi juga menyoroti persoalan kehilangan data pada sistem Redis ketika menghadapi lonjakan beban. Beberapa pendekatan mitigasi yang dibahas meliputi pengaturan persistence melalui Append Only File (AOF), pengelolaan memori, serta penerapan mekanisme high availability melalui Redis Sentinel atau Redis Cluster.

Rencana transisi yang dipaparkan mencakup inventarisasi alur lama, pemetaan logika transformasi, implementasi pipeline di NiFi, integrasi Kafka, dan penguatan konfigurasi sistem hilir. Seluruh tahapan tersebut perlu disertai pengujian dan validasi untuk memastikan kebutuhan fungsional, performa, dan keandalan tetap terpenuhi.

Studi kasus ini menegaskan bahwa migrasi teknologi bukan sekadar mengganti satu perangkat lunak dengan perangkat lunak lain. Prosesnya memerlukan pemahaman terhadap perilaku sistem lama, pemetaan ketergantungan, pengujian aliran data secara menyeluruh, serta perencanaan risiko agar keberlangsungan layanan tetap terjaga.

Ngopi IT: Belajar, Berbagi, dan Bertumbuh Bersama

Melalui pembahasan data streaming, Ngopi IT menghadirkan kesempatan untuk memahami teknologi dari konsep dasar hingga persoalan implementasi. Perbandingan IBM Streams, Apache NiFi, dan Apache Kafka memperlihatkan bahwa setiap teknologi memiliki peran, kelebihan, dan keterbatasan yang perlu dipahami sebelum digunakan dalam sebuah arsitektur.

Lebih dari sekadar forum pemaparan materi, kegiatan ini menjadi ruang untuk berdiskusi, mengajukan pertanyaan, berbagi pengalaman, dan memperluas perspektif teknis. Interaksi melalui Discord maupun pertemuan langsung memungkinkan pengetahuan dibangun melalui pertukaran gagasan dan pembahasan persoalan yang relevan dengan pekerjaan.

Bagi TMA, budaya belajar merupakan bagian penting dari pengembangan kompetensi insan perusahaan. Pengetahuan teknis yang terus diperbarui menjadi fondasi untuk merancang solusi yang lebih tepat, mengelola sistem dengan lebih baik, dan menghadirkan manfaat nyata bagi pelanggan.

Sejalan dengan semangat TMA, Technology Begins with People, teknologi bukan hanya tentang platform dan perangkat lunak, tetapi juga tentang manusia yang mempelajarinya, mengembangkannya, dan menggunakannya untuk menyelesaikan persoalan. Melalui Ngopi IT, TMA terus mendorong semangat pembelajaran bersama agar pengetahuan berkembang menjadi kemampuan, dan kemampuan menjadi karya yang memberikan dampak berkelanjutan.