NGOPI IT TMA Bahas Big Data Fundamental: Membangun Fondasi Data Engineering untuk Era Digital

Bandung, 6 Juli 2026 – Di tengah derasnya arus transformasi digital, data telah menjadi aset strategis bagi hampir seluruh organisasi. Namun, sebelum berbicara mengenai Artificial Intelligence, Machine Learning, ataupun analitik tingkat lanjut, terdapat satu fondasi yang wajib dipahami oleh setiap praktisi teknologi, yaitu Big Data. Dengan semangat membangun budaya belajar yang berkelanjutan, PT Tech Mayantara Asia (TMA) kembali menyelenggarakan forum rutin NGOPI IT (Ngobrol Pintar IT) dengan tema "Big Data Fundamental", yang dibawakan oleh Akhmad Sofyan, yang akrab disapa Mang Made. Materi yang dibawakan mengajak peserta memahami konsep dasar Big Data, karakteristiknya, arsitektur, ekosistem teknologi, hingga berbagai implementasi nyata di dunia industri.

Acara dilaksanakan pada Senin, 6 Juli 2026, mulai pukul 16.00 WIB dalam format hybrid, yaitu secara offline di Kantor Magna Bandung dan online melalui platform Discord. Seperti biasa, format hybrid menjadi ciri khas kegiatan internal TMA yang mendukung budaya kerja fleksibel. Para peserta terdiri dari software engineer, data engineer, data analyst, mahasiswa magang, hingga kru lintas divisi yang ingin memahami bagaimana Big Data menjadi pondasi utama dalam pengembangan solusi digital modern.

Sejak awal sesi, suasana NGOPI berlangsung hangat dan interaktif. Mang Made membuka presentasi dengan sebuah pertanyaan sederhana, "Mengapa Big Data muncul?" Pertanyaan tersebut menjadi pintu masuk untuk memahami perubahan besar yang terjadi di dunia teknologi. Ia menjelaskan bahwa lahirnya Big Data bukan sekadar karena ukuran data yang semakin besar, melainkan akibat ledakan data (data explosion) yang dihasilkan setiap detik oleh smartphone, media sosial, Internet of Things (IoT), sensor industri, transaksi digital, hingga layanan cloud. Platform seperti Google Search, TikTok, Shopee, Gojek, dan berbagai aplikasi digital lainnya menghasilkan jutaan bahkan miliaran record setiap harinya yang tidak lagi mampu diproses menggunakan pendekatan database tradisional maupun spreadsheet seperti Microsoft Excel.

Mang Made kemudian menjelaskan definisi Big Data secara sederhana namun mudah dipahami. Big Data bukan hanya berarti "data yang besar", tetapi data yang secara teknis sudah tidak efisien lagi diproses menggunakan pendekatan konvensional. Oleh karena itu, dibutuhkan teknologi baru yang mampu menyimpan, mengolah, dan menganalisis data dalam jumlah sangat besar secara terdistribusi. Penjelasan tersebut memberikan gambaran kepada peserta bahwa Big Data lebih merupakan perubahan paradigma dibanding sekadar peningkatan kapasitas penyimpanan.

Materi kemudian memasuki pembahasan mengenai karakteristik Big Data yang dikenal sebagai konsep 5V, bahkan berkembang menjadi 7V. Mang Made menguraikan setiap karakteristik dengan contoh yang dekat dengan kehidupan sehari-hari. Volume menggambarkan ukuran data yang kini mencapai skala terabyte hingga zettabyte. Velocity menjelaskan bagaimana data mengalir secara real-time dengan kecepatan sangat tinggi. Variety menunjukkan bahwa data modern tidak hanya berbentuk tabel, tetapi juga teks, gambar, video, audio, maupun data semi-terstruktur. Selanjutnya terdapat Veracity yang berkaitan dengan kualitas dan akurasi data, Value yang menekankan bahwa data baru bernilai setelah diolah menjadi insight, Variability yang menunjukkan perubahan pola data sesuai konteks, serta Visualization sebagai kemampuan menyajikan data agar mudah dipahami oleh pengambil keputusan.

Diskusi menjadi semakin menarik ketika Mang Made membandingkan Big Data dengan sistem data tradisional. Pada sistem konvensional, data biasanya berukuran gigabyte hingga beberapa terabyte, tersimpan dalam satu server menggunakan RDBMS dan diproses menggunakan SQL. Sebaliknya, Big Data bekerja pada skala terabyte hingga exabyte, menyimpan berbagai jenis data terstruktur maupun tidak terstruktur, menggunakan banyak server secara terdistribusi, serta memanfaatkan teknologi seperti Apache Hadoop dan Apache Spark untuk pemrosesan paralel. Perbandingan ini membantu peserta memahami mengapa pendekatan lama tidak lagi memadai untuk menghadapi kebutuhan analitik modern.

Salah satu bagian yang paling banyak menarik perhatian adalah pembahasan mengenai ekosistem Big Data. Mang Made menjelaskan bahwa Big Data bukanlah sebuah aplikasi tunggal, melainkan kumpulan berbagai teknologi yang saling melengkapi. Untuk penyimpanan data tersedia teknologi seperti HDFS, Amazon S3, dan Google Cloud Storage. Pada sisi pemrosesan terdapat Apache Hadoop MapReduce, Apache Spark, serta Apache Flink. Untuk proses pengambilan data digunakan berbagai tools seperti Apache Kafka, Apache Flume, Sqoop, dan Apache NiFi. Sementara kebutuhan query dan analitik dapat menggunakan Hive, Presto, Spark SQL, atau Impala. Hasil analisis kemudian divisualisasikan menggunakan platform seperti Apache Superset, Tableau, Power BI, maupun Looker. Penjelasan ini membuka wawasan peserta mengenai bagaimana setiap komponen memiliki fungsi yang berbeda namun bekerja sebagai satu kesatuan dalam membangun platform Big Data modern.

Sebagai perusahaan yang mengembangkan TeMA BigData Platform, pembahasan mengenai ekosistem ini terasa sangat relevan. Banyak peserta mulai menghubungkan materi yang dipaparkan dengan produk internal TMA yang selama ini dibangun menggunakan berbagai teknologi open source seperti Apache Spark, Apache Iceberg, Trino, Apache Superset, Apache Airflow, Apache NiFi, dan OpenMetadata. Diskusi pun berkembang ke arah bagaimana seluruh komponen tersebut dapat membentuk sebuah Modern Lakehouse Architecture yang mampu mendukung kebutuhan enterprise dalam mengelola data berskala besar.

Pada bagian berikutnya, Mang Made memperkenalkan arsitektur dasar Big Data yang terdiri dari tujuh tahapan utama. Proses dimulai dari Data Source, yaitu berbagai sumber data seperti database, log aplikasi, sensor IoT, maupun API eksternal. Selanjutnya data masuk ke tahap Ingest menggunakan Apache Kafka, Flume, Sqoop, atau Apache NiFi. Setelah itu data disimpan pada sistem storage seperti HDFS atau Amazon S3 sebelum memasuki tahap Processing menggunakan Spark maupun Hive. Data yang telah diproses kemudian dianalisis menggunakan engine query seperti Apache Superset atau Tableau, divisualisasikan dalam bentuk dashboard interaktif, hingga akhirnya menghasilkan actionable insight yang dapat digunakan sebagai dasar pengambilan keputusan bisnis. Diagram sederhana tersebut memberikan gambaran menyeluruh mengenai alur perjalanan data sejak pertama kali dihasilkan hingga menjadi informasi yang bernilai.

Untuk menunjukkan bahwa Big Data bukan sekadar teori, Mang Made juga membawakan berbagai studi kasus nyata dari berbagai industri. Pada sektor e-commerce, Big Data digunakan untuk membangun sistem rekomendasi produk seperti "Pelanggan yang membeli produk ini juga membeli...". Di bidang transportasi, data real-time dimanfaatkan untuk menentukan tarif dinamis berdasarkan tingkat permintaan. Pada sektor kesehatan, Big Data membantu memprediksi penyebaran penyakit berdasarkan data media sosial maupun tren pencarian internet. Di industri perbankan, teknologi ini mampu mendeteksi transaksi fraud secara real-time, sementara di sektor pemerintahan Big Data digunakan untuk mendukung inisiatif seperti Satu Data Indonesia dan analisis distribusi bantuan sosial. Contoh-contoh tersebut membuat peserta semakin memahami bahwa Big Data telah menjadi bagian dari kehidupan sehari-hari tanpa disadari.

Tidak hanya membahas peluang, Mang Made juga mengajak peserta melihat berbagai tantangan implementasi Big Data. Dari sisi teknis, pembangunan platform Big Data memerlukan infrastruktur yang kompleks serta kemampuan engineering yang memadai. Dari sisi non-teknis terdapat isu keamanan, privasi data, regulasi seperti UU Perlindungan Data Pribadi (PDP), serta tata kelola data. Selain itu, tantangan terbesar justru berada pada aspek sumber daya manusia karena organisasi membutuhkan Data Engineer, Data Scientist, Data Analyst, serta arsitek data yang memiliki kompetensi khusus. Menurut Mang Made, investasi pada pengembangan talenta sama pentingnya dengan investasi pada teknologi itu sendiri.

Seperti tradisi NGOPI sebelumnya, sesi tanya jawab berlangsung sangat hidup. Para peserta mendiskusikan berbagai pengalaman implementasi data warehouse, penggunaan Apache Spark, strategi membangun data lake, hingga perbedaan antara Hadoop dan arsitektur Lakehouse modern. Suasana semakin cair dengan berbagai celetukan khas para engineer yang sering kali muncul ketika membahas pengalaman debugging pipeline data atau tantangan menangani data dalam jumlah miliaran record. Gelak tawa sesekali terdengar, namun diskusi tetap sarat dengan wawasan teknis yang bermanfaat.

Platform Discord kembali membuktikan efektivitasnya sebagai media kolaborasi teknis di lingkungan TMA. Peserta yang hadir secara daring dapat berdiskusi langsung melalui voice channel maupun chat tanpa kehilangan interaksi dengan peserta yang berada di kantor. Budaya kerja hybrid yang diterapkan perusahaan membuat forum seperti NGOPI mampu menjangkau seluruh kru, terlepas dari lokasi mereka bekerja.

Melalui penyelenggaraan NGOPI IT: Big Data Fundamental, PT Tech Mayantara Asia kembali menegaskan komitmennya untuk membangun budaya belajar yang berkesinambungan. Bagi TMA, penguasaan teknologi bukan hanya tentang menguasai tools terbaru, melainkan memahami fondasi konsep yang benar agar mampu membangun solusi yang tepat bagi kebutuhan pelanggan. Big Data menjadi salah satu pilar penting dalam perjalanan transformasi digital, sekaligus menjadi pondasi bagi teknologi lain seperti Artificial Intelligence, Machine Learning, hingga analitik prediktif.

Lebih dari sekadar sesi berbagi pengetahuan, NGOPI telah berkembang menjadi ruang kolaborasi yang memperkuat kultur engineering di TMA. Di forum inilah para engineer, developer, data specialist, product enthusiast, hingga mahasiswa dapat belajar bersama, bertukar pengalaman, dan membangun wawasan lintas disiplin. Semangat inilah yang terus mendorong TMA untuk melahirkan inovasi, mengembangkan solusi berbasis data, serta mempersiapkan talenta digital yang siap menghadapi tantangan industri di masa depan.