Tugas Akhir 15210004_Riska Alifia Putri

Tugas Akhir 15210004_Riska Alifia Putri

• By Putri, Riska Alifia;
• Tugas Akhir
• 7
• 1-136

Ulasan pengguna aplikasi TJ: Transjakarta di Google Play Store terus meningkat sehingga analisis sentimen secara manual menjadi tidak efisien untuk mengolah teks tidak terstruktur dalam jumlah besar. Selain itu, belum terdapat penelitian yang membandingkan performa Support Vector Machine (SVM) dan IndoBERT pada ulasan aplikasi tersebut serta mengkaji pola keluhan pengguna secara mendalam. Penelitian ini bertujuan membandingkan performa SVM dan IndoBERT dalam mengklasifikasikan sentimen ulasan serta mengidentifikasi tema keluhan yang dominan pada ulasan negatif. Penelitian menggunakan kerangka kerja Cross Industry Standard Process for Data Mining (CRISP-DM) terhadap 2.000 ulasan hasil web scraping yang dilabeli berdasarkan rating menjadi kelas positif dan negatif. SVM menggunakan representasi fitur Term Frequency-Inverse Document Frequency (TF-IDF) dengan penanganan ketidakseimbangan kelas melalui Synthetic Minority Over-sampling Technique (SMOTE). Sementara itu, IndoBERT dibangun melalui fine-tuning model pralatih indobert-base-p1 dengan pendekatan class weighting. Evaluasi kinerja menggunakan metrik Accuracy, Precision, Recall, dan F1-Score dengan pendekatan Macro Average. Identifikasi pola keluhan dilakukan melalui analisis frekuensi kata, bigram, dan rule-based categorization. Hasil penelitian menunjukkan bahwa IndoBERT memperoleh Accuracy 96,65%, Recall Macro 96,66%, dan F1-Score Macro 93,96%, lebih tinggi dibandingkan SVM yang masing-masing memperoleh 96,39%, 95,14%, dan 93,37%. Namun, Precision Macro IndoBERT sebesar 91,72% sedikit lebih rendah daripada SVM sebesar 91,80%. Tema Bug & Update Sistem menjadi keluhan paling dominan, yaitu 31,23% dari keseluruhan ulasan negatif. Temuan ini dapat menjadi masukan bagi pengembang untuk memprioritaskan perbaikan stabilitas aplikasi.

• Katakunci Klasifikasi Sentimen; Support Vector Machine; IndoBERT; TF-IDF; Pola Keluhan Pengguna
• URL http://
• Penerbit Universitas Nusa Mandiri, Jakarta DKI Jakarta

REFERENSI

[1]      A. P. J. I. Indonesia, “APJII Jumlah Pengguna Internet Indonesia Tembus 221 Juta Orang,” APJII. Accessed: Jun. 08, 2026. [Online]. Available: https://apjii.or.id/berita/d/apjii-jumlah-pengguna-internet-indonesia-tembus-221-juta-orang

[2]      A. T. Aurahman, “Implementasi Naïve Bayes untuk Analisis Sentimen Tweet Pelayanan Transportasi PT Transjakarta,” in Prosiding Seminar Nasional Mahasiswa Fakultas Teknologi Informasi (SENAFTI), Jakarta, 2024, pp. 704–713.

[3]      PT Transportasi Jakarta, “Transjakarta Cetak Rekor: Layani 413 Juta Pelanggan di 2025 dengan Efisiensi Subsidi yang Signifikan,” Transjakarta. Accessed: Jun. 08, 2026. [Online]. Available: https://transjakarta.co.id/berita/transjakarta-cetak-rekor-layani-413-juta-pelanggan-di-2025-dengan-efisiensi-subsidi-yang-signifikan

[4]      PT Transportasi Jakarta, “Transjakarta Hadirkan ‘Companion Mode’ di Aplikasi TJ: Transjakarta, Teman Digital Baru untuk Perjalanan Lebih Seru,” Transjakarta. Accessed: Jun. 08, 2026. [Online]. Available: https://transjakarta.co.id/berita/transjakarta-hadirkan-companion-mode-di-aplikasi-tj-transjakarta-teman-digital-baru-untuk-perjalanan-lebih-seru

[5]      “TJ: Transjakarta,” Google Play. Accessed: Jun. 08, 2026. [Online]. Available: https://play.google.com/store/apps/details?id=com.transjakmobile&hl=id

[6]      M. L. Putri, Dhea Afnisyah Testiana, Gusmelia Dalafranka, Mengungkap Suara Ulasan Pengguna Layanan Berbasis Digital Berbasis Natural Languange Processing, 1st ed. Jawa Tengah: CV Eureka Media Aksara, 2026.

[7]      A. Fauzi and A. H. Yunial, Analisis Sentimen (Sentiment Analysis): Evaluasi Sentimen Layanan Dataset Twitter US Airline, 1st ed. Yogyakarta: Bintang Semesta Media, 2024.

[8]      D. S. Akbar Rizki, M. S. Khabib, N. Rahmayuna, and V. G. Utomo, “Klasifikasi Sentimen Ulasan Pengguna Aplikasi Layanan Publik Google Play Store Menggunakan NLP dan ML,” J. Tekno Kompak, vol. 20, no. 1, pp. 51–64, Oct. 2025.

[9]      C. Dometian and S. Jatmiko, “Analisis Sentimen Ulasan Google Play Store: Studi Komparatif Algoritma SVM, Naïve Bayes, dan Logistic Regression,” J. Fasilkom, vol. 15, no. 3, pp. 610–620, Jan. 2025.

[10]    R. G. Maulana et al., “Perbandingan Algoritma Klasifikasi Sentimen pada Ulasan Aplikasi Mobile JKN,” J. Ilmu Komput. dan Teknol., vol. 6, no. 3, pp. 160–167, Oct. 2025.

[11]    E. K. Fitri, A. H. Anshor, and M. S. Anwar, “Perbandingan Metode Machine learning Klasik (Naïve Bayes dan SVM) dan IndoBERT untuk Analisis Sentimen Ulasan Produk pada Platform Tokopedia,” Syntax Lit. ; J. Ilm. Indones., vol. 11, no. 6, pp. 4806–4816, Jun. 2026.

[12]    H. Nur Alfiana, A. Doewes, and B. Widoyono, “Aspect-Based Sentiment Analysis of Access by KAI Application Reviews Using IndoBERT for Multi-Label Classification Tasks,” J. Tek. Inform., vol. 7, no. 1, pp. 286–306, Feb. 2026.

[13]    L. A. Sari, N. F. Ramadhita, and F. N. Hasan, “Analysis of Public Sentiment on Google Play Store Tije Application Users Using Naïve Bayes Classifier Method,” J. Tek. Inform., vol. 5, no. 1, pp. 243–251, Feb. 2024.

[14]    A. Alfiah, “Sentiment Analysis of the TJ: Transjakarta Application Using the IndoBERT Model,” Int. J. Humanit. Soc. Sci. Bus., vol. 5, no. 1, pp. 62–69, 2026.

[15]    Ahmad Fikri Haikal and Yosep Nuryaman, “Sentiment Analysis of Transjakarta App Reviews Using the Naïve Bayes Algorithm,” J. Artif. Intell. Eng. Appl., vol. 5, no. 1, pp. 1620–1626, Oct. 2025.

[16]    D. Purnamasari et al., Pengantar Metode Analisis Sentimen, 1st ed. Jakarta: Penerbit Gunadarma, 2023.

[17]    D. F. Sari, D. Kurniawati, E. Wahyuningsih, and T. R. Wibowo, “Analisis Sentimen Keluhan Pelanggan ISP Menggunakan Support Vector Machine (SVM) dan TF-IDF,” Bull. Comput. Sci. Res., vol. 5, no. 6, pp. 1387–1394, 2025.

[18]    L. Brandes, D. Godes, and D. Mayzlin, “Extremity Bias in Online Reviews: The Role of Attrition,” J. Mark. Res., vol. 59, no. 4, pp. 675–695, Aug. 2022.

[19]    Y. Zhang and Z. Teng, Natural Language Processing: A Machine learning Perspective, 1st ed. United Kingdom: Cambridge University Press, 2021.

[20]    R. D. Dana, M. Mulyawan, A. Bahtia, and I. Ali, Dasar-Dasar Natural Language Processing (NLP), 1st ed. Minhaj Pustaka, 2024.

[21]    Y. Asri, D. Kuswardani, and S. A. Ramadhana, Machine learning & Deep learning: Analisis Sentimen Menggunakan Ulasan Pengguna Aplikasi, 1st ed. Jawa Timur: Uwais Inspirasi Indonesia, 2024.

[22]    C. R. A. Widiawati and A. M. Wahid, Pemrosesan Bahasa Alami: Konsep, Algoritma & Implementasi, 1st ed. Jawa Tengah: Zahira Media Publisher, 2025.

[23]    Rianto and P. I. Santosa, Data Preparation untuk Machine learning dan Deep learning, 1st ed. Yogyakarta: CV Andi Offset, 2024.

[24]    I. G. N. Suryantara, Python: Implementasi Algoritma Kompleks dalam Era Industri 5.0 dan Society 5.0, 1st ed. Jakarta: PT Elex Media Komputindo, 2024.

[25]    R. N. Rathi and A. Mustafi, “The importance of Term Weighting in semantic understanding of text: A review of techniques,” Multimed. Tools Appl., vol. 82, no. 7, pp. 9761–9783, 2023.

[26]    B. Hamed, M. Elkiki, S. Abdellah, A. H. Rabie, and R. Diab, “Integrating Artificial Intelligence Techniques to Enhance the Performance of Hybrid Floating Breakwater – wave Energy Converter Analysis,” J. Ocean Eng. Mar. Energy, vol. 12, no. 3, pp. 1069–1087, Aug. 2026.

[27]    T. Lin, Y. Wang, X. Liu, and X. Qiu, “A Survey of Transformers,” in AI Open, 2022, pp. 111–132.

[28]    Z. Xu, X. Tang, and Z. Wang, “A Multi-Information Fusion ViT Model and Its Application to the Fault Diagnosis of Bearing with Small Data Samples,” Machines, vol. 11, no. 2, p. 277, Feb. 2023.

[29]    M. R. Manoppo et al., “Analisis Sentimen Publik di Media Sosial terhadap Kenaikan PPN 12% di Indonesia Menggunakan IndoBERT,” J. Kecerdasan Buatan dan Teknol. Inf., vol. 4, no. 2, pp. 152–163, 2025.

[30]    A. Putra, Ismarmiaty, and Apriani, “Pengukuran Tingkat Akurasi pada Ulasan E-Commerce Menggunakan Metode INDOBERT dengan Optimizer Adam,” J. Komputer, Inf. dan Teknol., vol. 5, no. 1, p. 14, 2025.

[31]    D. Nuryadi et al., “Fine Tuning IndoBERT untuk Analisis Sentimen pada Ulasan Pengguna Aplikasi Tiket.com di Google Play Store,” JATI (Jurnal Mhs. Tek. Inform., vol. 9, no. 2, pp. 3577–3583, 2025.

[32]    R. Budianoor, S. W. Saputro, F. Abadi, R. A. Nugroho, and A. Farmadi, “Quantifying the Impact of Text Preprocessing on IndoBERT Fine-Tuning for Indonesian Informal Culinary Sentiment Analysis,” J. Comput. Theor. Appl., vol. 3, no. 4, pp. 564–581, May 2026.

[33]    R. Rizal and H. Himawan, “Benchmarking Modern Optimizers for IndoBERT-Based Sentiment Analysis on Indonesian Gojek Reviews,” Int. J. Mach. Learn., vol. 1, no. 1, pp. 12–22, 2026.

[34]    O. Campesato, Large Language Models for Developers: A Prompt-based Exploration, 1st ed. Boston: David Pallai, 2024.

[35]    A. A. Patel and A. U. Arasanipalai, Applied Natural Language Processing in The Enterprise, 1st ed. United State of America: O’Reilly Media, 2021.

[36]    S. Ruder, M. Peters, and T. Swayamdipta, Swabha Wolf, “Transfer Learning in Natural Language Processing Tutorial,” in Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Tutorials, Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Tutorials, 2019, pp. 15–18.

[37]    N. Herlinawati, I. Ariyati, Samudi, and Y. A. Asih, “Analisis Sentimen Zoom Cloud Meetings di Play Store Menggunakan Metode IndoBERT,” J. Sains Inform. Terap., vol. 5, no. 1, pp. 243–251, 2025.

[38]    R. Widayanti and F. C. Kasih, “Comparative Analysis of Baseline IndoBERT , Class-Weighted IndoBERT , and SMOTE with Support Vector Machine for Handling Imbalanced Sentiment Classification in Indonesian,” J. Tek. Inform., vol. 7, no. 3, pp. 2857–2875, 2026.

[39]    I. P. A. A. Mahendra and K. Kusrini, “Analisis Komparatif Klasifikasi Sentimen Pengguna Aplikasi Investasi Menggunakan Algoritma Hybrid CNN-LSTM, CNN-GRU dengan Implementasi SMOTE,” Tek. Teknol. Inf. dan Multimed., vol. 6, no. 1, pp. 112–118, 2025.

[40]    S. F. Taskiran, B. Turkoglu, E. Kaya, and T. Asuroglu, “A Comprehensive Evaluation of Oversampling Techniques for Enhancing Text Classification Performance,” Sci. Rep., vol. 15, no. 1, 2025.

[41]    R. J. Siger, M. Naufal, and F. Alzami, “Analisis Performa Class Weight Dan Focal Loss pada Model Indobert untuk Klasifikasi Teks Depresi Berbahasa Indonesia,” J. Ris. Komput., vol. 13, no. 2, pp. 558–568, 2026.

[42]    V. Ayumi, H. Noprisson, M. Utami, E. D. Putra, and M. Purba, Konsep Dasar Natural Language Processing, 1st ed. Jawa Barat: CV Jejak (Jejak Publisher), 2023.

[43]    K. H, Y. Desnelita, and D. Oktarina, “Analisis Sentimen terhadap Data Ulasan Aplikasi Mobile Banking di Play Store Menggunakan Random Forest,” J. Nas. Tek. Elektro dan Teknol. Inf., vol. 14, no. 3, pp. 171–180, 2025.

[44]    P. Khabiibah, S. W. Sihwi, and H. Setiadi, “Aspect Based Opinion Summarization Using Rule-Based Method and Support Vector Machine for Indonesian Reviews,” Int. J. Adv. Sci. Eng. Inf. Technol., vol. 12, no. 4, pp. 1387–1394, 2022.

[45]    A. J. Perdana, N. Rismawati, and N. Pravitasari, “Penerapan Rule-Based Classifier untuk Menentukan SLA Rate pada PT Nettocyber Indonesia,” J. Ris. dan Apl. Mhs. Inform., vol. 7, no. 2, pp. 354–363, 2026.

[46]    A. B. Aditya, S. Samsudin, W. P. Rizki, M. Mahendra, and A. Setiawan, “Analisis Sentimen Ulasan Aplikasi Gojek Menggunakan Support Vector Machine Dan Random Forest,” J. Inform. Terpadu, vol. 11, no. 2, pp. 134–143, Nov. 2025.

[47]    S. C. Helmi and S. H. Hasanah, “Analisis Sentimen Pengguna Aplikasi MyMRTJ di Google Play Store Menggunakan Metode Naïve Bayes dan Support Vector Machine,” Pros. Semin. Nas. Sains dan Teknol. Seri V, vol. 3, no. 1, pp. 805–817, 2026.

[48]    PT Transportasi Jakarta, “Sejarah Transjakarta,” Transjakarta. Accessed: Jun. 18, 2026. [Online]. Available: https://transjakarta.co.id/tentang/sejarah

[49]    PT Transportasi Jakarta, “Layanan Transjakarta,” Transjakarta. Accessed: Jun. 18, 2026. [Online]. Available: https://transjakarta.co.id/layanan

[50]    PT Transportasi Jakarta, “Tambah Opsi Pembayaran Digital, Tranjakarta Gandeng Gopay untuk Kemudahan Transaksi Pelanggan,” Transjakarta. Accessed: Jun. 21, 2026. [Online]. Available: https://transjakarta.co.id/news/tambah-opsi-pembayaran-digital-tranjakarta-gandeng-gopay-untuk-kemudahan-transaksi-pelanggan

[51]    PT Transportasi Jakarta, “Aplikasi TJ: Transjakarta Bawa Pulang Penghargaan Indonesia Digital Sustainability Awards 2025,” Transjakarta. Accessed: Jun. 18, 2026. [Online]. Available: https://transjakarta.co.id/berita/aplikasi-tj-transjakarta-bawa-pulang-penghargaan-indonesia-digital-sustainability-awards-2025

[52]    PT Transportasi Jakarta, “Transjakarta Raih Penghargaan WOW Brand 2026: Buktikan Keunggulan Layanan Transportasi Berbasis Inovasi AI,” Transjakarta. Accessed: Jun. 21, 2026. [Online]. Available: https://transjakarta.co.id/news/transjakarta-raih-penghargaan-wow-brand-2026-buktikan-keunggulan-layanan-transportasi-berbasis-inovasi-ai