Optimizing of IndoBERT Embedding with Ditto Whitening for Measuring Research Title Similarity

Pengukuran kesamaan judul penelitian merupakan
elemen penting dalam menjaga orisinalitas karya ilmiah serta
mencegah duplikasi topik di lingkungan akademik. Namun,
embedding IndoBERT sebagai model bahasa Indonesia
diketahui mengalami masalah anisotropi, yang menyebabkan
sebagian besar judul tampak memiliki nilai kemiripan tinggi
meskipun berbeda secara semantik. Penelitian ini bertujuan
untuk mengoptimalkan kualitas embedding IndoBERT melalui
Ditto Whitening. Selain itu, penelitian ini juga mengevaluasi
dampaknya terhadap pengukuran kesamaan judul penelitian.
Dataset yang digunakan terdiri dari 7.785 judul tugas akhir
mahasiswa dari enam rumpun ilmu, yang diproses
menggunakan teknik mean pooling dan normalisasi L2 sebelum
dan sesudah whitening. Evaluasi dilakukan secara intrinsik
dengan mengukur tingkat isotropi, distribusi cosine similarity,
bias global terhadap vektor mean, dan fenomena hubness, serta
didukung oleh visualisasi ruang embedding menggunakan t
SNE, UMAP, dan heatmap cosine similarity. Hasil eksperimen
menunjukkan peningkatan signifikan pada kualitas embedding,
ditunjukkan oleh penurunan Cosine Pair Mean dari 0.559
menjadi −0.000145, penurunan MeanCos-to-Mean dari 0.748
menjadi 0.0068, serta penurunan Hubness Skew dari 1.60
menjadi 0.68. Nilai isotropi embedding juga meningkat secara
substansial, menunjukkan distribusi vektor yang lebih merata.
Temuan ini membuktikan bahwa Ditto Whitening efektif dalam
meningkatkan isotropi embedding IndoBERT dan secara
langsung berdampak pada peningkatan akurasi sistem deteksi
kemiripan judul serta pencarian dokumen akademik, sehingga
relevan untuk mendukung manajemen topik dan penjaminan
mutu penelitian di perguruan tinggi.