Aplikasi Populer

🔥 Selamat datang di Aplikasi Populer — Jelajahi tren terbaru tentang bet-donic-terbaik!

Abstrak: Makalah ini menyajikan solusi teknis yang diusulkan oleh tim kami untuk kompetisi "Penerjemahan Mesin Gambar Dokumen End-to-End untuk Tata Letak Kompleks" pada Konferensi Internasional ke-19 untuk Analisis dan Pengenalan Dokumen (DIMT25@ICDAR2025). Dengan memanfaatkan model bahasa-visi besar (LVLM) sumber terbuka yang canggih, kami memperkenalkan kerangka pelatihan yang menggabungkan pembelajaran multi-tugas dengan rantai pemikiran perseptual untuk mengembangkan sistem penerjemahan dokumen end-to-end yang komprehensif. Selama fase inferensi, kami menerapkan decoding Bayesian minimum dan strategi pasca-pemrosesan untuk lebih meningkatkan kemampuan penerjemahan sistem. Solusi kami secara unik menangani tugas penerjemahan gambar dokumen berbasis OCR dan tanpa OCR dalam satu kerangka kerja terpadu. Makalah ini secara sistematis merinci metode pelatihan, strategi inferensi, model dasar LVLM, data pelatihan, pengaturan eksperimental, dan hasil, menunjukkan pendekatan yang efektif untuk penerjemahan mesin gambar dokumen.

1. Pendahuluan

Penerjemahan Mesin Gambar Dokumen (DIMT) menggabungkan pengenalan teks dan penerjemahan untuk memproses dokumen multibahasa seperti manual, laporan, dan arsip. Meskipun ada kemajuan dalam pembelajaran mendalam, membangun sistem DIMT end-to-end yang menangani berbagai tata letak dengan akurasi tinggi tetap menjadi tantangan.

Untuk mendorong inovasi dalam bidang ini, Konferensi Internasional ke-19 untuk Analisis dan Pengenalan Dokumen (ICDAR 2025) secara khusus menyelenggarakan kompetisi berjudul "Penerjemahan Mesin Gambar Dokumen End-to-End untuk Tata Letak Kompleks." Menjawab tantangan ini, tim kami telah mengembangkan kerangka kerja inovatif berdasarkan model bahasa-visi besar (LVLM) yang mutakhir. Kerangka ini mengintegrasikan pembelajaran multi-tugas (MTL) dengan pendekatan pelatihan rantai pemikiran perseptual (PCOT), memungkinkan model untuk secara bersamaan memahami tata letak visual dan konten linguistik. Selama fase inferensi, sistem lebih lanjut menggunakan decoding Bayesian minimum (MBR) dan strategi pasca-pemrosesan untuk mengoptimalkan kualitas keluaran.

Inovasi utama dari studi ini terletak pada penyatuan tugas penerjemahan berbasis OCR dan tanpa OCR dalam satu kerangka kerja, menghilangkan kebutuhan untuk membangun jalur independen. Desain ini secara signifikan meningkatkan kemampuan adaptasi sistem, memungkinkannya menangani skenario dunia nyata di mana Pengenalan Karakter Optik (OCR) mungkin atau mungkin tidak dapat diterapkan. Evaluasi pada set pengujian mengonfirmasi efektivitas metode ini dalam memproses dokumen dengan struktur kompleks.

Makalah ini secara sistematis menyajikan solusi teknis lengkap, menekankan reprodusibilitas dan transparansi. Bagian selanjutnya menjelaskan secara rinci: 1) metodologi pelatihan dan strategi inferensi, 2) komposisi data pelatihan dan model dasar LVLM, 3) pengaturan eksperimental dan hasil. Penyajian terstruktur ini memfasilitasi pemahaman yang komprehensif tentang kontribusi dan inovasi penelitian kami.

2. Deskripsi Metode

2.1 Metode Pelatihan

Seiring dengan kemajuan teknologi model bahasa besar (LLM), paradigma pelatihan tiga tahapnya yaitu "Pra-Pelatihan Berkelanjutan (CPT) – Penyesuaian Halus yang Diawasi (SFT) – Pembelajaran Penguatan dari Umpan Balik Manusia (RLHF)" telah berhasil diterapkan pada LVLM. Paradigma ini memungkinkan LVLM sumber terbuka mencapai kinerja luar biasa dalam tugas lintas modal. Berdasarkan hal ini, kami mengusulkan strategi pelatihan inovatif: mengintegrasikan MTL dengan PCOT untuk melakukan SFT pada LVLM yang mutakhir, meningkatkan kinerjanya pada tugas DIMT25.

2.1.1 Pembelajaran Multi-Tugas (MTL)

MTL adalah paradigma pembelajaran mesin yang meningkatkan generalisasi model dengan berbagi representasi antar tugas yang berbeda. Secara khusus, MTL secara bersamaan mengoptimalkan beberapa tugas terkait dalam satu model, memanfaatkan korelasi antar tugas yang laten untuk secara efektif mengurangi masalah yang lazim dalam pembelajaran tugas tunggal tradisional, seperti overfitting model atau kapasitas representasi yang terbatas akibat isolasi data. Terutama selama proses SFT LVLM, MTL memfasilitasi pelatihan kolaboratif lintas tugas melalui mekanisme berbagi parameter dan optimasi fungsi kerugian bersama. Pendekatan ini tidak hanya memperkuat kemampuan model untuk mengekstrak fitur multimodal tetapi juga secara nyata meningkatkan ketahanannya dalam pemahaman semantik dalam skenario kompleks.

2.1.2 Rantai Pemikiran Perseptual (PCOT)

Pendekatan Rantai Pemikiran (CoT) menunjukkan keuntungan signifikan dalam tugas kognitif kompleks (seperti penalaran matematis, deduksi logis, dan pemahaman multimodal) dengan mensimulasikan proses penalaran progresif manusia. Dibandingkan dengan paradigma pelatihan end-to-end tradisional, CoT menekankan mekanisme penalaran langkah-demi-langkah yang eksplisit, dengan pemrosesan terstruktur ini meningkatkan transparansi pengambilan keputusan model. Untuk mengatasi tantangan unik tugas DIMT25, kami memperluas CoT standar menjadi PCOT. Ini mengadopsi jalur pemrosesan hierarkis: tahap pertama berfokus pada deteksi dan pengenalan konten teks yang tepat dalam gambar, sementara tahap kedua melakukan transformasi lintas bahasa yang khusus. Desain dua tahap ini secara efektif menyelesaikan masalah fragmentasi semantik dari metode tradisional dalam skenario campuran teks-gambar. Dengan membangun mekanisme kopling yang dalam antara persepsi visual dan pemahaman bahasa, ini secara signifikan meningkatkan akurasi dan konsistensi hasil penerjemahan.

2.2 Strategi Inferensi

2.2.1 Decoding MBR

Tujuan inti dari decoding MBR adalah untuk memilih keluaran optimal dengan mengoptimalkan fungsi utilitas yang diharapkan, yang mengukur kemiripan antara hipotesis kandidat dan teks referensi. Penelitian sebelumnya telah menunjukkan efektivitas decoding MBR dalam tugas penerjemahan mesin, di mana metrik evaluasi otomatis biasanya digunakan sebagai ukuran kemiripan. Kami menyesuaikan pendekatan ini untuk tugas DIMT25. Secara khusus, kami secara bersamaan mengumpulkan keluaran kandidat yang dihasilkan oleh dua strategi decoding—termasuk keluaran deterministik dari beam search dan 10 sampel beragam yang dihasilkan oleh sampling suhu dan nucleus (dengan t=0,7 dan p=0,95). Selanjutnya, kami menghitung skor kemiripan berpasangan dalam set kandidat menggunakan BLEU dan memilih sampel dengan skor kemiripan tertinggi sebagai keluaran sistem akhir.

2.2.2 Pascapemrosesan

Analisis keluaran model mengungkapkan bahwa ketika memproses simbol khusus (seperti -, …, _, *, dll.) yang muncul berulang kali dalam gambar atau tabel yang padat konten, model cenderung melakukan penerjemahan berlebihan. Untuk mengatasi ini, kami menetapkan dua aturan pemrosesan sederhana: mengurangi simbol khusus yang berurutan melebihi 10 instance menjadi 10 dan menghapus keluaran penerjemahan untuk tabel yang terlalu kompleks. Selain itu, untuk hasil penerjemahan bahasa Mandarin, kami menerapkan normalisasi spasi berkelanjutan setelah tokenisasi jieba, mengganti beberapa spasi berurutan dengan satu spasi untuk membuat keluaran lebih selaras dengan kebiasaan membaca manusia.

3. Detail Implementasi

3.1 Data Pelatihan

Dataset multimodal kompetisi DIMT25, yang ditunjukkan pada Tabel 2, berfungsi sebagai sumber data untuk pelatihan dan evaluasi model, berisi dua jalur independen untuk skenario tugas yang berbeda.

3.2 Model Dasar LVLM

Kami menggunakan kerangka InternVL sumber terbuka untuk melakukan penyesuaian halus parameter penuh pada model InternVL2.5-MPO, memanfaatkan teknik zero3-offload DeepSpeed untuk mempercepat proses pelatihan. Konfigurasi pelatihan rinci adalah sebagai berikut: kami melakukan pelatihan paralel pada 8 GPU dengan ukuran batch 4 per GPU dan langkah akumulasi gradien 4. Laju pembelajaran awal ditetapkan pada 4e-5. Panjang urutan maksimum dikonfigurasi menjadi 8.192 token, dan model dilatih selama 5 epoch.

4. Eksperimen

4.1 Pengaturan

Lihat bagian 3.2 untuk detail implementasi.

4.2 Hasil

Tabel 1 menyajikan tiga temuan utama: (1) Dibandingkan dengan SFT langsung tugas tunggal, metode SFT gabungan MTL-PCOT menunjukkan peningkatan kinerja yang lebih signifikan untuk LVLM pada tugas DIMT25; (2) MBR dan strategi inferensi pasca-pemrosesan menawarkan peningkatan kinerja yang saling melengkapi; (3) Kemampuan model meningkat seiring dengan ukuran parameter, dengan model yang lebih besar mengungguli model yang lebih kecil ketika menggunakan metodologi yang sama.

Tabel 1: Skor BLEU untuk setiap sub-jalur DIMT25.

Pernyataan Kepatuhan: Tim kami mengonfirmasi bahwa semua data yang digunakan mematuhi aturan kompetisi serta standar privasi data, hak cipta, dan etika yang relevan.

Referensi

- Zhang Z, Zhang Y, Liang Y, dkk. LayoutDIT: Penerjemahan gambar dokumen end-to-end yang sadar tata letak dengan dekoder konduktif multi-langkah. Dalam: Temuan ACL: EMNLP 2023. 2023: 10043-10053.
- Liang Y, Zhang Y, Ma C, dkk. Penerjemahan mesin gambar dokumen dengan perakitan model pra-terlatih dinamis multi. Dalam: Prosiding Konferensi ACL 2024 Wilayah Amerika Utara: Teknologi Bahasa Manusia (Volume 1: Makalah Panjang). 2024: 7084-7095.
- Thendral, R., dkk. "Analisis Gambar Dokumen untuk Ekstraksi dan Penerjemahan Teks." Konferensi Internasional ke-4 tentang Teknologi Cerdas (CONIT) 2023. IEEE, 2024.
- LeCun, Yann, Yoshua Bengio, dan Geoffrey Hinton. "Pembelajaran mendalam." Nature 521.7553 (2015): 436-444.
- Chen, Zhe, dkk. "Memperluas batas kinerja model multimodal sumber terbuka dengan penskalaan model, data, dan waktu uji." arXiv preprint arXiv:2412.05271 (2024).
- Wang, Weiyun, dkk. "Meningkatkan kemampuan penalaran model bahasa besar multimodal melalui optimasi preferensi campuran." arXiv preprint arXiv:2411.10442 (2024).
- Zhang, Yu, dan Qiang Yang. "Survei tentang pembelajaran multi-tugas." IEEE Transactions on Knowledge and Data Engineering 34.12 (2021): 5586-5609.
- Wei, Jason, dkk. "Pancingan rantai pemikiran memicu penalaran dalam model bahasa besar." Advances in Neural Information Processing Systems 35 (2022): 24824-24837.
- Farinhas, António, José GC de Souza, dan André FT Martins. "Studi empiris tentang ensembling hipotesis penerjemahan dengan model bahasa besar." arXiv preprint arXiv:2310.11430 (2023).
- Mithe, Ravina, Supriya Indalkar, dan Nilam Divekar. "Pengenalan Karakter Optik." International Journal of Recent Technology and Engineering (IJRTE) 2.1 (2013): 72-75.
- Chang, Yupeng, dkk. "Survei tentang evaluasi model bahasa besar." ACM Transactions on Intelligent Systems and Technology 15.3 (2024): 1-45.
- Kasneci, Enkelejda, dkk. "ChatGPT untuk kebaikan? Peluang dan tantangan model bahasa besar untuk pendidikan." Learning and Individual Differences 103 (2023): 102274.
- Gupta, Kshitij, dkk. "Pra-pelatihan berkelanjutan model bahasa besar: Bagaimana cara (kembali) memanaskan model Anda?" arXiv preprint arXiv:2308.04014 (2023).
- Dong, Guanting, dkk. "Bagaimana kemampuan dalam model bahasa besar dipengaruhi oleh komposisi data penyesuaian halus yang diawasi." arXiv preprint arXiv:2310.05492 (2023).
- Bai, Yuntao, dkk. "Melatih asisten yang membantu dan tidak berbahaya dengan pembelajaran penguatan dari umpan balik manusia." arXiv preprint arXiv:2204.05862 (2022).
- Bai, Shuai, dkk. "Laporan teknis Qwen2.5-VL." arXiv preprint arXiv:2502.13923 (2025).
- Tim Gemini, dkk. "Gemini: sekumpulan model multimodal yang sangat mumpuni." arXiv preprint arXiv:2312.11805 (2023).
- Shin, Andrew, Masato Ishii, dan Takuya Narihira. "Perspektif dan prospek arsitektur transformer untuk tugas lintas modal dengan bahasa dan penglihatan." International Journal of Computer Vision 130.2 (2022): 435-454.
- Lampropoulos, Aristomenis S., dan George A. Tsihrintzis. "Paradigma pembelajaran mesin." Aplikasi dalam Sistem Rekomendasi. Swiss: Springer International Publishing (2015).
- Marquet, Thomas, dan Elisabeth Oswald. "Perbandingan pendekatan pembelajaran multi-tugas dan pembelajaran tugas tunggal." Konferensi Internasional tentang Kriptografi Terapan dan Keamanan Jaringan. Cham: Springer Nature Switzerland, 2023.
- Wu, Zhanglin, dkk. "Pengajuan HW-TSC ke Tugas Penerjemahan Mesin CCMT 2024." Konferensi Penerjemahan Mesin Tiongkok. Singapura: Springer Nature Singapore, 2024.
- Wu, Zhanglin, dkk. "Pilih penerjemahan akhir dari hipotesis NMT dan LLM menggunakan decoding MBR: Pengajuan HW-TSC ke Tugas Bersama WMT24 Penerjemahan Mesin Umum." arXiv preprint arXiv:2409.14800 (2024).
- Wu, Zhanglin, dkk. "Meningkatkan kualitas Penerjemahan Ucapan Kaskade Offline IWSLT 2024 dan Penerjemahan Ucapan ke Ucapan melalui Ensembling Hipotesis Penerjemahan dengan model NMT dan Model Bahasa Besar." Prosiding Konferensi Internasional ke-21 tentang Penerjemahan Bahasa Lisan (IWSLT 2024). 2024.
- Rei, Ricardo, dkk. "COMET: Kerangka Neural untuk Evaluasi Penerjemahan Mesin." Prosiding Konferensi EMNLP 2020. 2020.
- Rei, Ricardo, dkk. "COMET-22: Pengajuan Unbabel-IST 2022 untuk tugas bersama metrik." Prosiding Konferensi ke-7 tentang Penerjemahan Mesin (WMT). 2022.
- Papineni, Kishore, dkk. "BLEU: metode untuk evaluasi otomatis penerjemahan mesin." Prosiding pertemuan tahunan ke-40 ACL. 2002.
- Wu, Zhanglin, dkk. "Mengevaluasi OCR Menu dan Penerjemahan: Tolok Ukur untuk Menyelaraskan Evaluasi Manusia dan Otomatis dalam Model Bahasa-Visi Besar." arXiv preprint arXiv:2504.13945 (2025).

Lampiran A: Format Data Pelatihan

Gambar 1: Struktur Organisasi Data Pelatihan untuk Metode Kami.

Lampiran B: Ukuran Data Pelatihan

Jalur | Dataset | # Contoh | Train | Valid | Test
Jalur 1 | DIMT-WebDoc-300K | 300K | 1K | 1K | 1K
Jalur 2 | DIMT-arXiv-124K | 124K | 1K | 1K | 1K

Keamanan dimulai dengan memahami cara developer mengumpulkan dan membagikan data Anda. Praktik privasi dan keamanan data dapat bervariasi berdasarkan penggunaan, wilayah, dan usia Anda.

T: Bagaimana cara mengunduh Aplikasi Populer?
J: Cukup klik tombol instal berwarna hijau di bagian atas dan ikuti instruksi amannya.

T: Apakah Aplikasi Populer bebas dari virus?
J: Tentu saja! Aplikasi Populer telah discan dan bebas dari malware maupun virus.