Chúng tôi hỗ trợ xây dựng các mô hình ngôn ngữ lớn cần thiết cho việc phát triển và
tinh chỉnh
các công cụ dịch thuật AI và AI tạo sinh
.

Trong việc phát triển và tinh chỉnh dịch máy cũng như AI tạo sinh đa ngôn ngữ, nhu cầu về kho ngữ liệu song ngữ ngày càng tăng cao. Ngoài ra, ngay cả khi biên dịch viên bắt đầu dịch một lĩnh vực mới, nếu có bộ nhớ dịch thuật được tích lũy trong nội bộ, hiệu quả công việc dịch thuật sẽ tăng lên đáng kể. Mặt khác, việc tự thu thập một kho ngữ liệu song ngữ có hệ thống không phải là điều dễ dàng, vì vậy việc mua dữ liệu từ bên ngoài để tập trung vào việc phát triển sản phẩm mục tiêu và công việc dịch thuật có thể coi là hiệu quả hơn.

Dưới đây là 6 điểm cần lưu ý khi lựa chọn kho ngữ liệu song ngữ.
1) Cặp ngôn ngữ
2) Lĩnh vực
3) Chất lượng
4) Số lượng
5) Loại dữ liệu
6) Có ngữ cảnh hay không

Điểm 1) "Cặp ngôn ngữ" có nghĩa là cặp ngôn ngữ mà biên dịch viên dịch hoặc cặp ngôn ngữ được huấn luyện trong quá trình phát triển dịch máy là tiếng Nhật và tiếng Anh, hay tiếng Nhật và tiếng Trung. Khi đăng ký vào bộ nhớ dịch thuật của công cụ hỗ trợ dịch thuật được sử dụng, "cặp ngôn ngữ" cũng có thể được coi là yếu tố quan trọng nhất. Hơn nữa, nếu muốn tìm kiếm cách diễn đạt tự nhiên hơn, thì ngôn ngữ nào là nguyên bản cũng là một yếu tố quan trọng. Ví dụ cụ thể, ngay cả khi nói chung là "kho ngữ liệu song ngữ Nhật-Anh", thì việc dịch từ tiếng Nhật sang tiếng Anh và dịch từ tiếng Anh sang tiếng Nhật chắc chắn sẽ tạo ra sự khác biệt về độ trôi chảy của cách diễn đạt tiếng Anh và bối cảnh dịch thuật.

"Lĩnh vực" trong mục 2) đề cập đến các lĩnh vực như du lịch, y tế, luật pháp, kinh tế, khoa học kỹ thuật, v.v. Việc cho máy học dữ liệu của lĩnh vực mà bạn muốn nâng cao độ chính xác sẽ giúp đẩy nhanh quá trình phát triển. Khi xây dựng mô hình ngôn ngữ để cải thiện độ chính xác của dịch máy trong một lĩnh vực cụ thể, con số ước tính để thấy được hiệu quả là khoảng 100.000 cặp câu. Không cần phải nói, lĩnh vực cũng đóng vai trò quan trọng ngay cả khi tạo từ điển thuật ngữ chuyên ngành từ kho ngữ liệu song ngữ. Trong trường hợp của công ty chúng tôi, các lĩnh vực được yêu cầu tại Nhật Bản đã thay đổi theo thời gian: lĩnh vực du lịch khi chúng tôi tập trung vào việc đáp ứng nhu cầu khách du lịch nước ngoài dưới danh nghĩa quốc gia du lịch, và lĩnh vực y tế khi cần tăng cường dịch vụ y tế cho người nước ngoài đến thăm và định cư tại Nhật Bản. Hơn nữa, nhu cầu đã chuyển dịch trong vài năm qua sang lĩnh vực kinh doanh, bao gồm các tài liệu thuyết trình được sử dụng để công bố và giải thích nội dung kinh doanh, cũng như các bài phát biểu tại hội nghị, sự kiện và phần hỏi đáp tiếp theo.

"Chất lượng" trong mục 3), nói cách khác là độ chính xác, phụ thuộc vào phương pháp tạo ra kho ngữ liệu song ngữ. Dữ liệu được dịch bởi con người là lý tưởng nhất; những dữ liệu được dịch bằng máy mà không qua kiểm tra hoặc chỉnh sửa bởi con người đương nhiên sẽ có chất lượng thấp hơn. Ngoài ra, ngay cả với dữ liệu song ngữ do con người dịch, đôi khi một câu gốc lại được dịch thành hai câu trở lên trong ngôn ngữ đích, và nếu yêu cầu bắt buộc là một câu gốc phải tương ứng với một câu dịch, điều này sẽ ảnh hưởng đến chất lượng. Hơn nữa, nếu bản dịch bị lược bỏ quá mức thì cũng không thể coi là một kho ngữ liệu song ngữ chất lượng tốt.

Về "số lượng" ở mục 4), ví dụ, nếu mục đích là để đăng ký vào bộ nhớ dịch hoặc từ điển của công cụ hỗ trợ dịch thuật đang sử dụng trong công ty, thì chỉ cần vài chục nghìn cặp câu song ngữ trong một lĩnh vực cụ thể cũng có thể coi là đủ hữu ích cho biên dịch viên. Trong trường hợp phát triển công cụ dịch máy hoặc thực hiện học máy cho một lĩnh vực cụ thể, người ta cho rằng 100.000 cặp câu sẽ mang lại hiệu quả nhất định. Ngược lại, khi phát triển công cụ dịch máy đa năng, cần đến hàng chục triệu cặp câu. Như vậy, lượng dữ liệu song ngữ cần thiết sẽ khác nhau đáng kể tùy thuộc vào mục đích sử dụng.

Về "loại dữ liệu" ở mục 5), đây là thông tin cho biết tệp gốc dùng để tạo ra bộ dữ liệu song ngữ là báo cáo/sách trắng, hay là bài phát biểu/họp báo/hỏi đáp. Nếu muốn học máy ngôn ngữ viết, việc sử dụng bộ dữ liệu song ngữ được tạo từ báo cáo/sách trắng sẽ hiệu quả hơn, còn nếu muốn học máy ngôn ngữ nói, thì nên sử dụng dữ liệu từ bài phát biểu/họp báo/hỏi đáp. Vì bộ dữ liệu song ngữ của chúng tôi quản lý các thuộc tính một cách chi tiết, nên bạn có thể trích xuất dữ liệu theo từng loại.

Về "sự hiện diện của ngữ cảnh" ở mục 6), điều này có nghĩa là các câu có sự liên kết về mặt ý nghĩa với nhau hay không. Cụ thể, các câu ví dụ trong từ điển chỉ có điều kiện là chứa từ khóa mục từ nhất định và không có sự liên kết với các câu ví dụ khác, do đó được coi là "không có ngữ cảnh". Ngược lại, một bản báo cáo được cấu thành từ nhiều câu mô tả về một sự kiện hoặc vấn đề cụ thể, nên được coi là "có ngữ cảnh". Tương tự, đối với các buổi họp báo hay hỏi đáp, vì nhiều người nói đối thoại qua lại với nhau nên cũng có thể coi là "có ngữ cảnh". Không chỉ riêng dịch máy, mà để tạo ra các câu trả lời có độ chính xác cao hơn trong chatbot, việc bộ dữ liệu song ngữ dùng cho học máy "có ngữ cảnh" đang ngày càng trở nên cần thiết hơn bao giờ hết.

Tóm tắt
Khi lựa chọn kho ngữ liệu song ngữ, cần cân nhắc các yếu tố từ 1) đến 6) nêu trên tùy theo mục đích sử dụng. Đặc biệt, khi thực hiện học máy cho một lĩnh vực cụ thể, điều quan trọng là phải xem xét chất lượng, loại dữ liệu và sự cần thiết của ngữ cảnh. Để tận dụng kho ngữ liệu song ngữ phù hợp với mục đích của mình, trước tiên hãy xem qua dữ liệu mẫu miễn phí của chúng tôi.