Phát triển các công cụ dịch thuật AI và AI tạo sinh,
Cần thiết cho việc tinh chỉnh
Xây dựng Mô hình Ngôn ngữ Lớn
Chúng tôi sẽ ủng hộ bạn.

Nhu cầu về một kho dữ liệu song ngữ trong phát triển và tinh chỉnh dịch máy và AI tạo sinh đa ngôn ngữ đang ngày càng tăng đều đặn. Hơn nữa, khi các dịch giả bắt đầu dịch thuật trong các lĩnh vực mới, việc có bộ nhớ dịch tích lũy nội bộ sẽ cải thiện đáng kể hiệu quả công việc dịch thuật. Mặt khác, việc thu thập kho dữ liệu song ngữ hệ thống nội bộ không dễ dàng; hiệu quả hơn là lấy dữ liệu từ bên ngoài và tập trung phát triển các sản phẩm dự kiến cũng như công việc dịch thuật.

Sáu điểm sau đây là những điểm then chốt để chọn một corpus song song.
1) Sự kết hợp ngôn ngữ
2) Các lĩnh vực
3) Chất lượng
4) Số lượng
5) Kiểu dữ liệu
6) Sự có mặt hoặc vắng mặt của bối cảnh

"Tổ hợp ngôn ngữ" đầu tiên đề cập đến việc cặp ngôn ngữ mà người dịch dịch dịch hoặc cặp ngôn ngữ được đào tạo phát triển dịch máy là tiếng Nhật và tiếng Anh hoặc tiếng Nhật và tiếng Trung. Tương tự, khi đăng ký bộ nhớ dịch của công cụ hỗ trợ dịch bạn sử dụng, "tổ hợp ngôn ngữ" được coi là yếu tố quan trọng nhất. Hơn nữa, khi tìm kiếm các biểu đạt tự nhiên hơn, việc xác định ngôn ngữ nào là văn bản gốc cũng là một yếu tố quan trọng. Ví dụ, ngay cả khi gọi nó là "tập hợp song song Nhật-Anh," cũng dễ nhận thấy sự khác biệt về lưu loát biểu đạt tiếng Anh và nền tảng dịch giữa việc dịch nguồn tiếng Nhật sang tiếng Anh và nguồn tiếng Anh sang tiếng Nhật.

Các "lĩnh vực" trong 2) đề cập đến các lĩnh vực như du lịch, y tế, luật, kinh tế, khoa học và công nghệ, v.v. Thông qua dữ liệu học máy từ các lĩnh vực có độ chính xác mong muốn, sự phát triển có thể được thúc đẩy nhanh hơn. Khi xây dựng các mô hình ngôn ngữ để cải thiện độ chính xác dịch máy trong các lĩnh vực cụ thể, hiệu quả ước tính khoảng 100.000 cặp. Không cần phải nói, các lĩnh vực cũng rất quan trọng khi tạo ra một từ điển thuật ngữ kỹ thuật từ kho tàng dịch song ngữ. Trong trường hợp của chúng tôi, các lĩnh vực yêu cầu ở Nhật Bản trước đây tập trung vào du lịch nhập cảnh dưới tên một quốc gia định hướng du lịch, trong khi lĩnh vực y tế cần một kho dữ liệu song ngữ để tăng cường chăm sóc y tế cho khách đến và người nước ngoài cư trú. Hơn nữa, nhu cầu đã chuyển sang các lĩnh vực kinh doanh trong nhiều năm ghi lại tài liệu thuyết trình sử dụng cho các bài thuyết trình và giải thích kinh doanh, các bài giảng tại hội nghị và sự kiện, cũng như các phiên hỏi đáp sau đó.

Ở phần thứ ba, 'chất lượng' đề cập đến độ chính xác, phụ thuộc vào cách tạo ra kho dữ liệu song song. Tốt hơn là dữ liệu được dịch bởi tay con người, và nếu được dịch bằng máy mà không qua kiểm tra hoặc chỉnh sửa của con người, chất lượng sẽ tự nhiên giảm sút. Ngoài ra, ngay cả trong dữ liệu dịch thủ công, nếu bản dịch một câu được dịch thành hai hoặc nhiều câu, và điều quan trọng là bản gốc và văn bản đã dịch phải tương ứng với một câu, điều đó sẽ ảnh hưởng đến chất lượng. Hơn nữa, nếu bản dịch bị rút gọn quá mức, nó không thể được coi là một kho dữ liệu song song chất lượng cao.

"Số lượng" ở điểm 4 đủ để các dịch giả đăng ký hàng chục nghìn cặp tập hợp dữ liệu song song trong các lĩnh vực cụ thể nhằm mục đích đăng ký vào bộ nhớ dịch hoặc từ điển từ vựng các công cụ hỗ trợ dịch thuật được sử dụng nội bộ. Đối với học máy trong các lĩnh vực cụ thể, như phát triển động cơ dịch máy, người ta cho rằng 100.000 cặp là đủ hiệu quả. Mặt khác, phát triển các công cụ dịch máy đa mục đích được cho là cần hàng chục triệu cặp. Do đó, số lượng kho dữ liệu song song cần thiết thay đổi rất nhiều tùy thuộc vào ứng dụng.

Trong phần 5, "Loại Dữ liệu" có nghĩa là tệp được sử dụng để tạo kho dữ liệu song song là một trong các mục sau: báo cáo/báo cáo chuyên đề, hoặc bài thuyết trình/họp báo/Hỏi & Đáp. Nếu bạn muốn học ngôn ngữ viết bằng máy, hãy sử dụng báo cáo hoặc báo cáo trắng; nếu bạn muốn học ngôn ngữ nói bằng máy, hãy sử dụng kho dữ liệu phiên âm được tạo từ các bài thuyết trình, họp báo và Hỏi & Đáp. Kho dữ liệu song song của chúng tôi quản lý chi tiết các thuộc tính, vì vậy có thể trích xuất kho dữ liệu song song theo kiểu dữ liệu.

"Sự có mặt hay vắng mặt của ngữ cảnh" trong 6) có nghĩa là liệu có mối liên hệ ngữ nghĩa giữa nhiều câu hay không. Cụ thể, các câu ví dụ được liệt kê trong từ điển chỉ bao gồm các từ đầu cụ thể và không có ngữ cảnh với các ví dụ khác. Do đó, nó được đánh giá là "ngữ cảnh." Ngược lại, các báo cáo bao gồm nhiều câu mô tả một sự kiện hoặc sự kiện cụ thể, nên nó được coi là "ngữ cảnh." Tương tự, đối với các cuộc họp báo và các phiên hỏi đáp, nhiều diễn giả thay phiên nhau trò chuyện, vì vậy có thể nói rằng "có ngữ cảnh." Không chỉ giới hạn trong dịch máy, mà để tạo ra câu trả lời chính xác hơn với chatbot, hiện nay việc có "ngữ cảnh" trong kho dữ liệu phiên âm được huấn luyện bởi học máy trở nên quan trọng hơn bao giờ hết.

Kết luận
Khi chọn một tập hợp song song, bạn cần xem xét các điểm 1) đến 6) ở trên theo mục đích sử dụng. Đặc biệt khi thực hiện học máy cho các lĩnh vực cụ thể, điều quan trọng là phải xem xét nhu cầu về chất lượng, kiểu dữ liệu và ngữ cảnh. Để sử dụng một kho dữ liệu song song phù hợp với mục tiêu của bạn, vui lòng kiểm tra trước dữ liệu mẫu miễn phí của chúng tôi.