Strona główna
Kontakt Kontakt | Zadzwoń do nas Zadzwoń do nas | Broszura ogólna Pobierz broszurę | Broszura techniczna Pobierz broszurę | English English
FacebookTwitterLinkedIn
   LOCALIZATION CENTER

Powrót >
CMT - nowy wskaźnik jakości tłumaczeń maszynowych opracowany w Centrum Lokalizacji CM.

Firma Centrum Lokalizacji CM opracowała wskaźnik jakości tłumaczeń maszynowych pozwalający określić ich jakość z góry, bez konieczności porównania z tłumaczeniem ludzkim. To prawdziwy przełom w ocenie jakości MT, ponieważ dotąd jej ocena możliwa była dopiero „po fakcie”, czyli po przetłumaczeniu lub poprawieniu przez człowieka. Dzięki naszemu rozwiązaniu można będzie zdecydować, czy tłumaczenie maszynowe skróci czas pracy nad projektem, czy też jego użycie jest nieopłacalne.

Wskaźnik jakości tłumaczenia maszynowego umożliwiający jego ocenę bez materiału porównawczego w postaci gotowego tłumaczenia ludzkiego to przedmiot wielu badań, nazywany przez niektórych „Świętym Graalem MT”. Opracowanie algorytmu całkowicie automatycznego obliczania takiego wskaźnika jest przy obecnym stanie wiedzy niemożliwe, ponieważ wymagałoby to praktycznego zrozumienia tekstu przez komputer. Z drugiej strony zaangażowanie człowieka do czytania tłumaczenia maszynowego i oceny jego jakości jest czaso- i kosztochłonne. Ponieważ jednak taki wskaźnik jest bardzo potrzebny, podjęliśmy próbę podejścia hybrydowego. W naszym rozwiązaniu człowiek ocenia tylko kilkadziesiąt losowo wybranych zdań, nie czytając ich dokładnie, a jedynie wybierając jedną z 4 opcji: „Poprawny”, „Prawie poprawny”, „Akceptowalny” lub „Nieakceptowalny”. Komputer następnie przetwarza statystycznie te oceny i wylicza współczynnik, który przyjmuje wartości od 0 do 100 - podobnie jak w przypadku istniejących współczynników. Czas pracy człowieka to około 5 minut, niezależnie od wielkości tekstu.

W styczniu tego roku wykonaliśmy badania porównawcze na próbie 60 projektów, porównując wartość uzyskanego wskaźnika CMT z 2 znanymi współczynnikami - BLEU i METEOR. Okazało się, że wyniki są średnio zgodne w ponad 90% przypadków. Tak wysoka korelacja dowodzi, że przyjęta metoda jest poprawna i współczynnik CMT może być używany do oceny jakości dowolnego tłumaczenia maszynowego, nawet jeśli nie istnieje żaden materiał porównawczy. Dzięki tej metodzie firmy będą mogły decydować, czy tłumaczenie maszynowe może pomóc w tłumaczeniu konkretnego tekstu, czy jego używanie jest nieopłacalne.