Utjecaj višejezičnosti vrednovatelja na ljudsku procjenu kvalitete strojnih prijevoda

Abstract: U ovom se radu predstavlja istraživanje o utjecaju višejezičnosti vrednovatelja na subjektivnu metodu vrednovanja kvalitete strojnih prijevoda. Subjektivnost ove metode najčešće se očituje u niskim razinama slaganja u ocjenama vrednovatelja. U ovom su preliminarnom istraživanju jedna skupina jednojezičnih i jedna skupina dvojezičnih ispitanika vrednovale kvalitetu istih strojno prevedenih segmenata na razinama točnosti i tečnosti. Segmenti su prevedeni alatom Google Prevoditelj. Jednojezični ispitanici uz strojni prijevod na raspolaganje su dobili i referentni ljudski prijevod, dok su dvojezični ispitanici kvalitetu uspoređivali s izvornikom. Cilj je bio utvrditi kako razlike među jednojezičnim i višejezičnim vrednovateljima uvjetuju način provođenja vrednovanja s obzirom na dužinu trajanja postupka vrednovanja, na odstupanja u prosječnoj ocjeni vrednovanja i analizu uzroka koji uvjetuju razlike u vrednovanju. Analizom rezultata utvrđeno je da dvojezični vrednovatelji u prosjeku daju lošije ocjene izlaznim podacima i da im je potrebno više vremena za vrednovanje, ali nije utvrđeno da kod jedne skupine postoji tendencija prema višoj razini konzistentnosti.