Корпорація Microsoft представила систему штучного інтелекту під назвою Speller100, яка виправляє правопис на понад 100 мовах, що використовуються в пошукових запитах у Bing.
«Ми вважаємо, що Speller100 – це найповніша система корекції правопису, коли-небудь створена з точки зору охоплення мови та точності», – зазначила компанія у своєму дописі в блозі.
Раніше Bing надавала високоякісні виправлення правопису для приблизно двох десятків мов. Однак у системи не було достатньо навчальних даних, щоб добре працювати на мовах з невеликою присутністю в Інтернеті та обмеженими відгуками користувачів.
Система Speller100 долає ці обмеження, шукаючи подібності у великих мовних сім’ях. Вона також застосовує «навчання з нульовим пострілом» (ZSL – zero-shot learning) для виправлення помилок, не потребуючи додаткових навчальних даних.
Microsoft пояснює
Microsoft заявила, що створила близько десятка мовних сімейних моделей, щоб максимізувати переваги «навчання з нульовим пострілом»:
Уявіть, хтось навчив вас писати англійською мовою, і ви автоматично навчилися писати також німецькою, голландською, африкаанс, шотландською та люксембурзькою мовами. Це ті можливості, що надає нам «навчання з нульовим пострілом», і це ключовий компонент в Speller100, який дозволяє розширюватися до мов з дуже малим об’ємом даних або взагалі без нього.
Система також зменшує потребу в анотаціях, створених людиною, витягуючи текст із веб-сторінок для генерації типових помилок.
«Такий текст може бути легко вилучений за допомогою сканування в Інтернеті, а його досить для навчання сотням мов», – заявили в Microsoft.
Після проведення онлайн-тестування компанія повідомляє про такі результати:
- Кількість сторінок без результатів зменшено до 30%.
- Кількість випадків, коли користувачам доводилося переформулювати свій запит вручну, зменшилась на 5%.
- Кількість натискань користувачем пропозиції щодо правопису збільшилося з одноцифрових до 67%.
- Кількість натискань користувачами будь-якого елемента на сторінці збільшилося з одноцифрових до 70%.
Microsoft заявила, що вбудова системи Speller100 у Bing – це лише перший крок. Найближчим часом компанія планує додати технологію до «багатьох інших» своїх продуктів.
Читайте також: