У блозі розробників Google з’явився докладний опис свіжого оновлення спам-фільтрів поштового сервісу Gmail. У компанії його називали “одним із найбільших оновлень системи захисту за останні роки”.
Йдеться про інтеграцію в поштову службу нової системи класифікації текстів Resilient & Efficient Text Vectorizer (RETVec). За словами розробників, вона ефективно визначає спам-повідомлення, включно з електронними листами з великою кількістю спеціальних символів, смайлів, друкарських помилок та інших елементів, які колись були помітними для людини, але важко визначаються для спам-фільтрів. Згідно з наявними даними, новий алгоритм ефективно визначає, зокрема, повідомлення з гомогліфами, тобто графічно сильно схожими один на одного знаками, різними за значенням.
За даними Google, алгоритм RETVec навчений для ефективного виявлення повідомлень, у яких міститься тест, що зазнав якихось маніпуляцій, включно зі вставкою або видаленням символів, друкарськими помилками, гомогліфами тощо. Алгоритм навчався з використанням просунутого кодувальника, здатного ефективно кодувати будь-які символи і слова у форматі UTF-8. У підсумку розробники отримали алгоритм, який “з коробки” працює на більш ніж 100 мовах світу.
RETVec, судячи з усього, багато в чому працює так само, як читають люди. Алгоритм побудований на базі ШІ-фреймворку TensorFlow і в процесі його роботи визначається візуальна “схожість” для визначення значення слів, а не символи, з яких вони фактично складаються. За даними Google, заміна використовуваного раніше текстового векторизатора Gmail на RETVec дала змогу підвищити рівень виявлення спаму порівняно з базовим на 38%, а кількість помилкових спрацьовувань зменшилася на 19,4%. При цьому кількість використовуваних моделлю тензорних обчислювальних процесорів (TPU) знизилася на 83%, що робить нинішнє оновлення одним із найбільших для системи захисту Gmail за останні роки.
Читайте також: