Команда дослідників із Університету науки і технологій Китаю представила нейромережу нового покоління — Ev-DeblurVSR, яка об’єднує подієві сигнали з традиційними відеокадрами, відкриваючи нові можливості в покращенні розмитих відео. Ця розробка вже викликає захоплення у спільноти комп’ютерного зору, оскільки дозволяє досягти високої чіткості та деталізації навіть у складних умовах освітлення чи руху.

Інноваційний підхід: події + відео

Традиційні методи відеообробки зазвичай покладаються лише на кадри відео. Натомість Ev-DeblurVSR використовує також подієві дані — сигнали, згенеровані спеціальними сенсорами, які реагують лише на зміни в сцені. Такі сенсори дозволяють отримувати надшвидку інформацію про рух об’єктів, що ідеально підходить для обробки розмитих відео.

Як працює Ev-DeblurVSR?

Мережа поєднує два ключові компоненти:

• RFD (Reblur Feature Distillation) — модуль, який дозволяє покращити якість кадрів завдяки глибокій взаємодії між інформацією з подій і відеокадрів. Він одночасно уточнює подієві сигнали за допомогою контексту відео і навпаки.
• HDA (Hybrid Deformable Alignment) — гібридний модуль деформованого вирівнювання, який ефективно вирівнює відеокадри, враховуючи як оптичний потік, так і подієві зміни. Це дозволяє уникати типових артефактів при відновленні руху.

Вражаючі результати

Ev-DeblurVSR вже продемонстрував переваги над попередніми моделями:

• +2.59 дБ покращення PSNR (якісного показника відновлення) на реальних даних.
• 7.28-кратне пришвидшення обробки, що дозволяє використовувати модель у режимі реального часу.
• Чітке відновлення навіть при сильному розмитті або обмеженій освітленості.

Ці досягнення роблять Ev-DeblurVSR ідеальним рішенням для таких сфер, як відеоспостереження, автономні автомобілі, робототехніка, кіноіндустрія та телемедицина.

Відкритий код і наукова публікація

Розробники зробили модель загальнодоступною:

🔗 GitHub: https://github.com/DachunKai/Ev-DeblurVSR
📄 Наукова стаття: https://arxiv.org/abs/2504.13042

Цей відкритий доступ сприяє розвитку досліджень і дозволяє розробникам інтегрувати Ev-DeblurVSR у власні проєкти.

Перспективи та значення

Ev-DeblurVSR — це не просто ще одна нейромережа, а новий стандарт у відновленні відео, який демонструє, як поєднання різних типів даних може дати проривні результати. У майбутньому подібні гібридні методи можуть повністю змінити підходи до обробки зображень і відео.