Дослідники Токійського інституту науки розробили метод, що поєднує моделі латентної дифузії з даними Wi-Fi CSI для швидкого та точного створення зображень кімнат високої роздільної здатності. Попередня візуалізація на основі CSI була неточною і вимагала забагато обчислювальних ресурсів. Саме тут на допомогу приходить ШІ, який, по суті, заповнює прогалини та робить зображення фотореалістичними.
Дослідники Токійського інституту науки розробили метод, що поєднує моделі латентної дифузії з даними Wi-Fi CSI для швидкого та точного створення зображень кімнат високої роздільної здатності. Попередня візуалізація на основі CSI була неточною і вимагала забагато обчислювальних ресурсів. Саме тут на допомогу приходить ШІ, який, по суті, заповнює прогалини та робить зображення фотореалістичними.
Ключова інновація полягає у відображенні CSI в латентному просторі замість піксельного, що дало назву методу — LatentCSI, пише Tom’s Hardware.
Піксельний простір стосується звичайних зображень, які містять багато необроблених даних, тоді як латентний простір — це стисле внутрішнє представлення зображення, яке використовують сучасні генератори зображень (такі як Stable Diffusion).
LatentCSI бере Wi-Fi CSI, перетворює його у латентний простір, а потім подає його в попередньо навчену модель дифузії, яка може генерувати зображення високої роздільної здатності, уявляючи всі дрібні деталі та текстури, які Wi-Fi сам по собі не може зафіксувати.
Дослідники використовували Stable Diffusion 3 з модифікованим кодером, який приймає дані Wi-Fi замість звичайних зображень, тому він набагато швидший і має менше накладних витрат.
Ключовим словом, однак, є попереднє навчання, оскільки дослідники зробили реальні фотографії кімнати та навчили модель на них, тобто вона вже знає, як виглядає кімната. Тому ШІ виконує тут важку роботу, тоді як Wi-Fi CSI надає інформацію в режимі реального часу про те, як кімната насправді «виглядає» зараз — скільки людей присутні, де вони стоять та загальне розташування об'єктів усередині.
У будь-якому разі, обмеження полягає в тому, що LatentCSI, хоча й разюче краща за попередні зображення Wi-Fi, працює лише з попередньо навченими моделями, які вже мають чітке базове розуміння середовища. Ви не можете просто надіслати своєму інтернет-провайдеру знімок даних маршрутизатора та дозволити йому вгадати вашу кімнату.
