Вдохновленные природой: событийное видеоизображение
Со времен первого киносеанса братьев Люмьер более 120 лет назад видеоизображение воспринимается, как быстро сменяющие друг друга статические изображения. Кадры формируются и поступают синхронно, через фиксированные интервалы времени, а наш глазной аппарат воспринимает их как «живую» сцену.
Это простой в реализации подход обладает как минимум двумя недостатками.
1. Событие произошедшее между соседними кадрами будет пропущено. Чтобы фиксировать быстро меняющиеся явления, приходится увеличивать частоту кадров. В результате возрастает поток информации.
2. Даже если никаких изменений в видеоизображении не происходит, формирование кадров всё равно будет выполняться. Поэтому поток от видеокамеры или к видеовоспроизводящему устройству не прекращается никогда.
Глаза живых существ работают иначе. Мозг получает сигнал от каждого светочувствительного элемента глаза при малейшем изменении освещенности на нём. Т.е. информация поступает от каждого «пикселя» асинхронно. Фактически к вычислителю – к мозгу – летят события об изменениях в отдельных элементах, а не всё время изображение целиком. Благодаря этому вычислитель может отдохнуть, когда ничего в картинке не происходит, а любые изменения фиксируются им мгновенно.
Можно ли использовать этот подход в технике? Недостатки? Перспективы?
Подход к формированию видеоизображения, связанный с фиксацией изменений в каждом «пикселе» в то же мгновенье, когда они происходят, приводит к передаче не значения каждого отдельного пикселя, а «потока событий» («event streaming»). Здесь мы сталкиваемся с ограничением.
Дело в том, что «природная событийная видеокамера», т.е. глаз, поставляет информацию сразу соответствующему участку нейронной сети мозга для обработки. Этот поток событий дальше не нужно никуда передавать.
Если мы хотим «научить» технику передавать информацию наподобие человеческому глазу, то будем использовать последовательную передачу. Параллельный вид передачи, например, от Full-HD камеры, потребует более 2 миллионов раздельных каналов. Правда, последовательный поток событий в некоторых случаях может стать колоссальным: например, когда видеокамеру быстро крутят из стороны в сторону.
«Событийная видеокамера» («event camera») – не абстракция. Они существуют, и их применение исследуется. На выходе таких видеокамер формируется поток событий, а именно: поток адресов пикселей, в которых произошло изменение, с информацией о направлении изменения: в большую или в меньшую сторону исходя из освещенности.
Повсеместное использование такой технологии вряд ли целесообразно, однако может пригодиться при разработке «видящих» роботов. Если обработка изображения роботом будет осуществляться вычислителем на базе нейронной сети, то событийная видеокамера становится для неё естественным поставщиком визуальной информации. В точности, как в живых организмах.