По словам разработчиков, система может перенаправлять взгляд на произвольный угол. Они считают, что их проект востребован не только для видеосвязи, но и в фото- и киноиндустрии для постобработки
© Scott Barbour/Getty Images
МОСКВА, 25 августа. /ТАСС/. Ученые из Сколтеха разработали алгоритм, который изменяет направление взгляда человека на его видеоизображении в режиме реального времени, сообщает научно-популярный портал "Чердак" со ссылкой на пресс-службу Сколтеха.
Во время разговоров по видеосвязи (например, по Skype) наш собеседник обычно смотрит на экран, а не в камеру, из- за чего его взгляд направлен вниз или в сторону. С похожей проблемой сталкиваются и телевизионные дикторы, которые должны одновременно читать текст и смотреть на зрителей.
Ученые из Сколтеха создали систему, основанную на обучении компьютерной нейронной сети. Сначала в кадре при помощи специального алгоритма локализуется область глаза и вычисляется набор характерных точек. Эти данные вместе с углом, на который нужно скорректировать направление взгляда, поступают в нейросеть, которая рассчитывает, как нужно деформировать изображение глаза, чтобы казалось, будто он смотрит прямо.
Пример работы системы
По словам разработчиков, система может перенаправлять взгляд на произвольный угол. В дальнейшем ученые ускорят метод, чтобы он мог работать на любом старом ноутбуке без потери качества.
Разработчики считают, что их проект востребован не только для видеосвязи, но и в фото- и киноиндустрии для постобработки.
В октябре результаты исследования будут представлены в Амстердаме на 14-й Европейской конференции по компьютерному зрению.
источник
© Scott Barbour/Getty Images
МОСКВА, 25 августа. /ТАСС/. Ученые из Сколтеха разработали алгоритм, который изменяет направление взгляда человека на его видеоизображении в режиме реального времени, сообщает научно-популярный портал "Чердак" со ссылкой на пресс-службу Сколтеха.
Во время разговоров по видеосвязи (например, по Skype) наш собеседник обычно смотрит на экран, а не в камеру, из- за чего его взгляд направлен вниз или в сторону. С похожей проблемой сталкиваются и телевизионные дикторы, которые должны одновременно читать текст и смотреть на зрителей.
Ученые из Сколтеха создали систему, основанную на обучении компьютерной нейронной сети. Сначала в кадре при помощи специального алгоритма локализуется область глаза и вычисляется набор характерных точек. Эти данные вместе с углом, на который нужно скорректировать направление взгляда, поступают в нейросеть, которая рассчитывает, как нужно деформировать изображение глаза, чтобы казалось, будто он смотрит прямо.
Пример работы системы
По словам разработчиков, система может перенаправлять взгляд на произвольный угол. В дальнейшем ученые ускорят метод, чтобы он мог работать на любом старом ноутбуке без потери качества.
Разработчики считают, что их проект востребован не только для видеосвязи, но и в фото- и киноиндустрии для постобработки.
В октябре результаты исследования будут представлены в Амстердаме на 14-й Европейской конференции по компьютерному зрению.
источник
