О проекте vOICe vision
Технология звукового зрения vOICe vision помогает незрячим жить в собственном ритме
и воспринимать окружающее пространство
Как работает устройство vOICe vision?
Устройство vOICe vision — это очки со встроенной видеокамерой и наушниками, подключёнными к микрокомпьютеру — его программное обеспечение постоянно преобразует изображения из камеры в звуковую дорожку. Звучание vOICe vision позволяет слепым людям слышать динамичное "изображение" окружающей среды, предчувствовать пространство и предметы в нем. Благодаря двигательной и тактильной обратной связи слепой человек начинает воспринимать окружающее пространство и «видеть» визуальные образы через кодированный звуковой сигнал.

Система не зависит от органов зрения человека, не предполагает хирургического вмешательства и создает более точное изображение, чем специальные импланты (до нескольких тысяч пикселей). vOICe vision не позволяет распознавать быстро движущиеся объекты и мелкий шрифт, однако дает возможность слепому человеку хорошо ориентироваться в помещении, самостоятельно передвигаться.
История проекта
Компьютерная программа vOICe была разработана голландцем Питером Мейером, сотрудником научно-исследовательского отдела компании Philips. Первый патент Питер получил в середине 1990 года, а первая публичная версия программы vOICe вышла в январе 1998 года.

В 2007 году Игорь Трапезников, руководитель проекта, узнал от своих коллег про компьютерную программу vOICe. Мы решили попробовать сделать прототип на базе нетбука и видеоочков.

2011 году - создан первый вариант носимого устройства vOICe. Он выглядел громоздко и весил более полутора килограмм, но он уже справлялся со своей главной задачей - преобразовывать в звук получаемое изображение с камеры.

2015 год - мы собрали средства на краудфандинге Boomstarter и вложили их в решение на базе видеоочков с микрокомпьютером Raspberry Pi. Это существенно снизило размеры и вес устройства, повысило время его автономной работы до 4 часов. Однако оно все еще оставалось неудобным в ежедневном использовании, как с точки зрения компоновки, так и управления, — разбалтывались разъемы, провода от главного блока к видеоочкам мешали при движении, а микропереключатель все время хотел переключиться на другую позицию.

2017 год - мы перенесли процессорный блок и видеокамеру непосредственно в корпус очков, а для передачи звука начали использовать беспроводные наушники костной передачи, которые не блокируют звуки окружающего пространства. Время работы со съемным аккумуляторным блоком на данный момент составляет более 7 часов! Несмотря на компактные размеры и более функциональную систему передачи звука, устройство третьего поколения требует модернизации в удобстве управления, балансировке веса, расположении камеры по центру "средней линии".

Возможность сделать слепого зрячим оказалась настолько захватывающей, что мы и по сей день с командой единомышленников развиваем проект vOICe, создаем устройства звукового зрения, совершенствуем методику обучения.
Регулярное использование vOICe в повседневной жизни существенно изменило мое ориентирование в пространстве. Ярким моментом стало то, что, когда мы начали заниматься с камерой, я реально начал находить и определять «зебры» на дорогах, находить границы зданий, машины.

Когда я в vOICe делаю какие-то обычные дела дома, и «вижу», например, кружку и свои руки, то я чувствую, что мои действия с этой кружкой изменяются, движения становятся другими, более точными и четкими. Это, естественно, не критичные изменения в моей жизни, но чувство, которое эти маленькие детали создают, оно из того периода, когда у меня было зрение.

Хотелось бы дойти до такого уровня владения системой vOICe, когда я смог
бы свободно перемещаться в незнакомой местности, кататься на велосипеде и сыграть в страйкбол.
Вадим Арцев
испытатель vOICe vision
Научиться видеть с помощью звука
На данный момент на базе программы vOICe нами разработана специальная программа обучения пользователей - "vOICe звуковое зрение". В нашем обучающем центре проводятся занятия, призванные адаптировать незрячих людей к использованию и применению устройства vOICe vision.
Устройство vOICe vision
Комплект включает в себя очки VISION800 с камерой, беспроводные наушники с костной передачей звука AfterShokz и съемный аккумулятор. Время автономной работы устройства 6-10 часов.
Базовый курс обучения "vOICe звуковое зрение"
Базовый курс "vOICe звуковое зрение" состоит из двух этапов: развитие навыка "работы за столом", позволяющий воспринимать ближайшие объекты и взаимодействовать с ними, и развитие ориентации в окружающем пространстве, позволяющий самостоятельного передвигаться внутри помещений и по улице.
Длительность курса 3 месяца.
Индивидуальное обучение
Базовый курс "vOICe звуковое зрение" проходит в режиме индивидуальных встреч с тренером - для каждого ученика разрабатывается индивидуальный план обучения и наиболее эффективный набор упражнений. При возникновении затруднений предоставляется консультация психолога.
FAQ
Есть ли у вас какие-то лицензии на использование продукта vOICe?
Есть патент Питера Мейера:

Patents P. B. L. Meijer, ``Image-audio transformation system,'' U.S. Patent No. 5,097,326, filing date July 27, 1990, granted March 17, 1992. P. B. L. Meijer, ``Dynamic neural net,'' U.S. Patent No. 5,553,195, filing date September 29, 1994, granted September 3, 1996. P. B. L. Meijer, ``Signal generator for modelling dynamical system behaviour,'' U.S. Patent No. 5,790,757, filing date June 29, 1995, granted August 4, 1998. R. P. Kleihorst, P. B. L. Meijer and M. J. R. Op De Beeck, ``Handheld device with a display screen,'' WIPO Application WO/2004/063914, USPTO Application 20060055678, filing date December 10, 2003, published March 16, 2006. P. B. L. Meijer, ``Method for manufacturing a crossbar circuit device,'' WIPO Application WO/2006/131838, USPTO Application 20100052177, filing date May 24, 2006, published March 4, 2010. P. B. L. Meijer and A. Y. Kolesnychenko, ``Imprint lithography,'' USPTO Application 20060230959, filing date April 19, 2005, published October 19, 2006. A. Y. Kolesnychenko, H. van Santen, Y. Kruijt-Stegeman and P. B. L. Meijer, ``Imprint lithography,'' USPTO Application 20060144814, filing date December 30, 2004, published July 6, 2006. 4 P. B. L. Meijer, ``Visual Prosthesis Implant,'' WIPO Application WO/2010/035173, filing date September 16, 2009, published April 1, 2010. Также есть лицензия, данная Питером Мейером (публикуем текст лицензии) License restrictions: You may freely and without cost apply The vOICe Learning Edition for personal or academic use. You will not charge a fee or request donations for The vOICe Learning Edition, nor distribute or include The vOICe Learning Edition in or with commercial products, nor modify or reverse engineer The vOICe Learning Edition. You will not use The vOICe Learning Edition for commercial purposes.
Обычные камеры практически не видят в темноте или при слабом освещении - думали ли вы об использовании инфракрасных камер?
Конечно, думали! Люди, овладевшие способностью воспринимать звучащее изображение окружающего мира, могут использовать в качестве сенсора любую камеру или их комбинации (например, обычная камера + инфракрасная подсветка). Это действительно расширяет возможности применения vOICe для незрячих людей. А помимо этого, заинтересовывает зрячих людей возможностью увидеть мир так, как его видят, например, пчёлы :)
Существуют ли какие-то подтвержденные рекомендации специалистов по использованию системы vOICe?
1. В экспериментах в Израиле половина испытуемых "прозрела". Что это означает? Из 9 слепых от рождения испытуемых 5 показали в стандартных тестах уровень зрения выше, чем 20/400, который установлен ВОЗ (Всемирной организацией здравоохранения) как пороговый. Кроме того, было показано, что с помощью системы vOICe одна из испытуемых научилась распознавать эмоции по выражению лица собеседника. Результаты исследования были опубликованы в научном журнале PLoS ONS весной этого года - http://brain.huji.ac.il/publications/Ella_snellen....
2. Проект также обсуждался на интернет-приемной Дианы Гурцкой: http://oprf.ru/press/anno/newsitem/22710 (статья)
http://oprf.ru/press/conference/797 (видео)
3. Рекомендации от Центра социальной реабилитации (публикуем текст письма): Сотрудники ООО "Центр социальной реабилитации", детально изучив данные о технологии vOICe , сообщают, что данная технология (прежде всего, ее основная часть – компьютерная программа) основана на естественной способности человеческого мозга, называемой нейропластичностью. Нейропластичность – свойство человеческого мозга меняться под действием опыта и , в том числе, обрабатывать поступающие сигналы в различных отделах мозга. Данное свойство мозга интенсивно изучается с конца 1960-х годов (Boring, S. Finger, E. R. Kandel и др.), хотя первые работы в этой области относятся к 1842 г. (M. -J.-P. Flourent). В настоящий момент свойство нейропластичности является одним из механизмов реабилитации людей, перенесших тяжелые инсульты, паралич, работает при ориентации слепых по слуху или с помощью тактильных ощущений и во многих других процессах как медицинского, так и повседневного характера. В связи с вышеизложенным мы считаем технологию vOICe перспективной для помощи слепым и безопасной как использующую естественное свойство мозга.
Чем плох вариант использования смартфона с бесплатным приложением для этих целей?
Этот вариант с первого взгляда кажется неплохим, однако начав повседневно его использовать, мы поняли, в чем заключается его непрактичность.

Прежде всего расположение камеры - она должна быть именно на голове, чтобы фокус камеры следовал за интуитивным методом внимания на объектах, который достигается поворотом головы (в этом смысле носить смартфон на лбу неудобно). Внешняя камера по OTG кабелю тоже не решает проблему - разъёмы смартфона не предназначены для постоянных вибраций и движений, они разбиваются и быстро приходят в негодность. Если сделать неразъёмным, встает вопрос зарядки устройства, нужно менять батарею, иметь доп.зарядку и так далее.

Также при длительной эксплуатации смартфон быстро разряжается (ведь ему нужно запитывать внешнюю камеру) и, находясь в чехле, сильно греется.

Эти основные причины не позволяют серьезно рассматривать реализацию ежедневного использования vOICe на смартфоне. Однако, в качестве первого знакомства с технологией vOICe она подходит замечательно, позволяя сложить первые впечатления о специфике "звучания".
Как звучит озвученное в vOICe изображение? Послушать можно?
Послушать пример звучания программы vOICe можно на ее официальном международном сайте - там даже есть программа-тренажер, выводящая и озвучивающая картинки: http://www.seeingwithsound.com/winvoice.html

Команда проекта
Игорь Трапезников
нейрофизиолог, аспирант ИВНДиНФ РАН, руководитель проекта
Дарья Горохова
тренер vOICe vision
Вадим Арцев
испытатель vOICe vision
Светлана Лебедева
нейропсихолог, специалистка по сенсомоторной интеграции, методист
Вы хотите помочь проекту?
Мы будем рады видеть:

Инженера-программиста. Вам нравится программировать, собирать, паять, вы хотите и можете спроектировать устройства, «подружить» камеры, процессоры и наушники и другие девайсы;

Вы – наш человек, если:
  • Вам важно развиваться и Вас привлекает слава первопроходца;
  • Вы отзывчивы по отношению к другим людям;
  • Вы можете самостоятельно определять необходимые Вам ресурсы.
Контакты
Наш адрес: г. Москва, ул. Марксистская, д. 5
телефон: +7 926 231 9925
This site was made on Tilda — a website builder that helps to create a website without any code
Create a website