PDA

Просмотр полной версии : Интерфейс "мозг - компьютер":реально ли в России?



Страницы : [1] 2

Crossfade
26.09.2006, 19:10
Найдутся ли в России народные умельцы, способные разработать аналог BrainGate (http://www.cyberkineticsinc.com/content/medicalproducts/braingate.jsp) или прочих хайтек-девайсов на основе неинвазивного считывания сигналов для использования человеком/людьми, парализованными частично или полностью (locked-in)? Насколько наукоемкое и трудоемкое это дело? Каких инвестиций требует?

EchoKeeper
26.09.2006, 20:52
Найдутся ли в России народные умельцы, способные разработать аналог BrainGate (http://www.cyberkineticsinc.com/content/medicalproducts/braingate.jsp) или прочих хайтек-девайсов на основе неинвазивного считывания сигналов для использования человеком/людьми, парализованными частично или полностью (locked-in)? Насколько наукоемкое и трудоемкое это дело? Каких инвестиций требует?
Что-то я сильно сомневаюсь, что для того чтобы осуществить успешный интрефейс взаимодействия компьютера и парализованного человека позарез нужно вживлять в мозг такие штучки как описываются в тексте по ссылке. :wacko: Интересно, как они там свой этический комитет убеждают в такой необходимости?:unsure: Ну разве что в случае полнейшего "locked-in"...
А неинвазивные подходы к подобной проблеме зависят исключительно от финансовых возможностей. Можно, например, задействиовать eye-tracker для управления положения курсора на экране взглядом - это дорого, но и обучение сведется к минимуму. Можно для тех же целей снимать миограмму различных мышц не полностью "убитых" параличом, будь то, например, рука или лицо - это гораздо дешевле, но потребует более значительных усилий для обучения пациента.
Ну, в общем, задача эта скорее именно для "умельцев", поскольку она больше технологическая чем научная, ИМХО. :cool:

Crossfade
26.09.2006, 21:08
Известно, что через некоторое время имплантанты перестают действовать по неопределенной причине, но они интерпретируют команды мозга гораздо эффективнее, чем электроды на черепе. Видимо, это и является аргументом в пользу этичности подобных опытов :cool:

Речь о неинвазивных методиках. Предположим, у нас есть пациент, больной боковым амиотрофическим склерозом, находящийся в совершенном параличе, т.е. totally locked-in. Он живет на ИВЛ и не может использовать даже мышцы, отвечающие за движения глаз. В этом случае необходима ЭЭГ-техника, распознающая только мозговые команды и транслирующая их в как можно более точные движения курсора на экране и клики. Цель - подарить пациенту минимальные возможности общения.

asenic
26.09.2006, 21:45
Принцип этой штуки давно известен, я ещё в "Юном технике" в детстве читал ;) По науке у нас работают как минимум в Питере у Бехтеревой (их прада, больше биофидбэк интересует, чем интерфейс) и в Москве у Шевелёва. Наши работают на основе анализа ЭЭГ-ВП человека, а не на активности от вживлённых электродов — возможности не те. Временные параметры и надёжность распознавания, конечно, гораздо хуже. До создания дивайсов на основе мозго-компьютерного интерфейса в нашей стране ещё далеко...
А у буржуев всё выглядит красиво, Николелис в ИВНД на иброшколу привозил фильм, где его мартышки силой мысли в арканоид играли — надо сказать, впечатляет.

EchoKeeper
26.09.2006, 21:47
Известно, что через некоторое время имплантанты перестают действовать по неопределенной причине
Со временем вокруг них образуется капсула из соединительной ткани, если я правильно помню...

Что-то я не до конца понимаю... На сайте сначала написано "The System consists of a sensor that is implanted on the motor cortex of the brain "
а потом, там где поясняют про platform technology, что все таки их девайс "...extends through the scalp" - это все-таки не through the scull...

Если речь идет об абсолютно парализованном пациенте, то значит и источника мышечных артефактов для ЭЭГ со скальпа не будет, и тогда может сигнал был бы достаточно хорош и без протыкания скальпа.
Видимо, они таким образом просто пытаются улучшить пространственное разрешение, но опять же, если регистрация все равно сквозь череп, то сомнительно опять же насчет серьезного улучшения разрешения.

Кстати, про амилотрофический синдром в инете написано: "....проявляется признаками поражения центральных (гиперрефлексия, клонусы, спастическое повышение мышечного тонуса) и периферических (прогрессирующая атрофия скелетных мышц, фасцикуляции) мотонейронов при относительной интактности глазодвигательных мышц
... хотя, наверно бывают всякие случаи

asenic
26.09.2006, 21:55
О, пока я писал тут уже наплюхали!
Ну да, убеждают они как-то свой комитет, есть у них уже прецеденты.
Проблема метода на основе ЭЭГ — слишком медленно, нельзя сделать инвалидную коляску, как у буржуев.
А проблема с набором текста решается, а точнее решена методом ЭЭГ, насколько я понимаю. Бинарный выбор осуществляется пациентом сознательным изменением знака определённого компонента ВП, а дальше медленный и печальный перебор всех букв алфавита, облегчённый/запутанный алгоритмами типа T9 для набора SMS.
Другой вопрос, что до больных эта система у нас наверняка так и не дошла...

EchoKeeper
26.09.2006, 21:56
По науке у нас работают как минимум в Питере у Бехтеревой (их прада, больше биофидбэк интересует, чем интерфейс)

С имплантированными электродами там даже пытались довольно долго искать воспроизводимые нейронные коды отдельных слов и обобщенных понятий на основе анализа активности микропопуляций нейронов. Если б нашлось что-то, то был бы выход и на компьютерный интерфейс. Да вот только не нашлось нифига по этой части. :sad:
Биофидбэком, да, и сейчас занимаются, но по большей части в клиническо-коммерческих рамках (лечение ADHD).

asd
26.09.2006, 22:05
Ну полного "паралича" не бывает никогда. Во вторых что подразумевать под параличем? вялый (разрушение моторных клеток или эфекторных нервов) - тогда да - атрофия мышц, трофические нарушения (пролежни), отсутствие движений, спастический - нет - гипертонус, спазмы и пр.

Вы представляете на каком уровне спинного мозга должно быть разрушение, что бы развился вялый парез мышц затылка? (С1-С2) там ствол рядом, в момент травмы отек просто убивает пациента, так что это не реально. парез глазодвигательных и мимических - это уже повреждение ЧМН. Имплантация электродов позволяет значительно уменьшить шум. Только вот мозго-компьютерный интерфейс (в современном понимании) все это маленько нереально, игрушка не более того. Проще мозг восстановить

asenic
26.09.2006, 22:18
Имплантация электродов позволяет значительно уменьшить шум.
Это если регистрировать ЭЭГ, а в данном случае они регистрируют активность отдельных нейронов (см. ссылки на публикации с буржуйского сайта (http://www.cyberkineticsinc.com/content/technology/publications/cyberkinetics.jsp)). Николелису, чтобы мартышки в арканоид смогли играть, пришлось регистрировать одновременную активность огромного числа нейронов (больше 1000 электродов) — только это гарантировало быстроту и надёжность системы.

asd
26.09.2006, 22:33
Ну и какая стоимость будет у системы с 1000 электродами... Тут два электрода имплантировать стоит несколько килобаксов... Людям не по карману, так что спроса не будет, посмотреть конечно можно для науки типа "чего получиться, если мы эту кнопочку нажмем?"

Сергей Ш.
26.09.2006, 23:34
Вокруг инвазивного мозгокомпьютерного интерфейса много шума, но неинвазивный тоже уже довольно давно разрабатывается. Основные имена тут такие:

JR Wolpaw, DJ McFarland - США
N Birbaumer - Германия
G Pfurtscheller - Австрия
K-R Müller, B Blankertz, G Curio - Германия
JR Millán - Швейцария (?)

Для успешной разработки новых, еще более крутых неинвазивных МКИ нужно:

1) хорошее понимание работы с испытуемыми, в т.ч. желательно - со сложновербализуемыми внутренними состояниями

2) хорошее знание алгоритмов обработки сигналов, в т.ч. адаптивных, и классификации паттернов, и опыт их успешного применения к ЭЭГ

3) раньше были нужны мощные компы, сейчас достаточно стандартного; также нужно хорошее онлайн-программирование, но сейчас можно покупать готовые системы (напр., gTec) или добавлять свои модули к уже существующей свободно распространяемой универсальной системе BCI2000 (http://www.bciresearch.org/BCI2000/bci2000.html)

4) изрядное терпение и по возможности достаточно нестандартное мышление ... хотя, возможно, избыток первого может отчасти компенсировать недостаток второго :)

Кстати, весьма примечательно, что среди трех текущих проектов (http://www.wtec.org/projects.htm) американской организации World Technology Evaluation Center, наряду с двумя нанотехнологическими, есть и один проект по оценке работ по мозгокомпьютерному интерфейсу.

Сергей Ш.
26.09.2006, 23:35
Кстати, чем больше в мозг втыкают электродов, тем больше его повреждают: диаметр электрода все-таки далек от нуля :(

asenic
26.09.2006, 23:57
Ну и какая стоимость будет у системы с 1000 электродами... Тут два электрода имплантировать стоит несколько килобаксов... Людям не по карману, так что спроса не будет, посмотреть конечно можно для науки типа "чего получиться, если мы эту кнопочку нажмем?"
Я эту проблему рассматриваю не в экономических показателях (деньги к создателю подобной системы должны приходить за счёт грантов от государства, заботящегося о своих инвалидах, а не по формулам деньги-товар или спрос-предложение, поскольку число нуждающихся в ней пациентов меньше 0,01%), а как один из шагов к решению одной из важнейших нерешённых практических задач человечества, к которой имеет отношение наша специальность. Создание интерфейса мозг-компьютер — это вовсе не "для науки кнопочки понажимать", практический выход затеи очевиден.

Crossfade
27.09.2006, 00:10
EchoKeeper

Кстати, про амилотрофический синдром в инете написано: "....проявляется признаками поражения центральных (гиперрефлексия, клонусы, спастическое повышение мышечного тонуса) и периферических (прогрессирующая атрофия скелетных мышц, фасцикуляции) мотонейронов при относительной интактности глазодвигательных мышц
... хотя, наверно бывают всякие случаи

Глазодвигательные, как правило, при БАС поражаются в последнюю очередь, но все же поражаются. В условиях продленной жизни больной рано или поздно, за единичными исключениями, достигает абсолютного паралича произвольной мускулатуры.

asd

Вы представляете на каком уровне спинного мозга должно быть разрушение, что бы развился вялый парез мышц затылка? (С1-С2) там ствол рядом

В том-то и дело, что БАС характеризуется прогрессирующей демиелинизацией, в т.ч. и разрушением ЧМН плюс стволовых структур, отвечающих за дыхание. Я не медик, но довольно подробно изучал этот вопрос. Рано или поздно накрывается все, кроме сердца и мускулатуры отправлений. Сердце интактное, т.к. мышца не произвольная, чему больные и обязаны возможностью прожить подольше на девайсах поддержки.


один из шагов к решению одной из важнейших нерешённых практических задач человечества, к которой имеет отношение наша специальность

Совершенно верно. Если брать медицину, totally locked-in в России не так много, но большинство из них хотят жить. Допустим, у некоторых есть финансовая возможность приобрести аппарат инвазивной ИВЛ и сидеть на нем в домашних условиях неопределенно долгое время. Будет ли у этих больных возможность вступать в коммуникацию (сознание остается нетронутым) после того, как будут исчерпаны все мускульные способы общения?

Crossfade
27.09.2006, 00:17
Само собой, никакой государственной поддержи такие изыскания не получат. Давайте проанализируем возможность вот какого варианта. Теоретически есть больной БАС (или несколько, но trial все равно начнется с одного), есть желание использовать средства продления жизни и средства электронного общения. Найдется ли человек (группа людей), которые, руководствуясь научным интересом, на коммерческой основе займутся разработкой девайса и его усовершенствованием до приемлемых уровней функционирования?

И существует ли в нашей несчастной России вероятность заинтересовать спонсоров деятельностью подобной исследовательской группы?

Возможно, такие частные прецеденты могут со временем институционализироваться и сформировать систему помощи парализованным больным, пусть даже коммерческой помощи?


Вот ссылка на доклады буржуев:

http://www.futurehealth.org/biofeedback_and_locked_in_ALS_Lou_gherigs.htm

И вот довольно интересное описание:

http://jnnp.bmjjournals.com/cgi/content/full/74/8/1117

alleks
27.09.2006, 08:58
С имплантированными электродами там даже пытались довольно долго искать воспроизводимые нейронные коды отдельных слов и обобщенных понятий на основе анализа активности микропопуляций нейронов. Если б нашлось что-то, то был бы выход и на компьютерный интерфейс. Да вот только не нашлось нифига по этой части. :sad:
(лечение ADHD). Так высшая нервная деятельность и ее локализация пока замечена только в межполушарной ассиметрии. Можно лиш сказать что слова находятся больше в левом полушарии,а меньше в правомю А что то больше в правом ,а меньше в левом. Межполушарная ассиметрия это тот максимум чего психического нашли в мозге физиологи. Инрерфейс к психическому-очень далекая фантастика. Из каких частей психическое состоит еще не определились. А когда определиться , то еще найти локализацию этих частей надо. А их можен и не быть. Природа защитила психическое от поврежнений,рассредоточил его. Вы же знаете после локальных инсультов,психическое повреждается ,а потом востанавливается. Одно полушарие можно отключить и второе через время возьмет функции первого на себя.

alleks
27.09.2006, 09:12
Я. Создание интерфейса мозг-компьютер — это вовсе не "для науки кнопочки понажимать", практический выход затеи очевиден.
Тут только военное применение. А потом может быть когда секретность с этого спадет и инвалидам помощ придет. На военщину сработаете ,на американский империализм. А то они тело летчика погрузят в жидкость, что бы не испытывал перегрузок и он будет управлять машиной силой мысли. Представляете какие крутые виражи будет закладывать самолет , уклонится от любой ракеты. А образы распознавать лучше человека врядли скоро машину научат. Будет летать живой распознаватель образов. С мозгом подключенным к бортовому компьютеру. А там глядиш и отключать его не будут по нескольку лет,жить будет в самолете.

Сергей Ш.
27.09.2006, 10:53
totally locked-in в России не так много

Amyotrophic lateral
sclerosis (ALS), brainstem stroke, brain or spinal cord
injury, cerebral palsy, muscular dystrophies, multiple
sclerosis, and numerous other diseases impair the neural
pathways that control muscles or impair the muscles themselves.
They affect nearly two million people in the United
States alone, and far more around the world (Ficke, 1991;
NABMRR, 1992; Murray and Lopez, 1996; Carter, 1997).
Those most severely affected may lose all voluntary muscle
control, including eye movements and respiration, and may
be completely locked in to their bodies, unable to communicate
in any way.

J.R. Wolpaw et al. / Clinical Neurophysiology 113 (2002), p. 768

Не могу сейчас найти статистику по числу именно locked-in, кажется, это сотни тысяч только в США.



Будет ли у этих больных возможность вступать в коммуникацию (сознание остается нетронутым) после того, как будут исчерпаны все мускульные способы общения?
Эта возможность уже давно показана в исследованиях Бирбаумера (кстати, это неинвазивный МКИ, правда, не лучший вариант, но зато первый, реально помогший уже довольно большому числу людей). Чуть позже поищу ссылки.



Тут только военное применение.
Вы всегда все знаете, но при этом Ваше знание почему-то почти всегда равно нулю. С чего бы это?

Военное применение у МКИ вряд ли когда-либо будет, по целому ряду причин (некоторые ролики (http://www.nature.com/nature/focus/brain/video/index.html), на первый взгляд, впечатляют, но именно на первый взгляд).

alleks
27.09.2006, 11:36
[I]
Вы всегда все знаете, но при этом Ваше знание почему-то почти всегда равно нулю. С чего бы это?

Военное применение у МКИ вряд ли когда-либо будет, по целому ряду причин (некоторые ролики (http://www.nature.com/nature/focus/brain/video/index.html), на первый взгляд, впечатляют, но именно на первый взгляд).
Все что выше ПФП -тут мне равных нету, в низшей нервной деятельности я не спорю. А в высшей назовите хотя бы равного мне. Или по Вашему мнению кто выше или больше знает. Начитанные верхогляды могут быть,даже образованные верхогляды могут быть. Даже подтвердившие свою научную квалификацию верхогляды могут быть. Хоть фамилию назовите от которой я бы смеятся не начал. А лучше отрывок с текста известной фамилии, который Вы считаете правильным.
:biggrin:

asd
27.09.2006, 12:33
В том-то и дело, что БАС характеризуется прогрессирующей демиелинизацией, в т.ч. и разрушением ЧМН плюс стволовых структур, отвечающих за дыхание. Я не медик, но довольно подробно изучал этот вопрос. Рано или поздно накрывается все, кроме сердца и мускулатуры отправлений. Сердце интактное, т.к. мышца не произвольная, чему больные и обязаны возможностью прожить подольше на девайсах поддержки.

В том то и дело что паралич спастический (фасцикулярных подергиваний в пораженных мышцах) (если быть более точным, то смешанный), а это увеличение мышечных артефактов в десятки раз.

asd
27.09.2006, 12:35
А так тема интересная...

asenic
27.09.2006, 13:49
Само собой, никакой государственной поддержи такие изыскания не получат.
Ну, я же не указал, какого конкретно государства (проблема-то интернациональная). Кстати, не исключено, что и наши вбухают в это денег (уж если кто-то Кое-кто сумел убедить президента, что нанотехнологии — это наше всё, то почему бы и нет? Весьма наукоёмко и с прямым выходом на практику, ролики опять же красивые;)
А Ваш вопрос про спонсоров — он, боюсь, риторический. Бензоколонка в России выгодней и надёжней любых инвестиций в науку и рискованных инноваций.


Все что выше ПФП -тут мне равных нету
тогда что тут говорить, сами до всего своим умом дойдёте ;)

Кстати, насчёт медицинского применения МКИ всегда вспоминают про БАС (мозг—>ПК), но редко про искусственные органы чувств (ПК—>мозг). А между тем, там дела похоже побыстрее идут. С камерой вместо глаза, например.
Частота потери-снижения зрения, связанная с оптическими проблемами глаза (отвердевание хрусталика, катаракта и пр.) огромна. При этом (у неслепорождённых) все нервные структуры зрительного тракта развиты и работают нормально. Воссоздавать оптическую систему глаза (даже cделать более совершенную) человек давно научился, а вот как передать то что "видит" объектив мозгу?
Один из подходов — имплантированная в сетчатку матрица электродов, которые стимулируются от мини-компьютера, связанного с камерой. Как показывают исследования на кошках, мозг легко переучивается воспринимать эти искусственные стимулы как зрительные (у кошек появляются ориентационные колонки в зрительной коре).

Ссылочки на статьи:
1. Invest Ophthalmol Vis Sci. 2005 May;46(5):1780-5.
(http://www.iovs.org/cgi/content/abstract/46/5/1780)2. Vision Res. 2006 Sep;46(17):2675-90 (http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=pubmed&cmd=Retrieve&dopt=AbstractPlus&list_uids=16571357&query_hl=2&itool=pubmed_docsum)

Для слепорождённых разработан и применяется (http://www.seeingwithsound.com/etumble.htm) аналогичный метод со стимуляцией слуховой коры. Ссылка ведёт на некое коммерческое предложение (всего 2500$ — это ничто для области здоровья в пиндосии), но написано популярно и с картинками, все необходимые ссылки на научные публикации есть.

alleks
27.09.2006, 15:00
А Ваш вопрос про спонсоров — он, боюсь, риторический. Бензоколонка в России выгодней и надёжней любых инвестиций в науку и рискованных инноваций.
тогда что тут говорить, сами до всего своим умом дойдёте ;)

Видите что выше то выше ПФП. Инвестициями в науку лет 10 занимаюсь.
Все это хорошо,польза где? Кому это нужно? 10-ти богатеям в мире у которых трагедия в семье? Рынок сбыта? Обьем рынка сбыта? Затраты на разработку? Финансировать это может или государство в расчете на свой ВПК,или ВПК в расчете что государство купит. И есть богатые сумашедшие которые распоряжаются своими деньгами как хотят ,хотят челси покупают,хотят вкладывают в решение проблемы спида. Или заинтересовать тех или найти сумашедших. Здравомыслящий в бензоколонку вложит и нафталином повысит октановое число нискосортного бензина и будет им торговать. И пока государство не разрешит бензоколонки строить хоть через каждые 50 метров,монопольную ренту будут снимать владельцы бензоколонок.

А дробь выгодность на рискованность в любом виде бизнеса одинакова-константа. Если Вы знаете где Выше только скажите,побегу вложу.
Я не знаю, думаю и никто не знает.:biggrin:

Crossfade
27.09.2006, 15:29
asd

В том то и дело что паралич спастический (фасцикулярных подергиваний в пораженных мышцах) (если быть более точным, то смешанный), а это увеличение мышечных артефактов в десятки раз.

Пока спастика не закончилась, мышцы полностью не атрофированы, т.е. худо-бедно сохраняется возможность управления ими (в т.ч. глазодвигательными) - на этом этапе есть другие возможности общения. Когда же мышцы атрофируются полностью, артефактов не будет. Скорость развития болезни у каждого своя, но рано или поздно это произойдет.

alleks

Кому это нужно? 10-ти богатеям в мире у которых трагедия в семье? Рынок сбыта? Обьем рынка сбыта? Затраты на разработку?

Все зависит от затрат на разработку. Насколько мне известно, никто у нас не занимается подобными вещами, т.е. обслуживанием locked-in. Они просто мрут и все. Между тем, если говорить о больных БАС, то отмечают, что, как правило, эти больные в большинстве своем обладают высокими интеллектуальными возможностями и до момента, пока болезнь не лишает их способности общаться, активно участвуют в социальной жизни. Вероятно, что они и их семьи платежеспособны, и очень вероятно, что больные захотят жить, если смогут общаться посредством электроники. Во всяком случае, 80% американских больных на ИВЛ однозначно довольны тем, что сделали выбор в пользу инвазивного вмешательства, и широко пользуются электронными средствами коммуникации.

Вопрос в том, насколько дорог будет российский конечный продукт от конкретного разработчика. И еще, разумеется, вопрос в популяризации знания о том, что больные БАС могут жить, но это, в принципе, дело нетрудное, потому что в горе люди готовы хвататься и за соломинку, а тут им предлагают нечто совершенно реальное - уберечь близкого человека от смерти.

Оговорюсь, что речь тут идет не только о таких сложных аппаратах, но и об элементарных switcher’ах, портативных синтезаторах речи и так далее – Россия этого не производит, есть возможность заказать девайсы из-за бугра, но будут проблемы с локализацией и, кроме того, большинство больных просто не знают о таких вещах (опять же, незнание устранимо).

По идее перед нами непаханое поле, которое при должном внимании даст неплохой урожай?

Вот сколько частных контор в США занимается разработкой assistive technologies и продажей товаров:

http://www.focusonals.com/communication.htm

alleks
27.09.2006, 16:07
Вопрос опять как делить деньги. Недавно выступал авторитетнейший росийский медик, и говорит чем тратить деньги на чепуху медицинскую давайте поставим в людных местах дефибриляторы. Столько жизней спасем здоровых полноценных людей ,которые могут еще приносить пользу обществу. Пока скорая подьедет помирают здоровые люди,которые еще бы тридцать лет бы жили и работали. Мне тоже жалко вот тех, но сердечников жальче.

Вопрос математический,как конечное множество денег в бюджете раскласифицировать по расходным статьям, по каким критериям.
А может кто то поднимен еще более актуальную тему. Такие дорогие вещи или эксклюзив или внедряются через военщину в массовое производство. И становятся доступны менее богатым.
Весь научный прогресс в войнах. Если бы военным не хотелось бы воевать мы бы до сих пор по пальмам лазили.
А у военных критерий самый обьективный,новое лучше в цель попадает или хуже. Если хуже-зачем оно нужно. Пусть сколько угодно будет наукоемко. Нейронные сети военным же не продали, никто пока. С нейронными сетями оружие хуже летает.

asd
27.09.2006, 20:14
Создание исскуственных органов чувств (и исскуственных эффекторных органов тоже) более реальная тема. основная проблема с интеграцией в развитую нервную систему. Переучивание в определенном диапазоне возможно (например классический опыт с перевернутым изображением на сетчатке), но попробуйте научить взрослого человека видеть то, что он никогда не видел?

alleks
28.09.2006, 10:43
Создание исскуственных органов чувств (и исскуственных эффекторных органов тоже) более реальная тема. основная проблема с интеграцией в развитую нервную систему. Переучивание в определенном диапазоне возможно (например классический опыт с перевернутым изображением на сетчатке), но попробуйте научить взрослого человека видеть то, что он никогда не видел? Если интегрировать в НС сигнал от ЭЭГ то и мысли другого научится видеть ,хотя до этого не видел. Хотя есть люди и их определенная часть,то есть очень много . Так они видят мысли других, не конкретно мысль, а характер мысли. Допустим- видят плохие мысли в отношении такого то обьекта. Как бы человек каменным лицом не скрывал,как бы театрально не разыгрывал. Ходячий детектор лжи. А можно и новое чувство создать,если интегрировать. Магнитное поле допустим видеть. А еще надо интегрировать исполнительный орган-симулировать двигательные нейроны. Да и кстати после трудов Непомнящих двигательными нейронами чувствуют. Неуже до сих пор думают,а уже года четыре прошло,что картинку видят телерецепторами. Руками ее видят,руками,а не глазами. Что бы видеть магнитное поле надо предусмотреть возможность руками его потрогать.:biggrin:

Сергей Ш.
29.09.2006, 18:24
Сорри, на этой неделе уже не успеваю полностью выполнить обещание насчет ссылок, поэтому только одна новая ссылка:

http://ida.first.fhg.de/publications/
публикации проекта "Berlin BCI" (в последние годы, возможно, наиболее динамично развивающийся)

+ ссылка, которую я тут уже давал:

http://www.bciresearch.org/BCI2000/bci2000.html
BCI2000 - бесплатно распространяемая программа для BCI-исследований на основе ЭЭГ и ВП

и еще старая подборка ссылок (с небольшими уточнениями - теперь тут только материалы в открытом доступе):

* http://www.andrew.cmu.edu/user/jker/bcireview.pdf
Wolpaw JR, Birbaumer N, McFarland DJ, Pfurtscheller G, Vaughan TM. Brain-computer interfaces for communication and control. Clin Neurophysiol. 2002 Jun;113(6):767-91. Review.

* http://www.pnas.org/cgi/reprint/0403504101v1?maxtoshow=&HITS=10&hits=10&RESULTFORMAT=&fulltext=Wolpaw&searchid=1103212142085_4751&stored_search=&FIRSTINDEX=0&journalcode=pnas
Wolpaw JR, McFarland DJ. Control of a two-dimensional movement signal by a noninvasive brain-computer interface in humans. Proc Natl Acad Sci U S A. Published online before print December 7, 2004, 10.1073/pnas.0403504101

* http://www.pnas.org/cgi/content/full/0403504101/DC1
Видео, иллюстрирующее статью Wolpaw & McFarland (2004).

* http://www.health.state.ny.us/nysdoh/commish/2004/wolpaw_release_12-06-2004.htm
Пресс-релиз в связи с публикацией Wolpaw & McFarland (2004). Отмечается, что вопреки бытовавшему ранее мнению о большей эффективности МКИ, использующего вживленные электроды, Wolpaw и McFarland показали, что использование новых технологий анализа ЭЭГ позволяет достичь такой же высокой скорости и точности передачи команд из мозга в компьютер.

* http://www.uni-tuebingen.de/uni/tci/projekte/als.htm
Страница группы профессора Нильса Бирбаумера с кратким описанием принципов работы "The Thought Translation Device", использующего медленные потенциалы, и примером письма, написанного парализованным больным с его помощью.

* http://first.fhg.de/owx_medien/pdf/562_BlaMueCurVauSchWolSchNeuPfuHinSchBir04.pdf
Blankertz B, Muller KR, Curio G, Vaughan TM, Schalk G, Wolpaw JR, Schlogl A, Neuper C, Pfurtscheller G, Hinterberger T, Schroder M, Birbaumer N. The BCI Competition 2003: progress and perspectives in detection and discrimination of EEG single trials. IEEE Trans Biomed Eng. 2004 Jun;51(6):1044-51.
(См. также последующие статьи в этом номере журнала, написанные победителями соревнования.)

* http://ida.first.fraunhofer.de/projects/bci/competition/
BCI Competition 2003

* http://ida.first.fhg.de/projects/bci/competition_iii/
BCI Competition III

По двум последним ссылкам можно, между прочим, найти BCI-данные, в расшифровке которых состязались участники соревнований, и самим попробовать свои силы в этом деле ;)

MElena
06.10.2006, 01:01
По науке у нас работают как минимум в Питере у Бехтеревой (их прада, больше биофидбэк интересует, чем интерфейс) и в Москве у Шевелёва.

В Питере есть еще Сороко, который давно занимается биообратной связью (БОС)
Сороко С.И.и др."Основные типы механизмов саморегуляции мозга".
М,Наука,1990.

А еще в Новосибирске есть, по крайней мере был:wink: , Институт - ИМБК СО РАМН, там был МБ Штарк. Он и его сотрудники тоже занимались БОС. Сейчас что-то не слышно ничего оттуда, точнее, я не слышала.:sad:
А раньше издавали сборники:

Биоуправление: теория и практика. (сб.науч.тр.) ред.:М.Б.Штарк и Н.Н.Василевский. Наука: Новосибирск, 1988, 162с.

Биоуправление-3: теория и практика. ред. М.Б. Штарк и М.Коулс, ИМБК СО РАМН, 1998

MElena
06.10.2006, 01:07
Brain–machine interfaces: past, present and future
Mikhail A. Lebedev and Miguel A.L. Nicolelis
TRENDS in Neurosciences, 2006 Vol.29 No.9, p.536 (свежая статья!)

Since the original demonstration that electrical activity generated by ensembles of cortical neurons can be employed directly to control a robotic manipulator, research on brain–machine interfaces (BMIs) has experienced
an impressive growth. Today BMIs designed for both experimental and clinical studies can translate raw neuronal signals into motor commands that reproduce arm reaching and hand grasping movements in artificial
actuators. Clearly, these developments hold promise for the restoration of limb mobility in paralyzed subjects. However, as we review here, before this goal can be reached several bottlenecks have to be passed. These include designing a fully implantable biocompatible recording device, further developing real-time computational algorithms, introducing a method for providing the brain with sensory feedback from the actuators, and designing and building artificial prostheses that can be controlled directly by brain-derived signals. By reaching these milestones, future BMIs will be able to drive and control revolutionary prostheses that feel and act like
the human arm.

asd
06.10.2006, 11:11
В новосибирске этим и сейчас занимаются (недавно слышал доклад по БОС при бронхиальной астме). Звучало как псевдонаука (тем более в докладе удалось полностью переврать патогенез этого заболевания). В общем не совсем компетентно биологи и медики этим занимаются. Хотя в отношении "интерфейса" очень даже перспективно...

Сергей Ш.
06.10.2006, 12:18
Brain–machine interfaces: past, present and future
Mikhail A. Lebedev and Miguel A.L. Nicolelis
TRENDS in Neurosciences, 2006 Vol.29 No.9, p.536 (свежая статья!)
Лена, спасибо за ссылку. Но вот что касается слов в абстракте... я очень уважаю Николелиса как ученого, но вот смесь латиноамериканского темперамента с 20-миллионным грантом до добра не доводит, так весь талант можно запросто спустить в попсу... И еще мне, конечно, очень не нравится, что вся эта инвазивная публика постоянно преуменьшает потенциальные возможности неинвазивных МКИ. Подоплека этого совершенно очевидно. С другой стороны, надо признать, что поведение лагеря "неинвазивщиков" абсолютно зеркальное, разве что вследствие меньших размеров грантов шума там тоже меньше. (Зато Бирбаумер реально помог, с помощью одного из технически самых простых МКИ, уже, если не ошибаюсь, десяткам, если не сотням пациентов.)

Раз уж пошла такая пьянка, то я бы еще напомнил статью про цМКИ (http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?DB=pubmed&term=%22brain-computer%20interface%22[all]%20AND%20(%22russian%20federation%22[ad]%20OR%20russia[ad])).

Сергей Ш.
27.10.2006, 21:37
Про МКИ на фестивале науки в МГУ будет рассказываться завтра (сорри за позднее сообщение - сам узнал лишь вчера):

http://www.fn.msu.ru/program.aspx?cat_id=130&cat_obno=130&d_no=231&tmpl=event&m_no=426
15:30 - 17:30 Занятия по практической психофизиологии «Мысленное управление устройствами»

На кафедре физиологии человека и животных, аудитория 246
Занятие проводит проф. Каплан А.Я.
Будет рассказано о возможности мозга человека к управлению техническими устройствами без помощи мышечного аппарата.
Насколько мне известно, демонстрироваться будут лишь видеоролики, главным образом, из собственных работ рассказчика (сами созданные под его руководством работающие макеты остались у корейцев), но, надеюсь, желающие смогут получить неплохое представление об этих работах.

Сергей Ш.
20.12.2006, 02:29
http://www.runewsweek.ru/rubrics/print.php?rubric=science&rid=1499
Никита Максимов. Игра головой. - Русский Newsweek, 27 нояб - 3 дек 2006 г., № 46 (124).

"Дальше всех продвинулись российские специалисты.

... Постепенно [у испытателя] вырабатывается такое же чувство, как когда учишься ездить на велосипеде».

Машинка как бы становится «новым телом» для мозга, которое, словно нервными окончаниями, присоединено к нему электрическими проводами. Мозг не зацикливается на осмыслении своих ритмов, а управляет «телом» подсознательно, но выполняя при этом желания своего владельца. "

MElena
21.12.2006, 18:55
http://www.runewsweek.ru/rubrics/print.php?rubric=science&rid=1499
Никита Максимов. Игра головой. - Русский Newsweek, 27 нояб - 3 дек 2006 г., № 46 (124)

цитата оттуда же: "О необходимости тренинга Кристофер Гюгер предупредил меня еще до отлета в Дюссельдорф. ...В норме необходимо пять-шесть часов тренировки, чтобы показать нормальный результат», - утешил Кристофер."

Чтобы все эти системы работали, нужны тренировки, т.е. обучение с обратной связью - вы должны видеть результат. Вариант - система тоже обучается и подстраивается под данного пациента.

А откуда информация, что российские специалисты продвинулись дальше всех? И в каком смысле "дальше"?

Сергей Ш.
22.12.2006, 02:12
Ну да, как же без тренировок? Вопрос лишь в их длительности - в более ранних системах обучение шло месяцами. Есть, правда, системы, работающие на ВП, там почти никакого обучения не нужно; но они довольно неудобные - все время что-то мелькает перед глазами, к тому же непохоже, что можно это сильно куда-то развивать, да и не все из них годятся для полностью парализованных больных (те, которые построены не на Р300, фактически используют движения глаз). И не очень интересно с точки зрения появления у мозга особого рода немоторного "выхода": фактически эксплуатируются уже имеющиеся системы.

Продвинулись "дальше" - в смысле управления реальными объектами, с нормальной скоростью движущимися в реальном пространстве. Насчет российских специалистов (на самом деле тут следовало употребить единственное число - остальные реальные участники проекта были корейцы :) ) - некоторое преувеличение, особенно если судить по публикациям (конкретно про машинку публикаций не было - корейцы слишком напирали на коммерцию). В статье почему-то очень мало сказано про достижения Berlin BCI (в Ин-те Фраунгофера), а это сейчас, вероятно, наиболее продвинутый в мире проект.

Snake
12.09.2008, 11:54
Всем добрый день! А не встречал ли кто ссылку на зарегистрированный патент по такому устройству (BCI- device)

Ratte
12.09.2008, 17:40
Всем добрый день! А не встречал ли кто ссылку на зарегистрированный патент по такому устройству (BCI- device)

может, вот это - посмотрите (http://rapidshare.com/files/144648465/BCI_patents.rar.html)

Сергей Ш.
14.09.2008, 18:33
Патентов по ИМК много. Их можно найти по ключевым словам в патентных БД (хотя, возможно, в каких-то случаях используются не совсем стандартные ключевые слова).

http://www.uspto.gov/patft/index.html
Поиск в базе данных американских патентов
(United States Patent and Trademark Office)

http://ep.espacenet.com/
Поиск в базе данных европейских патентов
(European Patent Office)

http://www.fips.ru/russite/
Поиск в базе данных Роспатента

http://www.google.com/ptshp
Google Patent Search (beta)

Snake
15.09.2008, 15:37
Огромное спасибо!:biggrin:

CopperKettle
27.11.2008, 16:00
Nature Reviews Neuroscience 9, 887 (December 2008) | doi:10.1038/nrn2534

Brain–machine interfaces: Back in control
(http://www.nature.com/nrn/journal/v9/n12/full/nrn2534.html)
Catherine Sebastian


...The monkeys achieved high task accuracy after only a few minutes of practice with 44 out of 45 neurons tested. Task success was independent of the original direction selectivity of the neuron, suggesting that potentially any neuron in motor areas of the brain could be used. The system was also flexible, with the monkeys able to achieve different levels of torque strength by controlling the activity of just a single neuron. Additionally, the authors showed that a single neuron could be used to simultaneously control two sets of antagonist muscles to enable bidirectional movement, and one of the monkeys could control two cell–muscle pairs simultaneously....

Публикация:
Moritz, C. T. et al. Direct control of paralysed muscles by cortical neurons (http://www.nature.com/doifinder/10.1038/nature07418). Nature 15 Oct 2008 (doi: 10.1038/nature07418)

UltraCortex
01.12.2008, 16:03
В России ЭТО вполне реально, если под реальностью понимать лабораторные разработки системы BCI. Могу это утверждать, т.к. сам этим занимаюсь. С применением в клинической практике, правда, проблемы: система индивидуального использования обойдется примерно в 10000 евро (промышленно - может быть дешевле). Интереса у инвесторов - 0%, т.к. прибылью не пахнет. Единственное, на что их хватает - на игрушку для миллионеров.

votinoff
02.12.2008, 17:58
Есть например еще такая австралийская компания, как Эмотив. Они разработали портативный не инвазивный НКИ, типа легкого шлема.Причем если я правильно понял, стоит это в районе 300 уе. На сайте у них есть видео с различными примерами его использования такими, как управление инвалидной коляской, управление виртуальным персонажем или эмоциями аватара.Они и на работу приглашают кстати. :)
Сайт http://emotiv.com/
А из русских компаний, которые эти занимаются можно здесь посмотреть http://neurobotics.ru/

Тема эта конечно очень интересная, я даже пост про это писал, кому интересно то можно почитать тут http://blog.votinoff.com/?p=558

UltraCortex
03.12.2008, 01:18
Уважаемый votinoff, компания emotive НЕ занимается разработкой BCI, который имеет чёткое определение: отсутствие мышечной активности. На их демо-роликах чётко видно, что они используют моргания, мимику и прочие, как у нас говорится, артефакты. Да и электроды они ставят на фронтальную область, ближе к глазам и мышцам лица. К сожалению, Вы не единственный, кто на это "попадается". Мне тут недавно заявили, что "мы там что-то делаем, а вот люди уже всё создали..." :wink: Технология BCI подразумевает именно анализ внутренней активности мозга.

votinoff
04.12.2008, 05:07
Да, я с вами согласен по поводу коляски. Там управление идет за счет мимики. Но как происходит управление виртуальными предметами в другом их ролике? http://jp.youtube.com/watch?v=YxMux4uEkLI
А в России это реально сделать, почему нет. Создать группу из специалистов по электроэнцефалографии, программированию и инженеров. :)

UltraCortex
05.12.2008, 10:33
To votinoff: Этот ролик - просто фокус. Человек элементарно следит за кончиками пальцев на своей руке. Особенно это заметно при виртуальном вращении и при уменьшении размеров фигуры: обратите внимание на вторую руку на заднем плане! Она приближается к глазам. Фокусники-иллюзионисты оценят сие по достоинству (мне повезло, я с ними пообщался в своё время). Но даже если этого и не замечать :), налицо активные движения руками (а вы знаете, какие наводки это даёт на ЭЭГ!). И причём тут Brain-Computer Interface? Однако реклама делает своё дело, там же на YouTube видел ролик, тоже под брендом BCI, где человек с двумя электродами над глазами управляет какой-то стрелялкой, старательно отворачиваясь при этом от камеры. Однако рассмотреть всё-таки можно, как в момент выстрела он моргает просто "всем лицом" :) Это тоже теперь BCI...
По второй части Вашего поста. Да, сделать реально. Уже во многом сделано. Я лично готов участвовать в серьёзно организованном проекте, но вот только, пообщавшись конкретно с некоторыми "заказчиками", которым на это государственные деньги выделены, прихожу к мнению, что фундаментальная сторона вопроса никого, извините, на фиг не интересует, они так прямо и говорят, а ещё при этом спрашивают, "а почему не 100% распознавания?". <............> Вкладываться же в это дело инвесторам почему-то оказывается не выгодно: раскрутить, конечно, можно всё что угодно, только все почему-то хотят получить уже готовую систему, и желательно подешевле (ну, чтобы перепродать подороже). А по телевизору всё так же вещают про то, что это передовая технология и пр. Вот такая вот реальность.

Snake
05.12.2008, 15:16
всем добрый день!
Я тоже работаю в области, BCI, и хочется согласиться с UltraCortex в том, что часто, ради рекламы выдаются не совсем те результаты, которые объявляются! Управлять мысленно - не так-то и просто!

VladimirKox
05.12.2008, 20:24
Управлять мысленно - не так-то и просто! - может просто требуется длительная тренировка? Ходить - тоже не сразу начинают...

UltraCortex
05.12.2008, 23:03
Длительная тренировка не требуется. При грамотно подобранной методике обучения (параметры БОС, коэффициенты подстройки, отбор данных) человек выходит на примерный индивидуальный максимум где-то за 15-20 минут (проверено). Дальнейшие тренировки, в основном, влияют на стабильность результатов, а также на формирование достаточно универсальных избирательных классификаторов (ну, это уже искусство экспериментатора). Другое дело, что "стартовый уровень" у всех разный, зависит от умения концентрироваться (если речь идёт о более-менее длительных активациях).

Leila
06.12.2008, 21:07
Насколько я поняла, здесь есть те, кто занимается разработкой нейрокомпьютерного интерфейса. Не могли бы вы рассказать о своих работах поподробнее? я студентка 3го курса психологического факультета, интересуюсь когнитивными нейронауками, хотелось бы подробнее узнать о данном подходе, особенно про те методики, где уже за 20 минут человек может давать хорошие результаты

UltraCortex
06.12.2008, 22:50
Насколько я понимаю, в посте присутствует некоторый скепсис про 20 минут :wink: Существует огромное множество разновидностей этой технологии. Лично я занимаюсь неинвазивным НКИ, основанным на анализе ЭЭГ человека в реальном времени, и использующим определённые внутренние состояния, которыми человек может управлять, произвольно или по внешней команде, и поддерживать их некоторое время, достаточное для управления реальным устройством или компьютерной моделью. Состояния связаны с конечностями тела, как естественными инструментами управления в повседневной жизни человека. Про 20 минут - имелось в виду следующее: человек инструктируется по особенностям используемых состояний, далее происходит процедура тренинга, состоящая из нескольких этапов и длящаяся не более 15-20 минут (потом начинает сказываться утомление), и, при условии его общей адекватности, выходит на некторый уровень достоверности (процент распознавания), который для разных людей составляет 60-85% (в наборе до 3-х команд). Для управления, скажем, курсором на экране этого вполне достаточно: пресловутые 100% не требуются, так как при достаточном запасе времени всегда можно скорректировать "ошибочные действия".

Leila
07.12.2008, 14:44
UltraCortex, что вы, никакого скепсиса не было. Просто я только недавно заинтересовалась этой темой и сейчас хочется собрать побольше информации. Не могли бы вы дать ссылки на свои публикации? Пока мне попадается только общая информация, сами знаете, очень много воды или, как вы выразились, результатов труда фонусников-иллюзионистов. Какую-либо конкретику найти крайне сложно. Поэтому и хотелось бы узнать мнение человека-разработчика.

UltraCortex
07.12.2008, 17:48
Собственных публикаций пока нет (кроме одной коллективной статьи),
к тому же сейчас я вынужденно занимаюсь этим в конторе, которая, как я упоминал, наукой в принципе не интересуется (просто некому интересоваться, контингент крайне специфический...). Если хотите литературу по теме - ищите в постах, её там должно быть море. Могу упомянуть такие фамилии, как Pfurtscheller, Wolpaw, McFarland, Birbaumer. Это всё в основном по воображаемым движениям. Farwell & Donchin - по компоненту P-300 (ожидаемый стимул). Есть ещё способы навязанных зрительных ВП (мерцающие с разной частотой стимулы) и т.д. По инвазивному BCI - Nicolelis (классика жанра). Если есть конкретные вопросы - пишите в почту (она в профиле).

Сергей Ш.
07.12.2008, 23:43
система индивидуального использования обойдется примерно в 10000 евро (промышленно - может быть дешевле). Интереса у инвесторов - 0%, т.к. прибылью не пахнет. Единственное, на что их хватает - на игрушку для миллионеров.
А из чего у Вас сложилась такая цифра?

И почему Вы думаете, что BCI-игрушки непременно должны быть такими же дорогими, и почему Вас не убеждают примеры Эмотив и OCZ? Использование "артефактов" - не криминал, они же у Эмотив лишь дополняют собственно ИМК. А у OCZ даже, кажется, обходятся без них, по крайней мере, в явном виде. (Кстати, кажется, тут не было еще вот этой ссылки про продающийся уже в России OCZ NIA всего за... 6 тыс. руб.: http://www.3dnews.ru/peripheral/ocz-nia/ , http://www.3dnews.ru/peripheral/ocz-nia/index2.htm . Если честно, я даже не прочитал этот обзор до конца - основные принципы в таких системах мало различаются, так что слишком мало шансов найти что-л новое :) )

Сергей Ш.
08.12.2008, 00:01
Пока мне попадается только общая информация, сами знаете, очень много воды или, как вы выразились, результатов труда фонусников-иллюзионистов. Какую-либо конкретику найти крайне сложно.
1) А что Вас не устраивает в этой теме? См., напр., ссылки, которые я давал на странице http://forum.neuroscience.ru/showthread.php?t=987&page=3 :)

2) Берете, как обычно при поиске литературы, пабмед - и вперед:

http://www.ncbi.nlm.nih.gov/sites/entrez?Db=pubmed&Cmd=Search&Term="brain-computer interface" | "brain-machine interface" (http://www.ncbi.nlm.nih.gov/sites/entrez?Db=pubmed&Cmd=Search&Term=%22brain-computer%20interface%22%20|%20%22brain-machine%20interface%22)

Там одних обзоров обнаруживается уже аж 38 штук...

Чтобы найти то, что лежит в открытом доступе, вводите названия или авторов в http://scholar.google.com/ и ищите свободно лежащие ПДФ.

Кстати, не упомянутая UltraCortex группа Berlin BCI - один из мировых лидеров, если не самая крутая группа среди всех занимающихся неинвазивным ИМК - выкладывает почти все свои многочисленные публикации в открытом доступе на своей страничке: http://ida.first.fhg.de/bbci/index_en.html#publications

3) В прошлом году вышел большой сборник статей по BCI, довольно неплохо отражающих современное состояние области. Я купил его через амазон за 72 долл., получил через несколько дней после оформления заказа (раньше они книжки доставляли в Россию безумно долго и даже теряли по пути, но теперь они высылают их через UPS, и в Москву мне такая книжка пришла через несколько дней; конечно, доставка теперь получается дорогой, но сама книжка довольно дешевая, и сумма, которую я упомянул, включает доставку). См. http://www.amazon.com/Toward-Brain-Computer-Interfacing-Information-Processing/dp/0262042444

Еще есть какая-то книжка:

http://www.amazon.com/Neuroengineering-Daniel-J-DiLorenzo/dp/0849381746
Neuroengineering (Hardcover)
by Daniel J. DiLorenzo (Editor), Joseph D. Bronzino (Editor)
# Hardcover: 408 pages
# Publisher: CRC; 1 edition (December 7, 2007)

- но про нее ничего не могу сказать, кроме того, что это уже сильно в сторону от собственно ИМК, тем более от неинвазивного.


я студентка 3го курса психологического факультета
Если Вы учитесь или бываете в Москве, то приглашаю принять участие в наших экспериментах - наши студенты (4 курс, биофак МГУ и ННГУ) как раз недавно начали две серии экспериментов по ИМК в парадигме Фаруэлла-Дончина. Мне можно написать на адрес sergshishkin@mail.ru Наш сайт: http://brain.bio.msu.ru/

UltraCortex
08.12.2008, 03:11
Цифра сложилась из стоимости набора активных электродов (3000) + стоимости многоканального энцефалографа реального времени (5000-8000). Само управляемое устройство, а также компьютер и ПО я в стоимость не включил. Если использовать усечённый набор электродов (8-10 штук), выйдет дешевле. По поводу примеров emotive и OCZ я только могу повторить, что их продукция под категорию BCI не подходит: у emotive это откровенно глазные артефакты (посмотрите на расположение датчиков, я Вас уверяю, что "ничего кроме" на них поймать нельзя. Сенсомоторная область, к которой обычно привязывается технология BCI, основанная на воображении движений, располагается несколько в другом месте). Насчёт OCZ - вот цитаты по данным Вами ссылкам: "первое, с чем придется столкнуться пользователю – это управление не мыслями, а мимикой - мышцами лица", "к примеру, щелкать зубами для выстрела в игре, сможет каждый и сразу", "следующий вид управления, реализованный в NIA, основан на слежении за взглядом пользователя". Про альфа- и бета-ритмы - в самом конце, да и то расплывчато, "для формы". Электроды ставят вообще на лоб :blink: Вот это теперь и называется BCI? (Так было в Вашем сообщении) Единственное достоинство - "сухие" электроды, но их на волосатую голову всё равно не поставишь... :)
По поводу цены: всё дело как раз в том, что настоящие системы BCI действительно стоят на порядки дороже всей этой массовой развлекаловки. Но денег приносят меньше :wink: (совсем не приносят).

Сергей Ш.
08.12.2008, 13:33
У меня много возражений :)

1) вполне можно обходиться без активных электродов, если значительную часть устройства можно разместить прямо на голове

2) не факт, что нужно много электродов (конечно, не доказано, можно ли получить что-то достаточно интересное, не требующее длительного обучения и массово воспроизводимое с одним электродом (в работе Каплана и корейцев (http://brain.bio.msu.ru/papers/Kaplan_Lim_Jin_Park_Byeon_Tarasova_2005_IntJNeuroS ci_UnconscCondition_ColorBCI.pdf) использовался именно один электрод, но там было длительное обучение и, по-видимому, слишком медленное управление, чтобы принцип напрямую можно было переносить на игры), но уж с 3-4, по-видимому, можно сделать многое)

3) что бы ни думать про артефакты у Эмотив и OCZ, их электроды+АЦП+усилитель+пр цессор умещаются в минимальную сумму

4) "у emotive это откровенно глазные артефакты (посмотрите на расположение датчиков, я Вас уверяю, что "ничего кроме" на них поймать нельзя" - смотрим:
http://emotiv.com/corporate/ASSETS/2_0/2_1hdpix.gif
- что именно Вам тут не нравится?

5) "Сенсомоторная область, к которой обычно привязывается технология BCI" - это только одна из технологий

6) BCI в игровом варианте вовсе не обязательно должен быть свободен от эксплуатации "артефактов"

7) (замечание сугубо по форме, а не по сути) метод Фаруэлла-Дончина относят к BCI во всех научных публикациях, где он упоминается, а ведь при его использовании, по-видимому, все пользователи, включая парализованных, в той или иной мере используют движения глаз (хотя на вход машины подается все же ЭЭГ)

В общем, я хочу сказать, что если не ставить задачу непременно обойтись без подмешивания в управляющие сигналы "артефактов" и без их непосредственной эксплуатации наряду с собственно ЭЭГ, достаточно недорогие игрушки сделать вполне реально.

UltraCortex
08.12.2008, 19:04
Отвечаю на возражения :)

вполне можно обходиться без активных электродов, если значительную часть устройства можно разместить прямо на голове Вполне согласен. Только вот масса этого устройства будет достаточно линейно зависеть от общей сложности системы.

не факт, что нужно много электродов Много-понятие относительное. Мы работали на 4-х, на 16, на 32 электродах. Вывод: чем больше, тем лучше (точнее, надёжнее, в общем, правильнее). Напрашивается идея компромисса противоположных требований, но это уже вопрос приоритетов конкретного пользователя (о чём, видимо, и вся эта дискуссия).

"Сенсомоторная область, к которой обычно привязывается технология BCI" - это только одна из технологий - неполная цитата. Далее в оригинале следует:
..., основанная на воображении движений -то есть, действительно одна из технологий, и именно на этой особенности делается акцент в том же рекламном ролике emotive про "вырастающие развалины". Почему-то прямо про отслеживание движений глаз они в этом сюжете не говорят, скромничают, наверное.

что именно Вам тут не нравится а я и не говорил, что мне <там> что-то не нравится :biggrin:. Мне не нравится, когда смешивают понятия. И сюда же:
BCI в игровом варианте вовсе не обязательно должен быть свободен от эксплуатации "артефактов" - тогда это уже не BCI! Давайте всё-таки будем осознавать различия между Brain-Computer Interface(BCI) и Human-Computer Interface (HCI, HMI, HDI). Понятия разные (и весьма), и смешивать их не стоит. Но ведь "BCI" звучит круче, правда? :ninja:

Сергей Ш.
09.12.2008, 09:57
BCI дает, по-видимому (точно не могу утверждать - не занимался подробным сравнением, да и про большинство типов BCI могу судить лишь с чужих слов), качественно более глубокие ощущения независимости от "физических факторов", чем любые его имитации с помощью "артефактов". Поэтому добавление в игры хотя бы некоторого количества BCI может сделать их более интересными. Отсюда - может быть достаточно и 4 каналов. Логика очень простая :)

Да, слова про воображение движений я не заметил, виноват. Но не думаю, что надо верить именно тому, что Эмотив говорит в ролике - более интересны потенциальные возможности, о которых разработчики могут вполне иметь представление. Кроме того, возможно, у них все-таки есть электроды, способные регистрировать активность сенсомоторных областей:

http://www.foxnews.com/images/308835/0_61_emotiv_bci.jpg
from http://www.foxnews.com/story/0,2933,299456,00.html

http://girthindustries.files.wordpress.com/2008/02/emotiv.jpg
from http://girthindustries.com/2008/02/25/emotiv-play-with-your-brain/

- на последней, более реалистичной картинке, правда, пара электродов наверху находится слишком фронтально и слишком близко к центру, а височные на обоих, наоборот, находятся слишком низко, но если бы их несколько пододвинуть (не знаю, подвижны ли они у них), то уже вполне можно было бы работать и с сенсомоторными ритмами.

Сергей Ш.
12.12.2008, 01:24
Куда-то разбежались все ИМКологи...

UltraCortex
12.12.2008, 04:00
Да нет, я здесь, задремал слегка... :biggrin: Мне тоже интересно, занимается ли кто-нибудь у нас (в Москве, например) воображаемыми движениями. Тема перспективная, но требует определённых вложений, а, как уже было замечено, у нас, если не приносит "много и сразу" - значит, "а ну её..."

Сергей Ш.
12.12.2008, 11:31
Я собирался, но в конце концов по ряду причин на ближайший период выбрал Фаруэлла-Дончина. Возможно, попытки делались и делаются в лаборатории Фролова, отчасти, мб, у Иваницкого. Ес-но, у Конышева. Мб, кто-то еще в России что-то пытается делать (мб, отзовется еще здесь...), методика не такая уж хитроумная. Но у меня большие сомнения, что где-то идут действительно систематические исследования - об этом давно стало бы уже известно.

Наш соотечественник Вадим Никулин - один из основных авторов методики "квазидвижений" (см в http://ida.first.fhg.de/bbci/index_en.html#publications : Vadim V. Nikulin, Friederike U. Hohlefeld, Arthur M. Jacobs, and Gabriel Curio. Quasi-movements: A novel motor-cognitive phenomenon. Neuropsychologia, 46(2):727-742, 2008). Но он работает в Берлине.

Сергей Ш.
12.12.2008, 11:32
а еще вот что из Воронежа пишут (вдруг там тоже воображаемые движения??):

http://www.voronezh-media.ru/news_out.php?id=18850


Воронеж • Новости Воронежской области от ИА "ВОРОНЕЖ-МЕДИА" • 15:03 06.10.2008

Разработка ВГУ стала победителем Всероссийского творческого конкурса

Десятый юбилейный Всероссийский форум «Образовательная среда-2008» прошел в Москве, в центральном павильоне Всероссийского выставочного центра c 30 сентября по 3 октября.

На выставочных площадях свои экспозиции представили более 350 участников — вузы, учреждения начального и среднего профессионального образования, производители товаров и услуг для организации учебного процесса со всей страны.

В рамках форума прошел Всероссийский творческий конкурс научно-технических решений, образовательных продуктов и услуг в области информатизации образования. Как стало известно ИА «Воронеж-Медиа» из сообщения пресс-службы ГОУ ВПО ВГУ, кКафедра цифровых технологий факультета компьютерных наук Воронежского государственного университета представила на конкурс разработку “Создание новых видов нейрокомпьютерного интерфейса в студенческой учебно-научной лаборатории”. Её авторами являются: зав. кафедрой цифровых технологий, д.ф.-м.н. С.Д.Кургалин; доцент кафедры, к.м.н. Я.А.Туровский и аспиранты кафедры И.В.Китаев и И.С.Губарев.

В номинации “Новые образовательные технологии в ИКТ-насыщенной среде” разработка сотрудников кафедры цифровых технологий факультета компьютерных наук ВГУ стала победителем Всероссийского творческого конкурса и награждена почетным дипломом форума. Эта работа вызвала большой интерес специалистов, присутствовавших на форуме, и рекомендована конкурсной комиссией к участию в международных творческих конкурсах.

Бедолага
12.12.2008, 11:49
2 Сергей Ш Спасибо, что напомнили про работы Каплана с корейцами.

Очень красивая идея, не знаю слышал ли сам Барри Стерман о ней, я у него не спрашивал, но если слышал, то наверняка мог бы оценить.

Немного не про BCI, но где-то недалеко - про нейрофидбэк

Сейчас последний писк моды - нейрофидбэк по ЛОРЕТЕ. Если интресно могу дать ссылки на статьи.
У меня вообще мечта тему нейроБОС в России начать развивать серьезней. Есть вот международная организаций нейротерапии ISNR, этим делом заниамется некий Юрий Кропотов. Помаленьку накапливается достойный клинический и теоретический базис. Это гораздо интересней тех шлемов на голове.

А тот пацан с серьгой, судя по монтажу, может только брови морщить... Преждевременные морщины опять же, может и миоклонические прояления.... Зачем... В чем фишка - не понятно...

А обычному человеку баловаться без нужды с своим ЭЭГ вообще-то не стоит - можно получить нечто от легкой депрессии до пароксизмальных вспышек прямо за компом...

Сергей Ш.
12.12.2008, 12:33
У меня очень неважные впечатления от того, что происходит с БОС в России. Еще больше крен в коммерциализацию, чем на Западе, и, соответственно, еще больше надувания щек и выдавания желаемого за действительного, и еще меньше профессионализма. Даже в работах по ИМК науки больше.

Со Стерманом Каплан недавно виделся, но, скорее всего, они обсуждали другие темы. Работами на стыке БОС и ИМК он (Каплан) продолжает заниматься, но новых интересных публикаций пока не было (надеюсь, будут через некоторое время).

Бедолага
12.12.2008, 12:42
Могу дать ссылку на книжку Юрия Кропотова

"Quantitative EEG, Event-Related Potentials and Neurotherapy"
by Juri Kropotov

Насчет коммерциализации: я не знаю ни одной системы нейроБОС в России, которая как-то хоть могла бы сравниться с том, что делают сейчас на западе ведущие специалисты в этой сфере.

Максимум: тренинг по традиционном спектру ЭЭГ на 1-2 каналах.

СМР -тренинг или тета/бета тренинг. Да майнд-машины какие-нибудь, которые больше годятся для провокации пароксизмов... Про z-score никто и не слышал. Про тренинг по когерентности никто не слышал. Про ЛОРЕТУ никто не слышал.

На западе тоже много шарлатанов, но есть и серьезные люди: Джоел Любар, тот же Стерман, Тетчер и другие. Если нужно дам ссылки на его (Тетчера) прекрасную последнюю статью про анализ коннективности и фазовой динамики при аутизме. Там есть прямые приложения для нейроБОС...

UltraCortex
12.12.2008, 15:19
А обычному человеку баловаться без нужды с своим ЭЭГ вообще-то не стоит - можно получить нечто от легкой депрессии до пароксизмальных вспышек прямо за компом...

Вообще-то, при воображаемых движениях человек обычно на свою ЭЭГ не смотрит, он смотрит на результаты по БОС. Это комплексная оценка усилий (как правило, небольшой размерности), в которую многоканальная ЭЭГ входит в качестве образующего фактора. Если человек психически адекватен и без явных неврологических проблем, вреда в принципе не должно быть :wink: Кроме порции отрицательных эмоций в случае рассогласования желаемого с действительным :biggrin: Кроме того, это мощный тренинг внутренних состояний (кому-то, думаю, это может оказаться полезным).

Сергей Ш.
13.12.2008, 00:12
Использование когерентности для БОС меня настораживает: обычно она сильно коррелирует с мощностью соответствующих ритмов. Использование Лореты тоже не очень радует: почему именно Лорета, а не, к примеру, независимые компоненты или лапласиан? Боюсь, основная мотивация - в том, что в ней легко получить более "научно" выглядящие картинки. Хотя должен оговориться, что детально в эти работы я не вникал.

Чем мне нравится ИМК (и вообще многим людям, работающим с ним) - это тем, что в нем сразу видно: работает или не работает. Ну, конечно, после того, как разберешься с артефактами - но разобраться с ними обычно совсем несложно. Совсем другое дело - разбираться, то ли эффект от той или иной методики БОС вполне физиологический, то ли это плацебо-эффект (который, конечно, тоже может быть очень полезным, но у меня все-таки основная задача - понять механизмы).

Согласен с UltraCortex в том, что ИМК может быть хорошим способом тренировки. Более того, мне кажется, очень возможно, что сугубо игровое взаимодействие с ИМК в каких-то случаях может оказывать и терапевтический эффект. Пока что этим серьезно не занимались, насколько я могу судить.

Leila
13.12.2008, 14:25
Сергей, спасибо за приглашение в Москву. Но я смогу приехать только весной, это еще будет актуально?
Хотелось бы почитать работы российских ученых,неужели у нас так мало отечественных разработок в этой области?
Кстати, я сама из Воронежа, нет ли у вас более подробной информации о разработках ВГУ?

Сергей Ш.
13.12.2008, 19:10
Leila, весной, скорее всего, мы тоже будем проводить похожие эксперименты, хотя и не все время - более точно я мог бы сказать уже ближе к этому времени.

Отечественных работ пока что, действительно, очень мало - все-таки это довольно новая и непростая область. Я знаю только три публикации в рецензируемых журналах:

Mikhaĭlova ES, Chicherov VA, Ptushenko EA, Shevelev IA. (http://www.ncbi.nlm.nih.gov/pubmed/18689241?ordinalpos=3&itool=EntrezSystem2.PEntrez.Pubmed.Pubmed_ResultsP anel.Pubmed_DefaultReportPanel.Pubmed_RVDocSum)
[Spatial gradient of P300 area of the brain visual evoked potential in the brain-computer interface paradigm]
Zh Vyssh Nerv Deiat Im I P Pavlova. 2008 May-Jun;58(3):302-8.

Konyshev VA, Karlovskiĭ DV, Mikhaĭlova ES, Slavutskaia AV, Avdeĭchik VG, Shmelev AS, Shevelev IA. (http://www.ncbi.nlm.nih.gov/pubmed/17461017?ordinalpos=9&itool=EntrezSystem2.PEntrez.Pubmed.Pubmed_ResultsP anel.Pubmed_DefaultReportPanel.Pubmed_RVDocSum)
[Study of the letter and word recognition by the brain-computer-interface with P300 wave of human visual evoked potential]
Ross Fiziol Zh Im I M Sechenova. 2007 Feb;93(2):141-9.
(соответствует классической работе Farwell, Donchin 1988)

http://brain.bio.msu.ru/papers/Kaplan_Lim_Jin_Park_Byeon_Tarasova_2005_IntJNeuroS ci_UnconscCondition_ColorBCI.pdf
A.Ya.Kaplan, J.J.Lim, K.S.Jin, B.W.Park, J.G.Byeon, S.U.Tarasova. Unconscious operant conditioning in the paradigm of brain-computer interface based on color perception. Intern. J. Neuroscience. 2005;115:781-802.

+ еще довольно близки работы Г.А.Иваницкого - см http://ihna.ru/book.php?l=1&id=308

Про ВГУ, увы, знаю только то, что было в новостях.

Leila
13.12.2008, 21:19
Сергей, спасибо, при случае обязательно заеду



Про ВГУ, увы, знаю только то, что было в новостях.

Ну что ж, попробую про воронеж сама что-нибудь узнать

Бедолага
15.12.2008, 06:19
Использование когерентности для БОС меня настораживает: обычно она сильно коррелирует с мощностью соответствующих ритмов.


Как показывает анализ - совсем не всегда. Как наиболее наглядный пример: клинической практике давно известны случаи т.н. (простите за мой перевод) "принудительной нормализации", когда у эпилептика под воздействием препаратов показатели мощностей спектров приходят в норму, при этом развивается тяжелый психоз - и как показывает дальнейший анализ, показатели коннективности (когерентности) грубо нарушены.

Когерентность - это мера функциональной и структурной связи между разными участками мозга. Тут ее следует отличать от эффекта объемного проводника.

По поводу ICA и лапласианов - математически доказано, что эти методы грубейшим образом искажают показатели когерентности и фазовые распределения спектра, а эти показатели слишком важны что бы их мерить как попало. Да и потом, ну что они нового дадут по сравнению с FFT? Принципиально ничего. Ну вот сейчас ряд нейроБОС используют он-лайн вейвлет анализ (преобразоваиня Габора) - но это на мой взгляд красивый причиндал, не более, ничего принципиального по сравнению с FFT это не дает. Но может помогает ловить быстрые переходные (transients) феномены ЭЭГ...


Использование Лореты тоже не очень радует: почему именно Лорета, а не, к примеру, независимые компоненты или лапласиан? Боюсь, основная мотивация - в том, что в ней легко получить более "научно" выглядящие картинки.

ЛОРЕТА используется в силу ее доступности во первых, во вторых в силу здравой идеи, опять же подтвержденной клинически, что многие функциональные нарушения напрямую связаны с конкретными областями коры, т.е с понятием "локализация". ЛОРЕТА как раз и помогает пространственно локализовать зоны отклонения плотностей тока от нормативных. А нейроБОС позволяет в реальном режиме времени научить пациента нормализовывать эти отклонения, тем самым борясь с клиническими проявлениями этих отклонений.


Совсем другое дело - разбираться, то ли эффект от той или иной методики БОС вполне физиологический, то ли это плацебо-эффект (который, конечно, тоже может быть очень полезным, но у меня все-таки основная задача - понять механизмы).


Исследований метода нейроБОС в формате двойных слепых контролируемых испытаний уже появилось немало. И рабочие объяснения механизмов также существуют, вполне здравые.

Но прошу обратить внимание, метод нейроБОС - это всегда научение. И как любой метод поведенческой терапии он обладает спецификой, свойственной процессу обучения. Где гарантия, что из любого дворового хулигана вы воспитаете PhD в нейрофизиологии? Нет гарантии...
Слишком много зависит от таких неспецифических факторов, как мотивация, способность к обучению и элементарная настойчивость.

Все, более эту ветку грузить офф-топом не буду.

С уважением,

Сергей Ш.
15.12.2008, 10:50
Когерентность - это мера функциональной и структурной связи между разными участками мозга. Тут ее следует отличать от эффекта объемного проводника.
Когерентность - это физический показатель, в который в первую очередь как раз входят эффекты объемного проведения. Как их из нее удалить - никто не знает. Можно лишь обойти косвенными методами (напр., Князева использовала удаленные симметричные точки двух полушарий). Когерентность может варьировать даже как функция отношения сигнал-шум (и с этим мало что могут сделать даже более продвинутые оценки вейвлет-синхронности и вейвлет-когерентности).


По поводу ICA и лапласианов - математически доказано, что эти методы грубейшим образом искажают показатели когерентности и фазовые распределения спектра, а эти показатели слишком важны что бы их мерить как попало. Да и потом, ну что они нового дадут по сравнению с FFT? Принципиально ничего.
Мы говорили не про спектральный анализ (метод совершенно из другой области, причем его можно применять как раз после получения лапласиана или независимых компонентов), а про Лорету. Если интересует активность конкретных участков коры мозга (а ведь это существенно в БОС?), то как раз она могут оцениваться независимыми компонентами или лапласианом (последним, конечно, лишь в случае, если участок коры перпендикулярен поверхности головы) более прозрачно, чем Лорета.

Я знаю отдельные работы, где БОС изучался вполне грамотно, но говорил про общий фон, в т.ч. конкретно в России.

Кстати, если есть вопросы по БОС-работам О.М.Базановой (http://www.ncbi.nlm.nih.gov/sites/entrez?cmd=search&term=bazanova+om), у меня послезавтра будет возможность ее подробно расспросить (она у нас на лабораторном семинаре делает некоторое сообщение).

Бедолага
15.12.2008, 12:06
Мы говорили не про спектральный анализ (метод совершенно из другой области, причем его можно применять как раз после получения лапласиана или независимых компонентов), а про Лорету.
Упс, теперь понятно. Соглашусь, но работающих на этом систем я пока не видел. ВОзможно и будет.

За ссылку спасибо, обязательно взгляну!

С уважением,

Бедолага
15.12.2008, 12:24
Да, забыл добавить, действительно проблема объемного проводника решена полностью и корректно быть не может, но есть приемлемые решения, основанные на простейшей теории комплексной переменной, детали см. здесь:

http://www.appliedneuroscience.com/Brain%20Connectivity-A%20Tutorial.pdf

Работа Роберта Тетчера. Там все примеры можно легко воспроизвести на карманном калькуляторе и убедиться в пригодности предложенных методик.

Сергей Ш.
15.12.2008, 13:16
Спасибо; но какое именно место надо там читать? очень уж многабукафф...

Если речь про метод, предложенный Nolte et al. (Guido Nolt, Ou Bai, Lewis Wheaton, Zoltan Mari, Sherry Vorbach, Mark Hallett. Identifying true brain interaction from EEG data using the imaginary part of coherency. Clinical Neurophysiology 115 (2004) 2292–2307 (http://ida.first.fhg.de/~nolte/imag_coh.pdf)), то должен признаться, что я про него просто забыл. Когда я первый раз увидел эту статью, то почему-то решил, что это сугубо теоретические размышления и на практике работать они не будут, но этим летом на когнитивной конференции Курганский и Мачинская (http://www.neurodev.net.ru/index.php?id=19) своими результатами, полученными с его помощью, убедили меня в обратном. У них он очень даже неплохо работал! Хотя этот метод, правда, не применим к слишком близким областям, но многие важные задачи, похоже, вполне мог бы решать.

Так что, о чем бы ни было написано у Тэтчера, большое спасибо за напоминание! :)

Бедолага
15.12.2008, 13:21
Совершенно верно, ссылка Нолта абсолютно в кассу! Все работает на практике и уже не менее лет эдак 6!

Бедолага
16.12.2008, 09:56
С большим удовольствие прочитал статью Бажановой
"Biofeedback in Optimizing Psychomotor Reactivity: II. The Dynamics of Segmental a -Activity Characteristics" by O. M. Bazanova, E. G. Verevkin, and M. B. Shtark

Знаете, как бы чувствуется руководящая и направляющая (в хорошем смысле) рука Каплана А.Я. в части сегментированного описания ЭЭГ.

Самое главное, что к этой теме изучения временной динамики флуктуаций амплитуд традиционных спектров подходят с разных сторон, но как бы все сходятся к одному мнению, что это очень благодатная область для исследований.

У меня лично такое мнение, что традиционный БОС СМР-ритма Стермана направлен как раз не на то, чтобы просто повышать мощность этого спектра, а на формирование существенно "веретенной" морфологии сенсомоторных спектров. Этакие медленные вспышки (bursts). Известно , что за "веретена" отвечают ретикулярные ядра таламуса и как раз именно они играют ключевую роль в процессе схода мозга эпилептика из относительно динамически устойчивого состояния равновесия в spike-and-wave пике...

Бедолага
17.12.2008, 05:00
Уважаемые коллеги, дабы как-то компенсировать мой отчаянный флуд в сей важной теме как BCI, хочу в порядке компенсации за моральный ущерб выложить ссылку на такую книжку:

Brain-Computer Interfaces: An international assessment of research and development trends
By Theodore W. Berger, John K. Chapin, Greg A. Gerhardt, Dennis J. McFarland, Jos&#233; C. Principe, Walid V. Soussou, Dawn M. Taylor, Patrick A. Tresco

--------------------------------------------------------------------------------



Publisher: Springer
Number Of Pages: 281
Publication Date: 2008-11-07
ISBN-10 / ASIN: 1402087047
ISBN-13 / EAN: 9781402087042
Binding: Hardcover


--------------------------------------------------------------------------------

Product Description:


Brain-computer interface (BCI) research deals with establishing communication pathways between the brain and external devices where such pathways do not otherwise exist. Throughout the world, such research is surprisingly extensive and expanding. BCI research is rapidly approaching a level of first-generation medical practice for use by individuals whose neural pathways are damaged, and use of BCI technologies is accelerating rapidly in nonmedical arenas of commerce as well, particularly in the gaming, automotive, and robotics industries. The technologies used for BCI purposes are cutting-edge, enabling, and synergistic in many interrelated arenas, including signal processing, neural tissue engineering, multiscale modeling, systems integration, and robotics.

This WTEC study gathered information on worldwide status and trends in BCI research to disseminate to government decisionmakers and the research community. The study reviewed and assessed the state of the art in sensor technology, the biotic-abiotic interface and biocompatibility, data analysis and modeling, hardware implementation, systems engineering, functional electrical stimulation, noninvasive communication systems, and cognitive and emotional neuroprostheses in academic research and industry. The study also compared the distinctly different foci, range, and investment levels of BCI research programs in the United States, Canada, China, Europe, and Japan.


Жми! (http://rapidshare.com/files/147047825/1402087047.rar)

Сергей Ш.
17.05.2009, 13:40
Поскольку в этой теме больше всего ссылок, до кучи пусть будут и эти:

http://forum.neuroscience.ru/showthread.php?t=3448
ИМК
- еще одна тема на этом форуме

http://forum.neuroscience.ru/blog.php?b=109
ИТАР-ТАСС принял ИМК за телепатию: "В мировой науке – премьера"
- в моем блоге :)

Бедолага
19.06.2009, 07:53
Пару дней назад показали сюжет по ОРТ про BCI, но как-то скомкано и мутно...

http://www.1tv.ru/news/n145817

Типа того, что на основе теоретических разработок российских ученых, немецкие специалисты разработали систему управления каким-то игральным автоматом, фактически "одноруким бандитом" при помощи электрических сигналов со скальпа.

Так и не понял разделение труда в этом российско-немецком тандеме: кто и что там придумал? Кто придумал снимать сигналы со скальпа, а кто - подсоединить к системе игральный автомат? И зачем это все?

Помочь реальным инвалидам приобщиться к игорному бизнесу и спустить пару-тройку лишних евро?

Свести реально однорукого человека с "одноруким бандитом"?

Я не ерничаю, просто не смог понять из передачи основную идею и новизну всего этого действа.

С уважением,

Сергей Ш.
19.06.2009, 11:01
Спасибо за ссылку!

А где тут про игорный бизнес?


12:10 - 17 июня 2009
В Германии испытывают устройство, перехватывающее сигналы мозга

Вести компьютерную игру силой мысли - в Берлинском техническом университете создали прибор, который способен сигналы, посылаемые мозгом, преобразовывать в движение.

Подобные технологии существуют в мире не один год, но лишь в Германии удалось заставить технику оперативно реагировать на любые импульсы. Сами учёные считают, что за их разработкой большое будущее.

Репортаж Дмитрия Сошина

Старый электрический бильярд в современной лаборатории выглядит динозавром. Но чтобы в него сыграть, выстраиваются в очередь. Правила старые, только играют в него не руками, а головой. Чтобы ударить по шарику, не нужно давить на кнопку, надо это мысленно себе представить.

Хелге Грюнер, студент: "Это, в принципе, несложно. Я мысленно сжимаю левую руку в кулак, потом распрямляю указательный палец и жму на кнопку".

Эти игры разума не всем под силу. Без хорошего воображения и концентрации тут нечего делать. Думать надо быстро - иначе молоток не ударит по шарику. Датчики, установленные на голове, считывают мысли - слабые электромагнитные импульсы.

Другой прибор усиливает сигналы мозга и преобразует их в простые электронные команды: они и управляют игровым автоматом. Математическую модель рассчитали в Москве, собирали прибор в Берлине в лаборатории информатики технического университета. Ученые говорят, что это не игрушка, а очень полезная вещь.

Клаус Роберт Мюллер, профессор Берлинского технического университета: "Особенно для парализованных людей, для инвалидов. С помощью нашего прибора у них появляются виртуальные руки. Они смогут работать на компьютере, управлять инвалидной коляской".

Мюллер - руководитель одного из ведущих проектов по ИМК - Berlin BCI http://ida.first.fhg.de/bbci/index_en.html

А вот про Москву впервые слышу. Люди в BBCI, наверное, лучше других групп в мире, серьезно занимающихся неинвазивным ИМК, разбираются в соответствующих методах анализа данных (кое-что из них и сами разрабатывают). Зачем им Москва?! Там есть очень толковый парень из России, Вадим Никулин, но он, во-первых, не математик, а во-вторых, из Петербурга, а не из Москвы...

"лишь в Германии удалось заставить технику оперативно реагировать на любые импульсы" - чепуха, даже в Германии это не удалось и не удастся (возможно, они просто имели в виду, что их ИМК работает быстрее обычных)

Про эту их игровую разработку уже несколько лет везде пишут. Но они до сих пор не смогли ее довести до коммерческого продукта - не так уж все просто.

Бедолага
19.06.2009, 11:03
Ну вот этот самый "электрический биллиард" - и есть самый настоящий игровой автомат.

Сергей Ш.
19.06.2009, 12:13
Я не знаю, надеются ли в BBCI получить на выходе игру, полезную инвалидам (в качестве эдакого тренировочногоь средства для поддержания активности систем мозга или просто для развлечения), но с точки зрения разработки ИМК-технологии игровой ИМК действительно неплохая вещь. Во-первых, в исследованиях и разработках требуется регулярное интенсивное участие испытуемых, и проще всего вовлекать их в процесс, когда они получают от него удовольствие. Во-вторых, пресса очень охотно клюет, публика с ходу врубается, и становится проще привлекать финансирование.

Про еще один аспект см в конце http://akzia.ru/hitech/29-04-2008/2243.html :)

UltraCortex
19.06.2009, 13:19
Спасибо за ссылочку! Пусть это будет нескромностью, но мы их обскакали! Я два дня назад защитил диплом инженера по теме ИМК :cool:. И вот иллюстрация одного сеанса работы нашей системы (ничего не правлено, все 13 траекторий как есть). Задача - довести "объект" из центра до цели внизу экрана. "Объект" изначально направлен вверх, так что его нужно ещё и развернуть. Все траектории заканчиваются касанием внешних границ объекта и цели.
Среднее время - 26 с (включая две больших петли), лучшее время (вертикальная траектория) - 15.6 с, "идеальное" (расчётное) - 14.2 с. Вот оно как.

Сергей Ш.
20.06.2009, 14:47
Поздравляю! И с дипломом, и с результатами - выглядит очень хорошо!

Но есть вопросы:
- насколько долго надо тренироваться?
- какому проценту испытуемых удается достичь таких результатов (или близких)?
- это одномерное управление (только направлением движения)?

Собираетесь ли публиковать статьи по этой работе? (или, мб, уже что-то есть?)

UltraCortex
20.06.2009, 16:27
Спасибо!
1. Результаты на картинке мои. Средний процент распознаваний: 80-85% на 4 командах (влево-вправо-вперёд-стоп). Так что управление двумерное, четырёхкомандное :cool:
2. Такие же результаты (м.б. чуть хуже, 75%) показал испытуемый 3 недели назад, который провёл в "шапке" 20 минут, до этого ничем похожим не занимался. На прилагаемой картинке - его траектория (зелёный кружок - цель).
3. Общее время тренировки - порядка 15-20 минут для всех испытуемых (происходит стабилизация результатов).
4. Статьи назревают :biggrin:

Сергей Ш.
20.06.2009, 17:38
Ну, тогда совсем хорошо!

Вам надо только побольше людей набрать, но, похоже, должно работать в целом весьма прилично.

Я, правда, не совсем понимаю, зачем в этой парадигме нужны "вперед" и "стоп" - ведь без них траектория могла бы быть той же самой?

UltraCortex
20.06.2009, 20:05
Вам надо только побольше людей набрать, но, похоже, должно работать в целом весьма прилично.

Я, правда, не совсем понимаю, зачем в этой парадигме нужны "вперед" и "стоп" - ведь без них траектория могла бы быть той же самой?

Испытуемых было предостаточно :)
Команда "вперёд" физически перемещает "объект" (самоходную гусеничную тележку с геометрически выделенным направлением. В общем, трактор с хоботом, по желанию заказчиков :laugh:) из одной точки в другую. По командам "влево" и "вправо" объект, как и его реальные прототипы, останавливается и разворачивается на месте. Так что без "вперёда" - никуда. Вот стоп, похоже, действительно не очень был нужен - тормоза придумал трус (с) :biggrin:, но таково было изначальное требование, да и при реальном управлении, например, инвалидной коляской, надо же когда-нибудь останавливаться, и не только по факту касания внешними габаритами... :tongue:

Сергей Ш.
20.06.2009, 21:47
Ага, понятно. Я просто решил по траекториям, что это работа с курсором - там вполне можно обходиться без старта и остановки. Вообще с физическими объектами должно быть интереснее и сложнее, чем с курсором - появляется трехмерность пространства, более сложное распределение внимания и т.п. С коляской должно быть еще сложнее - добавится инерционность и повысится цена столкновений (а также всякие пертурбации в ЭЭГ, когда кажется, что столкновение может вот-вот произойти), но вполне возможно, что Вы и эти проблемы преодолеете, раз начало такое удачное.

UltraCortex
21.06.2009, 01:09
В экспериментах с реальным радиоуправляемым устройством общее впечатление от характера движения было такое, как будто им управляет ребёнок, при общей целенаправленности движения. Возможно, в этом проявляется сходство формирования новых навыков (а навык по управлению ИМК для человека, безусловно, новый).

Сергей Ш.
21.06.2009, 01:52
Объяснение выглядит вполне реалистичным, но можно предложить и более простое объяснение: накладывается "шум" от неизбежных вариаций сигнала, не связанных с управлением. Можно было бы даже, наверное, проверить это экспериментально: прикинуть величину этого шума, сгенерировать шум с похожими свойствами, накладывать на сигнал от мышки или джойстика, результат вводить в систему. И посмотреть, будет ли движение похоже на то, что получается при ИМК-управлении :)

Проблема только в том, что, кроме просто шума, могут, наверное, получаться и более хитрые сбои - периодически "соскакивать управление", из-за потери концентрации внимания и по каким-нибудь более специфическим причинам (правда, при таких крупных сбоях не сохранялась бы "общая целенаправленность движения"; но, мб, у вас она сохраняется благодаря техническим особенностям системы - ведь движение в основном происходит по прямой?). Вообще же такие сбои - довольно интересная проблема, мы все хотим ею заняться применительно к ИМК на П300, но есть много других тем, и пока до всего руки не доходят.

kolia
21.06.2009, 08:06
Извиняюсь за то что вмешиваюсь в интересную дискуссию, но не проще ли было разрабатывать программы для этой волны не для интерфейса компьютер-мозг, а интерфейса мобильный телефон- мозг. Связь разумеется через наушники. Это я с точки зрения коммерческой выгоды.:biggrin:

ringo-ring
21.06.2009, 10:56
kolia

Только нужно проследить, чтобы алгоритм не тормозил на слабеньком процессоре сотки ;)

kolia
21.06.2009, 17:08
kolia

Только нужно проследить. чтобы алгоритм не тормозил на слабеньком процессоре сотки ;)
Если бы всё было так просто. Ведь надо будет разработать программу не визуальную, а звуковую, для этой волны.
20 минут уходит только на обучение работать с этой волной на экране компьютера.

UltraCortex
21.06.2009, 17:51
Про "волну" - это в другом разделе (здесь (http://forum.neuroscience.ru/forumdisplay.php?f=31) или здесь (http://forum.neuroscience.ru/forumdisplay.php?f=12)).
ведь движение в основном происходит по прямой? Движение в принципе происходит по прямой (ломаными). Но у состояний, которые мы используем, есть выраженная инерционность, то есть удерживать их легче, чем переключать. Отсюда и вывод про "движение по прямой": повороты на месте на траектории не очень заметны :wink:

CopperKettle
02.07.2009, 10:43
Заглянул на сайт NRN, попался вот этот абстракт обзора, возможно, пригодится:

Nature Reviews Neuroscience 10, 530-540 (July 2009) | doi:10.1038/nrn2653
Opinion:
Principles of neural ensemble physiology underlying the operation of brain–machine interfaces (http://www.nature.com/nrn/journal/v10/n7/abs/nrn2653.html)
Miguel A. L. Nicolelis & Mikhail A. Lebedev


Research on brain–machine interfaces has been ongoing for at least a decade. During this period, simultaneous recordings of the extracellular electrical activity of hundreds of individual neurons have been used for direct, real-time control of various artificial devices. Brain–machine interfaces have also added greatly to our knowledge of the fundamental physiological principles governing the operation of large neural ensembles. Further understanding of these principles is likely to have a key role in the future development of neuroprosthetics for restoring mobility in severely paralysed patients.

Сергей Ш.
02.07.2009, 12:21
+ Есть еще одна совсем свежая любопытная статья (хотя и лишь по одной из разновидностей ИМК):

http://www.ncbi.nlm.nih.gov/pubmed/19545601
Guger C, Daban S, Sellers E, Holzner C, Krausz G, Carabalona R, Gramatica F, Edlinger G. How many people are able to control a P300-based brain-computer interface (BCI)? Neurosci Lett. 2009 Jun 21. [Epub ahead of print]
g.tec Medical Engineering GmbH, Herbersteinstrasse 60, 8020 Graz, Austria.

... In this study, 100 subjects tested a P300-based BCI system to spell a 5-character word with only 5min of training. EEG data were acquired while the subject looked at a 36-character matrix to spell the word WATER. Two different versions of the P300 speller were used: (i) the row/column speller (RC) that flashes an entire column or row of characters and (ii) a single character speller (SC) that flashes each character individually. The subjects were free to decide which version to test. Nineteen subjects opted to test both versions. The BCI system classifier was trained on the data collected for the word WATER. During the real-time phase of the experiment, the subject spelled the word LUCAS, and was provided with the classifier selection accuracy after each of the five letters. Additionally, subjects filled out a questionnaire about age, sex, education, sleep duration, working duration, cigarette consumption, coffee consumption, and level of disturbance that the flashing characters produced. 72.8% (N=81) of the subjects were able to spell with 100% accuracy in the RC paradigm and 55.3% (N=38) of the subjects spelled with 100% accuracy in the SC paradigm. Less than 3% of the subjects did not spell any character correctly. People who slept less than 8h performed significantly better than other subjects. Sex, education, working duration, and cigarette and coffee consumption were not statistically related to differences in accuracy. The disturbance of the flashing characters was rated with a median score of 1 on a scale from 1 to 5 (1, not disturbing; 5, highly disturbing). This study shows that high spelling accuracy can be achieved with the P300 BCI system using approximately 5min of training data for a large number of non-disabled subjects, and that the RC paradigm is superior to the SC paradigm. 89% of the 81 RC subjects were able to spell with accuracy 80-100%. A similar study using a motor imagery BCI with 99 subjects showed that only 19% of the subjects were able to achieve accuracy of 80-100%. ...
Сильно смахивает на рекламу, что вполне естественно для коммерческой фирмы (g.tec); но, как бы то ни было, теперь всем в той или иной мере придется ориентироваться на эти показатели.

Сергей Ш.
15.10.2009, 00:30
Очередное подтверждение того, что на вопрос реально ли в России можно ответить положительно:

http://grani.ru/Society/Science/m.160559/images/42375.html

Классификатор строился по 2 минутам ЭЭГ (существенно для игровых приложений!). На стимуляцию при вводе одного фрагмента картинки уходило 8 секунд (200 мс между началами подсветок Х 8 подсветок в цикле Х 5 циклов).

shurikon
04.01.2010, 01:07
"Интерфейс "мозг - компьютер":реально ли в России?"

- На сегодня есть подвижки в этом направлении ? Ведутся такие разработки в Росии ?
А может в мире уже есть существенные решения ?

Вербер
04.01.2010, 01:32
Всё это давно известно и ни чего нового в этих направлениях исследований не будет в ближайшие 50 лет однако делается новое в том плане что системы становятся всё более компактными и автономным вплоть до того что стали создавать интерфейсы с помощью которых инвалиды могли бы ориентироваться на местности.

Сергей Ш.
04.01.2010, 14:59
Всё это давно известно и ни чего нового в этих направлениях исследований не будет в ближайшие 50 лет однако делается новое в том плане что системы становятся всё более компактными и автономным вплоть до того что стали создавать интерфейсы с помощью которых инвалиды могли бы ориентироваться на местности.

Вы говорите явно не про ИМК, а про что-то другое.

Сергей Ш.
04.01.2010, 15:01
"Интерфейс "мозг - компьютер":реально ли в России?"

- На сегодня есть подвижки в этом направлении ? Ведутся такие разработки в Росии ?
А может в мире уже есть существенные решения ?

Судя по Вашим вопросам, Вы только заголовок темы прочитали :unsure:

В теме уже 10 страниц. Пожалуйста, почитайте сначала хотя бы некоторые, и затем задавайте вопросы - желательно более конкретные.

shurikon
05.01.2010, 02:47
"Интерфейс "мозг - компьютер":реально ли в России?"

- На сегодня есть подвижки в этом направлении ? Ведутся такие разработки в Росии ?
А может в мире уже есть существенные решения ?

Судя по Вашим вопросам, Вы только заголовок темы прочитали :unsure:

В теме уже 10 страниц. Пожалуйста, почитайте сначала хотя бы некоторые, и затем задавайте вопросы - желательно более конкретные.
На страницах представлены устаревшие данные Есть изменения?
В этом и вопрос, есть последние разработки ?
Конкретно, что было сделано в России в 2009 году в направлении работы интерфейса мозг – компьютер ?

Сейчас занимается активно этим решением А.Я.Каплан ? А то в его материалах указаны года 2005-06.
К.В. Анохин ? Кроме лекции есть на что предметно посмотреть ?
Кто-то ещё работает в этом направлении ?

И очему-то не открывается ваша ссылка, представленная в этом сообщении:

Очередное подтверждение того, что на вопрос реально ли в России можно ответить положительно:

http://grani.ru/Society/Science/i.160559-42375.html

Классификатор строился по 2 минутам ЭЭГ (существенно для игровых приложений!). На стимуляцию при вводе одного фрагмента картинки уходило 8 секунд (200 мс между началами подсветок Х 8 подсветок в цикле Х 5 циклов).

Сергей Ш.
05.01.2010, 13:03
Не настолько уж устарели эти страницы - далеко не каждый месяц все меняется.

Сейчас как раз доделываем страничку по ИМК нашей группы, после праздников выложим. Там будет в т.ч. и "на что предметно посмотреть" (видео) :)

Что с гранями, не знаю, мб, это я сам ссылку некорректно скопировал. Видимо, я имел в виду вот эту фотографию: http://grani.ru/Society/Science/m.160559/images/42375.html (я сейчас исправил ссылку в том посте).

Про демонстрацию на фестивале науки еще есть моя короткая заметка в ТрВ №20 http://trv-science.ru/2009/10/13/ (стр. 13).

Лекцию Каплана на нейрошколе обещали выложить на сайте МИФИ, возможно, тоже будет после праздников.

shurikon
06.01.2010, 19:39
Ок, спасибо! Ждём данных.

Интересно, что это за ссылка на эксперимент "B2B – Brain To Brain: A BCI Experiment - May 2009":
http://www.youtube.com/watch?v=93p7oDkA5WA&feature=related

This is a BCI experiment whereby one person uses BCI to transmit a series of digits over the internet to another person whos computer receives the digits and transmits them to the second users thro...
А вот и сама статья материала:
http://www.membrana.ru/lenta/index.html?9725

Сергей Ш.
07.01.2010, 15:25
ИМК посвящен целый раздел форума:

http://forum.neuroscience.ru/forumdisplay.php?f=39
Нейроинтерфейсы и биологическая обратная связь

Так что давайте в этой теме писать только про Россию.

Что касается "B2B", то это, мне кажется, в основном (или исключительно) рассчитано на привлечение интереса широкой публики. Там просто объединили уже давно известное в красиво подаваемой упаковке. Смысл в этом, конечно, есть, такие акции помогают поддерживать хорошее отношение налогоплательщиков и инвесторов; но это само по себе не наука и даже не технологии.

Сергей Ш.
08.01.2010, 20:13
Данные, ес-но, это не для форума, а обещанная ссылка на страницу по нашим ИМК-работам - вот:

http://brain.bio.msu.ru/bci_r.htm

Прямо скажем, пиара там пока что больше, чем статей - требования жизни порою обгоняют ресеч :blush: Но будем постепенно исправлять положение...

Еще большая просьба обратить внимание на объявление о приеме на работу в нашу группу для программистов. В частности, ежели есть коллеги или знакомые, которым это мб интересно - передайте им, пожалуйста, ссылку:

http://forum.neuroscience.ru/showthread.php?t=4220
Нужны программисты в проекты по интерфейсу мозг-компьютер и по изучению мозга (МГУ)

Vadim
10.01.2010, 07:33
Для Сергея Ш. Огромное спасибо за крайне интересные данные по Вашим разработкам!

ringo-ring
11.01.2010, 22:55
Данные, ес-но, это не для форума, а обещанная ссылка на страницу по нашим ИМК-работам - вот

http://brain.bio.msu.ru/bci_r.htm

Прямо скажем, пиара там пока что больше, чем статей - требования жизни порою обгоняют ресеч :blush: Но будем постепенно исправлять положение...


Вашим?...
Впечатление страничка произвела, честно говоря, не самое хорошее:
один сплошной пиар профессора Каплана, при этом - ни слова о тех, кто действительно занимался разработкой всех этих управляемых силой мысли игрушек.



Еще большая просьба обратить внимание на объявление о приеме на работу в нашу группу для программистов. В частности, ежели есть коллеги или знакомые, которым это мб интересно - передайте им, пожалуйста, ссылку:

http://forum.neuroscience.ru/showthread.php?t=4220
Нужны программисты в проекты по интерфейсу мозг-компьютер и по изучению мозга (МГУ)

Стоило из группы уйти программисту, как вся работа гениального АЯ Каплана встала. Наталкивает на определенные мысли... :wink:

diferal
12.01.2010, 01:54
Данные, ес-но, это не для форума, а обещанная ссылка на страницу по нашим ИМК-работам - вот:
http://brain.bio.msu.ru/bci_r.htm
Посмотрел. Не впечатлился. Публикаций, можно сказать, вообще нет. Так что прогресса в этом направлении не наблюдается.
В последнем видео "игровой позиционный ИМК" написано, что это разработано в ГрИМЧ. Я так понял, что разработан только GUI с пазлом. Все же П300 для ИМК в подобных парадигмах используют уже более 20 лет. Так что эта 'разработка' не более чем работа программиста с графикой.
С теми же пазлами вообще интересно во втором ролике (там где дети собирают этот пазл). Я так понимаю, что в матрице, где изначально находятся элементы для составления пазла, выбор происходит в стандартной системе набора текста (т.е. в случайном порядке мигают строки и столбцы). Когда элементов в масиве много, то это оправдано. Но вот когда у детей осталось толко два элемента для выбора (причем оба элемента находятся в одном столбце), мигание строк и столбцов абсурдно.
В третьем ролике, где какой-то мужчин управляет машинкой, видно, что на голове-то электродов нет. Зато измеряется окулограмма. В полне возможно, так же мышечная активность. Ну и где здесь мозговая активность? Это же артефакты.
В четвертом ролике, где юноша поворачивает машику сжимая руки, все же речь не о мысленном управлении. Да и видно, что шапочка ЭЭГ у него 'съехала' на правый бок. Да и слайд там почему-то с gtec-овской презентации :)
В общем не понял, что вообще было сделано самостоятельно этой группой. Разве что разработка нового графического интерфеса для пазлов. Но это работа программиста.
Ну а комменты репортеров и ответы на них вообще рулят. :biggrin:

summer
12.01.2010, 03:43
Данные, ес-но, это не для форума, а обещанная ссылка на страницу по нашим ИМК-работам - вот

http://brain.bio.msu.ru/bci_r.htm

Прямо скажем, пиара там пока что больше, чем статей - требования жизни порою обгоняют ресеч :blush: Но будем постепенно исправлять положение...


Вашим?...
Впечатление страничка произвела, честно говоря, не самое хорошее:
один сплошной пиар профессора Каплана, при этом - ни слова о тех, кто действительно занимался разработкой всех этих управляемых силой мысли игрушек.

Это очень частое явление - люди интересуются тем, кто организовал исследования и создал лаборторию в большей степени, чем теми, кто сделал это исследование своими руками. Везде так, повсеместно. Когда Сергей говорит, что это "наши работы", он имеет в виду, что эти работы сделаны в лаборатории, где он работает.




Еще большая просьба обратить внимание на объявление о приеме на работу в нашу группу для программистов. В частности, ежели есть коллеги или знакомые, которым это мб интересно - передайте им, пожалуйста, ссылку:

http://forum.neuroscience.ru/showthread.php?t=4220
Нужны программисты в проекты по интерфейсу мозг-компьютер и по изучению мозга (МГУ)

Стоило из группы уйти программисту, как вся работа гениального АЯ Каплана встала. Наталкивает на определенные мысли... :wink:

На какие? Поделитесь.

Vadim
12.01.2010, 09:46
RE: Стоило из группы уйти программисту, как вся работа гениального АЯ Каплана встала. Наталкивает на определенные мысли...

Не знаю на какие именно мысли это вас наталкивает, но видимо на весьма неправильные. В противном случае было бы понимание, что программист и исследователь работают как полноправные напарники в весьма разных сферах, органично дополняя друг друга. Поэтому уход ключевого программиста или возникновение задержек с программной реализацией вспособны остановить проект. Но это не есть основание для вашего вывода, что именно программист решает проблемы в моделируемой предметной сфере или планирует. Отнюдь. Более того. Постановка задачи для программиста и общая идея софта как правило это также заслуга исследователя.

ringo-ring
12.01.2010, 10:58
Не знаю на какие именно мысли это вас наталкивает, но видимо на весьма неправильные. В противном случае было бы понимание, что программист и исследователь работают как полноправные напарники в весьма разных сферах, органично дополняя друг друга.


Это в идеале так. К этому идеалу, конечно, надо стремится. Но фактически то, что имеем сейчас - исследовательской работы почти никакой, 90% того что, сделано - сделано за счет программистов + административного таланта рук. группы. Но почему-то все выдается за оригинальные научные разработки рук. группы. Такое несоответствие не может не вызывать справедливого возмущения.



Постановка задачи для программиста и общая идея софта как правило это также заслуга исследователя.

Разработка концепций игрушек непосредственно к научной работе тоже не относится. Так что заслугой исследователя это назвать нельзя.

Близнец
12.01.2010, 11:23
Стоило из группы уйти программисту, как вся работа гениального АЯ Каплана встала
Если действительно встала, то это говорил о слабости руководителя.
Что-то в это слабо вериться...Бывает и такое, но редко.
А проблемы с кадрами постоянны.

Сергей Ш.
12.01.2010, 12:27
Данные, ес-но, это не для форума, а обещанная ссылка на страницу по нашим ИМК-работам - вот:
http://brain.bio.msu.ru/bci_r.htm
Посмотрел. Не впечатлился. Публикаций, можно сказать, вообще нет. Так что прогресса в этом направлении не наблюдается.
В последнем видео "игровой позиционный ИМК" написано, что это разработано в ГрИМЧ. Я так понял, что разработан только GUI с пазлом. Все же П300 для ИМК в подобных парадигмах используют уже более 20 лет. Так что эта 'разработка' не более чем работа программиста с графикой.
С теми же пазлами вообще интересно во втором ролике (там где дети собирают этот пазл). Я так понимаю, что в матрице, где изначально находятся элементы для составления пазла, выбор происходит в стандартной системе набора текста (т.е. в случайном порядке мигают строки и столбцы). Когда элементов в масиве много, то это оправдано. Но вот когда у детей осталось толко два элемента для выбора (причем оба элемента находятся в одном столбце), мигание строк и столбцов абсурдно.
В третьем ролике, где какой-то мужчин управляет машинкой, видно, что на голове-то электродов нет. Зато измеряется окулограмма. В полне возможно, так же мышечная активность. Ну и где здесь мозговая активность? Это же артефакты.
В четвертом ролике, где юноша поворачивает машику сжимая руки, все же речь не о мысленном управлении. Да и видно, что шапочка ЭЭГ у него 'съехала' на правый бок. Да и слайд там почему-то с gtec-овской презентации :)
В общем не понял, что вообще было сделано самостоятельно этой группой. Разве что разработка нового графического интерфеса для пазлов. Но это работа программиста.
Ну а комменты репортеров и ответы на них вообще рулят. :biggrin:

Все Вы не так поняли (кроме, конечно, того, что репортеры - это не наука; с этим нельзя не согласиться :) ).

Нигде в мире "позиционный ИМК" не давал таких результатов. Недавно Гугер вроде бы всех очень лихо обскакал, снизив время обучения классификатора до всего 5 минут. У нас было уже 2 минуты, причем в публичной демонстрации - вокруг толпа народа, шум, вспышки и т.п. За счет чего? За счет того, что постепенно разбираемся в психофизиологии этого дела.

Некоторые чисто научные детали, на которых это основано, мы уже опубликовали (см публикации 2009 года), хотя пока только очень бегло. Но, как я уже говорил, недостаток публикаций будет постепенно ликвидироваться.

Когда в пазле остается всего 1-2 элемента, это самое сложное время. Комп может выбрать любой из неправильных точно так же, как и до этого. Но конфигурация стимульной среды сильно отличается от той, при которой строился классификатор!

на голове-то электродов нет. Зато измеряется окулограмма - на голове электроды тоже есть, это просто несколько разных каналов управления

Цветовой ИМК - это вообще уникальная разработка, правда, пока далее не продолжавшаяся.

Надо будет еще добавить ссылку на диссер Саши Жигалова, там тоже много принципиально нового.

Сергей Ш.
12.01.2010, 12:33
Данные, ес-но, это не для форума, а обещанная ссылка на страницу по нашим ИМК-работам - вот

http://brain.bio.msu.ru/bci_r.htm

Прямо скажем, пиара там пока что больше, чем статей - требования жизни порою обгоняют ресеч :blush: Но будем постепенно исправлять положение...


Вашим?...
Впечатление страничка произвела, честно говоря, не самое хорошее:
один сплошной пиар профессора Каплана, при этом - ни слова о тех, кто действительно занимался разработкой всех этих управляемых силой мысли игрушек.


Вообще-то у Вас была возможность поработать у нас и увидеть, кто этим занимается. Или хотя бы расспросить народ в группе. В корейском проекте Каплан вообще был единственным научным разработчиком. В России участвуют и другие люди (все они - авторы уже опубликованных работ и тех, которые готовятся к публикации), но его вклад везде большой и в ряде случаев основной.

Сергей Ш.
12.01.2010, 12:39
Не знаю на какие именно мысли это вас наталкивает, но видимо на весьма неправильные. В противном случае было бы понимание, что программист и исследователь работают как полноправные напарники в весьма разных сферах, органично дополняя друг друга.


Это в идеале так. К этому идеалу, конечно, надо стремится. Но фактически то, что имеем сейчас - исследовательской работы почти никакой, 90% того что, сделано - сделано за счет программистов + административного таланта рук. группы. Но почему-то все выдается за оригинальные научные разработки рук. группы. Такое несоответствие не может не вызывать справедливого возмущения.



Постановка задачи для программиста и общая идея софта как правило это также заслуга исследователя.

Разработка концепций игрушек непосредственно к научной работе тоже не относится. Так что заслугой исследователя это назвать нельзя.

Исследовательской работы почти никакой - это просто смешно, посмотрите хотя бы страницу Ильи Ганина (http://brain.bio.msu.ru/ganin.htm), а он ведь пока только студент.

И объясните, пожалуйста, почему до сих пор весь мир не завален подобными ИМК-игрушками, почему в мире за все время было лишь несколько успешных публичных демонстраций. Ведь миллионы программистов есть по всему миру.

ringo-ring
12.01.2010, 13:06
В корейском проекте Каплан вообще был единственным научным разработчиком. В России участвуют и другие люди (все они - авторы уже опубликованных работ и тех, которые готовятся к публикации), но его вклад везде большой и в ряде случаев основной.

Знаете, посмотрев выложенные на вашей страничке ролики, и послушав, что Каплан там говорит, начинаешь сомневаться, что этот человек хоть где-то может внести хоть какой-то вклад.



И объясните, пожалуйста, почему до сих пор весь мир не завален подобными ИМК-игрушками, почему в мире за все время было лишь несколько успешных публичных демонстраций. Ведь миллионы программистов есть по всему миру.


Ну так не у всех же детство играет в одном месте :)
К тому же основная область применения для ИМК - это люди, полностью утратившие способность к коммуникации. А отнюдь не игрушки. Демонстрировать работу ИМК на здоровых молодых испытуемых - проще всего. К тому же, на публичной демонстрации никто не проверяет, за счет чего в действительности осуществляется управление. Может, там артефакты сплошняком идут вроде ЭОГ. Это не обвинение - просто хочу подчеркнуть, что публичная демонстрация еще ни о чем не говорит.
И подобные игрушки как раз-таки есть, но большого распространения не получили по причинам, которые лень перечислять.

А практически никакой исследовательской работы - я имею ввиду, по сравнению с тем объемом интеллектуальной работы, который необходимо выполнить программисту.

diferal
12.01.2010, 16:24
Нигде в мире "позиционный ИМК" не давал таких результатов. Недавно Гугер вроде бы всех очень лихо обскакал, снизив время обучения классификатора до всего 5 минут. У нас было уже 2 минуты, причем в публичной демонстрации - вокруг толпа народа, шум, вспышки и т.п. За счет чего? За счет того, что постепенно разбираемся в психофизиологии этого дела. Как я понял, под "позиционным" Вы понимаете то, что основано на П300. Просто уточнил, чтобы не было того, что мы говорим о разных вещах.
Насчет время обучения. В принципе, сейчас уже тенденция немного другая. А именно сейчас идет создание чего-то, чтобы после обучения на выборке испытуемых, работало на испытуемых не из этой выборки. Т.е. система делала обобщение. Если говорить о П300, то этим, в частности, в последний год занималась группы из Сингапура и из INRIA.
Если говорить о Кристофе. То насколько я помню, gtec использует для обучения 5 букв (точнее какое-то одно слово, которое я, к сожалению, не помню). Это они использовали и для написания своей статьи о том, сколько людей может печатать с помощью П300. Учитывая, что у них в системе каждый столбец/строка подсвечивает на 150 мс с последующим отсутствием интенсификации в течении 50 мс, то на каждую строку/столбец тратится 200 мс. Один раунд состоит из подсвечивания всех 6 строк и 6 столбцов. Т.е. на него тратится 200*12=2.4 секунды. Для каждой буквы в обучении они использовали 10 раундов (по крайней мере так было на их воркшопе с демонстрацией в позапрошлом году в Вашингтоне на SfN [в этом году я к ним не попал]). Значит выходит 10*2.4=24 секунды. Так как для обучения используется 5 букв, то имеем 24*5=120 секунд=2минуты. Сюда, конечно, нужно еще добавить время задержки между каждой буквой. Но даже с ним выйдет не более двух с половиной минут.
Но при всем этом надо учесть, что Гугер вообще-то больше занимается этим для коммерции, а не науки. Да и в последнее время они уже используют П300 для управления интелектуальным домом и виртуальной реальностью, а не набора текста и прочего на этой основе.
Ну а вообще, я ни в каком ролике не видел ничего насчет времени обучения.

Некоторые чисто научные детали, на которых это основано, мы уже опубликовали (см публикации 2009 года), хотя пока только очень бегло. Но, как я уже говорил, недостаток публикаций будет постепенно ликвидироваться. Публикации я не смотрел. Но как я помню, там одна статья с какой-то конференции и статья в каком-то журнале не имеющим импакт-фактора. Было бы интересно, чтобы Вы в двух словах рассказали, что в этих публикациях.

Когда в пазле остается всего 1-2 элемента, это самое сложное время. Комп может выбрать любой из неправильных точно так же, как и до этого. Но конфигурация стимульной среды сильно отличается от той, при которой строился классификатор! Хе. Боюсь Вы меня не поняли. В видео, где с пазлом играются дети, в какой-то момент остается два элемента для выбора. Причем эти элементы находятся в одном столбце. Ну а так как система сделана так, что она все еще работает с подсеткой строк и столбцов, то получается, что эти два элемента загораются по отдельности (когда идет подсветка разных строк) и одновременно (когда загорается столбец, в котором находятся эти два элемента). Вот тут и возникает абсурдная ситуация. Какую информацию Вы извлекаете из ситуации, когда загораются оба элемента вместе (интенсифицируется столбец с этими двумя элементами)? Это просто бесполезное действие.

"на голове-то электродов нет. Зато измеряется окулограмма" - на голове электроды тоже есть, это просто несколько разных каналов управления И сколько полезной информации идет от ЭЭГ в данной системе? Какова ее полезность? Можно ссылку на статью, где это обсуждено? Мне кажется, что ЭЭГ не дает ничего дополнительного к окулограмме и миограмме. Думаю, это что-то типа Эмотива, работающего на мышечных артифактах. Правда в Вашем случае можно еще за глазом следить

Цветовой ИМК - это вообще уникальная разработка, правда, пока далее не продолжавшаяся. Я так понял, это должно быть то, что описано в статье корейцев. Учитывая то, что никто больше в этом направлении не занимается и никого эта идея не заинтересовала (гугл-сколар выдал 6 цитирований, причем все русские и не о ИМК), то не думаю, что она сильно заманчиво и имеет будущее.

Сергей Ш.
12.01.2010, 16:50
Я подробнее постараюсь ответить вечером, но сразу могу сказать, что у Гугера было именно 5 минут - про это есть в статье. У них были большие паузы, и это существенно. Причем в лабораторных условиях.

То, что сделали в Сингапуре, действительно перспективно, хотя это пока отнюдь не "тенденция". Но у них крайне упрощенный подход. Если у нас пойдет работа с еще одним участником этого форума, то, надеюсь, через год-полтора мы их прилично обгоним.

Подсветка двух элементов одновременно имеет тот же смысл, что и подсветка одного элемента (в самом конце). Причем ненулевой смысл :)

diferal
12.01.2010, 17:31
Я подробнее постараюсь ответить вечером, но сразу могу сказать, что у Гугера было именно 5 минут - про это есть в статье. У них были большие паузы, и это существенно. Причем в лабораторных условиях. Проверил статью. Да, действительно, они пишут про обучение по 5 буквам в течении 5 минут. Насчет лабораторынх условий - не согласен. Они собирали статистику во время того же SfN и т.д. Каджый мог подойти к их стенду и опробывать на себе. Ну а они от этого тоже имели бенефит в виде сбора статистики.

То, что сделали в Сингапуре, действительно перспективно, хотя это пока отнюдь не "тенденция". Но у них крайне упрощенный подход. Если у нас пойдет работа с еще одним участником этого форума, то, надеюсь, через год-полтора мы их прилично обгоним. Я не знаю, что Вы имеете в виду говоря о работе группы из Сингапура. По крайней мере их разработка с тем, чтобы печатание начиналось только тогда, когда испытуемый начнет концентрироваться на мигающей матрице, и отключалось, когда он смотрит по сторонам, не подходит под "упрощенный подход". Ну а то, что Вы обещаете их обогнать через год-полтора, то буду учень рад и желаю успеха. Однако, я пока еще не увидел ничего, чтобы было сделано группой, в которой Вы состоите.

Подсветка двух элементов одновременно имеет тот же смысл, что и подсветка одного элемента (в самом конце). Причем ненулевой смысл :) Будет очень интересно узнать, какую информацию для дискриминации можно извлечь из того, когда оба элемента (целевой и нецелевой) подсвечены одновременно. Особенно ее ненулевой смысл для быстрого распознавания :)

Сергей Ш.
12.01.2010, 17:59
В статье статистика, кажется, только по лабораторным данным. Но, действительно, у них работает неплохо, и на публике они показывать свои разработки, как правило, не боятся. Но до них лучшие результаты были куда слабее, в частности, на обучающую выборку уходило много больше десяти минут. И ни одной игрушки такого рода на публике не показывали.

У сингапурцев вполне прямолинейный подход в технологии, странно, что до них никто этого не делал. Мы этим не занимались потому, что пока делали упор на психофизиологию. И в психофизиологии вполне прилично продвинулись. Я думаю, что вполне имею право утверждать, что те две статьи, которые у нас на страничке есть, при всей непритязательности мест, где они опубликованы, по результатам вполне круты. Пересказывать здесь их я не хочу - зачем, если можно прочитать в прямом доступе?

diferal
12.01.2010, 21:58
В статье статистика, кажется, только по лабораторным данным. Но, действительно, у них работает неплохо, и на публике они показывать свои разработки, как правило, не боятся. Но до них лучшие результаты были куда слабее, в частности, на обучающую выборку уходило много больше десяти минут. И ни одной игрушки такого рода на публике не показывали. Отчего же другие не показывают работы на публике? К примеру, Фаундационе Санта Лючия из Рима достаточно часто показывает различные игрушки. Существуют открытые проекты, как BCI2000 и OpenVIBE. Так что каждый может сам проверить. Это то, что касается П3000. В других областях ИМK тоже часто проходят публичные показы. Те же EPFL или Берлин.
А вообще, IMHO, если нет никакого усовершенствования, то и не следует показывать. Да и показы в основном только для пиара.

У сингапурцев вполне прямолинейный подход в технологии, странно, что до них никто этого не делал. Как-то странно Вы отзываетесь. То "крайне упрощенный подход", то "прямолинейный подход в технологии". Я понимаю, что "всяк кулик свое болото хвалит". Но вот такие отзывы о группе из Сингапура оооочень странны. Думаю, такое возможно только если не сильно знаешь, что там делается. Да и "подходов" в Сингапуре много. Что и было проявлено во многих серьезных публикациях, в занятых первых местах на BCI competitions, в работе с пациентами и т.д. Такие идеи, как банк фильтров на данный момент дает наилучшие результаты on-line для декодирования воображаемых движений конечностями в асинхронном ИМK. Недавно рецензировал их статью в IEEE TNN о ИМK на основе максимизации этропии. Тоже достаточно неплохая и робастная идея. Так что то, что Вы пишете о них, более чем странно.

Мы этим не занимались потому, что пока делали упор на психофизиологию. И в психофизиологии вполне прилично продвинулись. Я думаю, что вполне имею право утверждать, что те две статьи, которые у нас на страничке есть, при всей непритязательности мест, где они опубликованы, по результатам вполне круты. Пересказывать здесь их я не хочу - зачем, если можно прочитать в прямом доступе? Попытался загрузить Ваши публикации. Но получил "The page cannot be found". Так что лучше опишите в двух словах то, что было сделано и в чем превосходство по сравнению с другими системами. А из того, что выложено на видео, не видно никакой новизны. Разве что работа программиста для создания GUI с пазлами.

Сергей Ш.
13.01.2010, 01:11
RE: Стоило из группы уйти программисту, как вся работа гениального АЯ Каплана встала. Наталкивает на определенные мысли...

Не знаю на какие именно мысли это вас наталкивает, но видимо на весьма неправильные. В противном случае было бы понимание, что программист и исследователь работают как полноправные напарники в весьма разных сферах, органично дополняя друг друга. Поэтому уход ключевого программиста или возникновение задержек с программной реализацией вспособны остановить проект. Но это не есть основание для вашего вывода, что именно программист решает проблемы в моделируемой предметной сфере или планирует. Отнюдь. Более того. Постановка задачи для программиста и общая идея софта как правило это также заслуга исследователя.

Спасибо за поддержку, и по сути верно, но конкретно в этом случае - не стоит обсуждать мысли, предположительно возникающие у кого-либо на основе неверных предположений. И программисты есть, и работа не остановилась! Откуда все это взяла ringo-ring - понятия не имею.

Сергей Ш.
13.01.2010, 01:42
Попытался загрузить Ваши публикации. Но получил "The page cannot be found". Так что лучше опишите в двух словах то, что было сделано и в чем превосходство по сравнению с другими системами. А из того, что выложено на видео, не видно никакой новизны. Разве что работа программиста для создания GUI с пазлами.
Ого... Спасибо за сообщение и прошу прощения, это моя ошибка. Завтра исправлю.

Что касается публичных показов, то я буду признателен за ссылки. Я помню только несколько случаев, когда публика могла сама опробовать ИМК-игры. Хотя, конечно, мог что-то упустить.

За Сингапуром я слежу, и не только потому, что это действительно одна из наиболее интересных и активно работающих групп, но и потому, что два года работал практически в буквальном смысле бок о бок с одним из людей из этой группы (правда, кажется, сейчас он уже вернулся в Китай, но успел побывать среди призеров одного из BCI Competition) :) И к их работе в целом я отношусь с большим уважением. (ВОзможно, я неудачно выразился - имел в виду не вообще их работу, а конкретную статью. Тоже хорошую, кстати!) Но конкретно в той статье, о которой мы говорим (а об одной и той же?? Lu, Guan, Zhang (2009) Unsupervised Brain Computer Interface Based on Intersubject Information and Online Adaptation?), хотя, безусловно, и есть новизна - ведь, действительно, никто этого раньше не делал - но все-таки методы использованы явно не оптимальные. Если это важно, потом могу как-нибудь высказаться более конкретно, но вроде бы это и так там понятно, да и они не делают вид, что нашли лучшее решение, там ведь важен общий принцип.

Кроме пиара, мотивация показа на публике - еще и популяризация. Хотя для нас, действительно, сейчас важен и просто пиар - увы, в России намного сложнее находить финансирование, и почему не пользоваться подобными (вполне честными!) методами, когда есть возможность?

Но показ на публике - это еще и тест в довольно жесткой ситуации. Кстати, ringo-ring зря противопоставляет игрушки работе с инвалидами. Конечно, там ситуация тоже намного сложнее, чем в случае с обычным лабораторным экспериментом. Но игры - это не такое уж безответственное занятие, как может показаться. Запуск ИМК в мир игр, с его огромным разнообразием и очень большим драйвом для фантазии, означает, что через некоторое время технологии вернутся оттуда в совершенно новом качестве. И смогут гораздо лучше помогать тем же инвалидам.

Насчет того, что мы делали, попробую написать сейчас в отдельном посте.

Сергей Ш.
13.01.2010, 02:36
Так что лучше опишите в двух словах то, что было сделано и в чем превосходство по сравнению с другими системами. А из того, что выложено на видео, не видно никакой новизны. Разве что работа программиста для создания GUI с пазлами.

Надо разделить технологии и исследования.

Что касается технологий, то новизна (1) в том, что можно начать всерьез играть, потратив всего 2 минуты на неигровую часть ("калибровка") - это важно для игр, т.к. если до игры приходится выполнять какие-то непонятные дополнительные упражнения, то интерес к ней может резко упасть; (2) сама идея совместить пазл с ИМК "на П300" (это как раз придумал лично Каплан) - игрушка получилась гармоничной, а это тоже существенно и, мне кажется, довольно редкая удача. Хотя, конечно, мы не претендуем (пока..) на роль мирового лидера по ИМК. Просто кое-что уже умеем (хотя ИМК "на П300" занимаемся всего полтора года, и бОльшую часть времени практически без финансирования), и в некоторых мелочах (для игр все-таки важных) обошли не только соотечественников.

Что касается исследований, то вообще-то собственно научных исследований по ИМК чрезвычайно мало. Почти все статьи - это технические усовершенстования на основе комбинаций каких-то давно известных алгоритмов, и описание их влияния на эффективность работы ИМК. В частности, после того, как та или иная психофизиологическая парадигма были предложены для ИМК и доказано, что они работают (таких работающих парадигм, кстати, оказалось совсем мало), они оставались практически неизменными долгое время. В отношении ИМК "на П300" в последние годы (в основном в публикациях прошлого года) наметилась, правда, тенденция ее так или иначе модифицировать, но модификации предлагаются явно вслепую, без понимания психофизиологии.

А с психофизиологией в ИМК "на П300" ситуация вот какая: все авторы вслед за Фаруэллом и Дончиным рассматривают эту парадигму просто как зрительный одбол (oddball paradigm), и почти все думают, что эта штука работает только на П300. И если пытаются ее как-то улучшить, или улучшить детекцию целевого сигнала в ней, то исходят из того, что это одбол, и что надо выделять П300, создавать наилучшие условия для нее, и т.п. Есть даже статьи, где работают с классическим одболом, но утверждают, что это ИМК-исследование и, мол, результаты полностью переносимы на ИМК. И т.д.

В последние годы некоторые стали упоминать еще и негативную волну с латентностью около 200 мс, тоже вносящую большой вклад в классификацию. Но ею никто всерьез не занимался. Тот же Гугер ее фактически использует, ставя электроды в нужные места и используя широкий временной диапазон. Но это делается просто из эмпирических соображений. Заниматься оптимизацией парадигмы ради этой волны никто не брался: раз Дончин сказал "П300" и "одбол" - а он как-никак один из патриархов в этой области - значит, больше ничего и не нужно. Ну и всякие страхи насчет того, что эта негативная волна, мол, зависима от физических характеристик стимулов и т.п. (некоторые основания к тому действительно были). Интересно, что ни в одной статье ее вообще всерьез не изучали (были случаи, что считали ее амплитуду, но совсем не в тех отведениях, где она по-настоящему выражена).

Мы сделали очень простые шаги. Сначала, когда у нас самих эта волна стала прорисовываться, попробовали сравнить ее с тем, что должно быть в одболе, согласно статьям. Но было как-то не очень похоже. Далее, мы сами соорудили одбол (в том же BCI2000, кстати), и сравнили результат на одних и тех же людях: оказалось, что различия очень большие! В одболе и амплитуда волны с примерно такой же латентностью была намного ниже, и различие между целевыми и нецелевыми стимулами - совсем небольшими (в наших условиях их почти что и не было), и латентность, и локализация были не совсем теми же, как в якобы "одбольном" ИМК. (В дальнейшем мы поняли, что в одболе тоже можно получить примерно такую же волну, как в ИМК "на П300", но это не типичный случай. В статьях по одболу чаще всего эта волна такая же, как получилась в одболе и у нас.)

Наконец, мы сильно изменили физические свойства стимулов: заменили черный фон на серый, а посветление при подсветке - на потемнение. (Я вообще-то думал, что первым до этого додумался, но затем нашел очень похожую, хотя и более "жесткую", схему в статье Salvaris & Sepulveda (J. Neural Eng. 6 2009). Правда, схему я придумал еще в 2008-м, и при должной хватке опубликовать статью мы могли бы намного раньше их, но увы... Но у них, во всяком случае, были лишь результаты по точности классификации, ERP они не анализировали, а парадигму, как и все, считали работающей на П300.) Если бы были правы те, кто думал, что эта ранняя негативная волна реагирует на целевые стимулы лишь благодаря "фовеации", и что ее нежелательно использовать из-за большой зависимости от положения взора и от физических особенностей разных стимулов, то различия между этой "инвертированной" цветовой схемой стимулов и стандартной схемой были бы очень большими. Вместо этого негативная волна (а также П300) оказалась практически идентичной - она в двух схемах настолько близко совпадала в grand average, что мне пришлось раз пять перепроверять все данные, пока не успокоился и не перестал сомневаться, что это не ошибка.

В общем, получилось, что эта негативная волна (мы ее обычно называем N1) - это некая особенность ИМК "на П300", отличающая его от классического одбола, причем в очень выгодную сторону: у нее почти настолько же большие различия между целевыми и нецелевыми стимулами, как и у П300, но другая локализация в пространстве и времени, со всеми вытекающими практическими последствиями. Ну и теперь мы разбираемся с ней далее (в плане науки) и пытаемся все больше использовать в практических алгоритмах (в плане технологий).

Это, конечно, не бог весть какие находки (тем более что природа этого N1 нам пока что не очень ясна), но для всех тех заграничных коллег с опытом работы с ИМК, с которыми я это обсуждал, они оказались полной неожиданностью. Так что я надеюсь, что продолжение работы с ИМК с точки зрения психофизиологии еще много к чему приведет (и, конечно, не только нашу группу).

Сергей Ш.
13.01.2010, 02:50
Подсветка двух элементов одновременно имеет тот же смысл, что и подсветка одного элемента (в самом конце). Причем ненулевой смысл :) Будет очень интересно узнать, какую информацию для дискриминации можно извлечь из того, когда оба элемента (целевой и нецелевой) подсвечены одновременно. Особенно ее ненулевой смысл для быстрого распознавания :)
Вы зря не задумались над подсказкой - про один элемент. Это же игра, и смысл - не как можно быстрее угадать нужное действие, но поощрить "хорошую" стратегию и тактику игрока. Поэтому даже один элемент не обязательно будет перемещен на нужное место после первой же серии подсветок, если игрок недостаточно сконцентрировался. Более того, последние элементы многим даются особенно тяжело. Алгоритмическое решение чрезвычайно простое (и в то же время весьма тонкое) - выбор происходит не по оставшимся заполненным позициям, а по всем. И если отношение "сигнал/шум" недостаточно хорошо, то выбираться будут в основном пустые позиции, и ничего происходить не будет, кроме роста числа штрафных очков. Оказалось, что в игре это работает очень неплохо. (Это, кстати, находка программиста Саши Жигалова - хотя, строго говоря, он в этом проекте был не только программистом, но и исследователем, и дизайнером.)

ringo-ring
13.01.2010, 11:38
Наконец, мы сильно изменили физические свойства стимулов: заменили черный фон на серый, а посветление при подсветке - на потемнение. (Я вообще-то думал, что первым до этого додумался, но затем нашел очень похожую, хотя и более "жесткую", схему в статье Salvaris & Sepulveda (J. Neural Eng. 6 2009). Правда, схему я придумал еще в 2008-м, и при должной хватке опубликовать статью мы могли бы намного раньше их, но увы...


:rolleyes:
Ну читать смешно даже: тогда я до того, чтобы поменять цвет клавиатуры в P300, видимо, додумалась третьей - после вас :biggrin: (правда, вы сказали, что уже используете серый фон, эх) Утешительные призы за третье место полагаются?



(Это, кстати, находка программиста Саши Жигалова - хотя, строго говоря, он в этом проекте был не только программистом, но и исследователем, и дизайнером.)

А почему в скобочках?...
Ну вооот, хоть и маленькие, но зачатки уважения к профессии программиста пробиваться начали. Прогресс пациента радует.



Спасибо за поддержку, и по сути верно, но конкретно в этом случае - не стоит обсуждать мысли, предположительно возникающие у кого-либо на основе неверных предположений. И программисты есть, и работа не остановилась! Откуда все это взяла ringo-ring - понятия не имею.

Зря стараетесь: кому интересно - прочитает мои сообщения, и все для себя все равно поймет. И предположения правильные, и факты приводятся. Факты, конечно, можно было бы и похлеще, чем тут, привести - мараться неохота. Добавлю лишь только, что на собеседовании в ГРиМЧ программисты сравнивались с секретаршами, механически набивающими текст на печатной машинке. Это я вам дословно передаю.

В заключение скажу, что разработка ПО при реализации проекта по ИМК - это одна из самых важных частей. И поэтому недооценивать роль программистов не следует.

diferal
13.01.2010, 14:17
Что касается публичных показов, то я буду признателен за ссылки. Я помню только несколько случаев, когда публика могла сама опробовать ИМК-игры. Хотя, конечно, мог что-то упустить. Ссылками на видео я не интересовался. Могу говорить о том, где сам присутствовал. Как я уже отмечал, то Фаундационе Санта Лючия из Рима при мне делала такую показуху. Каждый желающий мог попробывать на себе.
Так же был на одном из курсов по BCI2000. Второй день (практический) как раз посвещен у них тому, чтобы слушатели могли сами попробывать печатать с помощью П300 и детектировать воображаемые движения (т.е. обе парадигмы, которые на тот момент были в BCI2000 [что у них там сейчас, я не в курсе, так как не пользуюсь этой системой]). Во время этого практического занятия все разбились на группы по 3 человека. Нас вышло где-то 6-7 групп. Ну и сидя всей толпой в одной комнате, мы использовали BCI2000.
Так же был на презентации управления инвалидной каляской через ИМК от группы Хосе дель Миллана из EPFL. Правда, желающим не предлагали попробывать. Управлял один из аспирантов.
Это то, что я видел лично. Ну, плюс к этому, конечно, многичесленные презентации gtec. Но они комерсанты, поэтому им и важно светиться.
В следующем году осенью мы уже утвердили у нас в универе курс по ИМК. По крайней мере пару практических занятий мы предусмотрели, где стденты сами будут использовать BCI. Если надо, могу записать на видео ;) Хотя и так мы показываем, если кому интересно.

За Сингапуром я слежу, и не только потому, что это действительно одна из наиболее интересных и активно работающих групп, но и потому, что два года работал практически в буквальном смысле бок о бок с одним из людей из этой группы (правда, кажется, сейчас он уже вернулся в Китай, но успел побывать среди призеров одного из BCI Competition) :) И к их работе в целом я отношусь с большим уважением. (ВОзможно, я неудачно выразился - имел в виду не вообще их работу, а конкретную статью. Тоже хорошую, кстати!) Но конкретно в той статье, о которой мы говорим (а об одной и той же?? Lu, Guan, Zhang (2009) Unsupervised Brain Computer Interface Based on Intersubject Information and Online Adaptation?), хотя, безусловно, и есть новизна - ведь, действительно, никто этого раньше не делал - но все-таки методы использованы явно не оптимальные. Если это важно, потом могу как-нибудь высказаться более конкретно, но вроде бы это и так там понятно, да и они не делают вид, что нашли лучшее решение, там ведь важен общий принцип.
Теперь понятно, что Вы имели ввиду одну конкретную публикацию, а я говорил в общем. Если говорить об обобщении П300, то в прошлом году те же Сингапурцы опубликовали еще и F. Lotte, C.T. Guan, K.K. Ang, "Comparison of Designs Towards a Subject-Independent Brain-Computer Interface based on Motor Imagery", 31st Annual International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC), 2009 (правда здесь не о П300, но прицип можно использовать и для него).

Кстати, ringo-ring зря противопоставляет игрушки работе с инвалидами. Конечно, там ситуация тоже намного сложнее, чем в случае с обычным лабораторным экспериментом.
Все-таки основное предназначени ИМК как раз в работе с пациентами. И в этом направлении сделано очень мало. Мы тоже в декабре провели с десяток сессий ИМК с пациентами с различными болезнями гововного мозга. Естественно, не в лабораторынх условий. Так как ездили к каждому на дом.

Но игры - это не такое уж безответственное занятие, как может показаться. Запуск ИМК в мир игр, с его огромным разнообразием и очень большим драйвом для фантазии, означает, что через некоторое время технологии вернутся оттуда в совершенно новом качестве. В плане игр, наилучее применение ИМК я видел у группы из Тренте (Нидерланды). Они работаю с аффективным ИМК. Идея у них простая, но интерестная. Они добавили ИМК к игре world of warcraft. Я сам не люблю играться в игры, поэтому могу рассказать не точно. Но смысл в том, что в игре есть персонажи типа оборотней. Например, для раличных боевых действий волк (или кто-то там другой), а в остальное время как человек. Группа в Тренте сделала это переключения между персонажами (человек/волк) мониторя ЭЭГ. Т.е. если видно, что игрок спокоен, персонаж является человеком. Если у игрока детектируется напряжение, то персонаж меняется на волка.
Остальные применения ИМК для игр меня не впечатлили (ни использование П300, ни SSVEP, ни детектирование воображаемых движений через ERP/ERS или потенциала действия)

Насчет того, что мы делали
То что не только П300 подходит для детектирования - это достаточно давно используется. Если говорить более точно, что для детектирования подходят N2, P3b и P600. Последнее дает вкладтолько при достаточном количестве усреднений. N2 - негативная волна в районе 200 мс достаточно давно исследована для ИМК. Начиная, например, с Guan Y., Chen Y., Lin J., Tuan Y and Huang M. N2 Components as Features for Brain Computer Interface, First international conference on neural interface and controlm 26-28 May 2005, Wuhan, China, 45-49. Так же в этом году встречал (правда не читал) журнальную статью о ИМК с N2 (видел ее здесь (http://www.seeingwithsound.com/newpubs/brain-computer_interface/), но что-то не могу найти, как на этом сайте вернуться к предыдушим записям, так как статья была летняя или весенняя).
Насчет того, чтобы N1 (негативный компонент в районе 100 мс после стимула) каким-то образом помагал бы в классификации, никогда не слышал и сам никогда не встречал в своем опыте.
Касательно того, что Вы написали про классификаторы для П300. Общая тенденция у bci-шиков, занимающихся этим, состоит в использовании интервала длины 800-1000 мс после представления стимула. После этого с помощью отбора или синтеза признаков, а так же бустинга и т.д., отбираются только те моменты времени (или им дается больший вес), которые более влияют на классификацию. Так что использование машинного обучения неявно всегда выбирает и N2 и другие релевантные компоненты.
Насчет того, какой цвет использовать и на каком фоне для матрицы, было по крайней мере в прошлом или позапрошлом году исследование японцев. Они, кстати, говорили, что лучше делать буквы желтыми (если меня память не подводит).

Вы зря не задумались над подсказкой - про один элемент. Это же игра, и смысл - не как можно быстрее угадать нужное действие, но поощрить "хорошую" стратегию и тактику игрока. Поэтому даже один элемент не обязательно будет перемещен на нужное место после первой же серии подсветок, если игрок недостаточно сконцентрировался. Более того, последние элементы многим даются особенно тяжело. Алгоритмическое решение чрезвычайно простое (и в то же время весьма тонкое) - выбор происходит не по оставшимся заполненным позициям, а по всем. И если отношение "сигнал/шум" недостаточно хорошо, то выбираться будут в основном пустые позиции, и ничего происходить не будет, кроме роста числа штрафных очков. Оказалось, что в игре это работает очень неплохо. (Это, кстати, находка программиста Саши Жигалова - хотя, строго говоря, он в этом проекте был не только программистом, но и исследователем, и дизайнером.) Т.е. Вы хотите сказать, что при выборе элемента для пазла так же могут быть выбраны и пустые клетки 0-0 Тогда для меня вообще идея этой игры непонятна (да и кажется абсурдной). Хотя на представленных видео я такого не заметил. Мне казалось выбор происходит только среди оставшихся элементов. Могу предположить, что выбор (как процесс) может и не состоятся, когда ни для какого элемента не был детектирован достаточный П300. Хотя теперь я стал сомневаться, что правильно понял смысл игры. Объясните, плиз.

diferal
13.01.2010, 14:43
это как раз придумал лично Каплан
Решил написать, так как с подачи ringo-ring о нем здесь уже много написали. Видно поэтому Вы и для меня это как-то выделили. Я, если честно, даже не знаю, кто это. В мировой науке имя неизвестное. По крайней мере в тех областях, в которых я работаю. Хотя, как я понял, это тот седоватый человек, который встречался на видео в теме по ссылке о том, что делают в Москве с ИМК.

Сергей Ш.
13.01.2010, 17:23
То что не только П300 подходит для детектирования - это достаточно давно используется. Если говорить более точно, что для детектирования подходят N2, P3b и P600. Последнее дает вкладтолько при достаточном количестве усреднений. N2 - негативная волна в районе 200 мс достаточно давно исследована для ИМК. Начиная, например, с Guan Y., Chen Y., Lin J., Tuan Y and Huang M. N2 Components as Features for Brain Computer Interface, First international conference on neural interface and controlm 26-28 May 2005, Wuhan, China, 45-49. Так же в этом году встречал (правда не читал) журнальную статью о ИМК с N2 (видел ее здесь, но что-то не могу найти, как на этом сайте вернуться к предыдушим записям, так как статья была летняя или весенняя).
Я отвечу позже, а сейчас не могли бы Вы прислать эту статью Guan et al., на sergshishkin@mail.ru ? Был бы весьма признателен. Я ее действительно не знал, в соответствующей основной литературе по "ИМК на П300" (вроде Krusiensky et al., 2008; Sellers et al., 2006) она не цитировалась. И хотя бы ссылки на другие, если знаете.

Что касается журнальной статьи этого года, то это, видимо, B Hong, F Guo, T Liu, X Gao, S Gao, N200-speller using motion-onset visual response, в Clinical Neurophysiology? (Это довольно близко, мы ее (как и статью японцев) обсуждаем в своей статье. Но все-таки это все не то. Кстати, ссылку на нашу статью я привел в порядок, сейчас уже должна нормально скачиваться: http://brain.bio.msu.ru/Shishkin_Ganin_Basul_Zhigalov_Kaplan_2009_JIN__N1_ wave_in_the_P300_BCI.pdf )

Тот компонент, о котором я говорю, в литературе по вниманию обычно называют N1, тому есть причины. Типичная латентность у него - примерно 170-180 мс.


Общая тенденция у bci-шиков, занимающихся этим, состоит в использовании интервала длины 800-1000 мс после представления стимула. После этого с помощью отбора или синтеза признаков, а так же бустинга и т.д., отбираются только те моменты времени (или им дается больший вес), которые более влияют на классификацию. Так что использование машинного обучения неявно всегда выбирает и N2 и другие релевантные компоненты.
Поймите, я же, ес-но, внимательно слежу за литературой (хотя статьи, опубликованные в сборниках конференций, конечно, не всегда удается отловить), и все это хорошо знаю. Но эти тенденции - не от хорошего знания психофизиологии, а от нежелания с нею разбираться.

За группой из Твента, конечно, слежу, мне там тоже многое нравится. В частности, лучший, насколько я могу судить, обзор по ИМК-играм - оттуда:

http://wwwhome.cs.utwente.nl/~anijholt/artikelen/intetain_bci_2009.pdf
Anton Nijholt, Boris Reuderink, and Danny Oude Bos
Turning Shortcomings into Challenges: Brain-Computer Interfaces for Games

Сергей Ш.
13.01.2010, 17:29
Спасибо за поддержку, и по сути верно, но конкретно в этом случае - не стоит обсуждать мысли, предположительно возникающие у кого-либо на основе неверных предположений. И программисты есть, и работа не остановилась! Откуда все это взяла ringo-ring - понятия не имею.

Зря стараетесь: кому интересно - прочитает мои сообщения, и все для себя все равно поймет. И предположения правильные, и факты приводятся. Факты, конечно, можно было бы и похлеще, чем тут, привести - мараться неохота. Добавлю лишь только, что на собеседовании в ГРиМЧ программисты сравнивались с секретаршами, механически набивающими текст на печатной машинке. Это я вам дословно передаю.

В заключение скажу, что разработка ПО при реализации проекта по ИМК - это одна из самых важных частей. И поэтому недооценивать роль программистов не следует.

Ни одного факта до сих пор нет. Вы даже ни на каких собеседованиях не были, о чем Вы говорите?!

diferal
13.01.2010, 17:51
не могли бы Вы прислать эту статью Guan et al., на sergshishkin@mail.ru ? Был бы весьма признателен.
Отослал с diferal at tut dot by. Насчет статей в похожем русле, постараюсь посмотреть на выходных, когда будет время.

Но эти тенденции - не от хорошего знания психофизиологии, а от нежелания с нею разбираться. А для создания хороших декодеров и не всегда нужно знать нейро-, психо- и физиологию. И именно группы, работающие в области машинного обучения, сейчас лидируют в разработке ИМК.

Близнец
13.01.2010, 18:22
Разработка ПО и программирование -это разное....ИМК здесь не причем.
Есть технологии разработки ПО. Есть стандарты..., обычно с ними мало знакомы, как руководители, так и исполнители.
"Один дурак задачу сформулировал, а другой дурак подрядился эту задачу исполнить",- типичная картина. :(

Сергей Ш.
13.01.2010, 18:23
Статью получил, большое спасибо! Кажется, они, как и другие, не разбирались с природой этого компонента и с отличием парадигмы от одбола, но, во всяком случае, вполне правильно обратили на него внимание. Вечером обязательно посмотрю более подробно.

Да, сейчас подавляющее большинство занимающихся ИМК - инженеры и математики (хотя, в частности, в BBCI работают и физиологи, не говоря уже о вполне работающей группе, которая и делает BCI2000, а также о еще одном патриархе - Бирбаумере). Но в ближайшие 1-2 года мы, думаю, докажем вполне убедительно, что игнорировать психофизиологию совершенно неправильно :)

ringo-ring
13.01.2010, 19:02
А для создания хороших декодеров и не всегда нужно знать нейро-, психо- и физиологию. И именно группы, работающие в области машинного обучения, сейчас лидируют в разработке ИМК.

Что и требовалось доказать. Основная движущая сила в любом ИМК-проекте - это все-таки инженера и программисты. Но никак не биологи. В большинстве случаев. И в данном конкретном случае с ГРиМЧ - в особенности. Но их роль почему-то попытались сильно приуменьшить, сравнив чуть ли не с секретарями и лаборантами. Естественно, такое положение вещей не могло не вызвать возмущения. К счастью - огромной спасибо diferal - видно профессионала - все разрешилось правильно.

diferal
13.01.2010, 19:15
в BBCI работают и физиологи
В Берлине во Фраунгофере Фэст я не могу вспомнить ниодного физиолога. Ни раньше, когда была одна группа, возглавялемая Клаусом, ни сейчас, когда они разделились на группу машинного обучения (во главе с Клаусом Мюллером) и группу анализа данных (возглавляемую Гидо Нолте [именно здесь остались все bci-шики]). Насколько я помню, с ними (берлинцами) всегда работали физиологи из клиники Шарите.

не говоря уже о вполне работающей группе, которая и делает BCI2000
Если я не ошибаюсь, то создатель BCI2000 Гервин Шалк- инженер. Хотя, конечно, он вышел из группы Вульпоу.

а также о еще одном патриархе - Бирбаумере
Никто не спорит, что родоначальники неинвазивного ИМК, такие как Бирбаумер, Пфуртчелер, Вульпоу, МакФарланд и т.д. были со стороны нейро и психофизиологии. Однако, сейчас, IMHO, они уже не сильно могут соперничать с Bci-щиками от математики и инженерии

Сергей Ш.
14.01.2010, 01:19
в BBCI работают и физиологи
В Берлине во Фраунгофере Фэст я не могу вспомнить ниодного физиолога. Ни раньше, когда была одна группа, возглавялемая Клаусом, ни сейчас, когда они разделились на группу машинного обучения (во главе с Клаусом Мюллером) и группу анализа данных (возглавляемую Гидо Нолте [именно здесь остались все bci-шики]). Насколько я помню, с ними (берлинцами) всегда работали физиологи из клиники Шарите.



Насчет берлинского BCI: мне казалось, что Gabriel Curio - физиолог. Кто-то еще из ведущих участников BBCI вроде бы тоже был то ли медик, то ли физиолог, то ли психофизиолог (хотя я могу ошибаться). Вадим Никулин - физиолог (кстати, имхо, наиболее интересное, что получилось у этой группы - открытие феномена "псевдодвижений" - это, насколько я понимаю, главным образом, его работа). Возможно, у него основная или официальная афилиация в Шарите, но здесь http://www.bbci.de/index_en.html его фамилия есть.

Вот, кстати, спросили бы Вадима при случае (если я правильно понимаю, Вы весьма регулярно бываете на разных ИМК-"тусовках"), что он думает про работы и идеи Каплана. Цитируемость и импакты в общем случае, конечно же, неплохо коррелируют с научным уровнем, но есть немало случаев, когда они сильно ошибаются (в российской нейрофизиологии такие случаи встречаются весьма часто). Мнение экспертов, знакомых с конкретными работами и идеологией - гораздо более точный показатель.

Сергей Ш.
14.01.2010, 01:35
Никто не спорит, что родоначальники неинвазивного ИМК, такие как Бирбаумер, Пфуртчелер, Вульпоу, МакФарланд и т.д. были со стороны нейро и психофизиологии. Однако, сейчас, IMHO, они уже не сильно могут соперничать с Bci-щиками от математики и инженерии
Да, конкретно они - наверное, не могут, но так ли много сделали математики и инженеры, работающие сами по себе, в сравнении с тем, что сделали они? (Скажем, Шалк, безусловно, сделал для BCI community очень много своей системой BCI2000, пусть это не столько идейный, сколько технический вклад; но ведь она явно создавалась в тесном сотрудничестве почти со всеми перечисленными основоположниками.)

Вообще же я никоим образом не противопоставляю математиков и инженеров биологам и психологам. Мой тезис в том, что ИМК - это такая область, где серьезное продвижение возможно лишь при их совместной работе.

ringo-ring
14.01.2010, 01:38
Вот, кстати, спросили бы Вадима при случае (если я правильно понимаю, Вы весьма регулярно бываете на разных ИМК-"тусовках"), что он думает про работы и идеи Каплана. Цитируемость и импакты в общем случае, конечно же, неплохо коррелируют с научным уровнем, но есть немало случаев, когда они сильно ошибаются (в российской нейрофизиологии такие случаи встречаются весьма часто). Мнение экспертов, знакомых с конкретными работами и идеологией - гораздо более точный показатель.


Тогда и эксперты должны быть признанные мировым научным сообществом. А круговая порука - это, конечно, хорошо, но не везде подходит. В науке, по крайней мере, ее лучше избегать.

Сергей Ш.
14.01.2010, 02:00
2 diferal : Спасибо еще раз, посмотрел Guan et al. 2005. Статья довольно любопытная, я еще с ней буду разбираться. Но что касается негативного компонента, то там он не такой, нежели в обычном "ИМК на П300": более поздний и с другой пространственной локализацией. Вот у пекинской группы, опубликовавшей статью про "N200" в прошлом году, компонент, скорее всего, тот же, который работает в "ИМК на П300", хотя они это сами не поняли (потому что искали компоненты, связанные с началом движения, а они довольно похожие или, мб, даже родственные).

Зачем нужно разбираться с этими деталями? Затем, чтобы (1) знать, какие изменения стимульной среды усилят нужные компоненты, а какие, напротив, могут их сильно ослабить или изменить; (2) чтобы их более целенаправленно детектировать. Наконец, чтобы не делать то, что делают некоторые - пытаться имитировать ИМК на моделях, где продуцируются совершенно другие ПСС (одна такая статья в прошлом году даже попала в Clinical Neurophysiology).

Сергей Ш.
14.01.2010, 02:16
Мне казалось выбор происходит только среди оставшихся элементов. Могу предположить, что выбор (как процесс) может и не состоятся, когда ни для какого элемента не был детектирован достаточный П300. Хотя теперь я стал сомневаться, что правильно понял смысл игры. Объясните, плиз.

Игра идет так: в правой матрице (где собирается пазл) на каждом ходу две ячейки случайно выбираются из числа еще не заполненных и "подсвечиваются" белым. Игрок находит в матрице с перемешанными фрагментами ячейку с фрагментом, соответствующим одному из этих квадратиков в правой матрице. Собственно ИМК работает так же, как в классическая буквопечаталка Фаруэлла-Дончина, т.е. находится строка и столбец с максимально выраженным ПСС "целевого" типа (обычно говорят "с наиболее выраженной П300", но, как Вы понимаете, мне не хотелось бы следовать этому обычаю), и выбранной (или "активированной") считается ячейка на их пересечении. Отличие от Ф-Д в том, что если эта ячейка не соответствует ни одному "правильному" фрагменту (соответствующему одной из двух белых ячеек в правой матрице), то она не перемещается (ей как бы некуда перемещаться - она может переместиться только в белую, но не в серую и не в уже заполненную ячейку).

Сейчас я вижу, что про роль белых ячеек в описании на ютюбе действительно ничего не сказано, это моя ошибка. Надо будет добавить (возможно, мы и ролик переделаем, когда будет чуть более спокойное время).

diferal
14.01.2010, 14:10
Насчет берлинского BCI: мне казалось, что Gabriel Curio - физиолог. Да, Габриэль Курио - физиолог. Правда он из Шарите, а не из Фраунгофера. Но, в принципе, если считать, что BBCI включает несколько организаций, то "да", там есть и физиологи.
В списке по ссылке есть и те, кого я удивился увидев отнесенными к ИМК. Например, Andreas Ziehe. В принципе, он в основном всегда работал с различными вариантами анализа независимых компонент (ICA). Наиболее известна его работа с ICA, основанному на статистиках второго порядка, но учитывающих предыдущую историю временного ряда.
Так же в этом списке не увидел Алоиза Шлёгла (хотя может он уже не в Берлине). Он хоть и работал в основном с причинностью (causality) в записях ЭЭГ, но так же и помогал в ИМК сначала в Граце, а потом в Берлине.

Вот, кстати, спросили бы Вадима при случае (если я правильно понимаю, Вы весьма регулярно бываете на разных ИМК-"тусовках"), что он думает про работы и идеи Каплана.
Вадима Никулина я никогда не встрачал. Обычно от BBCI на конференции ездят Клаус Мюллер, Бенжамин Бланкерц и Михаэль Тангерман. По крайней мере на те, где и я был. Но если познакомлюсь в Вадимом, то спрошу.

Вообще же я никоим образом не противопоставляю математиков и инженеров биологам и психологам. Мой тезис в том, что ИМК - это такая область, где серьезное продвижение возможно лишь при их совместной работе. С этим я абсолютно согласен. Только я бы добавил сюда еще и разработчиков приборов для регистрации активности мозга. Все-таки от прогресса в этой области тоже очень многое зависит.

Зачем нужно разбираться с этими деталями? Затем, чтобы (1) знать, какие изменения стимульной среды усилят нужные компоненты, а какие, напротив, могут их сильно ослабить или изменить; (2) чтобы их более целенаправленно детектировать
Согласен.
Касательно компонентов, необходимых для хорошего детектирования П300, то как я уже отмечал, нужно смотреть на N2 (N200 или в Вашей терминалогии N1 [кстати, когда я писал про статью этого года о N2, то я как раз имел в виду то, что Вы привели в предыдущих постах]), P3b (думаю лучше здесь разделять P3a и P3b) и P600.
Касательно их вклада в классификацию, можно глянуть на следющую картинку (привожу для одного из испытуемых [для остальных во многом похоже]). На ней изображена точность классификации в задаче печатания текста (как у Дончина с Фарвеллом) после 5 усреднений (каждая строка и столбец в матрице подсвечивались по 5 раз). Цвет каждой точки на картинке соответствует точности классификации (в процентах [т.е. от 0 до 100]), если строить классифкатор по интервалу [t1 t2]. Здесь t1 (вертикальная ось) и t2 (горизонтальная ось) - врямя после представления стимула. Видно, что для 100% классификации необходимо минимум включить интервал между 200 и 300 мс для этого испытуемого. Так же можно заметь, что и сам по себе интервал в районе 600 мс (соответствует P600), тоже дает классификацию около 50% (см. примерно в центре картинки). Следует отметь, что случайная классификаци в данной парадигме дает 2,78%. В качестве классификатора использовался синтез признаков на основе максимизации взаимной информации.
http://img-fotki.yandex.ru/get/4013/diferal.0/0_3a8c9_fcc4b8c4_L.jpg
Для визуалиации важно, думаю, так же показать усредненный отклик на целевые стимулы (т.е. то, где есть п300 [голубая кривая]) и нецелевые (крассная кривая) с Cz. Интересно, что для этого испытуемого даже в Cz видно 5Hz как отклик на нецелевые стимулы (5 hz - так как в нашем случае у нас проходит 5 вспышек строк/столбцов в секунду). На картинке сигнлаы после фольтрации в интервале от 0.1 до 15Гц.
http://img-fotki.yandex.ru/get/4101/diferal.0/0_3a8ca_4dd03879_L.jpg

Собственно ИМК работает так же, как в классическая буквопечаталка Фаруэлла-Дончина, т.е. находится строка и столбец с максимально выраженным ПСС "целевого" типа (обычно говорят "с наиболее выраженной П300", но, как Вы понимаете, мне не хотелось бы следовать этому обычаю), и выбранной (или "активированной") считается ячейка на их пересечении.
В принципе, я примерно так и понял. Меня интересует момент, когда в левой матрице осталось невыбранным небольшое количество элементов. Как система работает в этом случае? Мне казалось, что продолжают мигать все строки и столбцы как и в начале игры. Правда при этом мигание заметно только на фоне оставшихся невыбранным элементов. Если сейчас очередь интенсификации строки, где нет элементов для выбора, то ее мигание не видно для пользователя. После этого опять вычисляется строка и столбец, где есть P300 и выбирается нужный элемент. Это верно? Если это так, то я опять вернусь к тому вопросу, с которого я и начал спрашивать об этой игре. На видео с детьми был момент, когда осталось только два элемента, находящихся в одном столбце. Мигание на экране на фоне этих элементов (т.е. то мигание, которое видно пользователю) будет только тогда, когда строка или столбец, содержащие эти элементы, интенсифицируется. Когда интенсифицируются строки, то оставшихся два невыбранных элемента "загораются" в разные моменты (так как они "лежат" в разных строках). Но когда моргает строка, содержащая оба этихэлемента, "загораются" эти оба элемента одновременно. Вот мне и не понятно это последнее действие. Зачем оно? И так ясно, в каком столбце лежит элемент (так как оба элемента лежат в одном столбце). Т.е. подсвечивание обоих элементов одновременно ("загорание" столбца, где они лежат) не дает никакой информации для классификации. Т.е. это как бы бесполеное действие, которое только удлиняет по времени процедуру выбора элемента.

diferal
14.01.2010, 14:23
2 модераторы. Несколько раз так же пытался отправить сообщение, включающее две картинки. Но оно не прошло. Даже разбив пост на три части, опубликовались только 2, без картинок. Оставшаяся часть с картинками не проходит :( Пишет, что на форуме есть какая-то премодерация. Если это так, то оставьте только последний пост, так как все было повторением. Если премодерации нет (и то, что я отправлял, кануло в никуда), то как здесь публиковать посты с картинками?
upd Только что смог опубликовать пост с картинками (см. ниже). Но это получилось с раза пятого (учитывая мои попытки сегодня ранее). Видно проблемы в движке форума. Было бы хорошо, если бы администратор пофиксил этот баг.

Сергей Ш.
15.01.2010, 23:54
Картинка по результатам классификации - удачная визуализация. Похоже, такое представление данных может быть весьма полезно, когда разбираешься с работой классификаторов. (Я с ним - конкретно для результатов классификации у ИМК "наР300" - почему-то не встречался, и самому в голову тоже не пришло.)

Я правильно понимаю, что точность классификации рассчитывалась не по тем данным, по которым строился классификатор?

Но, наверное, интервал 200-300 (350?) мс достаточен для получения 100% точности существенно менее чем у 50% испытуемых?

Что касается второй картинки, то интересно, где в Pz (и особенно в POz) находится позитивный пик, соответствующий P3b. У меня есть предположение, что у него там латентность между 350 и 400 мс, а то, что выглядит как P3b (или P3a?! ибо очень уж ранняя) в Cz, на самом деле является инвертированным N1, наложившемся на начало P3b (для проверки можно посмотреть на PO7/PO8, где должен найтись также довольно высокоамплитудный, но негативный пик с чуть более ранней латентностью). У нас довольно похожий случай наблюдался не далее как сегодня :) Но вообще форма потенциалов, конечно, сильно зависит от условий и от человека, так что вполне могу ошибиться, наш случай может быть и не аналогичным вашему.

Сергей Ш.
16.01.2010, 00:06
Собственно ИМК работает так же, как в классическая буквопечаталка Фаруэлла-Дончина, т.е. находится строка и столбец с максимально выраженным ПСС "целевого" типа (обычно говорят "с наиболее выраженной П300", но, как Вы понимаете, мне не хотелось бы следовать этому обычаю), и выбранной (или "активированной") считается ячейка на их пересечении.
В принципе, я примерно так и понял. Меня интересует момент, когда в левой матрице осталось невыбранным небольшое количество элементов. Как система работает в этом случае? Мне казалось, что продолжают мигать все строки и столбцы как и в начале игры. Правда при этом мигание заметно только на фоне оставшихся невыбранным элементов. Если сейчас очередь интенсификации строки, где нет элементов для выбора, то ее мигание не видно для пользователя. После этого опять вычисляется строка и столбец, где есть P300 и выбирается нужный элемент. Это верно? Если это так, то я опять вернусь к тому вопросу, с которого я и начал спрашивать об этой игре. На видео с детьми был момент, когда осталось только два элемента, находящихся в одном столбце. Мигание на экране на фоне этих элементов (т.е. то мигание, которое видно пользователю) будет только тогда, когда строка или столбец, содержащие эти элементы, интенсифицируется. Когда интенсифицируются строки, то оставшихся два невыбранных элемента "загораются" в разные моменты (так как они "лежат" в разных строках). Но когда моргает строка, содержащая оба этихэлемента, "загораются" эти оба элемента одновременно. Вот мне и не понятно это последнее действие. Зачем оно? И так ясно, в каком столбце лежит элемент (так как оба элемента лежат в одном столбце). Т.е. подсвечивание обоих элементов одновременно ("загорание" столбца, где они лежат) не дает никакой информации для классификации. Т.е. это как бы бесполеное действие, которое только удлиняет по времени процедуру выбора элемента.

Мне казалось, что продолжают мигать все строки и столбцы как и в начале игры. - да, именно так

при этом мигание заметно только на фоне оставшихся невыбранным элементов - да

Если сейчас очередь интенсификации строки, где нет элементов для выбора, то ее мигание не видно для пользователя. После этого опять вычисляется строка и столбец, где есть P300 и выбирается нужный элемент. Это верно? - да

На видео с детьми был момент, когда осталось только два элемента, находящихся в одном столбце. Мигание на экране на фоне этих элементов (т.е. то мигание, которое видно пользователю) будет только тогда, когда строка или столбец, содержащие эти элементы, интенсифицируется. Когда интенсифицируются строки, то оставшихся два невыбранных элемента "загораются" в разные моменты (так как они "лежат" в разных строках). Но когда моргает строка, содержащая оба этихэлемента, "загораются" эти оба элемента одновременно. Вот мне и не понятно это последнее действие. Зачем оно? И так ясно, в каком столбце лежит элемент (так как оба элемента лежат в одном столбце). ... это как бы бесполеное действие, которое только удлиняет по времени процедуру выбора элемента. -

Вспомним, что речь идет об игре :) Чтобы было интересно, в игре должна быть не только возможность выигрывать, но и возможность проиграть. Если невнимательно следить за подсветками этого столбца с двумя элементами, или тем более вообще за ними не следить (отвлечься), то с примерно равной вероятностью будет выбран любой из 4 столбцов. Т.е. даже при идеально правильном слежении за подсветками, соответствующими разным строкам, вероятность ошибки будет 3/4!

Теперь вспомним о самом последнем шаге в игре - когда надо переместить единственный квадратик. Если бы речь шла не об игре, то вообще можно было бы оставить его выбор машине! :wink:

Administrator
17.01.2010, 22:54
2 модераторы. Несколько раз так же пытался отправить сообщение, включающее две картинки. Но оно не прошло. Даже разбив пост на три части, опубликовались только 2, без картинок. Оставшаяся часть с картинками не проходит :( Пишет, что на форуме есть какая-то премодерация. Если это так, то оставьте только последний пост, так как все было повторением. Если премодерации нет (и то, что я отправлял, кануло в никуда), то как здесь публиковать посты с картинками?
upd Только что смог опубликовать пост с картинками (см. ниже). Но это получилось с раза пятого (учитывая мои попытки сегодня ранее). Видно проблемы в движке форума. Было бы хорошо, если бы администратор пофиксил этот баг.

Спасибо за сообщение! посмотрю, в чем там могло быть дело. хотя в результате там целых три поста с картинками образовалось (дубликаты стер).

diferal
18.01.2010, 19:06
Сорри, у меня тут пока время в обрез. Так что отвечу односложно.

Я правильно понимаю, что точность классификации рассчитывалась не по тем данным, по которым строился классификатор? Конечно. Иначе будет же обман. Хотя, как я помню по статье Kriegeskorte et al. Circular analysis in system neuroscience: the danger of double dipping, Nature Neuroscience, Vol. 12, No. 5, 2009, 535-540 у fMRI-шиков такой обман (резщульатыт по обучающей выборке) достаточно распространен. Не помню точно, но где-то 50-70% всех рассмотренных у Кригескорте статей.

Но, наверное, интервал 200-300 (350?) мс достаточен для получения 100% точности существенно менее чем у 50% испытуемых? Представленный случай был скорее исключением, чем практикой. О процентах говорить не могу. Для этого нужно собрать достаточную статистику, а не те пары десятков, что у нас есть.

Вспомним, что речь идет об игре :) Чтобы было интересно, в игре должна быть не только возможность выигрывать, но и возможность проиграть. Если невнимательно следить за подсветками этого столбца с двумя элементами, или тем более вообще за ними не следить (отвлечься), то с примерно равной вероятностью будет выбран любой из 4 столбцов. Т.е. даже при идеально правильном слежении за подсветками, соответствующими разным строкам, вероятность ошибки будет 3/4!
Теперь вспомним о самом последнем шаге в игре - когда надо переместить единственный квадратик. Если бы речь шла не об игре, то вообще можно было бы оставить его выбор машине! Вобщем понятно, что Вы делаете. Но для меня все равно это странно. Все-таки зачем выбирать то, что не может быть (пересечение строк и столбцов, где уже нет элемента). Проще не выводить результата, если П300 не был детектитрован. Все же, такие бинарные проверки все равно включены в Ваш классификатор (проверка по каждому столбцу/строке происходит у Вас скорее всего на основе таких бинарных классификаторов). Теперь их просто надо распрострнить на элементы левой матрицы, когда количество невыбранных элементов осталось, скажем, меньше 4.

Спасибо за сообщение! посмотрю, в чем там могло быть дело. хотя в результате там целых три поста с картинками образовалось (дубликаты стер). По моему Вы стерли все мои последние посты. По крайней мере нам, обычным пользователям, они уже не видны. Может Вы где-то не опубликовали пост, ожидающий модерации, и он виден только Вам? Если Вы зайдете на форум как обучный пользователь, то увидите, что все мои последние посты ищезли :(

Сергей Ш.
18.01.2010, 19:49
Все же, такие бинарные проверки все равно включены в Ваш классификатор (проверка по каждому столбцу/строке происходит у Вас скорее всего на основе таких бинарных классификаторов). - нет, мы ищем столбец (среди столбцов) и строку (среди строк), где реакции максимально похожи на реакции на целевые подсветки.

По крайней мере нам, обычным пользователям, они уже не видны. - Да, какой-то, видимо, сбой, модераторам они тоже не видны. Написал админу.

Administrator
18.01.2010, 21:23
По крайней мере нам, обычным пользователям, они уже не видны. - Да, какой-то, видимо, сбой, модераторам они тоже не видны. Написал админу.
исправил

Сергей Ш.
03.02.2010, 17:26
Вышла программа ТВ Russia Today (на англ. яз.) с нашим ИМК-пазлом и др. (в т.ч. немного показали Зеленоград):

http://rt.com/About_Us/Programmes/Technology_Update/2010-01-29/542110.html
Technology Update, 29 January, 2010
Get In The Game!

Процесс сборки пазла показан вполне реалистично, к остальному лучше не относиться слишком серьезно (как обычно с популярной прессой).

Сергей Ш.
06.03.2010, 20:53
Вышла наша первая статья по "P300 BCI":

http://dx.doi.org/10.1142/S0219635209002320
http://www.ncbi.nlm.nih.gov/pubmed/20205299
Shishkin SL, Ganin IP, Basyul IA, Zhigalov AY, Kaplan AY. N1 wave in the P300 BCI is not sensitive to the physical characteristics of stimuli. J Integr Neurosci. 2009 Dec;8(4):471-85.

Желающие получить ПДФ - пишите на sergshishkin@mail.ru

Демиург
10.03.2010, 21:28
Японские наушники оснащены специальными электродами, установленными вокруг динамиков. Эти электроды способны улавливать электрические импульсы, которые образуются во время движения глаз. Напряженность электрического поля изменяется в зависимости от движений глазами – например, если человек смотрит вправо, влево или поднимает глаза вверх.
http://lugansk.proua.com/jungle/2010/02/25/074523.html

Сергей Ш.
11.03.2010, 17:53
занятно, но оффтоп: не "мозг-компьютер", а "глазные мышцы-компьютер", и не в России; а компания называется не NNT Docomo (как в заметке), а NTT Docomo: http://www.wired.com/gadgetlab/2010/02/weird-but-true-eye-controlled-earphones/

про эту их технологию Wired писал еще в середине позапрошлого года: http://www.wired.com/gadgetlab/2008/07/use-your-all-se/

Демиург
11.03.2010, 21:44
занятно, но оффтоп:

Ну тогда и от этого мало толку.
А если просто выключать или включать то проще руками или в крайней случае голосом.
Тогда за ранее извиняюсь ещё за один оффтоп. Что это такое?
http://www.youtube.com/watch?v=BKd_AJUUT7Q

Maxikov
18.03.2010, 00:29
Тогда за ранее извиняюсь ещё за один оффтоп. Что это такое?
http://www.youtube.com/watch?v=BKd_AJUUT7Q
По сути, одноканальный миограф. Цепляется на лоб, поэтому сильнее всего он реагирует на движения глаз, хотя, вроде, некоторые из выходных параметров программы-анализатора таки зависят уровня сосредоченности.
Стоит он всего порядка 100$, так что, пожалуй, это самый дешёвый способ поиграться с ИМК в домашних условиях, но и много интересного с ним тоже не сделаешь. Прилагаемая производителем программа сами данные с датчика наружу не выдаёт, но умельцами довольно быстро была написана на языке Python библиотека pynia, которая позволяет получить эти данные сторонним приложениям. Правда, когда я её тестировал, работала она только под Linux.

Демиург
23.03.2010, 13:03
http://www.youtube.com/watch?v=ClCEj0wMmZc

fangekt
27.05.2010, 18:28
Здравствуйте! Я очередной энтузиаст в области BCI :)
И у меня возник вопрос. Реально ли регистрировать деятельность мозга, замеряя не электрические потенциалы как в ЭЭГ, а температурные градиенты на поверхности головы? Ведь деятельность нейронов вызывает прилив крови и следовательно локальное повышение температуры.

Сергей Ш.
28.05.2010, 14:06
Такого рода техники действительно предлагались для изучения мозга, в частности:

http://www.springerlink.com/content/m8411p55606862l8/
Shevelev I.A. (1992) Temperature topography of the brain cortex: thermoencephaloscopy. Brain Topogr 5: 77–85.

http://dx.doi.org/10.1016/S0301-0082(98)00038-0
Igor A. Shevelev (1998) Functional imaging of the brain by infrared radiation (thermoencephaloscopy). Progress in Neurobiology. 56, 269-305.

http://www.eeginfo.ch/fileadmin/images/was_ist_neurofeedback/literatur/pIR_HEG_article_10_25_01.pdf
JEFFREY A. CARMEN, Ph.D.
Passive Infrared Hemoencephalography (pIR HEG)
(в открытом доступе)

Но сейчас про них вроде бы не слышно. Близкая техника, работающая со внешним источником излучения - NIRS (near-infrared spectroscopy) - действительно, используется для ИМК (см., напр., тут http://videolectures.net/bbci09_neuper_frmi/ ), но пока что не дает осязаемых преимуществ по отношению к ЭЭГ, поскольку работает медленно, а в сравнении с другой техникой, оценивающей гемодинамические реакции - фМРИ - еще и очень неточно.

Так что идея не бессмысленна, но на практике вряд ли что-то даст, поскольку пассивный термоимиджинг наверняка будет работать еще менее точно и более инерционно.

И еще тут следует понимать, что даже те изменения температуры локальных областей мозга, какие в принципе можно улавливать снаружи, нельзя регистрировать просто термометром, приложенным к коже головы - нужна гораздо более хитрая и очень дорогая техника.

Иннь
26.09.2010, 08:34
В России готовится к появлению первый Российский мобильный телефон и вроде бы сенсорный. Если так то в Зеленограде наверное могли бы запросто создать блютузовский наушник с интерфейсом реагирующим на сигналы от мышц глаз.
Ну там : два раза завёл глаз - последний звонок включается а один раз - приём на звонок.
По моему всё очень даже реально для современной России.
Если конечно думать о деньгах а не о помощи для инвалидов, которая конечно же тоже нужна.

Сергей Ш.
14.10.2010, 12:14
В первый день школы-конференции молодых ученых в Институте ВНД (Москва, 21 октября, четверг) будет несколько докладов по ИМК:

http://ihna.ru/news.php?l=1&id=150

Сергей Ш.
04.11.2010, 22:20
А теперь - ИМК в Бекасово-2009 ("Анохинская" нейрошкола - 1-я школа "В будущее наук о мозге и интеллекте" (http://neurofuture.ru/index.php?option=com_content&view=article&id=106&Itemid=57)):

А.Я. Каплан. Интерфейс мозг-компьютер: теоретическая коллизия, экспериментальная парадигма, практическая необходимость или бизнес-проект? (http://www.univertv.ru/video/psihologiya/psihofiziologiya/shkola_v_buduwee_nauk_o_mozge_i_intellekte_1/interfejs_mozgkompyuter_teoreticheskaya_kolliziya_ eksperimentalnaya_paradigma_prakticheskaya_neobhod/) - 1-я Всероссийская научная школа "В будущее наук о мозге и интеллекте". Съемка 6 ноября 2009 г.

(видео, объединенное со слайдами и их оглавлением)

Я уже, кажется, упоминал здесь эту лекцию. На мой взгляд, это первый материал на русском языке, который можно смело рекомендовать в качестве введения в ИМК.

Специалистам я бы эту лекцию тоже рекомендовал, мб, им - даже в первую очередь.

КИВИ
07.11.2010, 18:16
А что Вы думаете об этом??

http://www.youtube.com/watch?v=xOhcy5Vov9k&feature=player_embedded


Идеи Бах-у-Риты и его сотрудников позаимствовали во многих лабораториях. "Мозговую розетку" решили взять на службу и военные. Так, в Институте гуманитарных и технических исследований (Флорида) решили, что с помощью "языкового зрения" солдаты сухопутных войск получат возможность свободно видеть в темноте на 360 градусов, а "морские котики" смогут получать информацию с гидролокатора, как будто он находится в их голове, и свободно ориентироваться под водой. Проект профинансировало министерство обороны США.

- Вместо того чтобы держать в руках компасы и громоздкие карманные гидролокаторы, водолазы смогут обрабатывать информацию, поступающую прямо в мозг через язык, - полагает руководитель проекта доктор Анил Радж. - А руки при этом будут свободны для инструментов и оружия.

Между прочим, свой прибор Пол Бах-у-Рита, Юрий Данилов и их коллеги давно предлагали не только военным, но и спасателям и пожарным, которые часто работают в условиях плохой видимости и нуждаются в точной ориентации. Пока те интереса не проявили.
http://www.sunhome.ru/journal/529276

Сергей Ш.
07.11.2010, 21:26
1) Это оффтоп (конкретно для этой темы, а не для раздела форума (http://forum.neuroscience.ru/forumdisplay.php?f=39)), т.к. не про ИМК, а про восприятие.

2) Действительно, известно, что информацию, обычно поступающую через одни органы чувств, можно передавать через другие, и что мозг при этом проявляет нехилую способность к адаптации. Но качество передачи информации при этом отнюдь не блестящее, особенно если количество рецепторов, которые можно активировать, намного ниже, чем при использовании естественным образом подходящего органа - естественно, "видение языком" будет очень бледным подобием обычного зрения. Слова "свободно видеть в темноте на 360 градусов" не надо воспринимать слишком серьезно :)

Сергей Ш.
19.11.2010, 01:37
Мне предложили выступить на ближайшем собрании Московского семинара по когнитивной науке. Доклад будет называться "ИНТЕРФЕЙС МОЗГ-КОМПЬЮТЕР: ТЕХНОЛОГИЯ ИЛИ НАУКА?" Попытаюсь рассказать вот о чем:

- Как устроены ИМК.
- Место технологии и науки в исследованиях и разработках по ИМК.
- Опыт работы с ИМК, управляемым вниманием к стимулам (ИМК «на волне
Р300», он же парадигма Фаруэлла-Дончина): зрительное восприятие в
парадигме Фаруэлла-Дончина и классической одбол-парадигме,
эмоциональные аспекты в ИМК («парадокс опасных команд»).
- ИМК для помощи парализованным людям, как тренажер и как основа
нового поколения компьютерных игр: есть ли связь между этими областями
применения?

Место и время проведения семинара: РГГУ (Москва), 25 ноября (четверг), начало в 19:00.

Подробности:

http://lists.virtualcoglab.org/pipermail/seminar/2010-November/000013.html

milkyway
21.11.2010, 11:44
Видеозапись будет?

Сергей Ш.
21.11.2010, 15:25
Вряд ли, все-таки это не такое уж эпохальное событие :)

Близнец
21.11.2010, 17:13
Вряд ли, все-таки это не такое уж эпохальное событие :)
Приехать у меня нет возможности, но запись обязательно бы посмотрел.

Сергей Ш.
26.11.2010, 02:00
Оказывается, сами организаторы сейчас пишут на видео все семинары, через какое-то время запись станет доступной, тогда дам здесь ссылку. (Откровенно говоря, получилось не очень - во многих местах очень затянуто (порою это касалось и тривиальных вопросов), в других местах, напротив, не было сделано нужных пояснений, так что понятно могло быть лишь специалистам... Но вроде бы слушали и даже задавали вопросы, большинство вполне по делу.)

diferal
06.03.2011, 03:43
Но в ближайшие 1-2 года мы, думаю, докажем вполне убедительно, что игнорировать психофизиологию совершенно неправильно :) Прошло уже более года. Хотелось бы узнать об успехах.

Сергей Ш.
06.03.2011, 18:56
Пока что в процессе. (Сказано же было: 1-2 года, а не 1 год :) ) Вы собираетесь на конференцию http://bci.tugraz.at/BCI2011/ ? Надеюсь, к тому времени мы кое-что уже закончим.

Вообще-то мы сделали одну игрушку, учтя при разработке результаты наших психофизиологических исследований в бОльшем объеме, чем их использовали при разработке пазла, но, во-первых, она пока публике не показывалась (надо разобраться с патентными делами), а во-вторых, люди с инженерным подходом вроде Вас могут заявить, что такое можно было бы сделать и без такого ресеча, и формально будут правы, хотя, по моим ощущениям, ресеч нам действительно прилично помог. В общем, тут уйти от субъективизма в оценках не получилось бы.

Если Вас вдруг интересуют любые аргументы в споре про то, нужно ли разбираться с психофизиологией, то, к примеру, другие коллеги уже показали, что лучше ее не игнорировать:

P. Brunner, S. Joshi, S. Briskin, J.R. Wolpaw, H. Bischof, G. Schalk, Does the 'P300' speller depend on eye gaze? J. Neural. Eng. 7 (2010) 056013.
S. Frenzel, E. Neubert, Is the P300 Speller Independent? arXiv:1006.3688v1 [cs.HC]
M.S. Treder, B. Blankertz, (C)overt attention and visual speller design in an ERP-based brain-computer interface, Behav. Brain. Funct. 6 (2010) 28.

Если коротко - все-таки "P300 BCI" зависим от взгляда, если использовать N1. Настройка классификатора должна это учитывать: для людей, которые не могут нормально управлять направлением взгляда, его использование надо исключать, а для тех, кто владеет - напротив, имеет смысл его прицельно использовать (хотя это будет не совсем ИМК в строгом смысле).

А у Вас что нового?

diferal
06.03.2011, 21:01
Пока что в процессе. (Сказано же было: 1-2 года, а не 1 год :) )
Понятно :cool:

Вы собираетесь на конференцию http://bci.tugraz.at/BCI2011/ ? Меня там точно не будет. В начале сентября ожидаю пополнение в семье. Так что будет не до конференций.

А у Вас что нового? По инвазивному BCI опубликовали пару статей в IEEE TNN и IJNS. Исследовали декодирование ориентированных стимулов по спайкам в одной из областей в зрительном кортексе. А так же исследовали "обучение" в определенных областях мозга и его влияние на декодирование (c учетом различных "физически" обоснованных черт/характеристик [features]) с помощью local field potentials. Так же опубликовали статью на конференции по визуальному мониторингу этого "обучения".
По неинвазивному BCI обубликовали, кажется, пять статей на конфернциях. Сейчас еще 5 статей на конференции на рецензирование, а так же 2 журнальные статьи тоже под рецензированием (Neurocomputing и CIN). В основном уклон в алгоритмы. По P300 исследовали некоторое количество пациентов (ALS, locked-in после инфаркта и т.д.). Часть исследования на рецензии. Часть только готовится к публикации. Кроме P300 занимались еще SSVEP. В основном алгоритмы в частотной и временной областях, а так же пространственная фильтрация. Так же делали/делаем эксперименты с пациентами по печатанию текста с помощью SSVEP. Ну и сравнение с печатанием с помощью P300. Занялись так же потенциалом ошибки (error potential, ErrP) в парадигме P300. Провели исследование, когда и с каким корректирующим алгоритмом можно добиться использование ErrP для увеличения ITR (information transfer rate) в системах на P300.
По части игрушек тоже кое-что сделали. Две игрушки на SSVEP. Их даже подогнали для EPOC (от Эмотива), если его надеть наоборот :smile: Через полторы недели будет давать поиграть с помощью этого на выставке всем желающим.
Подготовили унивеситетский курс по BCI (12 лекций и две трехчасовых лабы). Вот как раз сейчас этот курс преподается в этом семестре в первый раз.
Это если в кратце.

Сергей Ш.
06.03.2011, 21:40
Неплохо продвигаетесь :)

У нас год, увы, прошел без статей, но сейчас есть одна на рецензировании в Neuroscience Letters, пишем следующую. Новых игрушек "на P300" на самом деле две - "браузер" и игра в шарики, которую я имел в виду в предыдущем посте (два варианта). Ориентация пока больше на модификацию стимулов (исходя в разных случаях из довольно различных соображений) и парадигмы в целом. Все неинвазивное и на здоровых.

Потенциалом ошибки нам тоже, наверное, придется заняться. К пространственной фильтрации я уже несколько лет собираюсь приступить, но пока тоже только в будущем (надеюсь, в очень близком).

BTW, меня продолжает интересовать, насколько SSVEP неутомительны... Сколько примерно времени обычный игрок может комфортно играть в ваши игрушки, если не секрет?

diferal
06.03.2011, 22:23
BTW, меня продолжает интересовать, насколько SSVEP неутомительны... Сколько примерно времени обычный игрок может комфортно играть в ваши игрушки, если не секрет? Ну, никто по долгу не играл. И сколько можно выдержать, мы не проверяли. По личному опыту могу сказать, что частоты выше 12 Гц для меня нормальны. Ниже - утомительно. Ну а для эпилептиков - мигающие стимулы вообще опасны.
Но в SSVEP есть и свои плюсы. Как, например, бОльшая точноть и возможность декодировать без тренировочной сессии.

Сергей Ш.
06.03.2011, 23:08
Но в SSVEP есть и свои плюсы. Как, например, бОльшая точноть и возможность декодировать без тренировочной сессии.

Это да...

Желаю дальнейших успехов, в особенности успешного пополнения семьи! :)

diferal
22.03.2011, 13:44
меня продолжает интересовать, насколько SSVEP неутомительны...
На прошлой неделе провели два дня на выставке. Давали поиграть всем желающим. Вот сейчас обрабатываем результаты. Результаты опросника после одной из игр (основанной на SSVEP с 4мя коммандами [т.е. одновременно 4 стимула с различной частотой мигания расположены на экране]) уже почти обработали. За эти двя дня в эту игру поиграли 53 человека. Ниже на картинке представляю результаты опроса (в процентном отношении ко всем 53 поигравшим) по интересующему Вас вопросу.
http://img-fotki.yandex.ru/get/5604/diferal.1/0_519e3_19cdb66a_L.jpg

Сергей Ш.
25.03.2011, 20:32
А по сколько времени они играли? И как они воспринимали вопрос про утомление... ну, я имею в виду - не могли ли они считать себя нисколько не уставшими (ориентируясь на ощущения общего характера или даже решив, что вопрос касается усталости в мышцах), но при этом глаза все-таки устали?

diferal
26.03.2011, 01:42
А по сколько времени они играли? И как они воспринимали вопрос про утомление... ну, я имею в виду - не могли ли они считать себя нисколько не уставшими (ориентируясь на ощущения общего характера или даже решив, что вопрос касается усталости в мышцах), но при этом глаза все-таки устали? Отвечу с начала на второй вопрос. Мы не ставили цели оценивать именно усталость в глазах. Мы были более заинтересованы оценкой самой игры (по различным параметрам). В том числе и по вышеприведенным. Вопрос звучал: "Находите ли Вы игру: 1. утомительной, 2. не очень утомительной, 3. совершенно неутомительной". Хотя, конечно, "утомительный" в вопросе на русский можно было перевести и как "игра напрягает". Ну а в чем причина утомления... Явно не в мышцах, так как ничего кроме зрения игрок не использовал. Я так с ходу даже сейчас и не могу придумать других причин утомления, как только из-за глаз.
Насчет первого вопрос. Т.е. о том, сколько они играли по времени. Здесь нельзя ответить однозначно. Каждый играл столько, сколько хотел (игра сама генерирует уровни [практически до бесконечности] с увеличивающейся сложностью) и прерывал/останавливал игру по той или иной причине (надоело играть, убедился в работоспособности системы, спешил к следующим экспонатам на выставке и т.д.). Но, думаю, более десяти минут играл каждый. Некоторые и по полчаса и, наверное, более играли. При этом игравшие дольше (обычно с очень хорошим контролем над игрой), как правило отмечали меньшее утомление. Ну а заставить играть кого-то определенное количество времени не представлялось возможным. Мы ж как бы делали презентацию для людей, а не люди работали на нас.
Думаю, здесь еще следует отметить следующее:
1. Игра сделана так, что не нужно постоянно смотреть на мигающий стимул. Думаю, более половины времени игры как раз игрок и не смотрел на стимуляцию. При этом игрок мог отвлекаться, разговаривать, вертеться на месте, вставать и т.д. При этом никаких команд не детектировались в эти моменты. Да и само детектирование нужно только в некоторые дискретные моменты игры (где неодходима концентрация на стимуле не более 2-5 секунд)
2. Стимуляция была более "мягкой". Т.е. не чередование, скажем, белого и черного, а плавное изменение. Это, как мы уже давно отметили, менее влияет на усталость глаз (правда и SSVEP от этого хуже)
3. Стимулы были желтые (со всякими тенями, контурами, "рюшечками" ...) на сером фоне (а не белые на черном). Что, по нашему предыдушему опыту, тоже лучше для глаз.
Кстати. Сегодня записывал с себя обычный SSVEP при стимуляции около 14 Гц. Стимуляция была выполнена как резкое чередование белого и черного в центре экрана. Нужна была запись всего 2 минут. Честно, если высидел. Глаза очень слезились. Но вот в игру я играл долго (когда мы всё тестировали в начале выставки) и никакой усталость не чувствовал.

Сергей Ш.
26.03.2011, 16:24
Большое спасибо за подробный ответ! Очень интересные наблюдения. (Вы только эдак чего-нибудь секретного не разгласите - типа к-н патентуемых решений, например ;-) )

Мне кажется, для SSVEP подбор визуальных характеристик (цвета и их сочетания, фактура и т.п.) и стимулов, и, мб, всей зрительной среды должен быть особенно важен. Напр., на восприятие яркости и цвета рассматриваемого объекта очень сильно влияет яркость и цвет фона и окружающих объектов - наверняка что-то такое может быть и в случае с SSVEP. В частности, бедный фон, наверное, хуже "для глаз", чем обогащенный сложной фактурой и разными объектами.

У нас игры (на "Р300") тоже строятся так, чтобы человеку нужно лишь на несколько секунд следить за стимулами, и именно тогда, когда он сам решает это делать (это обеспечивается максимально прямолинейно - за счет самозапуска стимуляции мышью). На выставках специальный опрос не устраивали, большинство тех, кого спрашивали, вроде бы не уставали (кроме, кажется, тех, кто играл долго - но они играли долго по причине, противоположной тому, что было у вас - игра продолжалась до завершения сборки пазла, так что это были те, кто делал много ошибок; и некоторое утомление могло возникать от фрустрации из-за неясности, как справиться с ошибками). В эксперименте с небольшими перерывами играют около часа, охотно приходят повторно (в другие дни). Большинство почти не устают, если пришли в хорошей форме, но, правда, если эксперимент вечером и испытуемый пришел уже уставшим, то бывало, что к концу дополнительное утомление от игры уже вполне заметное. Но это обычно не зрительное утомление (за редкими исключениями), а просто утомление от деятельности, требующей внимания, и иногда, возможно, опять же от некоторой фрустрации от ошибок (у нас сейчас задачи специально делаются сложными и провоцирующими ошибки - хотим разобраться, как люди могут с ними справляться; возникновения фрустрации стараемся избегать, но иногда за ней не уследишь).

Сергей Ш.
15.04.2011, 23:19
Мое прошлогоднее (ноябрь) выступление на Московском семинаре по когнитивной науке и ответы на вопросы. Получилось несколько рыхло и затянуто, но поскольку обещал, кладу сюда:

введение

http://www.youtube.com/watch?v=mSWoXrig2oM

окончание ответов на вопросы по первой части

http://www.youtube.com/watch?v=1nnFFyyicLQ

ИМК "на волне Р300", в основном про наши работы; ответы на вопросы

http://www.youtube.com/watch?v=aRttKETDutQ

окончание ответов на вопросы и немного про приложения

http://www.youtube.com/watch?v=kWFYF1L85g8

diferal
21.04.2011, 22:31
Спасибо за видео. Наиболее интересна, конечно, вторая часть доклада. Правда здесь я с Вами не во всем согласен. Более точно, я не согласен с тем, что Вы говорите о N1 в ИМК на волне P300.
Попытаюсь объяснить. Если придерживаться классификации ИМК на основе визуальных вызванных потенциалов отсюда (Guangyu Bin; Xiaorong Gao; Yijun Wang; Bo Hong; Shangkai Gao (2009) VEP-based brain-computer interfaces: time, frequency, and code modulations, IEEE Computational Intelligence Magazine 4(4): 22-26), то есть такая парадигма ИМК как t-VEP. Иногда в литературе что-то похожее называют еще motion-onset VEP. Так же используют и другие названия. Смысл ее в следующем. Для простоты предположим, что у нас есть такая же матрица с буквами, как и в печатающем устройстве на P300. Так же, для еще большей простоты предположим, что в произвольном порядке загораются сами буквы (а не строки или столбцы). В этом случае, если Вы смотрите на букву "А", то после ее подсветки в затылочной области (т.е. над визуальным кортексом) у Вас проскользнет ранний ответ, который будет отличен он того, что будет регистрироваться при подсветке других букв. Отличие с P300 здесь в том, что Вам не надо считать нужные подсветки или как-то мысленно выделять их, так как t-VEP использует ранний потенциал (еще до когнитивных компонент). Детектирование этого потенциала, естественно, тоже через усреднение. Ну и, ИХМО, этот t-VEP как раз тоже, что Вы называете N1.
Т.е. в Ваших экспериментах Вы рассматриваете две парадигмы ИМК (t-VEP и P300) одновременно. Но при этом именуете все как только P300.
Здесь, ИМХО, будет правильнее говорить о гибридном ИМК (hybrid BCI), где используются одновременно две парадигмы.

Сергей Ш.
22.04.2011, 01:19
Спасибо за ссылку, это довольно любопытный обзор, а я как-то проскочил мимо него и мимо статей по потенциалам на вспышку, которые там цитируются (видел в пабмеде названия и даже как-то просматривал одну из них, но не очень вчитывался, а кое на что, наверное, стоило обратить внимание). Но я не вполне согласен, что у нас "две парадигмы".

Во-первых, если подходить сугубо формально, мы ведь используем обычный ИМК Фаруэлла-Дончина, который в литературе практически все называют P300 BCI, P300 Speller и т.п. Поскольку Дончин с 70-х годов один из самых известных исследователей волны Р300, то раз он сказал, что эта штука работает на Р300, так все и думали двадцать лет :) Правда, поскольку они с Фаруэллом и не собирались ловить что-либо, кроме Р300, то над зрительными областями электроды не ставили, а этот N1 отличается от некоторых более изученных N1 как раз тем, что регистрируется только в затылочных и затылочно-височных отведениях, и в результате ни они, ни их многочисленные последователи очень долго его не видели. Мы его нашли отнюдь не первыми - его некоторое время назад стали замечать те, кто ставил много электродов и пытался разобраться, какие из их позиций больше помогают детектировать то, что считалось якобы только Р300. Тем не менее подробно его никто не изучал, его лишь упомянули в нескольких статьях почти что между делом, и когда я в позапрошлом году на конференции SPR показывал коллегам, занимающимся ИМК, картинки с этим самым N1, то все они в первый момент попросту не верили, что такое возможно (правда, тех, кто посерьезнее, удалось-таки убедить, что именно так оно и есть :) ). А вот в прошлом году уже вышли сразу три статьи из разных групп про этот компонент и про то, что он, увы, фактически делает ИМК "не-независимым" (я их тут на предыдущей странице вверху как раз цитировал; правда, его называют, как и мы, именно "N1", т.е. в соответствии с современной психофизиологической номенклатурой (которая, впрочем, несколько условная), только Treder & Blankertz, но у них и работа наиболее капитальная :) ). (Мы и сами думали это напрямую проверить, но рук на все не хватает, да и не хотелось мучить людей противоестественной парадигмой Познера (человек смотрит в одно место, а внимание направляет на другое - именно ее использовали во всех (!) трех статьях) - ведь не очень понятно, насколько результаты в ней соответствовали бы реальной ситуации (даже больной не будет специально смотреть в одно место, а "внимать" другому), а более реалистичный (правда, неполный) тест с маленькой матрицей придумали уже позже.)

Во-вторых, насколько я сейчас мог понять по этому обзору и по статье Lee et al. (2008) Brain computer interface using flash onset and offset visual evoked potentials, в "t-VEP" объединены два очень разных типа потенциалов: (1) действительно "докогнитивные" компоненты в составе совершенно классического (изучавшегося с 50-х годов) вызванного потенциала на вспышку, более ранние, чем "наш" N1, и не выраженные в затылочно-височных областях; и (2) потенциалы, связанные с детекцией начала движения, которые во многих отношениях близки к "нашему" N1, но имеют, похоже, все-таки тоже чуть-чуть другую топографию.

По сути тот N1, который наблюдается в ИМК Фаруэлла-Дончина, это, видимо, коррелят детекции ожидаемого события в фовеальной области, причем в ситуациях, когда (в отличие от классической зрительной одбол-парадигмы, как мы в свое время показали) нет надобности заниматься различением этого события и каких-то других (т.е. других стимулов в той же позиции не предъявляется или они очень сильно отличаются от целевого). Он довольно поздний (близок к 200 мс) и поэтому на него вроде бы должно влиять внимание, по крайней мере, общий уровень внимания к той точке, куда направлен взгляд (хотя, честно говоря, насчет внимания мы не проверяли, хотя это и интересно с сугубо научной точки зрения - опять же, рук на все не хватает :( ). Но в психофизиологической литературе он почему-то очень мало разбирается.

diferal
22.04.2011, 01:35
Вам, конечно, все должно быть виднее. Все же я по этому вопросу имею только некоторые теоретические знания.
Но со своей колокольни я бы все же говорил о совместном использовании t-VEP и P300.
Хотя, конечно, как появится больше сободного времени, то может постараюсь и разобраться в этом вопросе.

Сергей Ш.
22.04.2011, 02:01
Правильнее, я думаю, говорить о совместном использовании Р300 и "зрительных" компонентов (строго говоря, среди них может быть не только N1 - напр., у нас в некоторых модификациях некоторый вклад в различение реакций на целевые и нецелевые стимулы явно вносит компонент Р1 - позитивный компонент, возникающий еще до N1). Примерно про это говорят и Treder & Blankertz (у них, кстати, N1 обсуждается только как один среди нескольких "зрительных" компонентов, хотя, мб, зря - он все-таки выделяется своей амплитудой и робастностью по отношению к вариациям свойств стимулов). Но они относятся к ним довольно негативно - что, конечно, правильно, если говорить только о полностью парализованных людях, но ведь есть еще и игры для непарализованных людей (в т.ч., как мы надеемся и чем сейчас среди прочего пытаемся заниматься, игры, весьма развивающие весьма тонкие компоненты внимания).

И еще есть поздняя негативность - в некоторых случаях можно использовать и ее.

diferal
22.04.2011, 02:24
Правильнее, я думаю, говорить о совместном использовании Р300 и "зрительных" компонентов (строго говоря, среди них может быть не только N1 - напр., у нас в некоторых модификациях некоторый вклад в различение реакций на целевые и нецелевые стимулы явно вносит компонент Р1 - позитивный компонент, возникающий еще до N1).
Может быть.
Сейчас вскользь глянул рекоммендованную Вам выше статью (Bin et al. 2009). Все же читал ее более года назад. На рисунке 2 (относящемся к t-VEP) ярко выражены P1 (около 100 мс) и N1 (около 200 мс). Правда что-то я не увидел, с какого это электрода.

Сергей Ш.
22.04.2011, 15:15
Это у них очень приблизительная иллюстрация, к тому же одиночная запись. И, действительно, существенно, где это локализовано на скальпе. Чтобы разбираться, нужно смотреть в экспериментальных статьях и в соответствующих журналах, поэтому я сразу полез в статью Lee et al. (2008) - она напечатана в более-менее компетентных в таких вопросах Clinical Neurophysiology. Но даже там используется несколько устаревшая терминология и соответствующий компонент назван N2 (ср., напр., http://mitpress.mit.edu/books/chapters/0262621967chap1.pdf ), но самое неприятное - нет усреднения по группе (картинки по небольшому числу отдельных людям не очень информативны) и не очень ясно, где какие электроды находятся на их схематических головах. Впечатление такое, что у них ничего нет ближе к вискам, но оно может быть обманчиво, хотя примерно так и должно быть, если ориентироваться на старые статьи с топографией реакций на вспышки.

ringо-ring
26.04.2011, 11:35
Сергей, Вашей работой и трансгуманисты заинтересовались:

http://singularityhub.com/2011/04/25/patients-control-computer-using-only-their-minds-video/

(похоже на проплаченную рекламу, правда :wink: - но если не так - поздравляю!)

diferal
26.04.2011, 13:22
Это у них очень приблизительная иллюстрация, к тому же одиночная запись. И, действительно, существенно, где это локализовано на скальпе. В принципе, понятно, что это в бОльшей части затылочная часть и прилежащие области. А вообще, конечно, эти реакции на впышку в ИМК значительно исследуются еще и в другой парадигме. Правда, конечно, видоизмененные. Если обратиться к тому же Luck'у (правда в середину книги), ссылку на первую главу книги которого Вы привели выше, то ”If stimuli are presented at a constant rate rather than a variable rate, the overlap from the preceding and subsequent stimuli is fully present in the averaged waveform <...> It is possible to make overlap into a virtue. Specifically, if a series of identical stimuli are present at a fast, regular rate (e.g., eight stimuli per second), the system will stop producing complex transient responses and enter into steady state, in which the system resonates at the stimulus rate (and multiples thereof)” (стр.149-150). Там же представлена схематическая картинка, которая показывает как из одиночных ответов на вспышку (как в статье Bin et al. 2009) получается SSVEP. Я все это к тому, что локализацию ответов на вспышку можно найти рассматривая статьи о SSVEP. Например мы для SSVEP ИМК используем электроды Oz, O1, O2, POz, PO7, PO3, PO4, PO8.
Так же вышенаписанное можно рассматривать и с позиции вопроса о зависимости/независимости ИМК и других вопросов. Т.е. работы в этом направлении об SSVEP (см. например Allison et al. 2008) можно рассматривать в паре с работами по ранним компонентам в печатающем устройстве (на P300).
Ну и еще раз о терминологии. Думаю, если говорить о парадигмах в “печатающем устройсте”, то нужно говорить все же о двух парадигмах ИМК: ИМК на вспышку (t-VEP, montion onset,.. отвечающим за ранние изменения со всеми вытекающими последствиями) и ИМК на P300. Как раз, ИМХО, комбинацию этих парадигм Вы и исследуете в Ваших экспериментах.
Ну а если говорить об компонентах вызваных потенциалов, то тут я согласен с Вами, что нужно говорить о “совместном использовании Р300 и "зрительных" компонентов”

Сергей Ш.
26.04.2011, 16:00
Наверное, статьи по SSVEP мне действительно стоит посмотреть, хотя бы с той точки зрения, что там внимание к позиции в пространстве довольно существенно.

Но непохоже, что в "нашем" случае перекрытие и "резонанс" имеет существенное значение, ведь при учете только целевых стимулов перекрытия почти нет, а постоянства частоты стимуляции нет даже близко. Кроме того, N1 в парадигме Ф-Д нечувствителен к яркости/контрасту стимулов (см в нашей статье в JIN (http://brain.bio.msu.ru/papers/Shishkin_Ganin_Basul_Zhigalov_Kaplan_2009_JIN__N1_ wave_in_the_P300_BCI.pdf) - мы там даже меняли подсветку на потемнение), это довольно нетипично для обычных ВП на вспышку.

Что касается терминологии, то к какому классу относится собственно парадигма Фаруэлла-Дончина (http://www.cis.gsu.edu/brainlab/papers/Farwell%20Donchin%2088%20-%20first%20P300%20BCI.pdf)?

Сергей Ш.
26.04.2011, 16:03
Сергей, Вашей работой и трансгуманисты заинтересовались:

http://singularityhub.com/2011/04/25/patients-control-computer-using-only-their-minds-video/

(похоже на проплаченную рекламу, правда :wink: - но если не так - поздравляю!)

Спасибо, ответил в http://theneuronetwork.com/group/braincomputerinterfaces

Ага, реклама у нас завсегда хорошо проплаченная :wink: (интересно, кем? :rolleyes: )

diferal
26.04.2011, 16:31
Наверное, статьи по SSVEP мне действительно стоит посмотреть, хотя бы с той точки зрения, что там внимание к позиции в пространстве довольно существенно.

Но непохоже, что в "нашем" случае перекрытие и "резонанс" имеет существенное значение, ведь при учете только целевых стимулов перекрытия почти нет, а постоянства частоты стимуляции нет даже близко. Кроме того, N1 в парадигме Ф-Д нечувствителен к яркости/контрасту стимулов (см в нашей статье в JIN (http://brain.bio.msu.ru/papers/Shishkin_Ganin_Basul_Zhigalov_Kaplan_2009_JIN__N1_ wave_in_the_P300_BCI.pdf) - мы там даже меняли подсветку на потемнение), это довольно нетипично для обычных ВП на вспышку.

Что касается терминологии, то к какому классу относится собственно парадигма Фаруэлла-Дончина (http://www.cis.gsu.edu/brainlab/papers/Farwell%20Donchin%2088%20-%20first%20P300%20BCI.pdf)? Про “перекрытие” и “резонанс” я писал только для того, чтобы показать, что SSVEP порождается именно из таких перекрытий ответов на вспышку. Т.е., ответы на вспышки (с постоянной частой) образуют SSVEP. А значит, рассматривая локализацию SSVEP, можно говорить и о локализации ответов на единичные вспышки в тех же областях.
В Вашем случае есть просто единичные ответы на вспышки. Но их локализация будет такой же, как если бы был SSVEP.
Касательно парадигмы Фаруэлла-Дончина. То это как раз обычный P300. Очитывая особенно то, что они искали именно эту компоненту в определенном временном интервале (они не интересовались ранними компонентами).
А когда рассматриваемый интервал (после стимуляции) берется более широко, то в него попадают и ранние компоненты, ответственные за вспышку. Т.е. за счет расширения интервала мы имеем совместное рассмотрение дву парадигм. Все, конечно, ИМХО.

Сергей Ш.
26.04.2011, 18:33
То, о чем Вы говорите, я бы назвал "технологией". Если с этой поправкой, то насчет "гибридности" я с Вами вполне согласен.

В разговорах про ИМК, насколько я могу судить, используется понятие "парадигмы" из экспериментальной психологии, где оно очень распространено, как сокращенный (часто разговорный) эквивалент "experimental paradigm". В контексте экспериментальной психологии это понятие близко к experimental setup, но как бы его верхний уровень. В ИМК - это задача пользователя, организация стимулов (если они используются) и вообще визуальной или какой-то другой "сенсорной" среды, и обратная связь (если она существенна).

У нас вроде бы не просто ответы на вспышку в фовеальной области, а ответы на событие, ожидаемое в заданном месте. В противном случае похожий потенциал был бы и в обычной одбол-парадигме, а как раз там он начисто отсутствует - см пунктир на рис. 2 в нашей статье в JIN (http://brain.bio.msu.ru/papers/Shishkin_Ganin_Basul_Zhigalov_Kaplan_2009_JIN__N1_ wave_in_the_P300_BCI.pdf) !

Событие может быть, вероятно, очень разным - напр., у нас в статье использовалось очень слабое потемнение бледных букв, и результат был тот же, какой был при стандартном вспышкоподобном резком увеличении яркости. Хилл с коллегами (Hill, Farquhar, Martens, Bie?man, Sch?olkopf, 2009 (http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.165.9194&rep=rep1&type=pdf)) использовали поворот прямоугольника на 90 градусов - правда, они потенциалы не анализировали, но классификатор работал очень похоже. Надо, правда, признать, что у Frenzel & Neubert N1 (они его как-то иначе называли), а также у Treder & Blankertz (2010) был и в случае, когда внимание было привлечено к области вне фовеа, а у нас он регистрировался независимо от того, целевой или нецелевой стимул подавался в фовеальной области (если только это была не типичная одбол-парадигма). Никто вроде бы не смотрел, будет ли он вообще наблюдаться или будет ли отличаться в случае, если человек вообще не ожидает стимул, но нельзя исключить, что он все-таки будет присутствовать.

Хотя, конечно, Вы правы - было бы не лишне внимательно сравнить топографию SSVEP и этого N1, лучше на одних и тех же людях. Это может иметь и практическое значение в совсем "гибридных" ИМК.

diferal
26.04.2011, 19:04
Ну я всегда в первую очередь говорю о “технологии”, хотя бы из-за моего background'а. Но и даже в случае “experimental paradigm” я бы тоже говорил о различии и связи двух парадигм. Ответ на вспышку (t-VEP, motion onset и т.д.) говорит о наблюдении испытуемым стимула в определенной области (кстати, исходя из этого можно тоже говорить “об ответе на событие, ожидаемое в заданном месте”). А вот текстонабиратель на P300 еще подразумевает, к примеру, подсчет вспышек. Т.е., я бы все же говорил, что Ваш set up вклчючает две парадигмы. Причем, одна из них (t-VEP, motion onset, ...) включена неявно. Хотя все это только частные мнения, так как пока в литературе по ИМК (на сколько я в курсе) еще не проведено строго разделения.
Кстати, опять же насчет “об ответе на событие, ожидаемое в заданном месте”. Посмотрите статью Allison BZ, McFarland DJ, Schalk G, Zheng SD, Jackson MM, Wolpaw JR. (2008) Towards an independent brain-computer interface using steady state visual evoked potentials, Clin Neurophysiol. 2008 Feb;119(2):399-408. В этой статье расматриваются именно события ожидаемые в заданном месте. Точнее две различные стимуляции в одном месте (т.е. наложеные друг на друга). И как показано, именно необходимость “ожидаемого события” играет роль и дает возможность различать ответы (SSVEP) на эти две стимуляции. А т.к. SSVEP порождается из ответов на вспышки (t-VEP, motion onset и т.д.), то можно, наверное, говорить и о соответствующем свойстве этих ответов на вспышки.

diferal
26.04.2011, 23:12
Я тут подумал, что наверное будет полезным посмотреть на все обсуждаемое выше с другой стороны. А именно следующим образом. Нам известны два факта: 1. Ответы на вспышку (t-VEP, motion onset и т.д.), используемые в ИМК, дают различие в ранних компонентах (в электродах над затылочной частью и прилегающих областях), которые можно использовать в декодировании. 2. Стандартный одбол дает изменения (около 300 мс после стимула, над теменной и соседними областями), которые можно так же использовать в декодировании.
Исходя из этого, к примеру, в обычном мозго-печатающем устройстве, где есть и вспышки и одбол, должны присутствовать изменения и в ранних компонентах и в окрестности 300 мс. Это, вроде как, следствие вышеотмеченных предпосылок. И если каких-то изменений не наблюдается, то это говорит о том, что одна из предпосылок ложна. Но мы знаем, что и первая (об истиности которой мы можем судить так же и из SSVEP) и вторая верны.
Поэтому, чисто из логических заключений, я всегда считал, что в мозго-печатающих устройствах значимые временные моменты для декодирования в вызваных потенциалах есть как и в ранних компонентах, так и около 300 мс (правда, все зависит от расположения электрода). Хотя раньше я никогда не задавался вопросом, являются ли эти значимые ранние моменты времени N1 или нет. Так как в плане декодирования это не важно.
Ну а посмотрев Ваш доклад, я просто нашел подтверждение тому, что ранее считал.
Здесь важен еще следующий момент. Если Вы утверждаете, что "Ваш" N1 не имеет ничего общего с ответом на вспышку (t-VEP, motion onset и т.д.), то возникает вопрос, что произошло и куда исчезло то (та разность между вызванными потенциалами), что дожно быть от этих ответов на вспышку (t-VEP, motion onset и т.д.)?

Сергей Ш.
27.04.2011, 00:02
Статью Аллисона я посмотрю, спасибо. Стимуляция с быстрой частотой - это вроде бы не события, по крайней мере, в том смысле, в каком нужны события для того, чтобы возникла Р300 - а все-таки есть вероятность, что для N1 нужны события именно такого рода, т.е. выделяемые человеком как отдельные значимые сущности (точнее, потенциально значимые - к оценке значимости имеет отношение Р300 и более поздние компоненты).

Говоря про "изменения (около 300 мс после стимула, над теменной и соседними областями)" в стандартном одболе, Вы имеете в виду позитивный потенциал? (Тогда это классическая Р300.)

Потенциалы на начало движения довольно сильно отличаются от потенциалов на вспышки - см. обзор Heinrich (2007) (http://www.ncbi.nlm.nih.gov/pubmed/17431818) или статьи Kuba, Kubova и др. (http://scholar.google.com/scholar?as_q=motion+detection+brain+potentials+eeg&as_sauthors=kuba). Потенциалы при различном распределении пространственного внимания тоже могут иметь свои особенности. Вообще ПСС (ERP) не так уж часто выглядят как простое сложение неких известных "составных частей" - по-видимому, в разных задачах обработка информации мозгом в целом весьма сильно различается и эти различия редко сводятся к простому добавлению новых стадий обработки.

(В P300 BCI часто почему-то еще наблюдается вместо обычной Р300 некий ранний компонент, который, судя по обычной психофизиологической литературе, никак не может быть Р300. Тем не менее в каких-то определенных условиях и по крайней мере у некоторых людей он реагирует на задачу именно так, как могла бы реагировать Р300, которая при этом отсутствует. Это, в частности, есть в некоторых статьях у Sellers. С чем оно связано, науке не известно :) Это я к тому, что ПСС и от специфики конкретных условий стимуляции сильно зависят (а в чем в данных случаях специфика, можно только гадать), и вообще штука довольно непредсказуемая.)

В стандартном зрительном одболе прямо в фовеальную область фактически дается вспышка, но там, в отличие от парадигмы Фаруэлла-Дончина, N1 нет! Вот это то, что я точно знаю - и по своим данным, и по статьям - и это как раз для меня наиболее загадочно. К сожалению, прямые выводы для ИМК из этого не очень богатые. Психофизиология за этими различиями может стоять очень интересная (ведь не случайно никто долгое время не видел этот N1 - это как раз хороший признак наличия дыры в знаниях), но, увы, заниматься ею мне вряд ли удастся, т.к. дел собственно по ИМК и без этого выше крыши. Поэтому я на семинаре и взывал к коллегам с пожеланиями взяться раскручивать эту тему - хотя практически наверняка никто не возьмется.

diferal
27.04.2011, 01:09
Говоря про "изменения (около 300 мс после стимула, над теменной и соседними областями)" в стандартном одболе, Вы имеете в виду позитивный потенциал? (Тогда это классическая Р300) Эээ. А могло быть что-то другое? Ладно, в следующий раз так и буду писать P300, а не стараться подгонять под определенный стиль текста. ;) Все же хотел написать без названий компонент. Но, видно, зря.
Ну а вообще, я надеюсь, Вы мои мысли поняли. Верна моя гипотеза или нет, покажут время и исследования. Но, по крайней мере, она объяснет то, что есть у Вас.

Сергей Ш.
27.04.2011, 11:35
Эээ. А могло быть что-то другое? Ладно, в следующий раз так и буду писать P300, а не стараться подгонять под определенный стиль текста. ;)
Отклонение потенциала могло бы быть и в негативную сторону, тогда это однозначно не могла бы быть Р300 :) Вообще "Р300" не обязательно означает известный феномен - так можно было бы назвать любой позитивный компонент с латентностью примерно 300 мс. Вот если использовать альтернативный, но вполне полноценный термин Р3, то уже требуется соответствие номенклатуре (по определению это третье после стимула крупное позитивное отклонение, но предыдущие могут считаться как бы не выраженными в конкретной парадигме - в этом случае возможно много путаницы, как, кстати, часто получается с N1).


Ну а вообще, я надеюсь, Вы мои мысли поняли. Верна моя гипотеза или нет, покажут время и исследования. Но, по крайней мере, она объяснет то, что есть у Вас.
Тонкость в том, что отражение в ПСС реакции на физическое появление стимула ожидается "по умолчанию", но именно эти ожидания у нас и не оправдались в самом первом исследовании - результаты, которые мы опубликовали в JIN, говорят как минимум о том, что как раз тот N1, который полезен для ИМК, наблюдается вовсе не при всякой подаче стимула даже в очень близких условиях. Именно это надо как-то объяснить... На самом деле нам, видимо, осталось сделать то ли одну, то ли две серии с несколькими новыми контролями, чтобы все-таки окончательно разобраться, но на это почти наверняка не будет времени.

diferal
27.04.2011, 12:37
Отклонение потенциала могло бы быть и в негативную сторону, тогда это однозначно не могла бы быть Р300 :) В одболе? 0-0 Я ж вроде написал, что “Стандартный одбол дает изменения (около 300 мс после стимула, над теменной и соседними областями), которые можно так же использовать в декодировании.” Видно и в правду нужно писать P300, чтобы уж точно все поняли....

Сергей Ш.
27.04.2011, 13:06
При нестандартном способе описания обычно нужно использовать больше слов :) Я же не мог быть уверен, что знаю, на чем Вы хотите сделать акцент, а в одболе все-таки есть несколько компонентов.

Сергей Ш.
25.05.2011, 14:52
Сайт РФФИ опубликовал список заявок, поданных на конкурс офи_м: http://www.rfbr.ru/rffi/getimage?objectId=33876

В частности, 8 заявок содержат слово "интерфейс" в смысле ИМК или близком ("реально ли" - там, конечно, не сказано: видимо, рассудит время :) ):


68 11-04-12030офи-м-
2011
Бадаква А. М. Разработка макета инвазивного интерфейса мозг-
компьютер (ИМК) и оценка его эффективности при
использовании различных типов нейрональных
сигналов в экспериментах на обезьянах

100 11-04-12067офи-м-
2011
Бирюкова Е. В. Разработка модели экзосклетона руки человека и
системы его сопряжения с интерфейсом мозг-
компьютер

377 11-04-12052офи-м-
2011
Иваницкий А. М. Исследование ритмических кодов мыслительной
деятельности и создание на этой основе модели
когнитивного пространства человека и интерфейса
мозг-компьютер высокого уровня

388 11-07-12069офи-м-
2011
Игнатьев М. Б., Черняков Е. Л.
Разработка интерактивной модели жесткого
экзоскелетона и тела человека, набора виртуальных
пространств и систем их сопряжения с интерфейсом
мозг-компьютер для исследования влияния
мультимодальной стимуляции, виртуального
моделирования и роботизированных систем
двигательного обучения на восстановление
утраченных двигательных функций у человека

429 11-04-12044офи-м-
2011
Кирой В. Н. Создание интерфейса мозг-компьютер, основанного
на многоканальной регистрации ЭЭГ и его адаптация
к клиническому применению для реабилитации
постинсультных и посттравматических больных.
Проведение исследований на здоровых испытуемых и
больных той же возрастной группы по выявлению
способностей к овладению навыком управления
внешними техническими устройствами
непосредственно сигналами мозга, соответствующим
воображаемым движениям конечности

617 11-04-12185офи-м-
2011
Марченков А. Н. Разработка неорганических нейроинтерфейсов для
направления роста, оптической стимуляции и
оптоэлектронной регистрации активности клеток
нервной системы

645 11-04-12064офи-м-
2011
Михайлова Е. С. Создание символьного нейрокомпьютерного
интерфейса как средства эффективной невербальной
коммуникации человека с внешним миром и
управления устройствами

1023 11-04-12025офи-м-
2011
Фролов А. А. Создание интерфейса мозг-компьютер, основанного
на регистрации ЭЭГ, для реабилитации
постинсультных и посттравматических больных

Сергей Ш.
11.09.2011, 15:52
Набор программистов в нашу лабораторию, в т.ч. для работ по интерфейсам мозг-компьютер:

http://www.neuroscience.ru/showthread.php?4910

covax
13.09.2011, 10:25
Набор программистов в нашу лабораторию, в т.ч. для работ по интерфейсам мозг-компьютер:


А под какие еще исследования нужны программисты, кроме ИМК?

Сергей Ш.
13.09.2011, 15:37
Психофизиологические. Насчет подробностей - спрашивайте руководителя лаборатории, емейл есть в объявлении.

diferal
16.01.2012, 20:12
Но в ближайшие 1-2 года мы, думаю, докажем вполне убедительно, что игнорировать психофизиологию совершенно неправильно :) Уже два года прошло ;) Надеюсь, поставленная цель достигнута.

Сергей Ш.
18.01.2012, 14:25
Совсем убедительное доказывание немного откладывается. Скорее всего, собственно работу завершим к началу или середине осени, плюс еще потребуется время на подготовку публикаций. Что касается почти убедительного доказывания, то оно есть в наших статьях в сборнике прошлогодней конференции в Граце (http://www.neuroscience.ru/entry.php?178-Proceedings-of-the-5th-International-Brain-Computer-Interface-Conference-2011-%28Graz%29). Конечно, и ИМК-Р300 с движущимися позициями, и даже применение "одностимульной парадигмы" для обучения классификатора можно было бы, в принципе, придумать и без психофизиологических исследований, но то, что все это никто не сделал раньше, имхо, свидетельствует в поддержку моего тезиса :)

diferal
09.02.2012, 19:56
Это, Сергей, не Вы с коллегами подвязались провести 2-ой Международный симпозиум «Интерфейс “Мозг-Компьютер”» в рамках XVI Международной конференции по нейрокибернетике (ICNC-12) (http://icnc12.krinc.ru/)?
Просто сегодня по рассылке comp-neuro пришло об этой конференции. Ну я ради интереса тыкнулся по ссылке и нашел про ИМКный симпозиум.

Сергей Ш.
12.02.2012, 17:19
Мы участвовали в первом (просто как участники, а не как организаторы). Что касается второго, мм... ну, в общем, решили не участвовать. (Хотя, конечно, люди там приятные и спасибо им за гостеприимство.) Мы вообще очень мало участвуем в конференциях - может быть, это и не совсем правильно, но как-то всегда плохо со временем (и в этом году особенно), а программа далеко не всегда оказывается такой насыщенной, как была в прошлом году в Граце.

diferal
14.02.2012, 13:45
Мы участвовали в первом (просто как участники, а не как организаторы). Понятно. Просто я в России только Вашу группу и, кажется, Фролова (помню обсуждали у Вас в блоге про отгадывания биг-маков) знаю. Получается, что кто-то еще ИМКшной тематикой всерьез занимается, если организовывают симпозиумы? Просто ни о ком больше не слышал. Хотя, как я помню, Вы постили названия проектов, поданных на какой-то конкурс грантов. И там, кажется, были и другие аппликанты. Но публикаций этих просителей по ИМК я как-то не припомню.

Сергей Ш.
15.02.2012, 11:55
В Ростове уже к тому времени, когда мы туда ездили, планировали уверенно управлять инвалидным креслом, но увы... Есть еще один человек, который действительно хорошо разбирается в соответствующей тематике - Георгий Алексеевич Иваницкий (он, как и Фролов, из московского Ин-та ВНД и нейрофизиологии). Он разрабатывает собственное направление, но пока что это не онлайн и вообще нередко подается не как ИМК. И публикации по этой теме у него были только в российских журналах (имхо, очень зря, т.к. методическими вопросами он отлично владеет и вполне мог бы регулярно публиковаться в международных). Только что была защита его аспирантки - http://ihna.ru/news/?ELEMENT_ID=5306

Что касается симпозиума, то вот сборник первого ростовского симпозиума по ИМК: http://icnc09.krinc.ru/volume2.pdf

diferal
16.02.2012, 16:09
В Ростове уже к тому времени, когда мы туда ездили, планировали уверенно управлять инвалидным креслом, но увы...
<...>
Что касается симпозиума, то вот сборник первого ростовского симпозиума по ИМК...
Ну, планировать можно многое. Только планы не всегда воплощаются в жизнь. ;)
Помню я был на отчетно-заключительном (?) собрании проекта MAIA в 2007 году. Там как раз цель была сделать управляемое мозгом инвалидное кресло. Из ИМКшников проект курировал Хосе дел Миллан из Мартини (сейчас он в EPFL в Лозанне). Правда были и другие ИМШники, как Фундационе Санта Лючия из Рима и т.д. Так вот на этом собрании они демонстрировали управление в живую. Вырезку из этого действа можно посмотреть здесь (http://www.youtube.com/watch?v=gvR0kHm9fwo). При этом креслом управлял хорошо натренированный сабджект из лабы дель Миллана. И мое впечатление было, что ИМКшный контроль был минимальным. Здесь правда стоит еще добавить, что в проекте участвовали не только ИМКшники, но и робототехники и прочие ребята. Так они навешали на кресло кучу различных сенсоров и написали программы автоматического обхода препятствий по данным с этих сенсоров. Так вот ошущение было именно такое, что кресло контролировалость именно этими сенсорами и соответствующими алгоритмами обработки и контроля. Учитывая то, что ты ж вообще не знаешь, куда хочеть ехать сабжект на кресле, то вообще было непонятно, был ли вообще ИМКшный контроль.
Но это уже было года 4 назад. Так что прогресс не стоял на месте. По крайней мере я видел видео и с нормальным контролем (кажется от японцев). Правда подозреваю, что и там катающийся в кресле был оооочень натренированным. Так что дело было даже не в хороших алгоритмах распознавания, а более в неплохо выработанных паттернах воображаемых движений. Да и понятно, что на видео было запечатлена только часть с хорошим контролем ;)
Что касается Ростова и ИМК у них. Я про них никогда не слышал. Вскользь по диагонали глянул их четыре тезиса, на которые Вы дали ссылки. Как я понял, у них все офф-лайн было на том этапе. Да и, как кажется из названий, ничего принципиально нового по сравнении с тем, что уже применялось и исследовалось (по крайней мере SOM'ы для классификации, как и прочие нейронные сети, просчеты когерентности и т.д.), у них не было.

Есть еще один человек, который действительно хорошо разбирается в соответствующей тематике - Георгий Алексеевич Иваницкий (он, как и Фролов, из московского Ин-та ВНД и нейрофизиологии). Он разрабатывает собственное направление, но пока что это не онлайн и вообще нередко подается не как ИМК. И публикации по этой теме у него были только в российских журналах (имхо, очень зря, т.к. методическими вопросами он отлично владеет и вполне мог бы регулярно публиковаться в международных). Только что была защита его аспирантки
Почитал автореферат (кстати, в мое время автореферат кандидатской должен был быть не более 16 страниц без обложки, а здесь аж 36!). Спасибо! Достаточно интересно.
Правда, я не думаю, что это на данном этапе сильно связанно с ИМК. Как я смог восстановить опираясь на автореферат и Гугл, Иваницкий занимается отличением пространственно-образного и вербально-логического мышления по записям ЭЭГ. Т.е. бинарная классификация. Как я понял, для распознавания берется интервал чуть больше 16 секунд записи ЭЭГ (при этом сама запись может быть и больше, в зависимости от того, сколько человеку нужно времени на решение задачи) и алгоритм работает 2-3 секунды. Т.е. получается, что одно бинарное распознавание (с упомянутой точностью в 85%) требует порядка 20 секунд. Если соотносить это с какими-нибудь командами, то выйдет 3 бинарных команды в минуту. А это ITR в 1.1705 бит/мин. Что никуда не годится. При этом следует учитывать, что это офф-лайн, данные ЭЭГ были отобраны (многие отрезки загрязненные артефактами просто не брались для классификации) и т.д., то реальный ITR будет еще меньше. Так же ИМК в этом случае будет синхронным (завязанным на стимуляцию). В целом, это нормально, но не для данного случая. Все же здесь нужно будет подготовить оооочень большую подборку различных стимулов. Иначе, как я понимания, испытуемый скоро выучит все стимулы и ответы на них, и больше не будет проявлять никакого мышления с выраженным паттерном. И т.д. Так что, думаю, правильно, что все это не подается как ИМК.

Сергей Ш.
16.02.2012, 23:32
По крайней мере я видел видео и с нормальным контролем (кажется от японцев).

Мне не очень удобно комментировать, поскольку руководителем проекта со стороны Рикена был (а мб, и остается; я его встретил осенью в Граце, но забыл спросить про кресло) мой бывший "японский" шеф, Чихоцкий :) На него вместе с креслом можно посмотреть вот тут:


http://www.youtube.com/watch?v=NiBabGXESKY

Более известно (и легче находится) другое видео: http://www.youtube.com/watch?v=1VPY1d2t_FE

Но, во всяком случае, известно, что после этих демонстраций ничего не последовало...


Все же здесь нужно будет подготовить оооочень большую подборку различных стимулов. Иначе, как я понимания, испытуемый скоро выучит все стимулы и ответы на них, и больше не будет проявлять никакого мышления с выраженным паттерном. И т.д. Так что, думаю, правильно, что все это не подается как ИМК.

Они как раз пытаются доказать, что можно достаточно широко варьировать задачи в пределах соответствующего класса. Возможно, далее удастся постепенно переводить людей на выработку паттернов и без задачи, многократно их подкрепляя. Для completely locked-in все еще нет хороших решений и когнитивные задачи остаются вполне конкурентоспособными, так что эта технология, я думаю, имеет шансы стать практически полезной и в качестве основы ИМК.

Мне подход Иваницкого-мл. (есть еще и Иваницкий-старший, хороший (по большому счету, едва ли не единственный в России) специалист по нейрофизиологии сознания) нравится, в частности, тем, что он еще до появления т.н. "декодирования" в нейроимиджинге (напр.: Haynes JD, Rees G. Decoding mental states from brain activity in humans. Nat Rev Neurosci. 2006 Jul;7(7):523-34 (http://www.ncbi.nlm.nih.gov/pubmed/16791142)) понял, что в ЭЭГ гораздо больше информации, чем можно видеть на групповом уровне - где разрешающая способность метода очень сильно понижается межиндивидуальными различиями. Это, конечно, используется сейчас в большинстве ИМК-методик, но в случае, скажем, моторики повторяемость тонких деталей паттерна вполне естественна, а вот чтобы вложить большие усилия в аккуратное применение такого же подхода к когнитивным задачам, где все привыкли работать с групповой статистикой и, как правило, все отклонения от нее считать или шумом, или информацией, недоступной для извлечения, для этого требовалась большая смелость.

diferal
17.02.2012, 14:12
По крайней мере я видел видео и с нормальным контролем (кажется от японцев).
Мне не очень удобно комментировать, поскольку руководителем проекта со стороны Рикена был (а мб, и остается; я его встретил осенью в Граце, но забыл спросить про кресло) мой бывший "японский" шеф, Чихоцкий :) На него вместе с креслом можно посмотреть вот тут
Анджэя Чихоцкого я знаю. Достаточно часто пересекались на разных конференциях. Приходилось даже с ним вспоминать то, что я говорю по-польски :) Да и на этой неделе его аспирант мне тут с вопросами письма слал.
А насчет того, что я написал о "кажется японцы", я просто не был уверен, что это от Чихоцкого (хотя предполагал с большой вероятностью). Просто видео (его деталей) я не так хорошо помнил. Помнил только, что были какие-то азиаты. Возможно за кадром говорили и о Рикене и о Чихоцком, но в лаборатории у нас системники стационарных компьютеров стоят в серверной, а не в рабочем кабинете. Так что звука у нас нет. Разве что дома или на лаптопе можно и послушать что-то.


Они как раз пытаются доказать, что можно достаточно широко варьировать задачи в пределах соответствующего класса. Коль будет так, то хорошо. Будем ждать результатов. Правда, боюсь, так как они печатаются только в русских журналах без электронных версий, я о результатах и не узнаю, если Вы не подскажите ;)

Для completely locked-in все еще нет хороших решений и когнитивные задачи остаются вполне конкурентоспособными, так что эта технология, я думаю, имеет шансы стать практически полезной и в качестве основы ИМК. А они планируют тесты на completely locked-in пациентах? Все же в случае положительного ответа (показав при этом, что остальные методы не работают), будет достаточно весомый результат.

Смотрю, Вы опубликовали объявлении о наборе кадров. Очень рад, что существуеют источники, которые позволяют финансировать развитие ИМК в России.

Сергей Ш.
19.02.2012, 17:00
видео (его деталей) я не так хорошо помнил. Помнил только, что были какие-то азиаты.

Вроде бы больше некому. У сингапурцев статьи по инвалидному креслу были весьма содержательными, но видео про эту их работу я что-то не видел. А вот ролики с креслом Рикен-Тойота постоянно попадаются.


А они планируют тесты на completely locked-in пациентах?

Не знаю.


Очень рад, что существуют источники, которые позволяют финансировать развитие ИМК в России.

Спасибо. Идет все это очень непросто, но вот сейчас есть шансы расширить работу. Хорошо бы еще нашлись люди...

Сергей Ш.
19.02.2012, 17:01
Да, пожалуй, тут вполне уместно будет дать ссылку на объявление:

В проект по интерфейсу мозг-компьютер нужны нейрофизиологи, психофизиологи, психологи (http://www.neuroscience.ru/showthread.php?5025)

ТикТак
19.02.2012, 20:30
Что касается кресла то помоему идеально подошла программа напоминающая экран локатора где линия крутится центробежно и на нужном направление движения кресла надо включать внимательность. Ну и пару дополнительных точек для ориентира для стоп и пуск. Конечно некрасивая программа была бы без карт местности но зато наверное эффективная.

diferal
21.02.2012, 20:11
видео (его деталей) я не так хорошо помнил. Помнил только, что были какие-то азиаты.
Вроде бы больше некому. У сингапурцев статьи по инвалидному креслу были весьма содержательными, но видео про эту их работу я что-то не видел. А вот ролики с креслом Рикен-Тойота постоянно попадаются.
Ну тут все зависит от обладания prior information. Если Вы знаете, кто пытается/пытался что-то делать с инвалидной коляской, то тогда именно от них и следует ожидать результат. Ну а так как я был не в курсе этого, то не мог и судить. Просто исходил из того, что есть разные группы ИМКшников в Азии (и китайцы из Тсинхуа, и тайванцы в последнее время стали активны, и Рикен, и помню были и другие японцы, которые что-то делали в Second Life и т.д.). А кто из них снял ролик про управление коляской, я не знал. Да и последный раз когда я видел Чихоцкого (года полтора-два назад [просто в последнее время из-за маленьких детей никуда не ездил]), о как-то с большим восхощением про SSVEP с эмоциональными картинками говорил.



А они планируют тесты на completely locked-in пациентах?
Не знаю.
Почитал тут еще об исследованиях Иваницкого. Точнее его статью на одной из московских конференций по нейроинформатики и автореферат кандидатской Наумова. Посмотрел так же его выступление в Питере (ВАсНей?) в прошлом году. В целом, почти все это так или иначе повторяет факты, подчерпнутые мной из автореферата Роик. Как я уже писал, идея (т.е. то, что распознавалось) мне понравилась. Много так же интересного со стороны, скажем, психофизиологии. Но вот в плане распознавания и применяемых методов/алгоритмов у них очень плохо. :( Думаю, их результаты в этом можно значительно улучшить, если использовать хорошии современные методы. Я бы даже сам готов был бы им помочь в этом (просто заинтересовали их исследования).

Сергей Ш.
27.03.2012, 11:00
А вот здесь http://ofi-m.ru/projects есть информация (типа аннотации и публикации) по проектам, поддержанным в прошлом году РФФИ по конкурсу офи_м в областях, близких к ИМК или непосредственно по ИМК.

Сергей Ш.
28.03.2012, 17:41
NeuroG стал резидентом Сколково:

https://twitter.com/#!/sk_ru_live/status/184891975084945409
Skolkovo LIVE ‏ @sk_ru_live
28 марта 12 в 10:37 с помощью Twitter for iPhone
Компания "Нейроджи-Нейроинформатика" - новый резидент #Сколково

675

Сергей Ш.
28.03.2012, 17:49
26 марта доктор Махарбиз рассказал о последних разработках своей лаборатории, которые связаны с имплантируемыми нейронными системами, позволяющими управлять полетом насекомых дистанционно.

После лекции состоялась дискуссия приглашенных экспертов с модератором, считавшим, что человека нужно тоже как можно быстрее киборгизировать. В ходе нее, в частности, ваш покорный слуга ставил под сомнение надобность влезать в мозги человека ради торжества киборгизации. (Надеюсь, это не было воспринято как нежелательность нейроинжиниринга вообще.)

Видеозапись лекции (+ ответы на вопросы) и дискуссии (все можно слушать как на русском, так и на английском):

Сергей Ш.
30.03.2012, 16:52
В Ростове уже к тому времени, когда мы туда ездили, планировали уверенно управлять инвалидным креслом, но увы...
<....>
Что касается симпозиума, то вот сборник первого ростовского симпозиума по ИМК: http://icnc09.krinc.ru/volume2.pdf

А вот тоже оттуда:

http://dbs.sfedu.ru/www/sfedu$news$.show_full?p_nws_id=41498


В издательстве ЮФУ вышла монография "Интерфейс мозг-компьютер"

В феврале 2012 года в издательстве ЮФУ вышла в свет монография доктора биологических наук, профессора, члена—корреспондента РАМТН и МАН ВШ, действительного члена РАИО, директора НИИ НК ЮФУ Валерия Кироя "Интефейс мозг-компьютер (история, современное состояние, перспективы)". В книге впервые в России представлен мировой опыт исследований и наиболее перспективных технологий в области человеко-машинных систем.

При подготовке монографии автор использовал более 500 научных источников (не считая собственных исследований), причем российских - только 14. Таким образом, автор использован практически весь массив доступных публикаций ведущих зарубежных исследователей, включая самые последние и актуальные публикации 2010 и 2011 года. Проведение такой масштабной работы стало возможно при поддержке национального проекта «Образование» по «Программе развития федерального государственного образовательного учреждения высшего профессионального образования«Южный федеральный университет» на 2007–2010 гг.» и Российского гуманитарного научного фонда (РГНФ).

17.02.2012

diferal
31.03.2012, 13:12
В издательстве ЮФУ вышла монография "Интерфейс мозг-компьютер"
В феврале 2012 года в издательстве ЮФУ вышла в свет монография доктора биологических наук, профессора, члена—корреспондента РАМТН и МАН ВШ, действительного члена РАИО, директора НИИ НК ЮФУ Валерия Кироя "Интефейс мозг-компьютер (история, современное состояние, перспективы)".
Хм. Интересно будет посмотреть на эту монографию.
Хотя, конечно, есть какие-то внутренние противоречивые чувства насчет этой книги. С одной стороны приятно, что вышла книга об ИМК на русском. Но с другой стороны я как-то привык, что книги пишут те люди, которые сделали достаточный вклад в научное развитие соответствующей тематики. Т.е. хочется перенимать информацию и опыт у того, кто практически владеет вопросом. А в данном случае, по крайней мере для меня, имя автора неизвестно. Поправьте меня, если я ошибаюсь.
И еще один момент. Судя по названию книга описывает все аспекты ИМК. А тут даже, если покопаться в памяти, не находится ниодного действительно общепризнанного специалиста в ИМК, который бы замахнулся на написание книги, покрывающей всё. Обычно пока пишутся "сборные" книги, где каждую парадигму ИМК покрывают в нескольких главах действительные специалисты в этой области. И я не могу вспомнить ниодной монографии, где бы одним человеком было охвачено все. Да и даже если кто-то один на данном этапе возьмется за написание единолиной монографии по ИМК во всех аспектах, то ему будет достаточно сложно. Все же не так много лаб, которые покрывают все ИМКшные парадигмы. Значит, если что-то писать, то придется использовать картинки из статей и глав (в книгах) других исследователей. А это натыкается на авторские права. Так что финансово получится накладно.
А здесь книга об ИМК в целом. Хм. Учитывая вышенаписанное, что ж там внутри и на каком уровне?

Кстати, коль заговорили о книгах. У меня на компьютере валяются pdf-ки следующих книг по ИМК:
Toward Brain-Computer Interfacing (http://mitpress.mit.edu/catalog/item/default.asp?ttype=2&tid=11237)
Brain-Computer Interfaces: Applying our Minds to Human-Computer Interaction (http://www.amazon.com/Brain-Computer-Interfaces-Applying-Human-Computer-Interaction/dp/1849962715)
Brain-Computer Interfaces: Revolutionizing Human-Computer Interaction (http://www.amazon.com/Brain-Computer-Interfaces-Revolutionizing-Human-Computer-Interaction/dp/3642020909)
Recent Advances in Brain-Computer Interface Systems (http://www.intechopen.com/books/recent-advances-in-brain-computer-interface-systems)
Brain-Machine Interface Engineering (Synthesis Lectures on Biomedical Engineering) (http://www.amazon.com/Brain-Machine-Interface-Engineering-Synthesis-Biomedical/dp/1598290347)
Если нужно, то могу выложить где-нибудь. Но понятно, что не в общем доступе со ссылкой с форума. Ибо пиратство все это :wink:

Сергей Ш.
31.03.2012, 14:25
Не так уж много книг написано людьми, которые бы сами занимались всем тем, о чем пишут. Без картинок в худшем случае можно обойтись, в лучшем - нарисовать самому (ежели кто умеет) или нанять художника. Главная проблема обычно во времени, а точнее - в мотивации (за то же время, которое тратится на написание книги, можно очень много сделать). И, наверное, во многом это вообще вопрос личных склонностей - кто-то, напр., может получать от процесса писания книги массу удовольствия, а для кого-то это может быть пыткой, даже если он владеет всеми нужными для этого знаниями и навыками и при этом ему еще и есть что сказать сверх того, что вписывается в формат обычных статей.

diferal
31.03.2012, 14:59
Не так уж много книг написано людьми, которые бы сами занимались всем тем, о чем пишут. Ну всем, описанным в книге, заниматься, наверное, и не всегда возможно. Но мне обычно попадались книги, где авторы внесли некий вклад в научное направление, описываемое в монографии.

Без картинок в худшем случае можно обойтись, в лучшем - нарисовать самому (ежели кто умеет) или нанять художника. Тут смотря какие картинки. Если картинки общего плана, то тогда конечно. А вот если это результаты экспериметов, то не думаю, что какие-нибудь спектрограммы (или другие результаты) художник должен придумывать и рисовать сам. Хотя, конечно, и здесь все будет зависеть от того, на какой уровень претендует монография.

Но в любом случае это все были общие рассуждения, не относящиеся к книге, которую я не видел. И я хотел бы надеятся, что изданная монография (как я понимаю, первая в мире книга по ИМК, написанная единоличном одним автором) является достаточно серьезной и интересной работой. В любом случае я бы купил эту книгу. Правда пока в и-нете не нашел информации о продаже.

Сергей Ш.
31.03.2012, 19:47
Recent Advances in Brain-Computer Interface Systems (http://www.intechopen.com/books/recent-advances-in-brain-computer-interface-systems)

Конкретно эта книга есть, кстати, в легально свободном доступе прямо по Вашей ссылке :)

(желтая кнопка Download for free)

torleyf
01.04.2012, 00:07
Приглашаем все заинтересованные стороны посетить сайт посвященный строительству экзоскелетов http://myexs.ru/


Цель данного ресурса – стать надёжным источником информации для разработчиков, сообщества людей с ограниченными возможностями, средств массовой информации и общества в целом. На сайте можно будет узнать об экзоскелетах, предназначенных для людей, чья подвижность ограничена, а также о военном и промышленном потенциале этих устройств.
Кроме новостных статей, на сайте будут собраны научные статьи, книги, патенты, обзоры, описание технических подробностей уже созданных прототипов экзоскелетов, контактные данные разработчиков.
Будет создана единая информационная платформа для нарождающейся индустрии строительства экзоскелетов и сопутствующих ей областей знаний. Информация представленная здесь сэкономит множество человеко-часов рабочего времени разработчиков, что позволит раньше выйти на этап создания пилотных образцов, создания опытных малосерийных партий изделий, а значит готовые изделия раньше поступят к конечному потребителю.
В случае возникновения вопросов и предложений пишите сюда avtonom@myexs.ru

Сергей Ш.
05.04.2012, 22:03
... 2-ой Международный симпозиум «Интерфейс “Мозг-Компьютер”» в рамках XVI Международной конференции по нейрокибернетике (ICNC-12) (http://icnc12.krinc.ru/)?
Просто сегодня по рассылке comp-neuro пришло об этой конференции. Ну я ради интереса тыкнулся по ссылке и нашел про ИМКный симпозиум.

UPD: похоже, мы все-таки туда едем, и, мб, даже всей лабой. В Граце в этом году конференции по ИМК не будет, а в Сан-Диего на EMBS мы ничего не подали, т.к. выяснилось, что шансы получить финансирование на такую поездку из источников, на которые мы рассчитывали, слишком малы.

Тук Так
25.04.2012, 19:28
http://www.fian-inform.ru/?mode=mnews&id=1407
Создан дисплей способный самостоятельно подстраиваться под человека улавливая его движения глаз. Это настоящая революция в интерфейсах а если эту технологию объединить с интерфейсами для волны П300 это качественный скачок превращающий игрушку в полноценный интерфейс.
Но для инвалидов такое уже не подойдёт так как для инвалидов лучше то что проще а это уже очень даже будет круто, где не нужна будет прыгающая точка по буквам а достаточно будет навести зрачок на буквы и это будет как навести рукой при помощи мышки. Повторюсь что это революция может быть.:smile:

Сергей Ш.
26.04.2012, 19:22
3D - это тут явно оффтоп. А если заинтересовало не 3D, а отслеживание взгляда (eye tracking), то это уже довольно старая технология. В частности, уже много лет существуют устройства ввода текста для инвалидов, работающие на глазоследилках (айтреккерах). Среди них есть имитирующие клавиатуру, но есть и совсем своеобразный и во многих отношениях остроумный алгоритм, реализованный в свободно распространяемой (по лицензии GPL) программе Дашер :

http://www.inference.phy.cam.ac.uk/dasher/
http://en.wikipedia.org/wiki/Dasher

"Гибридизацией" глазоследилок и ИМК тоже занимаются, правда, это относительно новая область.

Тук Так
26.04.2012, 19:39
http://www.neuroscience.ru/entry.php?204-%D0%9E%D1%87%D0%BA%D0%B8-%D1%81-%D0%B4%D0%BE%D0%BF%D0%BE%D0%BB%D0%BD%D0%B5%D0%BD%D 0%BD%D0%BE%D0%B9-%D1%80%D0%B5%D0%B0%D0%BB%D1%8C%D0%BD%D0%BE%D1%81%D 1%82%D1%8C-%D0%BE%D1%82-%D0%93%D1%83%D0%B3%D0%BB%D0%B0

Вот эта очень новая гибридная область тут бы очень пригодилась.

Сергей Ш.
27.04.2012, 10:14
Гугловы очки и другие технологии "дополненной реальности" (augmented reality) (напр.: http://www.ted.com/talks/pranav_mistry_the_thrilling_potential_of_sixthsens e_technology.html ) действительно потенциально вполне совместимы с ИМК.

Правда, это тут все равно оффтоп - это ведь про перспективы ИМК в мире в целом, а не только конкретно в России. У нас тут есть более соответствующие темы - напр.:

ИМК
http://www.neuroscience.ru/showthread.php?3448-%D0%98%D0%9C%D0%9A

alexeykrol
29.07.2013, 02:20
На данный момент из всех созданных в последнее время реальных коммерческих неинвазивных нейро-интерфейсов по ходу в живых только два - производства NeuroSky и Emotive, при этом ну наверное до 30% остальных живых опираются на второе поколение чипов NeuroSky. Сам съем кожно-гальванической реакции с черепа не есть проблема и хотя есть установленное распределение точек 10-20, по большому счету это протокольная договоренность и можно ставить где угодно. Основная проблема в анализе получаемого сигнала, потому что соотношение сигнал-шум очень высокое и измеряется не сигнал нейрона/ нейронного ансамбля, а просто динамика потенциалов на коже, которая как-то коррелирует с чем-то? Поэтому с аппаратной точки зрения технически проблема не очень сложная, она сложная алгоритмически на предмет выделения нужного сигнала и соотнесения его с неким событием. Это, впрочем фундаментальная задача, потому что не совсем ясно - какой именно сигнал или его образ надо вычленять. С точки зрения нейро-интерфесов для протезов теоретически задача проще, потому что в любом случае даже при отнятой конечности происходит иннервация мышц вслед за намерением, соответственно можно более четко выделить сигнал. Во всех подобных системах основная задача - научить алгоритм выделить нужный сигнал у конкретного человека, т.е. прибор должен "учиться", как и человек, впрочем.

Сергей Ш.
23.08.2013, 19:07
Ex cathedra вообще редко когда стоит говорить, а тем более при незнании законов языка ирокезского.

Кожно-гальваническая реакция - шум по отношению к сигналу из мозга. "С аппаратной точки зрения" главная проблема из более-менее подъемных - регистрация с помощью "сухих" электродов, а из пока что неподъемных - увеличение пространственного разрешения. Можно ли выделять из ЭЭГ сигналы, соответствующие командам, отдаваемым мышцам, настолько хорошо, чтобы управлять протезами - очень сложный вопрос, по поводу которого сейчас идут весьма напряженные споры, в которых аргументы по большей части не умозрительные - для их получения проводят новые экспериментальные исследования. "Можно ставить где угодно", "прибор должен "учиться", как и человек, впрочем" - общие места, а "Во всех подобных системах основная задача - научить алгоритм выделить нужный сигнал у конкретного человека" - чрезмерное упрощение, т.к. гораздо сложнее и, наверное, важнее понять, какие вообще компоненты ЭЭГ стоит использовать...

Mityasky
28.01.2014, 22:57
Приветствую, коллеги!!

наш Ростовский опытный образец ИМК, пока идут испытания, публикации в печати и готовятся новые.
https://www.youtube.com/watch?v=jAFy_yWBoZA

diferal
01.02.2014, 00:05
наш Ростовский опытный образец ИМК, пока идут испытания, публикации в печати и готовятся новые.
Спасибо. Правда не совсем понятно, что именно должен был сделать человек в "инвалидном" кресле. Я в начале считал, что будет некий слалом вокруг двух стоек. Но было что-то другое. Так что не очень понятно, насколько вообще испытуемый справился с задачей. Хотя, конечно, и без этого было видно, что было достаточно много ошибок классификации. Но в любом случае хорошо даже то, что уже что-то сделано в этом направлении в России. Плохо только, что не совсем понятно, что же сделано-то :)
Было бы замечательно, если бы вместо "марша Дарта Вэрдера" звучало пояснение того, что зритель должен увидеть.

Mityasky
02.02.2014, 11:56
Ролик готовили для презенташки с устным обьяснением, это маленький кусочек от часовой записи. Обследуемому в кресле необходимо выполнять мысленно движения п и л руками, ногами и языком - 4 вектора. Ему необходимо свободно перемещаться, минуя препятствия без аварий. Ошибки классификатора есть, но их кол-во снижается по мере обучения, настройка индивидуальна под каждого пользователя. Также есть возможность управления креслом различными частотными диапазонами, легче всего дается альфа и бета-2 (их соотношение), там 3 вектора. Во всех случаях испытуемые проходят предварительное обучение не менее 5 тренингов с обратной связью в режиме экранного интерфейса, их у нас сейчас 2.

Vadim
02.02.2014, 12:16
Ролик готовили для презенташки с устным обьяснением, это маленький кусочек от часовой записи. Обследуемому в кресле необходимо выполнять мысленно движения п и л руками, ногами и языком - 4 вектора. Ему необходимо свободно перемещаться, минуя препятствия без аварий. Ошибки классификатора есть, но их кол-во снижается по мере обучения, настройка индивидуальна под каждого пользователя. Также есть возможность управления креслом различными частотными диапазонами, легче всего дается альфа и бета-2 (их соотношение), там 3 вектора. Во всех случаях испытуемые проходят предварительное обучение не менее 5 тренингов с обратной связью в режиме экранного интерфейса, их у нас сейчас 2.

Большое спасибо, впечатляет! А каковы прогнозы по росту скорости движения?

Mityasky
02.02.2014, 14:01
Vadim, лично меня обнадеживают первые результаты, отдельные испытуемые демонстрируют очень приличную динамику, скажем так, за фиксированный отрезок времени научаются проходить одну и ту же тестовую траекторию с каждым разом быстрее. Но на этом мы не останавливаемся, в планах, например, надо сделать полностью самокалибрующийся интерфейс (без ручной донастройки и экспертных решений). Другой не менее важный для меня момент: сейчас я работаю с условно здоровыми обследуемыми и все, вроде бы, хорошо, а следующий наш шаг - локед-ин пациент или частично парализованный.

Vadim
02.02.2014, 14:06
Vadim, лично меня обнадеживают первые результаты, отдельные испытуемые демонстрируют очень приличную динамику, скажем так, за фиксированный отрезок времени научаются проходить одну и ту же тестовую траекторию с каждым разом быстрее. Но на этом мы не останавливаемся, в планах, например, надо сделать полностью самокалибрующийся интерфейс (без ручной донастройки и экспертных решений). Другой не менее важный для меня момент: сейчас я работаю с условно здоровыми обследуемыми и все, вроде бы, хорошо, а следующий наш шаг - локед-ин пациент или частично парализованный.

Как Вы думаете, могут ли иметь смысл гибридные BCI-AI системы, когда через нейроинтерфейсы до устройства доводится конечная цель движения, а траектория движения определяется и выполняется когнитивной системой устройства?

Mityasky
02.02.2014, 14:09
такая реализация у нас тоже сейчас разрабатывается в коллаборации с нашими робототехниками.

Vadim
02.02.2014, 14:11
такая реализация у нас тоже сейчас разрабатывается в коллаборации с нашими робототехниками.

Вы работаете в ЮФУ?

Mityasky
02.02.2014, 14:14
ЮФУ, НИИ нейрокибернетики. мой стафф (http://www.krinc.ru/labs/lnmpd/staff/ldm)
не обращайте внимание на студента, это устаревшая информация, надо подать заявку для изменения))

Vadim
02.02.2014, 14:28
Очень приятно, будем ждать Ваших новых сообщений о Ваших работах!

Mityasky
02.02.2014, 14:33
Взаимно! постараюсь держать Вас в курсе.

Сергей Ш.
02.02.2014, 16:10
Как Вы думаете, могут ли иметь смысл гибридные BCI-AI системы, когда через нейроинтерфейсы до устройства доводится конечная цель движения, а траектория движения определяется и выполняется когнитивной системой устройства?

Я бы сказал так: иные системы в ИМК-управлении робототехникой имеют только экспериментальный смысл, ну и в некоторых случаях, видимо, они могут использоваться при обучении пользователя. (Разве что можно спорить насчет термина "когнитивный" - наверное, лучше говорить вообще о AI & CI.)

Интересно сравнить скорость движения кресла в широко разрекламированных работах Хосе де Милана (Швейцария) и в гораздо менее известной и на первый взгляд очень нехитрой, но весьма умно продуманной сингапурской системе -

Rebsamen, B., Guan, C., Zhang, H., Wang, C., Teo, C., Ang, M. H., & Burdet, E. (2010) (http://ieeexplore.ieee.org/xpl/login.jsp?tp=&arnumber=5462915&url=http%3A%2F%2Fieeexplore.ieee.org%2Fxpls%2Fabs_ all.jsp%3Farnumber%3D5462915). A brain controlled wheelchair to navigate in familiar environments. Neural Systems and Rehabilitation Engineering, IEEE Transactions on, 18(6), 590-598.

в открытом доступе есть текст диссера Ребсамена на ту же тему:

http://tel.archives-ouvertes.fr/docs/00/45/90/07/PDF/thesis.pdf

У сингапурцев наиболее удачно, на мой взгляд, именно очень четкое разделение задач между ИМК и робототехникой. Там все сделано в очень упрощенном виде, но благодаря этому их работа как раз очень хорошо показывает смысл такого разделения и является отличной моделью для его понимания и планирования дальнейшего продвижения.

На тему о том, как задачи управления движущимся устройством должны быть разделены между человеком и машиной и о том, как они должны взаимодействовать, есть замечательная идея "H-метафоры" ("метафоры лошади", или "метафоры лошади и всадника", "лошади и наездника"):

http://ntrs.nasa.gov/search.jsp?R=20040031835
http://ntrs.nasa.gov/archive/nasa/casi.ntrs.nasa.gov/20040031835_2004015850.pdf
Flemisch et al. (2003) The H-Metaphor as a Guideline for Vehicle Automation and Interaction. NASA/TM—2003-212672.

Mityasky
02.02.2014, 16:45
моё генеральное направление - это ИМК, а та коллаборация (о которой я написал ранее) - еще одна возможность получить финансирование инициативного проекта.

Vadim
02.02.2014, 16:54
Сергей, спасибо большое за Ваш крайне интересный комментарий. Я всегда воспринимал ИМК как совершенно параллельное и не связанное с нашими системами направление. Но посмотрев видео, подумал что есть большие резервы для способных к обучению сетей для ускорения всех процессов и снятия нагрузки с пациента. Причем могут быть разные стратегии. Например, самообручающаяся кортикомофная сеть запоминает удачный вариант движения, впервые произведенного пациентом и повторяет его лишь контролируя препятствия с помощью не дорогих инфракрасных даль номеров. Но тут есть обычное для реального мира "но" - всегда немного разные условия, например сдвиг места старта. Потому все же потребуется система распознавания: лучше все же камеры, чем лазерные дальномеры с выходом на нейроны места. И потребуется способность реагировать на различные ассоциативные основания, чтобы выбирать наиболее релевантную задаче реакцию при изменении условий среды. В случае наличия карты у платформы возможно точку прибытия легче будет представить именно на карте, а не реально впиваясь взором в дверной проем, тем более что целью может быть третья комната от местанахождения

:) впрочем мы, видимо, зря это обсуждаем, как следует из интервью Рогозина 26 января аватары уже вовсю создаются, как и роботизированные подводные городаhttp://www.rg.ru/2014/01/26/rogozin-site.html

Диссертация хороша.

Mityasky
02.02.2014, 16:54
Кстати, Сергей, а Вы подавали заявки в РФФИ или РГНФ в этом году? что-то они тянут, не подтверждают и не отклоняют..
будете у нас в Ростове, милости просим. Надеюсь, Вам хоть сколько-нибудь понравилось у нас на конференции по нейрокибернетике и вообще в городе два года назад.

Vadim
02.02.2014, 17:06
Дмитрий, если будет получаться хоть как то гибридная система будет крайне интересным почитать от Вас компаративные материалы по чистому BCI и BCI c ассистированием ему со стороны интеллектуальных систем управления

Mityasky
02.02.2014, 17:39
Вадим, Вы совершенно справедливо заметили, что для такой задачи требуется динамический анализ видеопотока с камер, именно такой подход и реализован у наших коллег. Они заставили робота изучать местность, строить карту и выполнять простые действия, типа принеси или унеси чего-нибудь. "Видит" робот киннектом, по они писали своё. Мы пока дискутируем как все будет реализовано, то ли юзер роботом будем управлять, то ли на кресло повесим камеру и оно станет тем самым роботом, благо ПО наше и позволяет сделать любое сопряжение.
Очень хочется пощупать и такую систему :)