Объявление

Свернуть
Пока нет объявлений.

Ищу коллегу. Моделирование биологической нейросети.

Свернуть
X
  • Фильтр
  • Время
  • Показать
Очистить всё
новые сообщения

  • Ищу коллегу. Моделирование биологической нейросети.

    Ищу коллегу с горящими глазами.
    Предлагаю присоединиться к реализации имитационной модели биологической нейронной сети.
    На данный момент модель "на коленке" имитирует зрительную систему, начиная с (предобработки) сетчатки и заканчивая зрительной корой. С помощью неё производилось распознавание рукописных цифр (MNIST) размером 28x28. Распознавание производилось лишь в парах цифр и результаты показывает следующие:
    Распознание пары цифр 6 и 9 производится с точностью 73%, 3 и 4 - 85.2%, 0 и 1 - 97.9%.

    К сожалению, при более детальной проработке нашлись большие недочёты и искажения, которые ждут исправлений. Так что даже о финансирования с kickstarter'а можно пока забыть...
    Я программист, а не врач, поэтому научные работы усваиваются с трудом. Поэтому ищу коллегу, желающего углубиться в нейрофизиологию мозга, а также, пока что, и в офтальмологию.
    С меня, конечно же, причитается ввод в язык программирования модели - С/С++.
    Желательно, чтоб коллега был из Питера, для возможности личных встреч. Если нет, что-нибудь придумаем.

    Надеюсь на долгое сотрудничество! Удачи!

    Контактные данные:
    Sh@khmatov.com
    vk.com/duwaz
    +7(981)859-24-99
    (Письмо предпочтительней звонка)
    Последний раз редактировалось Duwaz; 08.04.2018, 10:49 PM.

  • #2
    У меня глаза не горят. Программирую на делфи 7 (слышал, что на девятой версии это срослось с Си), как биологу - этого хватает, сейчас в ходу спец.среды моделирования на ООП, вот только когда их возможностей не достаточно - лезу в свободный код. Нейронные сети делать не буду, потому что https://paleoforum.ru/index.php/topic,10365.0.html И потому что, деятели из ИПФ РАН пользуются наработками и не ссылаются https://glav.su/forum/2/3061/messages/?offset=100 С Яхно В.Г. общался лично, на съезде биофизиков. При случае передайте ай-яй-яй.

    Комментарий


    • #3
      Ладно, пора уж признать, что эта затея близится к сложности "неподъёмная"; так что, чем больше будет светлых голов, тем лучше.
      Буду потихоньку выкладывать свои идеи и наработки. Букв будет много, так что, буду писать "как только, так сразу".

      Пока что проектировка нейронной сети медленно, но движется по следующим ЭТАПам:
      1. Классификация/распознавание картинок небольшого размера.
        Для данной задачи хорошо подходит база данных картинок MNIST[1] с рукописными цифрами размером 28х28 пикселей. Важно понимать, что для этапа важен критерий выполнения. Поскольку этот этап является всё же подготовительным, позволяющий заложить базу прямого распространения сигнала, то стремиться получить сразу человеческий ≈0.2% ошибки распознавания считаю не лучшей идеей. Считаю, что проходное пороговое значение для этого этапа будет 25% процентов ошибки распознавания. Это значение показывает то, что нейронная сеть выдаёт не случайные результаты, а действительно пытается распознавать цифру на изображении.
      2. Восстановление исходного изображения из результата классификации. Подача импульсов на выходной слой нейронной сети (если по аналогии с мозгом, то куда-нибудь в последнюю зону зрительной зоны. Довольно сложно дать точную аналогию.) для получения среднестатистического изображения цифры. Получение отчётливой картинки не стоит главной задачей. Задача получения неотчётливой, размытой картинки, но отличимой определённой цифрой. Насколько мне известно, существующие искусственные нейронные сети не способны принимать данные на выходном слою, чтоб выдавать результат на входном. Т.е. не поддерживается распространение сигнала от "центра мозга" к первому слою зрительной коры. А такое распространение сигнала, как мне кажется, является одной из ключевой составляющей децентрализации знаний. Этот подход к децентрализации и является главной идеей этого этапа.


        ---
        Переходя ко второму этапу, возникли вопросы, которые будут описаны ниже. Если вкратце о главных вопросах, то происходит, как мне кажется, неправильная кодировка поступающего изображения на сетчатку, да и модель неокортекса без тормозных нейронов совсем не вызывает доверия...
        ---

        Далее описаны этапы-перспективы для тех, кто не совсем понимает куда пытаюсь двигаться. И, конечно же, всё обсуждаемо и подвергаемо критике:
      3. Реализация дополнительного "органа чувств". Например, слух. Замена результата классификатора на результат с нейронной сети, отвечающей за аудиовход. При определённом аудио-сигнале ожидается получать определённую картинку. Точнее, на определённый сигнал одной частоты, либо на сигнал состоящий из нескольких частот, ожидать определённую картинку. А также и наоборот, при определённой картинке ожидать определённый аудио-сигнал, хотя этот сценарий будет сложно тестировать.
      4. Анимация. Главная цель. Анимация должна ассоциироваться с мелодией, а мелодия с анимацией. При подаче мелодии должны всплывать неотчётливые образы анимации. ̶Д̶е̶л̶а̶т̶ь̶ ̶у̶п̶о̶р̶ ̶н̶а̶ ̶к̶а̶ч̶е̶с̶т̶в̶е̶ ̶к̶а̶р̶т̶и̶н̶к̶и̶ ̶т̶е̶х̶ ̶с̶а̶м̶ы̶х̶ ̶"̶в̶о̶з̶н̶и̶к̶а̶ю̶щ̶и̶х̶"̶ ̶о̶б̶р̶а̶з̶о̶в̶,̶ ̶с̶ч̶и̶т̶а̶ю̶,̶ ̶и̶з̶л̶и̶ш̶н̶и̶м̶,̶ ̶п̶о̶с̶к̶о̶л̶ь̶к̶у̶ ̶ч̶е̶л̶о̶в̶е̶ч̶е̶с̶к̶и̶й̶ ̶м̶о̶з̶г̶ ̶н̶е̶ ̶в̶о̶с̶с̶т̶а̶н̶а̶в̶л̶и̶в̶а̶е̶т̶ ̶с̶ ̶п̶о̶л̶н̶о̶й̶ ̶т̶о̶ч̶н̶о̶с̶т̶ь̶ю̶ ̶к̶а̶р̶т̶и̶н̶у̶.̶ Предстоит большая работа по реализации выдержки тайминга и сохранению связей со следующим временнЫм элементом (картинкой или сигнала).
      5. Если предыдущий этап удался, значит удалось оттестировать механизм памяти и ассоциаций. Поэтому можно будет добавлять другие органы чувств, а также попробовать добавлять «устройства вывода». А это уже открывает простор для безграничных возможностей. В качестве устройства вывода можно считать, например, двигательную конструкцию, управляемую этим алгоритмом. Главным моментом является обратная связь, которая будет устанавливать зависимости между подаваемым сигналом на двигательную конструкцию и результатом действия, получаемым, например, через зрительную систему.
      ---
      [1] База данных MNIST ранее часто использовалась в качестве базы для тестирования качества работы интеллектуальной системы в задаче распознавания изображений. http://yann.lecun.com/exdb/mnist/ На момент написания данного текста лучшим результатом является свёрточная нейронная сеть с процентом ошибки в 0.23%. Но не стоит забывать о том, что уже (на 2018 г.) существуют глубокие искусственные нейронные сети, которые, возможно, показывают меньший процент ошибки.
      Последний раз редактировалось Duwaz; 10.04.2018, 11:10 PM.

      Комментарий


      • #4
        Общие вопросы, на которые хотелось бы получить ответы: (Они будут постепенно пополняться)

        1) Рассматривая сетчатку глаза, я пришёл к тому, что мне необходимо как-то транспортировать "не возбуждающий" сигнал в кору головного мозга. Возможно, для генерации тормозного нейромедиатора. Но, насколько я понимаю, выстроить цепочку из тормозных нейронов для передачи тормозного нейромедиатора в неокортекс невозможно. А как тогда производится отправка "тормозного" сигнала на длинные расстояния?

        2) Насколько я понимаю, ганглионарная (ганглиозная) клетка из сетчатки в зависимости от входных данных актиривует либо тормозный, либо возбуждающий нейрон. Но это не похоже на правду. Мне казалось, что на самом деле возбуждающим или тормозящим является не сам нейрон, а синапс. Точнее даже это зависит от рецепторов на постсинаптическом нейроне. Если больше рецепторов, отвечающих за возбуждение, то синапс будет возбуждающим. Пожалуйста, поправьте, если я не прав.

        3) Насколько я понимаю, скорее всего за связь между нейронами отвечают глиальные клетки. Прав ли я, если буду считать, что глия может оказывать влияние на величину (ширину) синаптической щели? Но я всё ещё не понимаю как это происходит.

        4) У нейронов есть интересная особенность. Если синапс был долгое время активен, то постсинаптический нейрон будет возбуждаться уже от меньшего количества нейромедиаторов, чем изначально, когда синапс был не активен. С чем это может быть связано? С глиальными клетками или с длительным локальным ответом клетки?

        5) Возможно ли из биологических нейронов построить логическую функцию XOR? Мне кажется, что этот вопрос является важным, поскольку эта логическая функция даст гибкости модели, но, к сожалению, у меня не получилось представить, как можно построить эту функцию.

        6) Большая ли разница между нейронами разных форм? (Пирамидальными, звёздчатыми, шаровидными). Если моделировать их логику одинаково, исказится ли картина биологических процессов и взаимодействий? А также существуют различия нейронов по размеру, как минимум большие и обычного размера пирамидальные нейроны. Отличаются ли их нейронные особенности?

        7) В сетчатке глаза имеются горизонтальные и амакриновые клетки, логика работы которых мне даже приблизительно не ясна. Может у Вас будут идеи?

        8) Что такое боль? Чем отличается обычный сигнал нейрона от нейрона, который идёт, например, с ЦНС? Сигналы же одинаковые... Всё, что мне удалось выяснить, это то, что при болевой чувствительности лабильность нейрона больше. Может Вы знаете, что такое боль?

        9) Как думаете, стоит ли доверять МРТ, указанной в этой статье https://geektimes.ru/post/278470/ ? Больно, уж пугающая картина.
        Последний раз редактировалось Duwaz; 15.04.2018, 03:24 AM.

        Комментарий


        • #5
          "Главной идеей этого этапа является децентрализации знаний. Насколько мне известно, существующие нейронные сети не способны на такой "финт"" Вы про живой мозг, или про абстракции? Живой мозг ого-го как способен. "да и модель неокортекса без тормозных нейронов совсем не вызывает доверия..." Я рад, что Вам понадобилось два медиатора, но в реале их больше, Как Вы думаете, почему? "Реализация дополнительного "органа чувств". Например, слух. " https://ru.wikipedia.org/wiki/Синестезия "поскольку человеческий мозг не восстанавливает с полной точностью картину. " Где-то на ю-туб лягушка ловит муравьев, бегущих по экрану смартфона, а потом - палец экспериментатора, конкурировавшего за муравьев. Т.е. - востанавливает, и - нечеловесеский. Кроме того, есть иллюзии, т.е. мозг востанавливает то, чего нет в реале. намба 2 1. растормаживается возбуждающий, он-то и активирует тормозный где надо. 2. Вы не знаете, почему спайчат нейроны в полной темноте? К сожалению, я тоже. Кстати, ГАМК иногда выливается в межклеточник, потому-то анатомических синапсов меньше, чем функциональных,. Перелив медиатора из синапса называется спилловером. 3 Читайте Дуглас Филдс "Другая часть мозга", и Кеттельмана, но он - на аглицкой мове. Раздел "Литература" 4 Вы говорите о постсинаптической потенциации, есть и обратные эффекты. Астроциты модулируют постсинаптическую задержку в пределах 10%, хотелось бы большего, но - не нашел. 5 Можно, математики, пользуясь биологическими нейронами, таки сделали эту функцию. Я предполагаю что можно получить CASE. 6 Это сложный вотрос. Была инфа, что в таламусе меняется сечение нейритов. и из-за этого меняется скорость проведения ПД. 7 Не интересовался. Что-то было у Николса "От нейрона к мозгу". Вообще-то, "сетчатка - зеркало мозга", как с этим обстоит у осьминогов и насекомых - не знаю, но сетчатка - хорошо изученный объект, надо - провести лит.поиск и воспринять инфу. 8 нет. не знаю. Знаю, что бывают фантомные боли, конечности - нет, а она - болит. 9 Деваться некуда, придется доверять. Странная это штука - мозг, апсолютно не понимаю зачем от нужен. У китов - ого-го сколько весит, а у борозубки - ого-го какой процент от массы тела.

          Комментарий


          • #6
            ЭТАПЫ:
            "Главной идеей этого этапа является децентрализации знаний. Насколько мне известно, существующие нейронные сети не способны на такой "финт""
            Ок, некорректно выразился, имелось ввиду, что существующие искусственные нейронные сети не способны принимать данные на выходном слою, чтоб выдавать результат на входном. Т.е. не поддерживается распространение сигнала от "центра мозга" к первому слою зрительной коры. А такое распространение сигнала, как мне кажется, является одной из ключевой составляющей децентрализации знаний.
            Подкорректировал.

            "поскольку человеческий мозг не восстанавливает с полной точностью картину. "
            Имелось ввиду это: При подаче мелодии должны всплывать неотчётливые образы анимации. Делать упор на качестве картинки тех самых "возникающих" образов, считаю, излишним, поскольку человеческий мозг не восстанавливает с полной точностью картину.
            Но, пожалуй, это обсуждаемо... Зачеркнул пока.

            ВОПРОСЫ:
            № 1.
            Раз "растормаживается возбуждающий (нейрон), он-то и активирует тормозный где надо." Получается, чтобы передать "возбуждающий" сигнал к зрительной коре возбудить нейрон, который "отправляет" возбуждающий сигнал к коре. А чтобы передать тормозящий сигнал, нужно возбудить такой нейрон, чтоб сигнал пошёл к тормозящему синапсу. Если следовать такой "деревянной" логике, то вроде бы всё сходится, но всё-же сомневаюсь, что это на самом деле так...

            №5
            Хм, только сейчас понял, как можно сделать XOR, отталкиваясь от имеющихся наработок:

            Вес "1" интерпретируем как возбуждающий синапс, "-1" - как тормозящий. Кругляши и сумматоры - нейроны.
            Надеюсь, я всё-таки правильно понимаю, что тормозящим является синапс, а не нейрон.

            А по поводу остального нужно ещё читать, анализировать и узнавать...

            Комментарий


            • #7
              "Надеюсь, я всё-таки правильно понимаю, что тормозящим является синапс, а не нейрон." Нет. Нейроны подразделяют по эргичности, и только иногда встречаются микс-синапсы (т.е. с несколькими медиаторами). https://ru.wikipedia.org/wiki/Нейромедиатор "Т.е. не поддерживается распространение сигнала от "центра мозга" к первому слою зрительной коры." Адаптация рецепторов бывает, но это не значит, что организмы "прячут голову в песок" аки фантастический страус.

              Комментарий


              • #8
                ЗРИТЕЛЬНАЯ КОРА (колонки)

                Выдержки о зрительной коре
                из работы Джеффа Хокинса, написанных в книге «Об интеллекте»



                На рисунке представлены первые четыре зрительные зоны, вовлеченные в распознание объектов окружающего мира. Входной визуальный сигнал показан стрелкой под зоной V1. Зрительная информация с латерального коленчатого тела передается к V1.

                Поместив в зону V1 электрод и наблюдая за «поведением» отдельных клеток, мы обнаружим, что каждый нейрон посылает разряд только в ответ на зрительный сигнал из крошечной части сетчатки. Такой опыт по изучению зрительной функции проводили много раз. Каждый нейрон зоны V1 привязан к своему рецептивному полю, которое является очень ограниченным по сравнению с общим полем зрения.

                Заметим, что если мы введем электрод в верхнюю зону IT, то обнаружим, что некоторые клетки указанной зоны возбуждаются и остаются активными, когда в поле зрения человека появляются целые объекты. Например, мы можем найти клетку, энергично реагирующую каждый раз, когда в поле зрения появляется лицо. Эта клетка будет активной до тех пор, пока лицо присутствует в любой точке поля зрения, под любым ракурсом и при любом освещении. Она не включается-выключается при каждой последующей саккаде, как это делают клетки зоны V1. Рецептивное поле такой клетки покрывает большую часть зрительного пространства, и она возбуждается всякий раз, когда человек видит лица.

                Самой большой будет зона V1 – первичная зрительная зона. Следующей по размеру – зона V2. По сравнению со всеми остальными зонами эти две просто огромны. V1 состоит из многих малых зон коры головного мозга, которые связаны друг с другом лишь опосредованно, через более высокие зоны иерархии. В V1 входит наибольшее количество подзон по сравнению с другими зонами зрительного восприятия. V2 состоит из меньшего количества зон, но они имеют большие размеры, чем подзоны V1. То же самое утверждение действительно и для V4. Вот когда вы доберетесь до IT, она действительно окажется однородной и унифицированной.

                Каждая зона состоит из 6-ти слоёв (L1, L2, ...) и в каждой, соединения осуществлены так, что формируются информационные потоки:

                Восходящий информационный поток


                Нисходящий информационный поток



                *motor - моторная зона коры больших полушарий

                Также: (просто к сведению)
                Исследователи открыли, что гигантские клетки в слое 5 могут играть роль в поведении в других частях кортекса, не только в моторных областях. Например, большие клетки в визуальном кортексе проецируются на часть мозга, управляющую движением глаз. Таким образом, визуальные области кортекса, такие как V2 и V4, не только обрабатывают визуальную информацию, но также влияют на движение глаз, и, следовательно, на то, что вы видите. Большие клетки слоя 5 наблюдаются по всему неокортексу, во всех областях, претендуя на более значительную роль во всех видах движений.


                Объединение знаний о колонках

                Вся информация о колонках, которая у меня была, указана выше. И этого явно не хватает для построения полной картины. Приходится додумывать...

                Очень обидной картинкой была вот эта:

                Нигде я не нашёл, куда же движется сигнал со слоя L2. Либо к L5, либо к L6. Понять, чем может быть полезна связь L2 с L5, я не смог. Зато получилось уловить смысл соединения с L6. Поэтому сигнал с L2 у меня в модели движется к L6.

                Объединим известные данные:

                Также, очень жаль, что не раскрывается значение странных точек, идущих со слоя L6. Неужели сигнал с L6 передаётся в L4? Это очень странно... Поскольку не написано ни слова про них, в модели их логики нет.

                Насколько мне известно, нейроны внутри одного слоя колонки очень взаимосвязаны между собой. Нейрон со слоя L3, который получил информацию с L4, передаёт сигнал соседнему элементу L3, который передаст информацию на L6. Поэтому предлагаю рассматривать один слой, как один элемент.

                Давайте посмотрим на информационный вход в слой L1 от таламуса. Посылать его на L5 повторно, считаю нерациональным. Поэтому остаётся вариант посылать либо на слой L2, либо L3. Так как на данной стадии L2 и L3 равнозначны, оба отправляют данные на L6 и наружу, также оба получают информацию с L4 и L1. И раз уж они равнозначны, то выберу один из них, произвольно. Выбираю L3.

                Объединим две колонки, показав связь между ними:

                Не знаю, уточнялась ли картина строения колонки, но было бы здорово быть в курсе новых событий.

                В модели, на данный момент, реализована это строение колонки и межколоночное взаимодействие.
                Я осознаю, что эта конструкция держится на очень зыбкой почве, но, если была бы она более твёрдой, то с радостью бы перешёл на неё. Но, увы, с другими работами строения колонки в зрительной коре, я не знаком :(


                Вопросы по колонкам

                1) Есть ли работы (желательно, конечно, научные), где указаны конкретизированные картины строения колонки? Должны быть, ведь книга, на которую я ссылаюсь, написана аж в 2004 году (14 лет назад).

                2) С каждой колонки "отправляется сигнал" в таламус. Это очень странно, как минимум из-за их количества и того, что есть МРТ, где у человека отсутствует 90% мозга (Общие вопросы, №9; статья https://geektimes.ru/post/278470/) и этой "отправки" уж точно нет. Но, судя по статье, человек живёт полноценной жизнью. Как так?

                3) Нейроны расставили... А вот тип нейронов так и не указали. Где можно разузнать, где же находятся тормозные нейроны? А то без них как-то грустно... (На данный момент, в модели стоят везде возбуждающие нейроны)
                Последний раз редактировалось Duwaz; 14.04.2018, 08:12 PM.

                Комментарий


                • #9
                  Общие вопросы №5

                  Тогда, по идее XOR можно построить так:
                  Отталкиваемся от этой же картинки


                  Вес "1" интерпретируем как передачу сигнала с возбуждающего нейрона к следующему нейрону, а "-1" - как передачу сигнала тоже возбуждающего нейрона, но через тормозящий. Т.е. Тормозящий принимает сигнал с возбуждающего и передаёт "торможение" следующему нейрону. Кругляши и сумматоры - нейроны.

                  Комментарий

                  Обработка...
                  X