В «системе вознаграждения» найдены нейроны, возбуждающиеся от хороших предчувствий
Рис. 1. Важнейшие нейронные пути «системы вознаграждения» — мезолимбический (голубые стрелки) и мезокортикальный (синие стрелки) — образованы отростками дофаминовых нейронов вентральной области покрышки (VTA). По первому из них дофаминовые сигналы поступают из VTA в прилежащее ядро, миндалину, гиппокамп и префронтальную кору, по второму — только в префронтальную кору, включая ее орбитофронтальную область. Светло-оранжевым цветом показан средний мозг. Изображение с сайта www.cellbiol.net
Чувства радости и удовольствия зависят от активности дофаминовых нейронов вентральной области покрышки среднего мозга (VTA). Их активность, в свою очередь, определяется соотношением награды (положительного стимула) и наших ожиданий: неожиданная удача радует больше, чем та, в которой мы не сомневались. До сих пор не было известно, каким образом дофаминовые нейроны VTA вычисляют разницу между наградой и ожиданиями. Американские нейробиологи сделали важный шаг к разгадке этой тайны. Сложнейшие эксперименты с генно-модифицированными мышами, в мозг которых внедрялись электроды, световоды и искусственные вирусы, показали, что часть нейронов VTA специализируется на кодировании ожиданий, не реагируя на саму награду. Эти нейроны — тормозные (ГАМК‑эргические). Их регулярное возбуждение снижает активность дофаминовых нейронов VTA и тем самым притупляет чувство радости от «хороших новостей», которые были известны животному заранее.
Вентральная область покрышки (ventral tegmental area, VTA) — ключевой компонент «системы вознаграждения» (также известной как «система внутреннего подкрепления», см. reward system) в мозге млекопитающих. Примерно 55–65% нейронов VTA — это дофаминовые (дофаминэргические) нейроны, передающие сигналы другим нейронам при помощи нейромедиатора дофамина. Дофамин играет в мозге роль «вещества удовольствия». Дофаминовые сигналы из VTA поступают в префронтальную кору, где происходят сознательные психические процессы, в гиппокамп, управляющий запоминанием (это может быть связано с обучением на положительном опыте), в прилежащее ядро (nucleus accumbens), которое можно назвать «главным центром удовольствия» и которое отвечает за мотивацию, привязанности и зависимости, а также в другие «эмоциональные» отделы мозга, такие как миндалина (amygdala) (рис. 1).
Дофаминовые нейроны VTA активируются в ответ на положительные стимулы (информацию о которых они получают от других отделов мозга, в том числе от коры), а также на условные стимулы, предвещающие награду. Например, если животное знает, что после звукового сигнала ему дают что-нибудь вкусненькое, дофаминовые нейроны VTA будут возбуждаться в ответ на звуковой сигнал. Сама же награда («безусловный стимул») активирует их в зависимости от своей предсказуемости: неожиданная награда вызывает сильную активацию, но если животное точно знает, что угощение всегда появляется после звонка, то нейроны энергично ответят только на звонок, а на саму награду отреагируют слабее или не отреагируют вовсе. Ну а если после звонка положенная награда не появится, активность дофаминовых нейронов VTA отобразит разочарование, опустившись ниже базового («спокойного») уровня. Таким образом, работа этих нейронов кодирует не хорошие новости как таковые, а, скорее, степень их соответствия ожиданиям, «ошибку предсказания награды» (reward prediction error, RPE).
Этот механизм мешает нам радоваться привычным, стандартным достижениям — но не мешает огорчаться, когда ожидаемая награда вдруг ускользает из рук. Нарушения его работы могут быть связаны с различными психическими проблемами, такими как болезненная страсть к азартным играм или наркотическая зависимость. Известно, что некоторые наркотики подавляют активность тормозящих, ГАМК‑эргических, нейронов VTA, о которых пойдет речь ниже. Эти нейроны сдерживают активность дофаминовых нейронов, что, возможно, препятствует развитию устойчивых эйфорических состояний.
Рис. 2. Гипотетическая модель обработки информации дофаминовыми нейронами VTA. Нейрон реагирует на условный стимул (CS), предвещающий награду, но не на саму награду (капля воды). Это объясняется тем, что, хотя он получает два возбуждающих входных сигнала (об условном стимуле и о награде, черные линии), он также получает тормозящий сигнал от неких нейронов, активность которых кодирует ожидание награды (красная линия). Изображение из дополнительных материалов (PDF, 7,87 МБ) к обсуждаемой статье в Nature
О том, каким образом дофаминовые нейроны «вычисляют» ошибку предсказания награды, до сих пор можно было лишь строить гипотезы (рис. 2). Американские нейробиологи, опубликовавшие результаты своих исследований в недавнем выпуске журнала Nature, сделали важный шаг к расшифровке этого механизма.
Авторы вживили 12 мышам в мозг электроды для регистрации активности нейронов VTA. В общей сложности удалось проследить за работой 187 нейронов. Мышей приучили к тому, что после появления условного стимула (того или иного запаха) случается одно из четырех: либо в поилке спустя секунду появляется большая порция воды («большая награда»), либо маленькая, либо ничего не происходит, либо на мышь направляют струю воздуха («наказание»). Комбинации условных и безусловных стимулов (запахов и наград) для всех мышей были разные, но каждый запах для каждой мыши всегда предвещал что-то одно. Мыши быстро всё поняли, что было видно по их поведению: после условных стимулов, предвещающих воду, они начинали лакать из поилки еще до появления воды. Во время обучения и опытов мышей, конечно, ограничивали в питье, чтобы они были достаточно мотивированы (но без угрозы для здоровья).
Рис. 3. Активность (частота генерации нервных импульсов) трех типов нейронов VTA (Type I, II, III) в четырех ситуациях: большая награда (big reward), маленькая награда (small reward), ничего (nothing), наказание (punishment). По горизонтальной оси — время. Вертикальными серыми полосамипоказано время подачи условного стимула (запаха), пунктирными линиями — момент появления «результата» (награды или наказания). Три левых графика показывают работу одного произвольно выбранного нейрона каждого типа, три правых — усредненную картину по всем нейронам данного типа. Показаны данные по 6 мышам из 12. Изображение из обсуждаемой статьи в Nature
Анализ активности нейронов в четырех ситуациях (большая награда, малая награда, ничего, наказание) показал, что нейроны VTA четко подразделяются на три типа.
Нейроны типа I (рис. 3, верхние графики) — самые многочисленные. Они активируются в ответ на условный стимул, предвещающий награду. Затем их активность быстро возвращается к базовому уровню и остается низкой всё время, пока мышь ждет награду. На саму награду, появление которой было «предсказано» условным стимулом, реагирует только часть нейронов первого типа. При этом реакция на ожидаемую награду снижается день ото дня. Иными словами, по мере того, как мышь всё более привыкает к тому, что после данного условного стимула обязательно появляется награда, реакция на нее у нейронов первого типа уменьшается (хотя реакция на условный стимул остается сильной).
Таким образом, нейроны типа I ведут себя в точности так, как положено вести себя дофаминовым нейронам VTA: они кодируют «ошибку предсказания награды» (RPE). Это было дополнительно подтверждено экспериментами, в которых после «хорошего» условного стимула награда не появлялась. Нейроны типа I реагировали на разочарование уменьшением своей активности.
Нейроны типа II (средние графики) тоже увеличивают свою активность в ответ на условный стимул, предвещающий награду, но, в отличие от нейронов типа I, они продолжают активно работать в течение всего периода ожидания. При этом их активность коррелирует с размером ожидаемой награды. Реакция на саму награду выражена слабо. На отсутствие награды после положительного условного стимула («разочарование») эти нейроны не реагируют. Таким образом, нейроны типа II кодируют позитивные ожидания — ключевую величину, необходимую для вычисления RPE.
Нейроны типа III (нижние графики) уменьшают свою активность в ответ на «хорошие» условные стимулы и немного увеличивают в ответ на «плохие». Забегая вперед, скажу, что природа и функции этих нейронов остались неизвестными.
Теперь нужно было доказать, что нейроны типа I — это действительно дофаминовые нейроны. Эту чрезвычайно трудную задачу авторы решили при помощи генной инженерии. Шестерым мышам из 12 ввели в мозг вирусов, в геном которых был вставлен ген chr2, заставляющий нервные клетки возбуждаться от света (см. channelrhodopsin). Этот ген в геноме вируса находился в неактивной форме. Сделать его активным мог другой ген, cre (см. Cre recombinase), заранее внедренный в геном самих мышей, где он был поставлен под контроль промотора гена дофаминового транспортера DAT, который экспрессируется только в дофаминовых нейронах. В итоге получились мыши, у которых дофаминовые нейроны реагируют на свет генерацией нервных импульсов. В головы этих мышей, помимо электродов, вставили еще и световод, чтобы можно было осветить VTA.
Оказалось, что все нейроны, которые у этих мышей возбуждаются от света, относятся к типу I. Некоторые нейроны типа I от света не возбуждались, но это, скорее всего, объясняется тем, что вирусы проникли не в каждый нейрон. Таким образом, можно считать доказанным, что нейроны типа I — это действительно дофаминовые нейроны VTA, кодирующие ошибку предсказания награды.
Остальные шесть мышей тоже получили порцию вирусов в мозг, но эти мыши были модифицированы по-другому, так что у них стали реагировать на свет не дофаминовые, а ГАМК-эргические нейроны, вырабатывающие тормозной нейромедиатор ГАМК. Все нейроны VTA, которые у этих мышей возбуждались от света, оказались нейронами типа II.
Итак, авторы показали, что нейроны типа I — дофаминовые, а нейроны типа II — ГАМК‑эргические. Это открытие позволило соединить несколько фрагментов головоломки в относительно стройную картину. О существовании в вентральной области покрышки наряду с дофаминэргическими нейронами также и ГАМК‑эргических было известно и ранее. ГАМК‑эргические нейроны VTA посылают свои тормозящие сигналы во многие отделы мозга. Их окончания также имеются на дендритах дофаминовых нейронов VTA. Соответственно, возбуждение ГАМК‑эргических нейронов VTA ведет к торможению дофаминэргических. Поскольку теперь мы знаем, что возбуждение ГАМК‑эргических нейронов VTA отражает позитивные ожидания, становится понятно, откуда дофаминовые нейроны получают информацию об этих ожиданиях, и можно себе представить, каким образом вычисляется «ошибка предсказания награды».
По-видимому, сигнал об условном стимуле, предвещающем награду, получают все нейроны VTA. На этот сигнал реагируют повышением активности как нейроны типа I (дофаминовые), так и нейроны типа II (ГАМК‑эргические). Последние сохраняют высокий уровень активности в течение всего периода ожидания награды. При этом активность нейронов типа II, отражающая уверенность в получении награды, подавляет работу нейронов типа I — порой не сразу, а лишь по прошествии нескольких дней (для этого наверняка требуется перестройка структуры синаптических связей, см. синаптическая пластичность). Полученные дофаминовыми нейронами возбуждающие сигналы о «хороших новостях» за вычетом тормозящих сигналов об ожиданиях — это и есть искомая величина RPE, ошибка предсказания награды.
Рис. 4. Схема нейронных связей VTA, какой она представляется по итогам исследования. Серый квадрат — VTA, цветные кружки — три типа нейронов: DAergic — дофаминэргические, GABAergic — ГАМК‑эргические, Type III — нейроны типа III. VTA получает возбуждающие (Excitation) и тормозящие (Inhibition) входные сигналы о позитивных ожиданиях (Expectation) и негативных стимулах (Aversion) из префронтальной коры (PFC), латеральной уздечки (LHb), педункулопонтийного ядра (PPN), полосатого тела, или стриатума (Str). Сигналы дофаминовых нейронов VTA, несущие информацию об ошибке предсказания награды (RPE), поступают в кору (Сtx), стриатум, миндалину (Amy), гиппокамп (Hipp). Изображение из дополнительных материалов к обсуждаемой статье в Nature
Реальный алгоритм работы VTA наверняка сложнее грубой схемы, показанной на рис. 4. Но такое можно сказать практически о любом выводе или обобщении в нейробиологии (да и в биологии вообще), что не делает эти выводы менее важными и полезными. В частности, полученные результаты могут помочь в борьбе с наркоманией. Ведь некоторые наркотики, как говорилось выше, подавляют активность ГАМК‑эргических нейронов VTA. Поэтому расшифровка функции этих нейронов важна для понимания механизмов формирования наркотической зависимости.
Их активность, в свою очередь, определяется соотношением награды (положительного стимула) и наших ожиданий: неожиданная удача радует больше, чем та, в которой мы не сомневались. До сих пор не было известно, каким образом дофаминовые нейроны VTA вычисляют разницу между наградой и ожиданиями. Американские нейробиологи сделали важный шаг к разгадке этой тайны. Сложнейшие эксперименты с генно-модифицированными мышами, в мозг которых внедрялись электроды, световоды и искусственные вирусы, показали, что часть нейронов VTA специализируется на кодировании ожиданий, не реагируя на саму награду. Эти нейроны — тормозные (ГАМК‑эргические). Их регулярное возбуждение снижает активность дофаминовых нейронов VTA и тем самым притупляет чувство радости от «хороших новостей», которые были известны животному заранее.