У системы подкрепления оказалась долгая память — её нейроны запоминают мотивацию, которая определяет цель, и отсчитывают расстояние до цели с помощью постепенного повышения уровня дофамина.
Наверное, каждый знает, что в мозге есть «система подкрепления», отвечающая за чувство удовлетворения, удовольствие от полученной награды в ответ на какие-то усилия, и т.п. То есть когда первоклассник, продекламировав стишок, получает от Марьиванны «пять», в его мозгу срабатывает тот же механизм, что и у крысы, которая давит на рычажок и получает, например, кусочек сахара.
Однако в большинстве случаев в опытах с системой подкрепления использовалась быстрая награда, которую подопытные — животные или люди — получали спустя несколько секунд после нужного действия. Но ведь в реальной жизни, чтобы добиться цели, нужно потратить много времени и сил: к примеру, зверь, когда хочет есть, может довольно долго искать пищу. А человек, если едет на машине, должен всё время помнить, что где-то впереди его ждёт цель, и эту цель он держит в уме. То есть в действительности вознаграждение сильно откладывается, и возникает вопрос, как система подкрепления справляется с временнóй задержкой удовольствия.
Считается, что основным «топливом» центра удовольствия и всей системы подкрепления служит нейромедиатор дофамин. Исследователи из Массачусетского технологического института (США) под руководством Энн Грейбил взялись проверить, как меняется динамика дофамина в «подкрепительных» нейронах во время обработки задания с отложенной наградой. В опыте использовались крысы, которым нужно было по лабиринту добраться до молока с шоколадом, причём по мере продвижения животные слышали звуковые сигналы, говорившие им, куда надо поворачивать (направо или налево). Одновременно с помощью вживлённых электродов учёные следили за работой системы подкрепления.
Авторы эксперимента измеряли межнейронную концентрацию дофамина сразу в нескольких точках, ожидая увидеть простую пульсообразную динамику, когда порции нейромедиатора выбрасывались бы в определённые промежутки времени. Однако, как они пишут в журнале Nature, картина была иной: уровень нейромедиатора стабильно повышался, пока крыса стремилась к концу лабиринта, и пик дофамина приходился как раз на обретение награды. Выходит, система подкрепления как бы предвкушала конечный результат, растягивая ожидание?
Разные животные бежали по лабиринту с разной скоростью, некоторые вообще иногда останавливались, однако это никак не отражалось на приросте уровня дофамина. Более того, даже возможность вознаграждения, как ни удивительно, не влияла на динамику нейромедиатора.
Центр удовольствия, в случае чего, может и подождать
То есть дофамин обслуживал достижение цели, а целью было дойти до конца лабиринта, и чем ближе крыса к ней подбиралась, тем больше дофамина высвобождалось. Значит, чем ближе была цель, тем активнее работала система подкрепления. Как уже сказано, подъём дофамина происходил и в отсутствие угощения, но если угощение всё-таки ожидалось, уровень нейромедиатора поднимался выше. Если лабиринт усложняли, удлиняли, добавляли поворотов, это тоже отражалось на динамике дофамина — он прирастал медленнее.
То есть по уровню дофамина крыса могла определить, насколько далеко она находится от конечной цели. Такая дофаминовая шкала, очевидно, помогает удерживать конечную цель в уме, а кроме того, способствует соотнесению итогового удовольствия с затраченными усилиями.
Исследователи измеряли уровень дофамина в полосатом теле, которое входит в систему подкрепления, а также усиливает процессы, связанные с обучением. Никто не ожидал, что у системы подкрепления окажется столь долгое терпение — по-видимому, это связано как раз с тем, что полосатое тело запоминает, выучивает мотивацию и удерживает её с помощью постепенного повышения уровня дофамина.
Авторы полагают, что расстройства мотивационной сферы, которые часто случаются при синдроме Паркинсона, происходят как раз из-за разрушения дофаминовых цепей. Как известно, это заболевание в первую очередь бьёт по нейронам, использующим для передачи сигнала именно этот нейромедиатор.