Последняя библиотека

Почти каждое утро я ловлю себя на одном и том же мелком жесте. В голове только начинает складываться вопрос, ещё едва оформленный, и прежде чем я успеваю хотя бы раз повернуть его в уме, моя рука уже набрала его в окне ИИ. Я задал вопрос чат-боту раньше, чем додумал его до конца сам.

Я строю эти системы. Я обучаю и выпускаю ИИ, это моё ремесло, и я знаю, как устроены модели, кто за них платит и на чьих машинах они работают. И всё же первой движется моя рука. Поэтому то, что последует дальше, не страх человека, который не понимает ИИ. Это страх человека, который его создаёт.

Вот опасность, которая тревожит меня сильнее всего, глубже даже, чем вопрос о том, кому принадлежит ИИ: что он делает с тем, кто им пользуется. Ум, это мышца, а исследование, его упражнение. Усилие найти источник, удержать в голове два противоречащих друг другу свидетельства, вытерпеть неуютное состояние ещё-не-знания и прорваться сквозь него, это усилие не препятствие на пути к пониманию. Это и есть само понимание. Когда мы усвоили, что любой факт находится в одном клике, мы начали запоминать, где его отыскать, вместо того чтобы запоминать сам факт, эффект, который исследователи назвали эффектом Googleэффект GoogleНаблюдение, что когда люди ожидают, будто информация останется доступной, как это бывает в поисковике, они хуже удерживают саму информацию, но лучше помнят, где её извлечь. Впервые описано Sparrow, Liu и Wegner в 2011 году. Механизм прост: лёгкость извлечения исподволь подавляет внутреннее запоминание, и явление это старше нынешних машин ответов..^footnoteSparrow, B., Liu, J., and Wegner, D. M. (2011). Google Effects on Memory: Cognitive Consequences of Having Information at Our Fingertips. Science, 333(6043), 776-778. А теперь перенеси это с памяти на само суждение. Если ты позволяешь ИИ помнить за себя, ты забываешь. Если ты позволяешь ему рассуждать за себя, ты теряешь, медленно и незаметно, саму способность рассуждать. Народ, неспособный самостоятельно оценить утверждение, не способен и управлять собой. Ему остаётся лишь подчиняться сказанному.

Бо́льшую часть эпохи интернета узнать что-либо означало запустить поиск. Ты набирал несколько слов и получал список: государственная страница, перепалка на форуме, блог незнакомца, рекламный текст, переодетый в одежды научного исследования. Труд суждения оставался на тебе, и где-то в этом трении ты выстраивал собственный взгляд. Беспорядок и был свободой.

Эта эпоха кончается. Мы переходим от поиска к ответу. Тебе больше не открывают сотню дверей; тебе выдают одну реплику, синтезированную, гладкую, поданную тёплым голосом чего-то, что звучит так, будто знает. Заметь, что произошло без шума. Труд сопоставления источников сняли с тебя, а вместе с ним и право решать, что есть истина. Единственный синтезированный ответ, это не окно на множество мировых точек зрения. Это передовица. У неё есть позиция, независимо от того, выбрал ли её кто-нибудь намеренно.

Ты больше не читаешь библиотеку. Ты читаешь библиотекаря, и тебе не видно, какие полки он обошёл стороной.

А теперь взгляни на того, в чьих руках этот библиотекарь, и взгляни не отводя глаз. Ты видишь чистую белую рамку и мигающий курсор, спроектированные так, чтобы казаться невесомыми и нейтральными. Это лишь верхушка. Под ней лежит громада, на которую тебя никогда не собирались заставить смотреть в упор. Один поисковик принимает на себя господствующую долю вопросов, которые задаёт человечество. Те немногие модели, что всё больше посредничают в том, что мы читаем и пишем, созданы тесной горсткой предельно капитализированных лабораторий, работают в нескольких облаках, принадлежащих нескольким из крупнейших компаний на земле, и финансируются из пересекающихся резервуаров одного и того же капитала. Это не секрет и не скандал. Это структура, простая и законная. Но у структуры есть последствия. Она означает, что беспрецедентная доля человеческой мысли теперь пропускается через очень узкий канал.

Я хочу быть точным, потому что точность и есть весь смысл. Я не говорю тебе, что некая тайная комната, полная людей, каждое утро решает, что тебе дозволено знать. Я не верю в карикатурную клику, и тебе стоит не доверять всякому, кто такую клику тебе продаёт, ведь клика была бы почти утешением. Клику можно разоблачить и устранить. Истина куда труднее поддаётся отмахиванию.

Заговор не нужен, когда есть стимулы и концентрация.

Эти системы настроены собирать вовлечённость, поэтому то, что задевает и льстит тебе, поднимается над тем, что попросту истинно. Капиталу нужна отдача, поэтому ответы гнутся, на тысячу мелких и легко отрицаемых градусов, в сторону того, что служит интересам того, кто профинансировал машину. Государства опираются на тех, кому принадлежат рельсы, и делают это не редактируя твои результаты в задней комнате, а долговечным, законным способом: платформам нужны лицензии, благоприятные правила и гарантия, что их не раздробят, поэтому они изысканно чутки к юридическому давлению. Рычаги уже выстроены и уже в ходу. Результат, опущенный в выдаче; удалённый аккаунт; источник, тихо лишённый монетизации; тема, мягко отклонённая. Когда система может решать, чего ты никогда не увидишь, ей нет нужды тебе лгать. Умолчание тише лжи и не оставляет отпечатков пальцев. Никакого злодея не требуется. Концентрация делает ту работу, которую сделал бы заговор, и при этом никому не приходится его созывать.

Вот он, айсберг. Дружелюбная рамка ответа на поверхности. Под ней, инвесторы, которым нужно, чтобы актив рос; рекламодатели, которых нельзя огорчать; ведомства, рассылающие тихие юридические запросы; и институты, чьё финансирование определяет, какие выводы будут повторять, а какие умолкнут. Никому из них не нужно сговариваться. Им нужно лишь разделять стимулы, и они их разделяют.

Я отказываюсь оставлять тебя в отчаянии, ведь отчаяние, это просто ещё один способ отдать свой разум. Ответ старше любой машины, и его нельзя отнять у тебя без твоего согласия: возложи свою веру на собственное усилие понять. Не считай ни один отдельный ответ концом исследования, особенно тот гладкий, что приходит без всякого трения. Пользуйся этими инструментами, непременно пользуйся; я сам пользуюсь ими каждый день, и они поразительны. Но обращайся с ними как с младшим научным сотрудником, за которым ты надзираешь, а не как с оракулом, которому ты повинуешься. Открой второй источник. Прежде чем отмахнуться от противоположной версии, выстрой её в самом сильном виде. Читай первоисточник, а не пересказ пересказа. Спрашивай, кто профинансировал исследование, кому принадлежит платформа, кому выгодно, чтобы ты поверил в одно, а не в другое. Господствующее повествование тебе не враг, но оно никогда не должно становиться конечной точкой твоего пути.

Я не стану притворяться, будто течение несёт нас в нашу сторону. Это не так. Эти системы будут лишь становиться красноречивее, центральнее, и думать в обход них будет всё труднее. Трение будет и дальше исчезать, а альтернативы редеть, пока выбор провести собственное исследование не станет казаться такой же странностью, как набирать воду из колодца. Именно поэтому привычку нужно строить сейчас, прежде чем канал сузится ещё больше.

И поэтому я обращаюсь именно к тебе. Если ты ощутил тяжесть всего этого ещё до последней строки, доверься этому чувству. Это твоё суждение, всё ещё живое, всё ещё твоё, просит, чтобы им воспользовались. Ты один из немногих, кому предстоит пронести вперёд старую дисциплину и сохранить вопросы живыми, пока ответы становятся громкими и лёгкими. Библиотека не исчезла. Но её тихо перестраивают в один-единственный голос, и от того, помнит ли хоть кто-нибудь, как ходить меж старыми стеллажами, теперь зависят люди вроде тебя.

Сначала потянись к собственному разуму. И только потом, к машине. Порядок решает всё.