Twitter thread N38

◦ * попроще прежде всего в смысле размерностей пространства как управляющих воздействий (всегда), так и входных параметров (в штатных режимах)

…что же до цены ошибки, то для текста и кода она мала лишь в среднем, а на хвосте распределения уделает даже самолёт с ядерным реактором.

◦ Текущая обстановка восторга «мама, смотри, оно едет без рук!» не даёт ощутить проблему.

Во-первых, пока всё еще немного всё равно, куда ехать, и даже в столб приехать в чем-то интересно.

Во-вторых и в-главных, восторг подразумевает вовлечённость в процесс.

А проблема — в скуке.

◦ Многие годы разработчики автопилотов всех мастей бьются над одним и тем же вопросом: как обеспечить психологическую готовность оператора к тому неизвестному заранее моменту, когда потребуется его вмешательство?

(и их выводы, увы, имеют сильный привкус бестселлера «Никак, блядь»)

◦ Автопилот уверенно решает условные 95% задач, в 99% от оставшихся 5% своевременно запрашивает помощь пилота, и ОЧЕНЬ РЕДКО допускает критическую ошибку.

Возрастёт ли производительность труда пилота в 20 раз?

Станет ли он по крайней мере в 20 раз меньше уставать?

Да хрен там.

◦ Пилота надо держать в контексте. Если предыдущие шесть часов он читал книжку и листал инстаграм, то быстро и адекватно принять управление в нештатной ситуации он не сможет. Надо хоть немного быть в курсе истории её возникновения.

◦ Наблюдать за монотонным процессом, вообще ничего не делать, но поддерживать готовность к нестандартным действиям — для человека противоестественно до невозможности.

(Посмотрите в бездонные глаза дежурного по эскалатору и попробуйте оценить его время реакции).

◦ Пилот должен делать что-то, чтобы оставаться «здесь и сейчас».

Но передача ему небольших рутинных задач, с которыми уверенно справлялся автопилот, вызывает раздражение, отвлечение, и опять — выпадение из ситуации. Нужно что-то «интересное».

…но оно же и «утомляющее». Fuck.

◦ Весьма инквизиторские способы, которыми локомотивы задают машинистам вопрос «НЕ СПИШЬ?», говорят, что задача толком не решена.

Падения с эшелона полностью или почти полностью исправных авиалайнеров говорят, что задача толком не решена.

Удачи IT в её решении.

◦ А если задача удержания внимания решена, то дальше встаёт задача со звёздочкой: отличить гениальность* от безумия**.

* функционирование как задумано

** функционирование не как задумано

◦ Для действительно качественного скачка производительности автоматика просто-таки обязана предлагать решения, которые человек не может быстро понять — но при этом должен решить, не пора ли разбивать стекло и жать кнопку АВОСТ.

◦ Причем для этого не нужны никакие «сильные ИИ», контринтуитивность может рождаться в системах гораздо проще. В 1988 г. «Буран» при возвращении из полёта выполнил в режиме автоматической посадки такой манёвр — верный и эффективный! — что его уже было готовились аварийно подрывать.

◦ Была надежда на то, что ИИ, мол, сможет не только принять решение, но и объяснить его.

Происходящее, увы, ясно показывает, что чего-чего, а «объяснений» ИИ нагенерирует столько, что сто операторов не разгребут.

Удачи IT разобраться и с этим, не доводя до Батлерианского джихада.