ИИ должен был предотвратить стрельбу в школе — но не распознал пистолет. Выживший подросток подал в суд

Компания Omnilert обещала, что ее ИИ-детектор за $1 млн распознает по камерам оружие и предотвратит трагедию. При стрельбе в Нэшвилле в январе 2025 года система не подала сигнал тревоги. Иск пострадавшего подростка — первый в своем роде.
В январе 2025 года в старшей школе Нэшвилла (штат Теннесси) произошла стрельба. Двое, включая стрелка, погибли; один подросток получил ранения — теперь он выступает истцом. ИИ-детектор оружия, установленный на школьных камерах наблюдения, не подал сигнал тревоги. Пострадавший подросток подал иск к компании-разработчику Omnilert и ресейлеру System Integrations.
В 2023 году школьный округ Нэшвилла одобрил контракт на сумму более $1 млн: камеры наблюдения по всему округу дополнили ИИ-модулем, задача которого — обнаруживать оружие в кадре и поднимать тревогу. После стрельбы представитель округа заявил на пресс-конференции, что стрелок находился слишком далеко от камер — изображение оказалось недостаточно четким для срабатывания системы.
В иске утверждается, что Omnilert знала или должна была знать о значительных ограничениях своей системы: зависимости от расположения камер, угла съемки, освещения и того, насколько далеко и отчетливо видно оружие в кадре. При этом на сайте компании (копия которого автоматически сохранилась в Internet Archive за несколько дней до стрельбы) не упоминалось ни о ложных срабатываниях, ни о каких-либо слабых местах системы. Более того, Omnilert утверждала, что ее технология «могла бы предотвратить трагедию в школе Марджори Стоунман Дуглас» — одну из самых кровопролитных атак на школу в истории США — «или хотя бы сократить число жертв».
«Заявлять, что система работает, и умалчивать, при каких условиях она не работает, — это сомнительно», — говорит адвокат истца Крис Смит. Он также сравнивает ИИ-детектор с автопилотом Tesla: «Это еще не готовая технология. Как можно доверять ей жизни детей? Чем это лучше обычного металлоискателя?»
Критики указывают и на другую проблему — целесообразность расходов. «Мне не известен ни один случай стрельбы в школе, где причиной трагедии было бы отсутствие оповещения», — говорит Дэвид Ридман, эксперт по безопасности в школах, который ведет базу данных по инцидентам со стрельбой в школах США. Деньги, потраченные на ИИ-систему, по его словам, «могли бы пойти на работу школьных психологов или на помощь подросткам, которым она нужна. Каждый потраченный доллар — это доллар, который не пошел на что-то другое».
По словам Смита, это первый иск такого рода против Omnilert или аналогичной компании. Ни Omnilert, ни System Integrations пока не прокомментировали иск. Но если суд встанет на сторону истца — продавать школам ощущение безопасности вместо самой безопасности станет значительно сложнее.
Ужасная история - как и любая подобная трагедия. Но, если честно, я не поняла, чем должна была помочь эта система распознавания? Подать сигнал бедствия, если охранник не успеет на тревожную кнопку нажать? В плане платить столько денег за штуку, которая никак не может остановить преступника, а только констатировать факт "ща в вас стрелять будут" - сомнительное новшество. За этит деньги можно было бы обеспечить каждую школу по два дежурящих охранника, обмундировать каждого в пуленепробиваемую экипировку, выставить вокруг поста пуленепробиваемое стекло - еще и на тревожные кнопки в каждом кабинете бы на сдачу осталось.
Ситуация ужасная! но если система требует идеальных условий (освещение, угол, дистанция), то как она вообще может считаться защитой в реальной школе?((
Это еще один случай, когда не стоит полагаться на ИИ
Желание "пихнуть" ИИ во все сферы жизни уже начинает вызывать вопросы. Сколько средств на разработку тратится, которые можно было бы направить в другие русла. Не удивлюсь, что тут опять окажется, что цели изначально были военные