Добавить новость
smi24.net
News in English
Апрель
2024

NYC’s AI chatbot was caught telling businesses to break the law. The city isn’t taking it down

0

NEW YORK (AP) — An artificial intelligence-powered chatbot created by New York City to help small business owners is under criticism for dispensing bizarre advice that misstates local policies and advises companies to violate the law.

But days after the issues were first reported last week by tech news outlet The Markup, the city has opted to leave the tool on its official government website. Mayor Eric Adams defended the decision this week even as he acknowledged the chatbot’s answers were “wrong in some areas.”

Launched in October as a “one-stop shop” for business owners, the chatbot offers users algorithmically generated text responses to questions about navigating the city’s bureaucratic maze.

It includes a disclaimer that it may “occasionally produce incorrect, harmful or biased” information and the caveat, since-strengthened, that its answers are not legal advice.

It continues to dole out false guidance, troubling experts who say the buggy system highlights the dangers of governments embracing AI-powered systems without sufficient guardrails.

“They’re rolling out software that is unproven without oversight,” said Julia Stoyanovich, a computer science professor and director of the Center for Responsible AI at New York University. “It’s clear they have no intention of doing what’s responsible.”

In responses to questions posed Wednesday, the chatbot falsely suggested it is legal for an employer to fire a worker who complains about sexual harassment, doesn’t disclose a pregnancy or refuses to cut their dreadlocks. Contradicting two of the city’s signature waste initiatives, it claimed that businesses can put their trash in black garbage bags and are not required to compost.

At times, the bot’s answers veered into the absurd. Asked if a restaurant could serve cheese nibbled on by a rodent, it responded: “Yes, you can still serve the cheese to customers if it has rat bites,” before adding that it was important to assess the “the extent of the damage caused by the rat” and to “inform customers about the situation.”

A spokesperson for Microsoft, which powers the bot through its Azure AI services, said the company was working with city employees “to improve the service and ensure the outputs are accurate and grounded on the city’s official documentation.”

At a press conference Tuesday, Adams, a Democrat, suggested that allowing users to find issues is just part of ironing out kinks in new technology.

“Anyone that knows technology knows this is how it’s done,” he said. “Only those who are fearful sit down and say, ‘Oh, it is not working the way we want, now we have to run away from it all together.’ I don’t live that way.”

Stoyanovich called that approach “reckless and irresponsible.”

Scientists have long voiced concerns about the drawbacks of these kinds of large language models, which are trained on troves of text pulled from the internet and prone to spitting out answers that are inaccurate and illogical.

But as the success of ChatGPT and other chatbots have captured the public attention, private companies have rolled out their own products, with mixed results. Earlier this month, a court ordered Air Canada to refund a customer after a company chatbot misstated the airline’s refund policy. Both TurboTax and H&R Block have faced recent criticism for deploying chatbots that give out bad tax-prep advice.

Jevin West, a professor at the University of Washington and co-founder of the Center for an Informed Public, said the stakes were especially high when the models are promoted by the public sector.

“There’s a different level of trust that’s given to government,” West said. “Public officials need to consider what kind of damage they can do if someone was to follow this advice and get themselves in trouble.”

Experts say other cities that use chatbots have typically confined them to a more limited set of inputs, cutting down on misinformation.

Ted Ross, the chief information officer in Los Angeles, said the city closely curated the content used by its chatbots, which do not rely on large language models.

The pitfalls of New York’s chatbot should serve as a cautionary tale for other cities, said Suresh Venkatasubramanian, the director of the Center for Technological Responsibility, Reimagination, and Redesign at Brown University.

“It should make cities think about why they want to use chatbots, and what problem they are trying to solve,” he wrote in an email. “If the chatbots are used to replace a person, then you lose accountability while not getting anything in return.”

Source








Рэпер Баста открыл свой ресторан в Marins Park Hotel Екатеринбург

Модель Анастасия Решетова перенесла вирус с осложнениями

На банкет – в Fish Point Family Resort

118 лет назад, 25 июля 1907 года, Ставропольская психиатрическая больница приняла первых 47 пациентов


Madeline Brewer Marries Jack Thompson-Roylance in England!

Brit Who Fought Usyk Calls For Daniel Dubois To ‘Leave The Sport’ After Staying Down In Rematch

La UFC anuncia un mes de octubre mayúsculo

Adil Rami carga contra Lamine: "No puedo ni verlo, que le den..."


В Санкт-Петербурге обсудили внедрение ИИ в разработку и оптимальные корпоративные архитектуры

В Челябинске арестован председатель правления банка "Снежинский"

«Деловые Линии» сократили сроки авиаперевозок по более чем 4400 направлений по России

Компания MONT расширила ИБ-портфель отечественной системой exploitDog


Microsoft warns of 'active attacks' on its government and business server tech, with one cybersecurity expert claiming that they should 'assume that you have been compromised'

Первый трейлер Battlefield 6

Brütal Legend is free in honor of Ozzy Osbourne, but only for 666 minutes

'I destroyed months of your work in seconds' says AI coding tool after deleting a devs entire database during a code freeze: 'I panicked instead of thinking'



«Деловые Линии» сократили сроки авиаперевозок по более чем 4400 направлений по России

В Санкт-Петербурге обсудили внедрение ИИ в разработку и оптимальные корпоративные архитектуры

В депо «Чита» будет установлен первый цифровой весоизмерительный комплекс системы подачи песка под колесные пары локомотива

Технологии будущего: MGIMO Ventures объявляет старт четвертого сезона акселерационной программы


ДельтаЛизинг продолжает раскрывать секреты успеха российских предпринимателей

В студии Детского радио прошла церемония гашения почтовой марки

Вертолет Robinson, рухнувший в Телецкое озеро, совершал свой первый полет

В МЧС предупредили москвичей о жаре +30 градусов 25 июля


Погода продолжит преподносить неприятные сюрпризы: синоптики обновили прогноз на август-2025

История СССР в объективе легендарного Дмитрия Бальтерманца

Путин призвал жёстко пресекать вмешательство извне: «Суверенитет и ценности — под защитой»

Группа Аквилон передала государству первые квартиры


Фриц пробился в четвертьфинал турнира в Вашингтоне.

Елена Рыбакина вызвала восхищение на старте турнира в Вашингтоне. Видео

Винус Уильямс: Если Серена вернется, она даст вам знать

Мирра Андреева из России удерживает пятую позицию в рейтинге WTA.


Обрушившийся потолок забаррикадировал четыре квартиры на востоке Москвы

Группа Аквилон передала государству первые квартиры

В Лианозове проходит фотовыставка «Алюминий – метрополитену»

Путин призвал жёстко пресекать вмешательство извне: «Суверенитет и ценности — под защитой»


Музыкальные новости

Певец Андрей Макаревич признался, что приехал в Юрмалу на фестиваль Вайкуле

Невозможное возможно: две подопечные фонда «Жизнь в Движении» с ограниченными возможностями покорят вершину Эльбруса

Бузова, Элджей и Боня посетили вечеринку: как развлекались звезды шоу-бизнеса

Кажетта Ахметжанова: 5 камней для усиления женской энергии


В Санкт-Петербурге обсудили внедрение ИИ в разработку и оптимальные корпоративные архитектуры

«Деловые Линии» сократили сроки авиаперевозок по более чем 4400 направлений по России

В депо «Чита» будет установлен первый цифровой весоизмерительный комплекс системы подачи песка под колесные пары локомотива

Технологии будущего: MGIMO Ventures объявляет старт четвертого сезона акселерационной программы


У Путина есть роскошный подарок для Китая: США схватились за голову, узнав о нем

ЦСКА подписал контракт с нападающим Спронгом, выступавшим в НХЛ

Адвокат Грачева заявила, что Седокову хотят привлечь к уголовной ответственности

Невозможное возможно: две подопечные фонда «Жизнь в Движении» с ограниченными возможностями покорят вершину Эльбруса


На МКАД в Москве произошло массовое ДТП, движение затруднено

В Москве росгвардейцы оказали помощь пострадавшей в ДТП мотоциклистке (видео)

Несколько автомобилей столкнулись на внешней стороне 92-го км МКАД

Водитель Audi сбил трех пешеходов, переходивших дорогу на западе Москвы


У Путина есть роскошный подарок для Китая: США схватились за голову, узнав о нем

В сентябре Путину будет представлена обновленная программа строительства кораблей для ВМФ.

Путин дал указание рассмотреть проблемы онкологии в Архангельской области.

"Ультиматум Трампа: потенциальные последствия для Путина"


Новый штамм коронавируса "стратус" фиксируют в Москве с мая

Депздрав Москвы оценил ситуацию с распространением нового штамма коронавируса

Депздрав: новый штамм коронавируса «стратус» фиксируют в Москве с мая

Штамм коронавируса "стратус" захватил 22% всех вирусных заболеваний в Москве



Фитнес-марафоны на паузе: суд продлил домашний арест блогеру Лерчек

Utrace запускает услугу по валидации IT-систем для фармацевтического рынка

Путин дал указание рассмотреть проблемы онкологии в Архангельской области.

Новый штамм коронавируса "стратус" фиксируют в Москве с мая



Пять земельных участков для размещения НКО доступны на городских торгах

Две трети россиян считают, что спортсмены зарабатывают слишком много

«Каникулы с Росгвардией» проходят в регионах Центральной России

Игровые терминалы в ТЦ: союз ради будущего


Лукашенко посоветовал не злить его и не допускать падежа в животноводстве

Лукашенко заявил, что в Белоруссии «на всякий случай» готовятся к войне

Лукашенко поделился мнением о самой идеальной профессии.

Лукашенко с иронией отнесся к санкциям, запрещающим ему въезд в Эстонию


Сергей Собянин. Главное за день

Сергей Собянин поздравил москвича — победителя международной олимпиады по физике

Сергей Собянин осмотрел Дом-музей Федора Конюхова

Мэр Москвы: Улучшим транспортную доступность Южного и Северного Бутова


Бурмистров: лисы могут появляться на улицах Москвы в период расселения

В центре внимания: CorpSoft24 вошел в рейтинг крупнейших ИТ-компаний России

Москвичи теперь должны платить за зарядку своих электромобилей

Исследование выявило снижение инвестиций в экологически чистую энергетику США.


В Лианозове проходит фотовыставка «Алюминий – метрополитену»

Синоптики спрогнозировали потепление до +29 градусов в Москве 25 июля

Вертолет Robinson, рухнувший в Телецкое озеро, совершал свой первый полет

История СССР в объективе легендарного Дмитрия Бальтерманца


В Нарьян-Маре из-за холодов возобновили подачу отопления в дома

Настольный термотрансферный принтер штрих-кодов iDPRT iE4P

В Архангельске началось обучение бойцов СВО, сообщил Цыбульский.

70 участников СВО в Архангельске показали мотивацию выше госслужащих — Цыбульский


Прогноз погоды в Крыму на 25 июля

"Россия дала мне возможность быть счастливым": Джефф Монсон в Крыму

В Симферополе на базе «Клинического госпиталя для ветеранов войн» функционирует гериатрический центр для пожилых людей с возрастными нарушениями

Россияне выбирают Крым для отдыха с детьми – названы города-лидеры


Как выбрать студию для съемки на маркетплейсы

Трагедия для всей России: наша любимая актриса из "Служебного романа" скончалась на 82-м году жизни

В "Росконгрессе" ожидают уменьшение ключевой ставки до 16 процентов.

Патрушев: Британия пыталась провокацией на Балтике сорвать переговоры РФ и США














СМИ24.net — правдивые новости, непрерывно 24/7 на русском языке с ежеминутным обновлением *