Добавить новость
smi24.net
News in English
Март
2024

An OpenAI spinoff has built an AI model that helps robots learn tasks like humans

0

In the summer of 2021, OpenAI quietly shuttered its robotics team, announcing that progress was being stifled by a lack of data necessary to train robots in how to move and reason using artificial intelligence. 

Now three of OpenAI’s early research scientists say the startup they spun off in 2017, called Covariant, has solved that problem and unveiled a system that combines the reasoning skills of large language models with the physical dexterity of an advanced robot.

The new model, called RFM-1, was trained on years of data collected from Covariant’s small fleet of item-picking robots that customers like Crate & Barrel and Bonprix use in warehouses around the world, as well as words and videos from the internet. In the coming months, the model will be released to Covariant customers. The company hopes the system will become more capable and efficient as it’s deployed in the real world. 

So what can it do? In a demonstration I attended last week, Covariant cofounders Peter Chen and Pieter Abbeel showed me how users can prompt the model using five different types of input: text, images, video, robot instructions, and measurements. 

For example, show it an image of a bin filled with sports equipment, and tell it to pick up the pack of tennis balls. The robot can then grab the item, generate an image of what the bin will look like after the tennis balls are gone, or create a video showing a bird’s-eye view of how the robot will look doing the task. 

If the model predicts it won’t be able to properly grasp the item, it might even type back, “I can’t get a good grip. Do you have any tips?” A response could advise it to use a specific number of the suction cups on its arms to give it better a grasp—eight versus six, for example. 

This represents a leap forward, Chen told me, in robots that can adapt to their environment using training data rather than the complex, task-specific code that powered the previous generation of industrial robots. It’s also a step toward worksites where managers can issue instructions in human language without concern for the limitations of human labor. (“Pack 600 meal-prep kits for red pepper pasta using the following recipe. Take no breaks!”)

Lerrel Pinto, a researcher who runs the general-purpose robotics and AI lab at New York University and has no ties to Covariant, says that even though roboticists have built basic multimodal robots before and used them in lab settings, deploying one at scale that’s able to communicate in this many modes marks an impressive feat for the company. 

To outpace its competitors, Covariant will have to get its hands on enough data for the robot to become useful in the wild, Pinto told me. Warehouse floors and loading docks are where it will be put to the test, constantly interacting with new instructions, people, objects, and environments. 

“The groups which are going to train good models are going to be the ones that have either access to already large amounts of robot data or capabilities to generate those data,” he says.

Covariant says the model has a “human-like” ability to reason, but it has its limitations. During the demonstration, in which I could see a live feed of a Covariant robot as well as a chat window to communicate with it, Chen invited me to prompt the model with anything I wanted. When I asked the robot to “return the banana to Tote Two,” it struggled with retracing its steps, leading it to pick up a sponge, then an apple, then a host of other items before it finally accomplished the banana task. 

“It doesn’t understand the new concept,” Chen said by way of explanation, “but it’s a good example—it might not work well yet in the places where you don’t have good training data.”

The company’s new model embodies a paradigm shift rippling through the robotics world. Rather than teaching a robot how the world works manually, through instructions like physics equations and code, researchers are teaching it in the same way humans learn: through millions of observations. 

The result “really can act as a very effective flexible brain to solve arbitrary robot tasks,” Chen said. 

The playing field of companies using AI to power more nimble robotic systems is likely to grow crowded this year. Earlier this month, the humanoid-robotics startup Figure AI announced it would be partnering with OpenAI and raised $675 million from tech giants like Nvidia and Microsoft. Marc Raibert, the founder of Boston Dynamics, recently started an initiative to better integrate AI into robotics.  

This means that advancements in machine learning will likely start translating to advancements in robotics. However, some issues remain unresolved. If large language models continue to be trained on millions of words without compensating the authors of those words, perhaps it will be expected that robotics models will also be trained on videos without paying their creators. And if language models hallucinate and perpetuate biases, what equivalents will surface in robotics?

In the meantime, Covariant will push forward, keen on having RFM-1 continually learn and refine. Eventually, the researchers aim to have the robot train on videos that the model itself creates—the type of meta-learning that not only makes my head spin but also sparks concern about what will happen if errors made by the model compound themselves. But with such a hunger for more training data, researchers see it almost as inevitable.

“Training on that will be a reality,” Abbeel says. “If we talk again a half year from now, that’s what we’ll be talking about.”








Зеленая миссия примет участие в международном экоакселераторе

День текилы в Waldorf Astoria Seychelles Platte Island

Хаски на Summer Sound – выиграй билеты на Like FM

Рилсмейкер. Услуги Рилсмейкера. Рилсмейкер в Москве. Стоимость работы Рилсмейкера.


The founder of Deliciously Ella started a blog when suffering from severe chronic pain. Now, her multimillion-dollar snack empire is going global

The Best Story Of Chicago Bulls’ Offseason Just Got A Happy Ending

Tourism is increasing over prepandemic levels, overwhelming popular destinations

OpenAI warns that its new ChatGPT Agent has the ability to aid dangerous bioweapon development


В Курске погиб 36-летний мотоциклист

20 июля 2025 года стартуют официальные продажи LADA Iskra

Зима в Ленинградской области

Дивеево ..


Bungie promises to fix Destiny 2's new metroid-style morph ball as it makes players sick and glitches out on ultrawide monitors

Microsoft warns of 'active attacks' on its government and business server tech, with one cybersecurity expert claiming that they should 'assume that you have been compromised'

Настройки GameHub и Winlator для игры в Prey (2017) на Android

The dairy industry would like Gen Z to drink more milk, so they made a Fortnite diner tycoon game



В регионах Центральной России продолжается ведомственная акция «Каникулы с Росгвардией»

Нам есть чем гордиться: каким будет Национальный центр «Россия» на Краснопресненской набережной

В Москве подростки жестоко избили юношу из-за долга

Хаски на Summer Sound – выиграй билеты на Like FM


Хаски на Summer Sound – выиграй билеты на Like FM

Интересные каналы в Telegram. Лучшие каналы в Telegram.

Древние каменные ящики обнаружили в Буреинском заповеднике

Суд заблокировал работу производителя антисептиков "Мирамистин" и "Окомистин"


Депутат Затулин: в России поняли, что Баку не тот, за кого себя выдавал

В рейтинге по развитию ипотеки Забайкалье обогнало Москву

Туляк завоевал золотую модель на турнире по авиамодельному спорту

«Концепция родилась не сразу»: что известно о новом сезоне сериала «Метод»


Рублев уступил в полуфинале теннисного турнира в Лос-Кабосе.

Шаповалов одержал победу на теннисном турнире в Лос-Кабосе.

Потапова не прошла во второй раунд турнира в Вашингтоне.

Андреева сохранила пятое место в рейтинге WTA, Александрова вошла в Топ‑15


В Москве подростки жестоко избили юношу из-за долга

Актуальная информация о задержке поездов в Крым и обратно

Спортсменка из Ульяновска стала победительницей Всероссийского фестиваля по шахматам

Умерла актриса театра и кино Татьяна Егорова


Музыкальные новости

На ферме Оксаны Самойловой и Джигана появился новый необычный питомец

Адвокат Багатурия: Ларису Долину могут снова оставить без квартиры

Элджей во время выступления на VK Fest поцеловал свою девушку Anikv: видео Super

Семеново, Онег, Борисово, Ивановка. Об усадьбах Рахманинова рассказала Наталья Басманова


Роскосмос опубликовал снимок циклона, который обрушился на Москву

В регионах Центральной России продолжается ведомственная акция «Каникулы с Росгвардией»

Хаски на Summer Sound – выиграй билеты на Like FM

Нам есть чем гордиться: каким будет Национальный центр «Россия» на Краснопресненской набережной


Собянин: в Москве работает более 2,3 тысячи шахматных кружков

Лео Канделаки и Анжелика Стубайло сыграют в новую трэвел-игру «Кто куда» на ТНТ

Концертный Директор в тарифе Maxi.

Уникальное шоу Натальи Которевой «Женщина за 50» в Москве 20 сентября


Новые китайские авто на механике: топ-5 по мнению экспертов

Маршруты автобусов № 248 и 732 на западе Москвы изменили из-за упавшего дерева

Новая Рига продолжает удерживать статус одного из самых желанных районов

Иммунолог Логина рассказала, чем опасна лишняя влага в квартире


Путин потребовал от Удмуртии поднять рождаемость с 1,39 до 2,1 к 2030 году

Путин удостоил Манучарова ордена "За заслуги в культуре и искусстве"

Путин дал оценку производственным результатам оборонных заводов Удмуртии.

Нам есть чем гордиться: каким будет Национальный центр «Россия» на Краснопресненской набережной




Владимир Ефимов: В рамках 47 масштабных инвестпроектов в ЗАО появятся новые производства, объекты образования, спорта и здравоохранения

Арбуз, кукуруза и холодные напитки: диетолог Садыков назвал продукты, которые портят ваш сон летом

Иммунолог Логина рассказала, чем опасна лишняя влага в квартире

Врач Мескина: Бактерии в Турции могут быть не только в море, но и в бассейнах


Пока вы не уснули: открытая поддержка Алиевым Киева и «подзатыльник» Зеленскому от Трампа

Перед новыми переговорами? Москва отбивается от дронов, в Киеве - «реально ад»


Методичка

ЦСКА и "Оренбург" сыграли со счетом 0:0 в первом туре РПЛ

Юный спортсмен установил новый рекорд России в дистанции 400 метров.

Сергей Собянин открыл школу на 1100 мест в стремительно растущей Коммунарке


«Выпил две рюмки, не вырвало»: юрист Трамп рассказал, как пил водку с Лукашенко ради освобождения заключенных

«Выпил две рюмки, не вырвало»: юрист Трампа рассказал, как пил водку с Лукашенко ради освобождения заключенных

Самарская делегация встретится с Александром Лукашенко в рамках работы в Минске

Вячеслав Федорищев и Александр Лукашенко наметили направления развития сотрудничества Самарской области и Беларуси


Сергей Собянин открыл школу на 1100 мест в стремительно растущей Коммунарке

Собянин: Летевший к Москве БПЛА ликвидирован системой ПВО Минобороны

Собянин: еще один беспилотник, летевший к Москве, ликвидирован силами ПВО

Собянин: Москва выделила уже более 20,5 млрд на поддержку производств


Зеленая миссия примет участие в международном экоакселераторе

Премия достойным. Названы лучшие экотехнологии

В Республике Алтай расследуют дело по факту очередного крушения вертолета у Телецкого озера

В Москве уже более 2,4 тысячи электробусов российского производства


Актуальная информация о задержке поездов в Крым и обратно

Движение на трассах Р-158 и Р-177 ограничат в Нижегородской области

Прокуратура утвердила обвинение по делу похищенного чеченцами блогера Щепихина*

В рейтинге по развитию ипотеки Забайкалье обогнало Москву


Девочка упала при посадке на теплоход в порту Архангельска

Архангельская область - не самое перспективное место для трудоустройства

Республика Алтай вошла в десятку регионов России по развитию ипотеки

Собянин: Первый участок Рублево-Архангельской линии метро полностью пройден


"Гранд сервис экспресс" сообщил о задержках 16 поездов в Крым и из Крыма

Поезда "Таврия" по-прежнему задерживаются из-за ЧП в Ростовской области

Актуальная информация о задержке поездов в Крым и обратно

Уважаемые пассажиры!. Сегодня в пути следования задерживаются поезда


ЦСКА и "Оренбург" сыграли со счетом 0:0 в первом туре РПЛ

Депутат Затулин: в России поняли, что Баку не тот, за кого себя выдавал

Врач Хайкина предупредила о неочевидном побочном эффекте кофе

В рейтинге по развитию ипотеки Забайкалье обогнало Москву














СМИ24.net — правдивые новости, непрерывно 24/7 на русском языке с ежеминутным обновлением *