Добавить новость
smi24.net
News in English
Декабрь
2023

You Can Run a Generative AI Locally on Your Computer

0

You may have already tested out generative AI engines such as ChatGPT and Google Bard. But while it's popular to accesses these tools in the cloud, you can also install them locally on your own computer. There are some real benefits to doing so: It's more private, of course, and you won't get hit by any warnings about the AI being over capacity or unavailable. Also, it's just kind of cool.

To get started, you'll need a program to run the AI, and you'll need a Large Language Model (or LLM) to generate the responses. These LLMs underpin AI text generators. GPT-4 is the latest one powering ChatGPT, and Google has now pushed out Gemini as a new and improved LLM to run behind Google Bard.

If you've never heard the term LLM before, you clearly haven't read our ultimate AI glossary. To fully understand them requires a certain level of scientific and mathematical knowledge, but in basic terms, LLMs are trained on vast amounts of sample data, and they learn to recognize relationships between words and sentences (i.e. which words typically go after each other).

There are several AI models you can install locally. Credit: Lifehacker

To put it as simply as possible, LLMs are supercharged autocorrect engines. They don't really "know" anything, but they recognize how words should fit together to sound natural and to make sense. At a high enough level, that starts to look like you're talking with a real human being. There's lots more to it than that, but you get the gist.

When it comes to running your own LLMs, you don't need to be a huge company or research organization to access them: There are several available to the public, including one released by Meta called LLaMa; others have been developed by researchers and volunteers. The general idea is that publicly available LLMs will help foster innovation and improve transparency.

For the purposes of this guide, we're going to use LM Studio to show you how to install an LLM locally. It's one of the best options out there for the job (though there are quite a few others). It's free to use, and you can set it up on Windows, macOS, and Linux systems.

How to install a local LLM

The first step is to download LM Studio from the official website, taking note of the minimum system requirements: LLM operation is pretty demanding, so you need a pretty powerful computer to do this. Windows or Linux PCs supporting AVX2 (typically on newer machines) and Apple Silicon Macs with macOS 13.6 or newer will work, and at least 16GB of RAM is recommended. On PCs, at least 6GB of VRAM is recommended too.

When you've got the software up and running, you need to find an LLM to download and use—you're not going to be able to do much without one. Part of the appeal of LM Studio is that it recommends "new and noteworthy" LLMs on the front screen of the application, so if you've got no idea what LLM you want, you can pick one from here.

You'll find LLMs vary by size, by complexity, by data sources, by purpose, and by speed: There's no right or wrong answer for which one to use, but there's plenty of information out there on sites such as Reddit and Hugging Face if you want to do some research. As you might expect, LLMs can run to several gigabytes in size, so you can do some background reading while you wait for one to download.

LM Studio can help you find LLMs to use. Credit: Lifehacker

If you see an LLM you like on the front screen, just click Download. Otherwise, you can run a search or paste a URL in the box at the top. You'll be able to see the size of each LLM so you can estimate download times, as well as the date when it was last updated. It's also possible to filter the results to see the models that have been downloaded the most.

You can install as many LLMs as you like (as long as you have the space), but if there's at least one on your system, they'll show up in the My Models panel. (Click the folder icon on the left to get to it.) From here, you can see information about each model that you've installed, check for updates, and remove models.

To start doing some prompting, open up the AI Chat panel via the speech bubble icon on the left. Choose the model you want to use at the top, then type your prompt into the user message box at the bottom and hit Enter. The sort of output you get back will be familiar if you've used an LLM such as ChatGPT before.

The prompt and response system is similar to ChatGPT or Bard. Credit: Lifehacker

On the right-hand side, you can control various settings related to the LLM, including how longer responses are handled, and how much of the processing work is offloaded to your system's GPU. There's also a box for a "pre-prompt:" You can tell the LLM to always respond in a particular tone or language style, for example.

Click the New chat button on the left if you want to start a fresh conversation, and your previous chats are logged underneath in case you need to get back to them. Whenever a particular answer has finished generating, you're given options to take a screenshot, copy the text, or regenerate a different answer from the same prompt.

That's it! You're up and running with local LLMs. There are all sorts of avenues you can explore in terms of LLM development and prompting if you want to dig deeper, but the basics aren't difficult to grasp, and LM Studio makes the setup process very straightforward even if you're a complete beginner.








Раздвигая горы - к единству и созиданию! Манифест лезгинского народа (письменное обращение, воззвание программного характера)

В депо «Чита» будет установлен первый цифровой весоизмерительный комплекс системы подачи песка под колесные пары локомотива

VZLET.MEDIA: 25 лет успешного SEO-продвижения в эпоху искусственного интеллекта

Делегация «ЛокоТех» посетила финал II чемпионата профессионалов ОАО «РЖД» в Екатеринбурге


Adil Rami carga contra Lamine: "No puedo ni verlo, que le den..."

Why Juventus spent 111m this summer for only one new player

Las 'Guerreras del Agua' se dan un baño de bronce en el Mundial de Singapur

La UFC anuncia un mes de octubre mayúsculo


Раздвигая горы - к единству и созиданию! Манифест лезгинского народа (письменное обращение, воззвание программного характера)

Продукты линейки СУБД ЛИНТЕР совместимы с ОС «АльтерОС»

Компания MONT расширила ИБ-портфель отечественной системой exploitDog

Navicon представляет комплексную систему для интегрированного управления данными


Microsoft warns of 'active attacks' on its government and business server tech, with one cybersecurity expert claiming that they should 'assume that you have been compromised'

Настройки GameHub и Winlator для игры в Prey (2017) на Android

'I destroyed months of your work in seconds' says AI coding tool after deleting a devs entire database during a code freeze: 'I panicked instead of thinking'

The dairy industry would like Gen Z to drink more milk, so they made a Fortnite diner tycoon game



Квалификационные испытания на право ношения знака отличия полицейского спецназа Росгвардии завершились в Подмосковье (видео)

Оркестр полиции Республики Сербской впервые выступит на фестивале «Спасская башня» в Москве

В Москве завершился сбор с руководителями финансово-экономических подразделений Центрального округа Росгвардии

«Каникулы с Росгвардией» проходят в регионах Центральной России


Трое российских бойцов две недели ползли к своим позициям

Более 800 студентов прошли практику на предприятиях «Швабе» в 2025 году

Вредоносный код в Firefox: атака на цепочку поставок через NPM-пакеты

ДельтаЛизинг продолжает раскрывать секреты успеха российских предпринимателей


Что случилось к этому часу: главные новости дня к 19:00 24 июля

Нижегородская область вошла в топ‑3 регионов по количеству заявок на Слёт Всемирного фестиваля молодёжи

Стали известны хоккеисты, которые сыграют в Матче звёзд OviCup

В Москве выросла доля ипотечных сделок с первичным жильем


Рублев вместе с чешской теннисисткой заявился в микст на US Open

Винус Уильямс получила wild card на турнир категории WTA 1000 в Цинциннати

Штаты и расписание: что ждет наших ведущих теннисистов в США

Болбой раздавил спасенного теннисисткой Cаккари жука на турнире WTA-500 в США


Суд в Москве арестовал бывшего вице-губернатора Челябинской области Богашова

Строительство вип-ложи, перенос зала борьбы и обновление зала: Что изменилось в ДС «Юбилейный» в Орске после капремонта?

Благодаря новому промышленному объекту в САО возможность трудоустройства получат более тысячи квалифицированных специалистов

Системный подход к хаосу: как мы написали пособие по геймдеву и дошли до второго издание


Музыкальные новости

Бузова, Элджей и Боня посетили вечеринку: как развлекались звезды шоу-бизнеса

Полина Гагарина открыла официальную часть VK Fest в Москве

Продюсер рассказал, почему заменил Shaman в опере «Князь Владимир»

Брошенный женой Никита Пресняков круто изменил имидж


В Москве завершился сбор с руководителями финансово-экономических подразделений Центрального округа Росгвардии

Квалификационные испытания на право ношения знака отличия полицейского спецназа Росгвардии завершились в Подмосковье (видео)

Оркестр полиции Республики Сербской впервые выступит на фестивале «Спасская башня» в Москве

«Каникулы с Росгвардией» проходят в регионах Центральной России


Okko и ТНТ выпустят драмеди про трёх сестёр «Хай, систерс»

Невозможное возможно: две подопечные фонда «Жизнь в Движении» с ограниченными возможностями покорят вершину Эльбруса

Невозможное возможно: две подопечные фонда «Жизнь в Движении» с ограниченными возможностями покорят вершину Эльбруса

Модель Анастасия Решетова перенесла вирус с осложнениями


В Москве на видео попало, как самокатчица влетела в авто с правоохранителями

В Москве росгвардейцы оказали помощь пострадавшей в ДТП мотоциклистке (видео)

В Подмосковье на видео попало, как школьник на питбайке разбился в жестком ДТП

Водитель Audi сбил трех пешеходов, переходивших дорогу на западе Москвы


Путин отметил успех российских школьников на олимпиаде по физике.

Сигналы становятся всё громче. Переговоры - только ширма. Главное решится не в Стамбуле

Путин дал указание рассмотреть проблемы онкологии в Архангельской области.

Отношения с Трампом не сложились: Путин зол. Ультиматум США вышел боком


Обнаружен новый штамм коронавируса: он очень заразный и забирает голос

Новый штамм коронавируса "стратус" фиксируют в Москве с мая

В Алтайском крае распространяется новый штамм коронавируса

Депздрав Москвы оценил ситуацию с распространением нового штамма коронавируса



Новый штамм коронавируса "стратус" фиксируют в Москве с мая

В Алтайском крае распространяется новый штамм коронавируса

Косметолог-эстетист Наталья Рябинова: как правильно использовать масло для губ

Путин дал указание рассмотреть проблемы онкологии в Архангельской области.


Британский журналист: Зеленский - мелкий жулик и крыса, которому «недолго осталось» в этом мире

Мединский дал неожиданный ответ на предложение Киева о встрече Путина и Зеленского 

«Затрудняет путь в ЕС»: Урсула ждёт от Киева разъяснений по поводу ограничения полномочий НАБУ


«Каникулы с Росгвардией» проходят в регионах Центральной России

"Атлетико" заключил соглашение с игроком национальной команды Словакии

"Монсон о спортсменах, которые меняют гражданство в сложный период для России"

Делегация «ЛокоТех» посетила финал II чемпионата профессионалов ОАО «РЖД» в Екатеринбурге


Лукашенко заявил, что в Белоруссии «на всякий случай» готовятся к войне

Лукашенко с иронией отнесся к санкциям, запрещающим ему въезд в Эстонию

Лукашенко поделился мнением о самой идеальной профессии.

Лукашенко посоветовал не злить его и не допускать падежа в животноводстве


Собянин: Около 10 тыс. москвичей начали переселение по реновации этим летом

Мэр Москвы: Улучшим транспортную доступность Южного и Северного Бутова

Собянин поддержал проведение конкурса «Лучший книжный магазин Москвы»

Сергей Собянин. Главное за день


Московские студенты начали исследовать влияние климатических изменений на сток рек Ямала

6 лет вместе. В Москве пройдет выставка, посвященная пандам Жуи и Диндин

Детеныш краснокнижной боливийской обезьяны появился на свет в Московском зоопарке

Исследование выявило снижение инвестиций в экологически чистую энергетику США.


Суд в Москве арестовал бывшего вице-губернатора Челябинской области Богашова

Системный подход к хаосу: как мы написали пособие по геймдеву и дошли до второго издание

Юрист Хаминский раскрыл подробности продажи ТРК «Авиапарк»

Благодаря новому промышленному объекту в САО возможность трудоустройства получат более тысячи квалифицированных специалистов


70 участников СВО в Архангельске показали мотивацию выше госслужащих — Цыбульский

Путин дал указание рассмотреть проблемы онкологии в Архангельской области.

Настольный термотрансферный принтер штрих-кодов iDPRT iE4P

В Нарьян-Маре из-за холодов возобновили подачу отопления в дома


Актуальная информация о задержке поездов в Крым и обратно

В Симферополе на базе «Клинического госпиталя для ветеранов войн» функционирует гериатрический центр для пожилых людей с возрастными нарушениями

Поезда "Таврия" по-прежнему задерживаются из-за ЧП в Ростовской области

"Россия дала мне возможность быть счастливым": Джефф Монсон в Крыму


Фитнес-марафоны на паузе: суд продлил домашний арест блогеру Лерчек

Власти начали расследование в отношении заместителя мэра Химок.

Суд в Москве арестовал экс-вице-губернатора Челябинской области Богашова

Путин выразил соболезнования близким погибших в авиакатастрофе с Ан-24














СМИ24.net — правдивые новости, непрерывно 24/7 на русском языке с ежеминутным обновлением *