Project Frankenstein (Част 3): "Copilot за 0 лева" – Как стопихме лагерите на MacBook Air 2015 
[Част 1] – Съживихме един стар MacBook Air (8GB RAM) и го накарахме да говори с локален AI. [Част 2] – Сменихме модела с Google Gemma 2B, който написа валиден Python код, но кръсти променливата dupa. (Смяхме се много, но кодът работеше).
Днес влизаме в дълбокото...
Всички знаем колко удобен е GitHub Copilot, но не всеки иска да плаща по $10-20/месец абонамент.Затова си поставихме "Невъзможната мисия":Можем ли да превърнем този стар хардуер в пълноценна Dev машина с безплатен, локален AI Autocomplete, без той да забие?
Ето хронологията на експеримента:
За да избегнем плащането, използвахме Open Source решения:
По подразбиране плъгинът иска да зареди два модела – един за чат и един за autocomplete. Това щеше да убие нашите 8GB RAM моментално.Затова отворихме config.yaml и го излъгахме да ползва само Gemma 2B за всичко. Оптимизация до дупка!
Да! И е плашещо бързо за такава машина.Ето го във VS Code – докато пиша функция, AI-то "предвижда" какво искам и предлага код, точно както платените инструменти:
Всичко изглежда спокойно, нали? Кодът се пише, програмистът е доволен...Но нека погледнем "под капака", където се случва истинският екшън.
Пуснахме мониторинг в Терминала, докато AI-то генерираше код. Гледката е брутална:
Анализ на щетите:
Project Frankenstein доказа невъзможното.Можете да имате напълно безплатен, частен (локален) GitHub Copilot дори на машина от 2015 година.
Следва продължение...? Какво друго да тестваме на "старото желязо"? Дайте идеи в коментарите!
Автор: Тони Ангелчовски | Ексклузивно за DTGaraGe
Копирането и препубликуването без разрешение не е позволено
Подкрепи проекта: https://dtgarage.eu/donate
[Част 1] – Съживихме един стар MacBook Air (8GB RAM) и го накарахме да говори с локален AI. [Част 2] – Сменихме модела с Google Gemma 2B, който написа валиден Python код, но кръсти променливата dupa. (Смяхме се много, но кодът работеше).Днес влизаме в дълбокото...
Всички знаем колко удобен е GitHub Copilot, но не всеки иска да плаща по $10-20/месец абонамент.Затова си поставихме "Невъзможната мисия":Можем ли да превърнем този стар хардуер в пълноценна Dev машина с безплатен, локален AI Autocomplete, без той да забие?
Ето хронологията на експеримента:
Инструментите
За да избегнем плащането, използвахме Open Source решения:- VS Code (стандартът).
- Continue (плъгин, който позволява да ползвате всякакъв LLM вътре в редактора).
- Ollama + Gemma 2B (същият лек модел от Част 2).
"Хакът" в настройките
По подразбиране плъгинът иска да зареди два модела – един за чат и един за autocomplete. Това щеше да убие нашите 8GB RAM моментално.Затова отворихме config.yaml и го излъгахме да ползва само Gemma 2B за всичко. Оптимизация до дупка!
Резултатът: Работи ли?
Да! И е плашещо бързо за такава машина.Ето го във VS Code – докато пиша функция, AI-то "предвижда" какво искам и предлага код, точно както платените инструменти:Всичко изглежда спокойно, нали? Кодът се пише, програмистът е доволен...Но нека погледнем "под капака", където се случва истинският екшън.
Стрес тестът (The Meltdown)
Пуснахме мониторинг в Терминала, докато AI-то генерираше код. Гледката е брутална:Анализ на щетите:- CPU Load: 135.7%
Процесът ollama е "настъпил газта" до ламарината. Използва се пълният капацитет на процесора + мултитрединг. Вентилаторът на лаптопа в момента звучи като излитащ самолет. - RAM Памет: Живот на ръба
Вижте най-горе вдясно на top командата: 32M unused.От 8GB памет, свободни са останали само 32 мегабайта! Операционната система, VS Code и AI моделът танцуват по ръба на пропастта, но... машината НЕ забива.
Присъдата
Project Frankenstein доказа невъзможното.Можете да имате напълно безплатен, частен (локален) GitHub Copilot дори на машина от 2015 година.- Цена: 0 лв.
- Privacy: Кодът ви никога не напуска лаптопа.
- Цена за хардуера: Превръща се в печка за дюнери по време на работа.
Следва продължение...? Какво друго да тестваме на "старото желязо"? Дайте идеи в коментарите!
Автор: Тони Ангелчовски | Ексклузивно за DTGaraGe Копирането и препубликуването без разрешение не е позволено Подкрепи проекта: https://dtgarage.eu/donate
