Какие программы стоит иметь оффлайн?
Говорят, мы постепенно движемся если не к shutdown-у сети Интернет, то к широкому использованию «Белых списков». В этих условиях, с каким набором программ вы бы хотели остаться? Или какой джентельменский набор в папке Install у вас лежит?
Как вы считаете, какие программы обязательно должны быть у любого юзера?
Есть локальные иишки. Самые простые весят около 4гигов)
Самые простые весят даже меньше 1гб, пару мб. Скорее всего, ты имеешь ввиду LLM. Она локально требует больших вычислительных ресурсов и чем сильнее профит, тем более мощный комп нужен. Поэтому, стоит посоветовать автору вместе с этим приобрести мощный ноутбук, ОЗУ минимум 16, видеокарта от RTX4060 8гб и больше
В целом, тема достаточно актуальная, давайте обсуждать)
Да, железо нужно мощное. Наверное, функционал сильно зависит от веса модели? На комп уже не помню, что именно пробовал, а на телефон ставил google ai edge galery (gemma-3n-e2b, 3гига весит)
Да, зависит от количества параметров. Чем больше параметров, тем больше вес. Самую простую модель можно написать самому с нуля, она будет иметь пару десятков параметров, но и задачи будут уровня бинарной классификации. LLM для генерации текста это миллиарды параметров
К тому же, чаще они работают на gpu, так как cpu это очень медленная история для таких моделей. На телефоне вообще не слышал, чтобы запускали языковые модели, архитектура железа там неподходящая. Какие задачи они выполняла и работала ли без интернета?
Обычный текстовый ассистент. Всю его базу не штрудировал, но на вопросы из разных областей он всегда отвечал. Полностью офлайн приложение. История очень медленная, так что пока приложуха пылится в папке)
Судя по всему, это LLM для задачи генерации текста, работающая на cpu телефона. Насчет качества ответов по всем областям я сомневаюсь, 4гб мозга не достаточно, чтобы знать хорошо все области D
Всё равно технология прикольная. Жаль, что не особо прибыльная. Без интернета рекламу туда не вставишь)) А то бы нам в каждое утюг такое встроили)
у меня стоит обход белых списков
Я в этом, конечно, не особо разбираюсь, но вот что слышал от знакомых ( ´･･)ﾉ(._.`)
Если прям на случай, когда совсем инет обрубят, что мягко говоря маловероятно… я надеюсь(⊙_⊙;). То на случай различных сбоев в работе компа - обязаловка иметь хотя бы пару мультизагрузочных флех с установщиками различных систем и PEшками для работы. Желательно также иметь офлайн установщики основных дистрибутивов VisualC++, Microsoft Net, DirectX и прочих, а то потом их не скачаешь. И не лишним будет иметь и юзать периодически бакапную прогу типа TrueImage для создания образов систем, так как потом качать все дрова и проги на новую систему в случае, если ССД накроется уже не получиться)))
Для общих прог, чтобы особо не заморачиваться можно скачать весь архив PortableApps, он весит там гигов 50-60, зато куча различных прог сразу на флешке в одном наборе. Если юзаешь какие-то лицензионные проги с постоянной проверкой активации типа AutoCAD, 3ds Max и тп, то желательно заглянуть в зеленый магаз и качнуть «бесплатные» пробные версии 🏴… на всякий пожарный)
Для дополнительной информации, чтобы не качать кучу книг и энциклопедий лучше качнуть локальные ИИ, как тут писали выше. Поставить на комп какую-нить Ollama или LMstudios вообще не проблема, там же прямо в репозитории этих прог или на офф сайтах можно качнуть нужные тебе модели, в идеале те которые влезут в твою память (VRAM+RAM), но лучше конечно уложиться только в память видюхи, так как на оперативке и проце в разы медленнее. Хотя небольшие модели 8b или 12b в хорошем квантовании на 7- 8Гб можно запустить и на встройке или старых видюхах 10й линейки типа GTX1060 и выше, работать будут в разы медленнее современного железа, но получить ответы от них все равно можно не успев состарится, если дохрена оперативы даже старой (32-64Гб DDR3 или DDR4) можно даже 32b или 70b на таком железе запустить, закинул вопрос и ушел пить чай… на час (ˉ﹃ˉ)
Для «особых» запросов - желательно иметь несколько uncensored или Heretic моделей, которые не будут играть в моралистов и отказников (¬_¬ ), качать такие можно с HuggingFace. Для задания характера твоей локальной ИИшки в связке с Ollama можешь юзать SillyTavern, полностью прописав модель поведения ИИ и сделать из неё ученого, преступника, писателя или даже censored 18+ (❁´◡`❁)(¬_¬ ) с точным бэкграундом, предпочтениями и прочим…
Еще можешь локально установить проги для генерации изображений (SD) и видео с помощью ИИ, например заюзов установщик StabilityMatrix и поставив нужную прогу под твой сетап с кучей моделей для генерации разных стилей из репозитория.
Ну а остальное уже по желанию в зависимости от увлечений и хобби¯\_(ツ)_/¯ А вообще для решения неудобств БС вполне подойдут особые сервисы из 3х букв с маскировкой и различные прокси (¬‿¬) так что всё вышеописанное скорее просто на случай если ты окажешься в районе без связи или с очень плохим покрытием, а также если ты просто хочешь снизить до нуля вероятность того что о твоих «особых» ИИ запросах узнают другие(⊙_⊙;)