Otázka „cloud alebo lokálne?" sa zvyčajne zvrhne na názorovú debatu. Pritom ide o technicko-ekonomické rozhodnutie s tromi premennými: citlivosť dát, požadovaná latencia a reálny objem prevádzky. Tento článok neporovnáva teóriu — vymenúva služby, ktoré si dnes môžete objednať alebo nainštalovať, a hovorí, kedy ktorá voľba obstojí v ostrej prevádzke.
Čo naozaj rozhoduje
Pred výberom technológie odpovedzte na tri otázky. Ak na niektorú nemáte odpoveď, rozhodnutie nebude mať oporu v dátach.
- Môžu dáta opustiť Vašu infraštruktúru? — Ak ide o verejné texty, marketing alebo katalóg, cloud je bezproblémový. Ak ide o zmluvy, zdravotnú dokumentáciu, osobné údaje alebo obchodné tajomstvo, musíte mať zmluvne vyriešené spracovanie, región a zákaz trénovania na Vašich dátach. Pri najcitlivejších agendách zostáva lokálne nasadenie jediná cesta.
- Aká latencia je prijateľná? — Chatbot v podpore unesie 1–2 sekundy. Hromadné spracovanie 10 000 dokumentov unesie aj minúty na dokument. Interaktívne dopĺňanie počas písania vyžaduje odozvu pod 300 ms — a to je iná trieda riešenia.
- Aký je objem? — Pri stovkách požiadaviek denne je cloud rádovo lacnejší než obstaranie vlastnej grafickej karty (model musí bežať na GPU — pozri nižšie). Pri miliónoch požiadaviek mesačne sa matematika obracia — ale len ak je vyťaženie stabilné.
| Kritérium | Cloud API | Lokálne nasadenie |
|---|---|---|
| Štart | hodiny | dni až týždne |
| Kvalita modelu | najvyššia dostupná | obmedzená veľkosťou hardvéru |
| Dáta | u poskytovateľa, v zmluvne danom regióne | výhradne u Vás |
| Náklady | za tokeny, rastú s objemom | fixné (hardvér, elektrina, správa) |
| Latencia | sieť + fronta poskytovateľa | pod Vašou kontrolou |
| Údržba | na strane poskytovateľa | na Vašej strane (verzie, GPU, monitoring) |
Cloudové služby, ktoré dnes použijete
Vybrali sme služby, ktoré sa v praxi osvedčili a majú rozumnú dokumentáciu, podporu a fakturáciu pre firmu.
| Služba | Silná stránka | Kedy ju zvoliť |
|---|---|---|
| OpenAI API | široký ekosystém, nástroje, spoľahlivé štruktúrované výstupy | generovanie, klasifikácia, práca s textom a nástrojmi |
| Anthropic Claude API | dlhý kontext, práca s rozsiahlymi dokumentmi | analýza zmlúv, dlhé reporty, kód |
| Google Gemini cez Vertex AI | multimodálne vstupy, previazanie s Google Cloud Platform (GCP) | obrázky, dokumenty, existujúca infraštruktúra v Google Cloud (GCP) |
| Azure OpenAI | modely OpenAI v rámci firemnej zmluvy a európskeho regiónu | firmy s Microsoft 365 a požiadavkou na región EÚ |
| Amazon Bedrock (AWS) | viacero modelov od rôznych výrobcov pod jednou zmluvou | existujúca infraštruktúra v Amazon Web Services (AWS), porovnávanie modelov |
| Mistral La Plateforme | európsky poskytovateľ, otvorené modely | požiadavka na európskeho dodávateľa |
| Cohere | embeddings (prevod textu na vektory, ktoré sa dajú porovnávať) a reranking (dodatočné zoradenie nájdených úryvkov podľa relevancie) | vyhľadávanie nad firemnými dokumentmi |
Praktické pravidlo: neviažte sa na jedného poskytovateľa v kóde. Rozhranie si obaľte vlastnou vrstvou — výmena modelu potom znamená zmenu konfigurácie, nie prepis aplikácie. Rozdiel v cene medzi poskytovateľmi je pri rovnakom objeme často 2–4 násobný a mení sa každý štvrťrok.
Lokálne riešenia: od notebooku po server
Lokálne nasadenie dnes nie je experiment. Existujú zrelé nástroje pre každú úroveň — od testovania na prenosnom počítači po produkčný server s dávkovým spracovaním.
| Nástroj | Na čo je | Kedy ho použiť |
|---|---|---|
| Ollama | najjednoduchší štart, lokálne modely, rozhranie kompatibilné s OpenAI | prototyp, interný nástroj, vývoj |
| LM Studio | desktopové prostredie na skúšanie modelov | hodnotenie modelov bez kódu |
| vLLM | produkčný server, dávkové spracovanie, vysoká priepustnosť | prevádzka s viacerými používateľmi |
| llama.cpp | beh na procesore, nízke nároky, kvantizované modely | hardvér bez GPU, offline prostredie |
| Text Generation Inference | produkčné nasadenie modelov z Hugging Face (katalóg open-weight modelov) | tím, ktorý už modely z Hugging Face používa |
| Kubernetes + GPU operátor | škálovanie, oddelenie záťaže, obnova po výpadku | viac modelov, viac tímov, produkcia |
Prečo grafická karta: generovanie textu je séria maticových operácií, ktoré GPU vykonáva rádovo rýchlejšie než procesor, a váhy modelu sa musia zmestiť do jej pamäte (VRAM).
Hardvér rozhoduje o tom, aký veľký model vôbec spustíte. Grafická karta s 24 GB pamäte (napríklad trieda RTX 4090) unesie modely okolo 30 miliárd parametrov v kvantizácii, serverová karta so 48 GB modely okolo 70 miliárd. Pre väčšie modely už hovoríme o serveroch s viacerými kartami — a tam sa mení aj ekonomika, aj nároky na personál, ktorý prevádzku udržiava.
Ktoré modely dnes bežia lokálne
Lokálne nasadenie stojí na rodinách modelov s otvorenými váhami (open weights). Najčastejšie sa stretnete s týmito:
„Otvorené váhy" znamenajú, že súbory modelu si stiahnete a spustíte na vlastnom hardvéri; licenčné podmienky sa líšia podľa výrobcu.
- Llama (Meta) — najširšia základňa nástrojov a návodov, veľkosti od malých po veľké
- Mistral — európsky pôvod, dobrý pomer kvality a nárokov
- Qwen (Alibaba) — silné v mnohojazyčnosti vrátane slovenčiny
- Gemma (Google) — menšie modely vhodné na bežný hardvér
- Phi (Microsoft) — malé modely na špecifické úlohy
- DeepSeek — otvorené modely s dôrazom na uvažovanie a kód
Dve veci, ktoré sa pri lokálnych modeloch podceňujú:
- Kvantizácia. Zmenšenie číselnej presnosti váh modelu (napríklad zo 16 bitov na 4), aby sa model zmestil do menšej pamäte. Model zmenšený na 4 bity sa zmestí do menšej pamäte, ale stráca presnosť — najviac pri jemných rozdieloch (formátovanie, presné citácie, číselné úlohy). Pri právnych a účtovných úlohách treba kvantizáciu testovať, nie predpokladať.
- Licencia. Otvorené váhy nie sú to isté ako slobodná licencia. Pred komerčným nasadením si prečítajte podmienky — niektoré rodiny majú obmedzenia na počet používateľov alebo na použitie v konkurenčných produktoch.
Náklady: API proti vlastnému hardvéru
Porovnávať treba dve rôzne štruktúry nákladov. Cloud účtuje za spotrebu, lokálne nasadenie za kapacitu — a kapacitu platíte aj vtedy, keď ju nevyužívate.
| Scenár | Cloud API | Lokálne |
|---|---|---|
| Interný nástroj, 20 používateľov, tisíce požiadaviek mesačne | jednotky až desiatky eur mesačne | karta 2 000 € + správa — nedáva zmysel |
| Spracovanie 10 000 dokumentov mesačne | desiatky až stovky eur | zaujímavé pri opakovaní a citlivých dátach |
| Stabilná prevádzka, milióny požiadaviek mesačne | rastie lineárne s objemom | fixné náklady, pri vyťažení nad 50 % výhodnejšie |
| Dáta nesmú opustiť firmu | vylúčené alebo len s dedikovaným nasadením | jediná použiteľná možnosť |
Do lokálnych nákladov patrí aj to, čo sa v tabuľkách často vynecháva: spotreba elektrickej energie pri nepretržitej prevádzke servera, personálne náklady na aktualizácie a monitoring, záložný hardvér a čas na riešenie výpadkov. Pri cloudovom riešení zasa platíte za každý experiment a za každú iteráciu vývoja — a pri neukáznenom vývoji sa tieto náklady rýchlo kumulujú.
Dáta, GDPR a mlčanlivosť
V tejto oblasti sa chyby robia najčastejšie. Nie pre nedostatok vôle dodržať súlad, ale preto, že sa naň pri prototypovaní zabudne — a neskôr sa opravuje len ťažko.
- Región. Cloudoví poskytovatelia ponúkajú európske regióny (napríklad Azure West Europe, AWS eu-central-1, Google europe-west3). Zvoľte región pri vytváraní prostredia, nie dodatočne — migrácia dát je drahá.
- Zmluva o spracovaní. Bez dodatku o spracovaní osobných údajov nemá zmysel riešiť techniku. Skontrolujte aj nastavenie uchovávania a to, či poskytovateľ používa Vaše dáta na trénovanie — pri firemných účtoch to má byť vypnuté a zmluvne potvrdené.
- Redakcia pred odoslaním. Mená, rodné čísla, čísla účtov a adresy sa dajú nahradiť zástupnými hodnotami ešte pred volaním modelu. Model potom pracuje so štruktúrou, nie s identitou.
- Mlčanlivosť. Advokátske, bankové a lekárske tajomstvo neznesie cestu do verejného cloudu bez výslovného súhlasu. V týchto prípadoch je lokálne alebo dedikované nasadenie podmienkou, nie preferenciou.
- EU AI Act. Povinnosti sa odvíjajú od rizikovej triedy použitia. Pri „AI, ktorá pripravuje podklady a človek rozhoduje" ste v inej kategórii než pri automatickom rozhodovaní o ľuďoch — a to ovplyvňuje aj to, akú dokumentáciu musíte viesť.
Hybrid: najčastejšie správna odpoveď
V praxi sa najviac osvedčuje kombinácia, ktorá nie je ani „všetko v cloude", ani „všetko lokálne":
- Routing podľa citlivosti. Požiadavka sa klasifikuje ešte pred odoslaním — citlivá ide na lokálny model, bežná do cloudu. Klasifikátor môže byť jednoduché pravidlo alebo malý lokálny model.
- Lokálna vektorizácia (embeddings), cloudové generovanie. Vektorizácia dokumentov prebieha u Vás (dáta zostávajú doma), generovanie odpovede prebieha v cloude nad už vybranými úryvkami.
- Záložná cesta. Keď cloudový poskytovateľ vypadne alebo zdvihne latenciu, prevádzka prepne na lokálny model s nižšou kvalitou. Horší výsledok je lepší než žiadny.
- Meranie. Sledujte cenu na požiadavku, latenciu p95 (95 % požiadaviek je rýchlejších) a podiel odpovedí, ktoré človek musel opraviť. Bez týchto troch čísel sa rozhodnutie nedá obhájiť pri neskoršom hodnotení.
1. Vieme vymenovať, ktoré dáta môžu do modelu vstúpiť a ktoré nesmú?
2. Máme zmluvu o spracovaní a správny región?
3. Akú latenciu používateľ reálne unesie?
4. Aký je očakávaný objem za mesiac — a je stabilný?
5. Kto bude model aktualizovať a kto zasiahne pri výpadku?
6. Vieme zmeniť poskytovateľa bez prepisu aplikácie?
Ak neviete odpovedať aspoň na štyri body, rozhodnutie ešte nie je zrelé. Začnite pilotom na jednom procese s jasne merateľným výsledkom — a architektúru stavajte tak, aby sa dala rozšíriť, a nie od začiatku prestavať.
Chcete si overiť, ktorá cesta — cloud, lokálne alebo hybrid — je pre Vaše dáta a objem prevádzky reálna? Napíšte nám — prejdeme si Vaše požiadavky a navrhneme ďalší postup.
