Szybkie odpowiedzi dotyczące decyzji w inżynierii AI

Wybierz pytanie, na które potrzebujesz odpowiedzi. Każdy poradnik zawiera rekomendację na początek, wyjaśnia, kiedy należy ją zmienić, oraz prowadzi do szczegółowego artykułu. Są to rozwiązania do przetestowania na własnym zadaniu, a nie ranking uniwersalnie najlepszych opcji.

Agenci AI

• Czy potrzebuję agenta, czy stałego przepływu pracy?

  Użyj stałego przepływu pracy, gdy możesz zdefiniować kroki i rozgałęzienia. Rozważ kroki wybierane przez model, gdy stałe reguły nie pozwalają niezawodnie obsłużyć zadania.

• Od którego frameworka do budowania agentów zacząć?

  Wybierz go na podstawie kontroli, jakiej potrzebujesz nad krokami, zapisywanym postępem i odzyskiwaniem po błędach. Zanim dodasz kolejne komponenty, porównaj mały SDK z przepływem pracy opartym na grafie.

• Jakiego narzędzia do ewaluacji agentów użyć?

  Zacznij od określenia celu: inspekcji przebiegów, testowania zmian czy sprawdzania działań narzędzi. Narzędzie może pomóc w uruchamianiu testów, ale nadal musisz zdefiniować, kiedy zadanie zostało wykonane pomyślnie.

• Jak zabezpieczyć agenta AI?

  Ogranicz możliwości jego narzędzi. Sprawdzaj uprawnienia przed wykonaniem działań, izoluj wykonywanie kodu i żądaj akceptacji, gdy konsekwencje tego wymagają.

• Czy używać wywoływania funkcji, MCP, CLI czy skills?

  Służą różnym celom i mogą działać razem. Sposób udostępniania narzędzia wybierz niezależnie od instrukcji wyjaśniających, kiedy należy go użyć.

• Kiedy rozumowanie sterowane schematem pomaga?

  Użyj go, gdy przed wykonaniem działania musisz sprawdzić pola pośrednie. Poprawna struktura nadal wymaga weryfikacji dowodów i reguł aplikacji.

Wyszukiwanie i dokumenty

• Który model NER pasuje do moich typów encji?

  Zacznij od etykiet i przykładów. Stabilne etykiety, zmieniające się etykiety, nakładające się fragmenty oraz fakty wywnioskowane na podstawie wielu zdań wymagają różnych testów.

• Które narzędzie OCR pasuje do moich dokumentów?

  Testuj dane wyjściowe, których potrzebujesz: tekst, kolejność czytania, tabele lub konkretne pola. Czyste skany i złożone układy stron mogą wymagać różnych podejść.

• Czy potrzebuję podstawowego RAG, agentowego RAG czy GraphRAG?

  Zacznij od jednego przebiegu wyszukiwania. Rozważ wielokrotne wyszukiwanie, gdy kolejne pytania zależą od wcześniejszych wyników, albo GraphRAG, gdy potrzebujesz podsumowań z całej kolekcji.

• Jakich narzędzi i metryk do ewaluacji RAG użyć?

  Oceniaj wyszukane dowody niezależnie od wygenerowanej odpowiedzi. Wybieraj metryki na podstawie rodzaju błędu, który chcesz wykryć, oraz dostępnych danych referencyjnych.

• Kiedy dodać embeddings lub reranker?

  Najpierw zmierz bazową skuteczność wyszukiwania słów kluczowych. Dodaj kolejny etap tylko wtedy, gdy rozwiązuje zmierzony problem z wyszukiwaniem lub rankingiem w ramach dostępnego budżetu czasowego.

Modele i narzędzia lokalne

• Którego lokalnego narzędzia LLM użyć w systemie macOS?

  Wybierz je na podstawie preferowanego sposobu pracy: interfejs desktopowy, lokalne API lub kod w Pythonie. Sprawdź, czy wybrany model faktycznie działa na Twoim Macu.

• Którego formatu kwantyzacji LLM użyć?

  Najpierw sprawdź, jakie rozwiązania obsługują Twoje środowisko uruchomieniowe i sprzęt. Następnie porównaj zużycie pamięci, szybkość i jakość na swoim zadaniu.

• Czy użyć promptu, RAG czy fine-tuningu?

  Wypróbuj prompty w przypadku instrukcji, wyszukiwanie w przypadku brakującej wiedzy, a fine-tuning w przypadku zachowania, które możesz zaprezentować za pomocą przykładów. Możesz potrzebować więcej niż jednego podejścia.

Pytania z zakresu inżynierii LLM

Te odpowiedzi obejmują 45 tematów z Przewodnika po inżynierii LLM. Zacznij od jednego pytania, a następnie przejdź do przewodnika, aby poznać równania, diagramy i szerszy kontekst. Istniejąca odpowiedź dotycząca kwantyzacji znajduje się powyżej, w sekcji Modele i narzędzia lokalne.

Sprzęt GPU

• Dlaczego dekodowanie LLM ogranicza pamięć, a prefill moc obliczeniowa?
• Jak hierarchia pamięci GPU wpływa na szybkość inferencji LLM
• Które parametry sprzętowe GPU mają znaczenie przy serwowaniu LLM?

Opóźnienia i pamięć podczas inferencji

• Jak mierzyć opóźnienia LLM za pomocą TTFT, TPOT i P99
• Przepustowość LLM a goodput: którą metrykę wybrać?
• Ile pamięci KV cache wymaga żądanie do LLM?
• Prefill a dekodowanie: dlaczego inferencja LLM ma dwie fazy
• MHA, MQA i GQA: jak mechanizm uwagi zmienia zużycie pamięci KV

Optymalizacje inferencji

• Jak łączenie jąder CUDA zwiększa szybkość inferencji LLM
• Co FlashAttention zmienia w inferencji transformerów
• Czym jest Flash-Decoding i kiedy przyspiesza LLMs?
• Ciągłe a statyczne grupowanie żądań: jak działa harmonogramowanie LLM
• Co PagedAttention zmienia w alokacji pamięci KV dla LLM?
• Kiedy dekodowanie spekulatywne przyspiesza serwowanie LLM?
• Jak buforowanie prefiksów ponownie wykorzystuje prompty LLM i tokeny z pamięci podręcznej
• Jak przesyłać odpowiedzi LLM strumieniowo za pomocą SSE i fragmentów danych o zużyciu

Architektura modeli i tokenizacja

• Jakie operacje wykonuje warstwa dekodera transformera?
• Modele z enkoderem a modele z dekoderem: która architektura pasuje?
• Łączna liczba a liczba aktywnych parametrów MoE: ile pamięci potrzebujesz?
• BPE, SentencePiece i tiktoken: czym różnią się tokenizatory
• Co ograniczają okna kontekstowe LLM i jak RoPE je rozszerza

Trening i dostosowanie do preferencji

• Trening wstępny a fine-tuning: czym różnią się etapy trenowania LLM?
• LoRA a QLoRA: którą metodę fine-tuningu wybrać?
• BF16, FP16 czy FP8: w jakim formacie trenować?
• Gradient checkpointing: jak oszczędza pamięć GPU?
• Etapy DeepSpeed ZeRO: który stan treningu jest dzielony?
• FSDP a DeepSpeed ZeRO: co pasuje do mojej konfiguracji treningowej?
• Skalowanie Chinchilla: czy dłuższy trening zmniejsza koszt LLM?
• RLHF, DPO i GRPO: czym różnią się metody dostosowania do preferencji?
• Destylacja LLM: jak małe modele uczą się od modeli nauczycieli?
• Syntetyczne dane treningowe: jak generować użyteczne przykłady?

Wdrożenie i wybór modeli

• Równoległość LLM: czym różnią się TP, PP, DP i EP?
• Frameworki do serwowania LLM: jak wybrać środowisko uruchomieniowe?
• Wybór GPU dla LLMs: ile pamięci GPU potrzebuję?
• Routing a kaskady LLM: który model obsługuje zapytanie?

Wyszukiwanie, agenci i prompty

• Modele embedding a modele generatywne: co zwraca każdy z nich?
• Pipeline RAG w produkcji: które etapy oceniać?
• ReAct a ReWOO: który wzorzec wykonywania zadań przez agenta pasuje?
• Inżynieria promptów w produkcji: jak testować zmiany?

Eksploatacja w produkcji

• Jak APIs LLM powinny ograniczać żądania, tokeny i współbieżność?
• Co powoduje awarie serwowania LLM i jak je naprawić?
• Które metryki monitorować w systemie serwowania LLM?
• Jak obniżyć koszty LLM bez pogorszenia jakości odpowiedzi?
• Jak planować pojemność GPU i automatyczne skalowanie dla LLMs?

Pełne wyjaśnienia znajdziesz w dłuższych artykułach.