vector-index-tuning

Umiejętność do optymalizacji wydajności indeksów wektorowych w systemach wyszukiwania. Pomagamy ci wybrać właściwy typ indeksu (HNSW, IVF, DiskANN), dostroić parametry M i efSearch, oraz wdrożyć kwantyzację danych. Niezależnie od tego, czy pracujesz z tysiącami czy miliardami wektorów, nauczysz się balansować między szybkością wyszukiwania, dokładnością wyników a zużyciem pamięci RAM. Zawiera szablony do benchmarkowania konfiguracji HNSW i porównywania strategii kompresji danych.

1. Zainstaluj umiejętność w swoim środowisku agenta – pobierz pliki z repozytorium wshobson/agents w katalogu skills/vector-index-tuning.

2. Przygotuj dane wejściowe: zbiór wektorów (np. embeddingi tekstowe), zestaw zapytań testowych oraz dane referencyjne (ground truth) do oceny dokładności wyszukiwania.

3. Wybierz typ indeksu na podstawie rozmiaru danych – dla poniżej 10 tys. wektorów użyj Flat (wyszukiwanie dokładne), dla 10 tys.–1 mln wektorów HNSW, dla większych zbiorów dodaj kwantyzację lub przejdź na IVF+PQ.

4. Uruchom benchmarking parametrów HNSW, testując różne wartości M (liczba połączeń na węzeł), efConstruction (jakość budowy indeksu) i efSearch (jakość wyszukiwania) – wyższa wartość M i ef daje lepszą dokładność, ale więcej pamięci i wolniej.

5. Porównaj strategie kwantyzacji (FP32, FP16, INT8, Product Quantization, Binary) – każda zmniejsza rozmiar indeksu, ale wpływa na dokładność wyników.

6. Wdróż wybraną konfigurację w produkcji i monitoruj opóźnienia wyszukiwania oraz recall (procent poprawnie znalezionych wyników) – dostrajaj parametry na podstawie rzeczywistych metryk.