Problem zaczyna się od samego pytania

„Jaka jest najlepsza firma X?” brzmi jak prosty test, ale zawiera kilka ukrytych decyzji. Czy chodzi o cenę, jakość, lokalizację, dostępność czy doświadczenie? Czy klient jest osobą prywatną czy firmą? Czy szuka dostawcy lokalnego czy ogólnopolskiego? Każda zmiana kontekstu może dać inną odpowiedź.

Dlatego Markometr nie traktuje pojedynczego pytania jako jednostki prawdy. Jednostką pomiaru jest zestaw zdefiniowanych scenariuszy, a wynik powstaje z wielu obserwacji według stałych zasad.

Znajomość nazwy to nie to samo co widoczność

Pytanie „czym zajmuje się firma X?” jest przydatne do sprawdzenia, czy AI rozumie ofertę. Nie powinno jednak zwiększać wyniku widoczności, bo użytkownik już podał nazwę firmy.

W pytaniu odkrywającym kategorię sytuacja jest odwrotna. Użytkownik nie zna firmy. Pyta o usługę albo rozwiązanie i dopiero wtedy obserwujemy, czy marka zostanie odnaleziona i przedstawiona jako realna opcja.

Różne intencje zakupowe dają różne sygnały

W jednej kategorii warto sprawdzić kilka typów intencji:

  • kogo warto rozważyć,
  • kto ma doświadczenie,
  • kto jest sprawdzony,
  • jak porównać dostępne firmy,
  • kto ma dobrą dostępność,
  • na co zwrócić uwagę przy wyborze.

Firma może być mocna w pytaniu o specjalistyczne doświadczenie, a całkowicie nieobecna w ogólnym wyborze dostawcy. Taka różnica jest często bardziej użyteczna biznesowo niż jedna średnia liczba.

Nie wszystkie pytania powinny ważyć tyle samo

Pytanie „kogo warto wybrać?” jest bliżej decyzji zakupowej niż pytanie „na co zwrócić uwagę?”. Dlatego w Markometrze scenariusze mają jawne wagi komercyjne. Nie prosimy modelu językowego, żeby sam wymyślił znaczenie wyniku.

To ważne z dwóch powodów. Po pierwsze, wynik staje się odtwarzalny. Po drugie, firma może zobaczyć, które braki dotyczą pytań naprawdę ważnych dla sprzedaży, a które są tylko informacyjne.

Brak odpowiedzi nie powinien udawać wyniku zero

Jeżeli wywołanie modelu nie zakończy się poprawnie, odpowiedź zostanie ucięta albo ekstrakcja jest niepewna, uczciwym rozwiązaniem jest pokazanie mniejszego zakresu ukończonego pomiaru. Wstawienie zera sztucznie obniżyłoby ocenę firmy i pomieszało problem techniczny z wynikiem biznesowym.

Dobry system pomiarowy mówi „mamy 23 z 24 obserwacji” zamiast udawać, że brakująca odpowiedź oznacza nieobecność firmy.

Widoczność, pozycjonowanie i dowody to trzy różne rzeczy

Firma może często pojawiać się w odpowiedziach i jednocześnie być opisywana w sposób niezgodny z tym, co chce sprzedawać. Może też być rekomendowana na podstawie słabych albo niejasnych źródeł. Dlatego tych elementów nie warto wrzucać do jednego nieprzejrzystego wyniku zbiorczego.

  • Widoczność: jak silnie firma pojawia się w pytaniach odkrywających.
  • Dopasowanie pozycjonowania: czy opis firmy odpowiada uzgodnionej ofercie, klientom i przewagom.
  • Dowody: czy stwierdzenia w odpowiedzi można powiązać z weryfikowalnym materiałem źródłowym.

Po co przechowywać pytanie, model, czas i lokalizację

Bez tych danych nie da się uczciwie porównać dwóch pomiarów. Jeżeli wynik zmieni się za miesiąc, trzeba wiedzieć, czy zmieniła się widoczność firmy, model, konfiguracja wyszukiwania czy sam zestaw pytań.

Dlatego każda obserwacja powinna mieć swój zapis kontekstu. Dopiero wtedy ponowny pomiar po zmianie strony albo publikacji nowego materiału staje się eksperymentem, a nie porównaniem dwóch przypadkowych rozmów.

Jaki zestaw pytań jest wystarczający

Nie istnieje magiczna liczba pasująca do każdej firmy. Mała lokalna firma z jedną usługą potrzebuje innego zakresu badania niż producent z trzema liniami biznesowymi i kilkoma rynkami. Dobra zasada jest praktyczna: zestaw powinien pokrywać najważniejsze produkty lub usługi, główne intencje zakupowe i właściwą geografię bez generowania dziesiątek prawie identycznych pytań.

W obecnej metodologii Markometru pełny podstawowy pomiar jednej firmy wykorzystuje 24 pytania odkrywające oraz osobne pytania diagnostyczne z nazwą marki. To konstrukcja produktu, nie uniwersalny standard rynku.

Co ma być wynikiem pomiaru

Sama liczba jest tylko skrótem. Największą wartość mają odpowiedzi na cztery pytania: gdzie firma znika, gdzie jest mocna, kto pojawia się zamiast niej i jaka zmiana może zostać przetestowana w następnej iteracji.

Zobacz też pełną metodologię Markometru albo zacznij od ręcznego przewodnika jak sprawdzić, czy ChatGPT poleca Twoją firmę.