TF-IDF w analizie treści
Dwa czynniki składające się na wynik
Pierwszy człon zlicza wystąpienia terminu w badanym dokumencie. Drugi karze słowa spotykane wszędzie — oblicza się go jako logarytm ilorazu liczby wszystkich dokumentów w zbiorze przez liczbę tych, które dane słowo zawierają. Iloczyn obu wartości premiuje wyrażenia gęsto obecne w jednym tekście, a rzadkie w pozostałych.
Co taki ranking mówi o treści
Spójniki, przyimki i zaimki schodzą praktycznie do zera, bo występują w każdym dokumencie korpusu. Na szczyt listy wypływają natomiast pojęcia faktycznie definiujące temat. Metoda wywodzi się z modelu wektorowego wyszukiwania opracowanego w latach siedemdziesiątych i przez dekady stanowiła podstawę mechanizmów dopasowywania zapytań do dokumentów.
Praktyczne wykorzystanie przy pisaniu
Analiza polega na zestawieniu przygotowywanego tekstu z korpusem stron zajmujących czołowe pozycje na daną frazę. Narzędzia pokroju Surfera, Ryte czy modułów w Semrushu pokazują wtedy terminy, które konkurencja omawia, a nasz materiał pomija. To sposób na wychwycenie luk merytorycznych — brakującego wątku, pominiętego zagadnienia pobocznego, nieopisanego wariantu produktu.
Gdzie kończy się przydatność metody
Wyszukiwarki od dawna nie opierają rankingu na tak prostej statystyce — pracują na wektorach kontekstowych i modelach transformerowych rozumiejących znaczenie, a nie samą częstotliwość. Traktowanie wyniku jako listy słów do mechanicznego wplecenia w akapity kończy się tekstem sztucznym i nieczytelnym. Wskaźnik warto więc czytać jako podpowiedź badawczą, a nie receptę redakcyjną.
