BERT - Googleov novi algoritam pretraživanja: što je to i kako radi

Anonim

Google je najavio pokretanje novog algoritma pretraživanja - BERT. Razumijemo što se o tome zna i kako će funkcionirati.

Ukratko, prema programerima, novi algoritam će pomoći tražilici da bolje shvati što je korisnik zapravo tražio.


Što je BERT i kako će raditi

Uz pomoć BERT (Bidirectional Encoder Representations from Transformers - NLP temeljen na neuronskim mrežama) tehnologije, rezultati pretraživanja postat će smisleniji, bliži onome što korisnik stvarno želi znati.Sada će se riječi i izrazi u zahtjevu korisnika obrađivati ​​uzimajući u obzir kontekst, a ne redom, kao prije. Već danas novi algoritam pretraživanja pomaže boljem razumijevanju svakog desetog upita u SAD-u na engleskom jeziku. Kasnije će BERT biti lokaliziran i radit će na drugim jezicima.

Ako govorimo o segmentu pretraživanja na engleskom jeziku, tada neće biti potrebno posebno odabrati upit - algoritam će razumjeti značenje upita čak iu dugoj frazi s mnogo prijedloga poput i , ponekad radikalno mijenjajući značenje fraze.

Na primjer, pretražite ("2019 brazilski putnik u SAD treba vizu"). Ovdje i njegova povezanost s drugim riječima u upitu posebno su važni za razumijevanje značenja. Govorimo o putovanju Brazilca u SAD, a ne obrnuto. Prethodno algoritam nije vidio ovu vezu, a rezultati su uključivali materijale o američkim građanima koji putuju u Brazil. Uz BERT, pretraživanje će pružiti relevantniji rezultat za taj upit.

Pogledajmo još jedan upit: . Ranije se pojam "autonomno" doživljavao kao riječ "stajati" (stajati). BERT će to dobro shvatiti:

Evo još nekoliko primjera gdje BERT hvata nijanse jezika u kojem računala ne percipiraju tekst kao ljudi.

Tek s pojavom BERT-a postao je važan semantički dio ovog upita:

Ranije su prilikom pretraživanja uglavnom ignorirali riječ , ne shvaćajući koliko je važna za točan odgovor:

BERT odabire korisniji rezultat posebno za kategoriju odraslih korisnika:

Razumijevanje jezika ostat će vječni problem, što znači da će se Pretraživanje morati poboljšavati unedogled. Naravno, bolje je ne testirati BERT s upitom ("koja je država južno od Nebraske") - najvjerojatnije će se vratiti ("Južna Nebraska"). Iako je očito da je ovo Kansas :–) Ipak, modeli uvježbani na engleskom već se primjenjuju na druge jezike. I čak je uspio postići opipljiv učinak na jezicima kao što su korejski, hindi i portugalski.

Pročitajte također:

  • Čimbenici rangiranja web-mjesta prema ponašanju
  • Alt i Title atributi za slike
  • H1 i Naslov - čine isti ili različiti