Začíname s Google BERT: Vytvárajte a trénujte najmodernejšie modely spracovania prirodzeného jazyka pomocou BERT

Recenzie čitateľov

Kniha slúži ako komplexný úvod do systému BERT a jeho základnej architektúry transformátora, pričom poskytuje vyvážený pomer teoretického výkladu a praktických príkladov kódovania. Je obzvlášť vhodná pre tých, ktorí majú základné znalosti NLP a hlbokého učenia, pričom podrobne opisuje rôzne varianty a aplikácie BERT. Niektorí čitatelia však knihu kritizovali pre jej nadbytočný jazyk, povrchné spracovanie zložitých tém a problémy s kvalitou tlače.

⬤ Jasné a výstižné vysvetlenie architektúry BERT a transformátorov
⬤ spája teóriu s praktickými aplikáciami a príkladmi kódovania
⬤ prístupné čitateľom bez doktorandského titulu
⬤ praktické laboratóriá a zdroje GitHub zvyšujú zážitok z učenia
⬤ diskusie o viacerých variantoch BERT a prípadoch použitia.

⬤ Zbytočný jazyk a opakovanie vo vysvetleniach
⬤ niektoré povrchné pokrytie zložitých tém
⬤ problémy s kvalitou tlače
⬤ niekoľko čitateľov nahlásilo chyby v kóde
⬤ niektorí považovali obsah za príliš základný alebo nedostatočne hlboký pre pokročilých praktikov.

(na základe 38 čitateľských recenzií)

Pôvodný názov:

Getting Started with Google BERT: Build and train state-of-the-art natural language processing models using BERT

Obsah knihy:

Začnite svoju cestu NLP skúmaním BERT a jeho variantov, ako sú ALBERT, RoBERTa, DistilBERT, VideoBERT a ďalšie, pomocou knižnice transformátorov Hugging Face

Kľúčové funkcie

⬤ Preskúmajte kodér a dekodér modelu transformátora.

⬤ Získajte prehľad o BERT spolu s ALBERT, RoBERTa a DistilBERT.

⬤ Zistite, ako predtrénovať a doladiť modely BERT pre niekoľko úloh NLP.

Popis knihy

BERT (bidirectional encoder representations from transformer) spôsobil revolúciu vo svete spracovania prirodzeného jazyka (NLP) so sľubnými výsledkami. Táto kniha je úvodnou príručkou, ktorá vám pomôže zoznámiť sa s architektúrou BERT spoločnosti Google. Vďaka podrobnému vysvetleniu architektúry transformátora vám táto kniha pomôže pochopiť, ako funguje kódovač a dekodér transformátora.

Preskúmate architektúru BERT tým, že sa naučíte, ako je model BERT predtrénovaný a ako používať predtrénovaný BERT na následné úlohy jeho jemným doladením na úlohy NLP, ako je analýza sentimentu a sumarizácia textu pomocou knižnice transformátorov Hugging Face. Ako budete postupovať, dozviete sa o rôznych variantoch modelu BERT, ako sú ALBERT, RoBERTa a ELECTRA, a pozriete sa na model SpanBERT, ktorý sa používa na úlohy NLP, ako je napríklad odpovedanie na otázky. Venovať sa budete aj jednoduchším a rýchlejším variantom BERT založeným na destilácii znalostí, ako sú DistilBERT a TinyBERT. Kniha vás podrobne oboznámi s MBERT, XLM a XLM-R a potom vás zoznámi s databázou sentence-BERT, ktorá sa používa na získavanie reprezentácie viet. Nakoniec sa zoznámite s doménovo špecifickými modelmi BERT, ako sú BioBERT a ClinicalBERT, a objavíte zaujímavý variant s názvom VideoBERT.

Na konci tejto knihy o BERT budete dobre oboznámení s používaním BERT a jeho variantov na vykonávanie praktických úloh NLP.

Čo sa naučíte

⬤ Poznáte model transformátora od základov.

⬤ Zistiť, ako BERT funguje, a predtrénovať ho pomocou úloh maskovaného jazykového modelu (MLM) a predpovedania nasledujúcej vety (NSP).

⬤ Získajte praktické skúsenosti s BERT a naučte sa vytvárať kontextové vložené slová a vety.

⬤ Vylaďte BERT pre následné úlohy.

⬤ Spoznajte modely ALBERT, RoBERTa, ELECTRA a SpanBERT.

⬤ Získajte prehľad o modeloch BERT založených na destilácii znalostí.

⬤ Pochopiť medzijazykové modely, ako sú XLM a XLM-R.

⬤ Preskúmajte modely Sentence-BERT, VideoBERT a BART.

Pre koho je táto kniha určená

Táto kniha je určená pre profesionálov v oblasti NLP a dátových vedcov, ktorí chcú zjednodušiť úlohy NLP a umožniť efektívne porozumenie jazyka pomocou BERT. Na to, aby ste z tejto knihy vyťažili čo najviac, je potrebné základné pochopenie konceptov NLP a hlbokého učenia.