Učíme sa PySpark: Spark 2.0: Vytvárajte aplikácie náročné na údaje lokálne a nasadzujte ich vo veľkom meradle pomocou kombinovaných schopností Pythonu a Sparku 2.0

Recenzie čitateľov

Kniha o Sparku a PySparku ponúka úvodné pochopenie rôznych tém, ale chýba jej hĺbka a úplnosť príkladov, čo často vedie k frustrujúcemu zážitku pre čitateľov. Hoci poskytuje široký prehľad vhodný pre nováčikov, vyžaduje si aj ďalšie zdroje a úsilie na vyplnenie medzier.

⬤ Priateľský tón a vhodný pre nováčikov v oblasti Spark.
⬤ Pokrýva široké spektrum tém vrátane dátových štruktúr a strojového učenia.
⬤ Obsahuje príklady kódov, ktoré môžu pomôcť pri učení.
⬤ Dobrý východiskový bod na pochopenie základných konceptov.

⬤ Príklady sú často neúplné alebo si vyžadujú externé zdroje na úplné pochopenie, čo sťažuje použitie ako samostatnej príručky.
⬤ Nedostatočná hĺbka diskusií; mnohé témy sú pokryté len povrchne.
⬤ Príklady kódov nefungujú ako zo škatuľky a chýba im potrebný kontext.
⬤ Zlá organizácia a stránkovanie v niektorých častiach sťažujú čítanie.
⬤ Všeobecne sa vnímajú ako uponáhľané alebo nemajú ucelenú štruktúru.

(na základe 10 čitateľských recenzií)

Pôvodný názov:

Learning PySpark: Build data-intensive applications locally and deploy at scale using the combined powers of Python and Spark 2.0

Obsah knihy:

Vytvárajte lokálne aplikácie náročné na údaje a nasadzujte ich v širokom rozsahu pomocou kombinácie možností Pythonu a Sparku 2. 0 O tejto knihe - Zistite, prečo a ako môžete efektívne používať Python na spracovanie dát a vytváranie modelov strojového učenia v Apache Spark 2.

0 - Vyvíjajte a nasadzujte efektívne, škálovateľné riešenia Spark v reálnom čase - Posuňte svoje znalosti o používaní Sparku s Pythonom na vyššiu úroveň s touto úvodnou príručkou Pre koho je táto kniha určená Ak ste vývojár v jazyku Python, ktorý sa chce dozvedieť o Apache Spark 2. 0, táto kniha je určená práve vám. Na to, aby ste z knihy vyťažili čo najviac, sa očakáva pevná znalosť jazyka Python.

Znalosť Sparku by bola užitočná, ale nie je povinná.

Čo sa naučíte - dozviete sa o Apache Spark a Spark 2. 0 architektúre - Budovať a komunikovať so Spark DataFrames pomocou Spark SQL - Naučiť sa riešiť problémy grafov a hlbokého učenia pomocou GraphFrames, respektíve TensorFrames - Čítať, transformovať a chápať dáta a používať ich na trénovanie modelov strojového učenia - Budovať modely strojového učenia pomocou MLlib a ML - Naučiť sa programovo odosielať svoje aplikácie pomocou spark-submit - Nasadiť lokálne vytvorené aplikácie do klastra Podrobne Apache Spark je open source framework pre efektívne klastrové výpočty so silným rozhraním pre dátový paralelizmus a odolnosť voči chybám.

Táto kniha vám ukáže, ako využiť silu jazyka Python a využiť ho v ekosystéme Spark. Začnete tým, že sa dôkladne zoznámite so systémom Spark 2. 0 a ako nastaviť prostredie Python pre Spark.

Zoznámite sa s modulmi dostupnými v PySpark. Naučíte sa abstrahovať údaje pomocou RDD a DataFrames a pochopíte možnosti PySparku v oblasti streamovania. Získate tiež dôkladný prehľad o možnostiach strojového učenia v PySparku pomocou ML a MLlib, o spracovaní grafov pomocou GraphFrames a o polyglotovej perzistencii pomocou Blaze.

Nakoniec sa naučíte, ako nasadiť svoje aplikácie do cloudu pomocou príkazu spark-submit. Na konci tejto knihy budete pevne rozumieť rozhraniu Spark Python API a tomu, ako ho možno použiť na vytváranie aplikácií náročných na údaje.

Štýl a prístup V tejto knihe je použitý veľmi komplexný prístup krok za krokom, aby ste pochopili, ako možno ekosystém Spark používať s jazykom Python na vývoj efektívnych a škálovateľných riešení. Každá kapitola je samostatná a napísaná veľmi zrozumiteľným spôsobom, pričom sa zameriava na to, ako a prečo jednotlivé koncepcie.