[Bigdata Team] Большие данные с BigData Team. Часть 2. Spark: from zero to hero (Алексей Драль)

Организатор · 5 май 2023

На протяжении этой части курса вы будете работать со Spark: от основных терминов и RDD до Spark DataFrames и оптимизации Spark вычислений.

В этом модуле вы изучите:
▶ cхема выполнения задачи в Spark;
▶ основные термины Spark (job, task, stage);
▶ представление вычислений в виде графа. Spark Python API. Spark RDD API;
▶ Broadcast-сообщения и счетчики.
▶ взаимодействие Hive и Spark SQL;
▶ отличия DF от RDD.
▶ Spark on YARN;
▶ типы stage в Spark;
▶ оптимизация операции shuffle;
▶ настройка Garbage Collection, тюнинг потребления памяти.
Скрытый текст. Доступен только зарегистрированным пользователям.Нажмите, чтобы раскрыть...

Организатор

Уведомляем вас о начале сбора взносов.
Цена продукта: 13500 руб. Взнос с каждого участника: 294 руб.
Кол-во участников в основном списке: 1 чел.

Начало сбора взносов 10 Январь 2024 года