# Установка пакета
pip install pyspark -i https://pypi.doubanio.com/simple/

from pyspark import SparkConf
from pyspark.sql import SparkSession
import traceback


appname = "test"  # Название задачи
master = "local"  # Настройка автономного режима''''
local: Все вычисления выполняются в одном потоке без каких-либо параллельных вычислений. Обычно мы используем этот режим для выполнения некоторого тестового кода на локальном компьютере или для практики.
local[K]: Укажите, сколько потоков использовать для выполнения вычислений. Например, local[4] запускает 4 рабочих потока. Обычно наш процессор имеет несколько ядер, поэтому мы указываем несколько потоков, чтобы максимально использовать вычислительную мощность процессора.
local[*]: Этот режим напрямую помогает вам установить количество потоков в соответствии с максимальным количеством ядер ЦП.
'''
spark_driver_host = "10.0.0.248"


try:
    # conf = SparkConf().setAppName(appname).setMaster(master).set("spark.driver.host", spark_driver_host) # кластер
    conf = SparkConf().setAppName(appname).setMaster(master)  # местный
    spark = SparkSession.builder.config(conf=conf).getOrCreate()
    sc = spark.sparkContext
    words = sc.parallelize(
        ["scala",
         "java",
         "hadoop",
         "spark",
         "akka",
         "spark vs hadoop",
         "pyspark",
         "pyspark and spark"
         ])
    counts = words.count()
    print("Number of elements in RDD is %i" % counts)
    sc.stop()
    print('Расчет успешен!')
except:
    sc.stop()
    traceback.print_exc()  # Возврат сообщения об ошибке
    print('Ошибка соединения!')

import findspark
findspark.init()

F:\Anaconda3\python.exe D:/PycharmProjects/demo_pyspark.py
        
Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties
Setting default log level to "WARN".
To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel).20/08/27 16:17:44 WARN Utils: Service 'SparkUI' could not bind on port 4040. Attempting port 4041.
Number of elements in RDD is 8
Расчет успешен!


Process finished with exit code 0