প্রবণতা এআই নিবন্ধ:

1. মেশিন লার্নিং ব্যবহার করে ক্রয় আচরণ পূর্বাভাস

2. জেনারেটেড অ্যাডভারারিয়াল নেটওয়ার্কগুলি বোঝা এবং নির্মাণ করা (GANs)

3. ওপেনসিভি এবং হর ক্যাসকেডস ব্যবহার করে একটি Django POST মুখ সনাক্তকরণ API তৈরি করা

4. Hindsight অভিজ্ঞতা পুনরাবৃত্তি সঙ্গে ভুল থেকে শেখা

নমুনা পাইথন অ্যাপ্লিকেশন

project.py 
data / 
    data_source.py 
    data_source.ini

[spark]
app_name = My PySpark App
master_url = spark://sparkmaster:707

from pyspark import SparkConf, SparkContext
from pyspark.sql import SparkSession
from pyspark.sql.types import StructType, StructField, FloatTypeimport pandas as pd
import numpy as np
import configparser

ক্লাস ডেটাসোর্স: 
    def __init __ (স্ব):         config = configparser.conffigParser () 
        config.read ('./ data / data_source.ini') 
        master_url = config ['spark'] ['master_url'] 
        app_name = config ['spark' ] ['app_name']         conf = SparkConf ()। setAppName (app_name) \ 
                          .setmaster (master_url)         self.sc = স্পার্ককন্টেস্ট (conf = conf) 
        self.spark = SparkSession.builder \ 
                                 .config (conf = conf) \ 
                                 .getOrCreate ()

1. একটি NumPy স্বাভাবিক বিতরণ থেকে একটি RDD তৈরি করে।
2. প্রতিটি উপাদান মান দ্বিগুণ একটি ফাংশন প্রয়োগ করে।
3. RDD একটি স্পার্ক ডেটাফ্রেমে রূপান্তরিত করে এবং উপরে একটি টেম্প ভিউ সংজ্ঞায়িত করে।
4. এসকিউএল ব্যবহার করে প্রতিটি ডাটাফ্রেম উপাদান বিষয়বস্তু squares যে একটি পাইথন UDF প্রযোজ্য।
5. প্যান্ডাস ডাটাফ্রেম হিসাবে ক্লায়েন্টকে ফলাফলগুলি প্রদান করে।

class DataSource:
    def __init__(self):        config = configparser.ConfigParser()
        config.read('./data/data_source.ini')
        master_url = config['spark']['master_url']
        app_name = config['spark']['app_name']        conf = SparkConf().setAppName(app_name) \
                          .setMaster(master_url)        self.sc = SparkContext(conf=conf)
        self.spark = SparkSession.builder \
                                 .config(conf=conf) \
                                 .getOrCreate()

data.data_source থেকে ডেটাসোর্স ডিফ মুখ্য (): 
    src = 
    ডেটাসোর্স () df = src.get_data (num_elements = 100000) 
    মুদ্রণ করুন (f "{df.size} উপাদানের সাথে পান্ডাস ডেটাফ্রেম পেয়েছেন") 
    মুদ্রণ করুন (df.head (10) ) প্রধান ()

স্পার্ক জমা, ক্লায়েন্ট এবং ক্লাস্টার মোড

• স্পার্ক বিভিন্ন ক্লাস্টার ম্যানেজারকে সমর্থন করে : স্ট্যান্ডলোন (স্পার্কে নির্মিত), হাদপের YARN, Mesos, Kubernetes, যা সমস্ত আপনার সংস্থানগুলির একটি সেটের উপর সঞ্চালিত হয় তা নিয়ন্ত্রণ করে।
• spark-submitএকমাত্র ইন্টারফেস যা সমস্ত ক্লাস্টার পরিচালকদের সাথে সামঞ্জস্যপূর্ণভাবে কাজ করে। পাইথন অ্যাপ্লিকেশনগুলির জন্য, spark-submitযখন প্রয়োজন হয় তখন আপনি .py, .zip বা .egg ফাইল হিসাবে সরবরাহ করা সমস্ত নির্ভরতা আপলোড এবং মঞ্চ করতে পারেন।
• ইন ক্লায়েন্ট মোড , আপনার পাইথন প্রোগ্রাম (অর্থাত চালক ) একই হোস্ট যেখানে চলবে spark-submitচালায়। নেটওয়ার্ক হোয়াইটেন্সি হ্রাস করার জন্য আপনার হোস্টের কাছাকাছি থাকা হোস্টের কাছাকাছি থাকা নিশ্চিত করার জন্য এটি আপনার সেরা আগ্রহের মধ্যে রয়েছে।
• ইন ক্লাস্টার মোড , আপনার পাইথন প্রোগ্রাম (অর্থাত চালক ) এবং নির্ভরতা পূর্ণ করার উদ্দেশ্যে আপলোড করা হয়েছিল এবং থেকে চালানো হবে কিছুকর্মী নোড। একটি দূরবর্তী হোস্ট থেকে কাজ জমা যখন এটি দরকারী। স্পার্ক ২.0.0 ক্লাস্টার মোড স্পার্ক স্ট্যান্ডলোন চলাকালীন চলাকালীন একটি বিকল্প নয়।
• বিকল্পরূপে, ক্লাস্টারের সাথে সংযোগ স্থাপনের জন্য আপনার পাইথন অ্যাপ্লিকেশনটি spark-submitকনফিগার করে বাইপাস করা সম্ভব SparkSession। এটি সঠিক কনফিগারেশন এবং মেমরি পাইপার্ক বার্নারির প্রয়োজন। আপনার পাইথন অ্যাপ্লিকেশনটি কার্যকরভাবে ক্লায়েন্ট মোডেচলবে: এটি হোস্ট যেখানেই আপনি এটি চালু করবেন।

# 1: স্পার্কে সরাসরি সংযোগ করুন (ক্লায়েন্ট মোড, কোন স্পার্ক জমা দিন)

conf = SparkConf ()। setAppName ("আমার পাইস্পার্ক অ্যাপ") \ 
                  .setMaster ("spark: //192.168.1.10: 7077") sc = SparkContext (conf = conf) spark = SparkSession.builder \ 
                    .config (conf = conf ) \ 
                    .getOrCreate ()

sudo yum install python36 পিপ ইনস্টল pyspark [sql]pip install pyspark==2.3.1 
pip install numpy pandas msgpack sklearn

pip install --no-cache-dir pyspark==2.3.1

$ পিপ শো পিস্পার্ক নাম: পিস্পার্ক 
সংস্করণ: 2.3.1 
সারসংক্ষেপ: অ্যাপাচি স্পার্ক পাইথন API 
হোম পৃষ্ঠা: https://github.com/apache/spark/tree/master/python
 লেখক: স্পার্ক ডেভেলপারদের 
লেখক-ইমেল: dev @ spark .apache.org
 লাইসেন্স: http://www.apache.org/licenses/LICENSE-2.0
 অবস্থান: /opt/anaconda/lib/python3.6/site-packages
 প্রয়োজনীয়: py4j $ export SPARK_HOME = / opt / anaconda / lib /python3.6/site-packages

• spark.sql.execution.arrow.enabled true

• export PYSPARK_PYTHON=/usr/bin/python3 পাইথন এক্সিকিউটেবল, সব নোড।
• export PYSPARK_DRIVER_PYTHON=/usr/bin/python3 : নির্বাহক নোড থেকে ভিন্ন ড্রাইভার, ড্রাইভার জন্য এক্সিকিউটেবল পাইথন।

এটা চলমান

$ cd my-project-dir / 
$ python3 project.py

# 2: কনটেইনারাইজড অ্যাপ্লিকেশন (ক্লায়েন্ট মোড, কোন স্পার্ক জমা দিন)

spark.driver.host : host_ip_address (e.g. 192.168.1.10)
spark.driver.port : static_port (e.g. 51400)
spark.driver.bindAddress : container_internal_ip (e.g. 10.192.6.81)
spark.driver.blockManagerPort : static_port (e.g. 51500)

এটা চলমান

ডকার রান-পি 51400: 51400-পি 51500: 51500 

# 3: স্পার্ক-জমা (ক্লায়েন্ট মোড) এর মাধ্যমে পাইথন অ্যাপ্লিকেশন

$ cd my-project-dir / 
$ ls -l rwxrwxr-x। 3 সেন্ট শত শত 70 ফেব্রুয়ারী ২5 02:11 তথ্য 
-আরডব্লু-রউ-র--। 1 সেন্টস সেন্ট্রো 220 ফেব্রুয়ারী 25 01:09 project.py $ spark-submit project.py

• আমার অভিজ্ঞতায়, যখন spark-submitএটি প্রকল্প মূল ডিরেক্টরি ( my-project-dir/) থেকে আহ্বান করা হয় তখন এটি কল করার সময় নির্ভরশীল সাবডিরেক্টরি / ফাইলগুলি পাস করার প্রয়োজন ছিল না ।
• যেহেতু নমুনা অ্যাপ্লিকেশন ইতিমধ্যে একটি মাস্টার URL নির্দিষ্ট করে, তাই এটি পাস করতে হবে না spark-submit। অন্যথায়, একটি সম্পূর্ণ কমান্ড হবে:

$ spark-submit --master spark: // sparkcas1: 7077 --deploy-mode ক্লায়েন্ট project.py

• স্পার্ক 2.3 এর মতো, ক্লাস্টার মোডে পাইথন অ্যাপ্লিকেশনগুলি একটি স্বতন্ত্র স্পার্ক ক্লাস্টারে জমা দেওয়া সম্ভব নয়। তাই করছেন একটি ত্রুটি উত্পাদিত:

$ spark-submit --master spark: // sparkcas1: 7077 --deploy-mode cluster project.py ত্রুটি: ক্লাস্টার স্থাপনের মোড বর্তমানে স্ট্যান্ডলোন ক্লাস্টারগুলিতে পাইথন অ্যাপ্লিকেশনগুলির জন্য সমর্থিত নয়।

Takeaways- স্পার্ক একক ক্লাস্টার উপর পাইথন:

• যদিও স্ট্যান্ডলোন ক্লাস্টারগুলি উৎপাদনে জনপ্রিয় নয় (সম্ভবত বাণিজ্যিকভাবে সমর্থিত বিতরণগুলিতে ক্লাস্টার ম্যানেজার অন্তর্ভুক্ত থাকে) তবে তাদের একটি ছোট পদাঙ্ক রয়েছে এবং মাল্টি-টেনেন্সি এবং ডায়নামিক রিসোর্স বরাদ্দের প্রয়োজন নেই এমন একটি ভাল কাজ করে।
• পাইথন অ্যাপ্লিকেশনের জন্য, স্থাপনার বিকল্পগুলি ক্লায়েন্ট মোডে সীমাবদ্ধ।
• পাইথন অ্যাপ্লিকেশনটি ধারণ করার জন্য ডকার ব্যবহার করা সমস্ত প্রত্যাশিত সুবিধা এবং ক্লায়েন্ট মোড স্থাপনার জন্য উপযুক্ত।