• Custom Activation Function in Tensorflow for Deep Neural Networks

    স্ক্র্যাচ, টিউটোরিয়াল থেকে ডীপ নিউরাল নেটওয়ার্কগুলির জন্য টেনসফ্লোতে কাস্টম অ্যাক্টিভেশন ফাংশন।


    অ্যাক্টিভেশন ফাংশনগুলি সত্যিই কৃত্রিম নিউরোল নেটওয়ার্কের জন্য সত্যিই গুরুত্বপূর্ণ এবং ইনপুট এবং প্রতিক্রিয়া পরিবর্তনশীলের মধ্যে জটিল এবং অ-রৈখিক জটিল কার্যকরী ম্যাপিং সম্পর্কে কিছু জানার জন্য। এটি আমাদের নেটওয়ার্কের অ-রৈখিক বৈশিষ্ট্য প্রবর্তন করে । তাদের প্রধান উদ্দেশ্য একটি এ-এনএন একটি আউটপুট সংকেত একটি নোড একটি ইনপুট সংকেত রূপান্তর করা হয়। যে আউটপুট সংকেত এখন স্ট্যাকের পরবর্তী স্তর একটি ইনপুট হিসাবে ব্যবহার করা হয়।
    আমরা জনপ্রিয় গভীর শিক্ষা অবকাঠামো, মত জনপ্রিয় অ্যাক্টিভেশন ফাংশন একটি বিশাল তালিকা থেকে নির্বাচন করতে পারবেন ReLU , সিগমা , TANH , এবং অনেক অন্যদের। তবে, আপনার মডেলের জন্য বিশেষভাবে কাস্টমাইজড আর্ট মডেলটি তৈরি করার জন্য, আপনাকে একটি কাস্টম অ্যাক্টিভেশন ফাংশন ব্যবহার করতে হবে, যা আপনি ব্যবহার করছেন এমন ডিপ লার্নিং ফ্রেমওয়ার্কে অনুপস্থিত।
    Tensorflow একটি দুর্দান্ত সরঞ্জাম যা বাস্তবায়ন বাস্তবায়নের মাধ্যমে গভীর শিক্ষার সাথে কাজ করে এবং অনেকগুলি ক্রিয়াকলাপ রয়েছে যা আপনি সহজেই জটিল জটিল সমস্যার জন্য কাজ করতে পারেন যেমন কম্পিউটার ভিশন, প্রাকৃতিক ভাষা প্রক্রিয়াকরণ, বক্তৃতা স্বীকৃতি, মেশিন অনুবাদ ইত্যাদি। এই পোস্টে, আমি রিলু 6 এবং ল্যাকি রেলে অ্যাক্টিভেশন ফাংশনটির সমন্বয় শুরু করছি, যা টেন্সরফ্লো লাইব্রেরিতে প্রাক-প্রয়োগ করা ফাংশন হিসাবে উপলব্ধ নয়। অ্যাক্টিভেশন ফাংশন হিসাবে সংজ্ঞায়িত করা হয়:




    কাস্টম অ্যাক্টিভেশন ফাংশন

    টেন্সরফ্লো এবং কেরাসের শক্তিটি হল, যদিও এটি ফাংশনের বিভাজনকে গণনা করার একটি প্রবণতা রয়েছে, তবে যদি আপনার কোন অ্যাক্টিভেশন ফাংশন থাকে যা ইনপুট সীমার উপর পরিবর্তিত হয়। এই বাস্তবায়ন ছবি মধ্যে আসে যেখানে। আসুন আমাদের কোড এ বাস্তবায়ন শুরু করি।
    Import the required Libraries.
    Define the activation function as a normal python function.
    Vectorize the python function.
    কেন ফাংশন ভেক্টরাইজিং?
    একটি ভেক্টরাইজড ফাংশন ইনপুট হিসাবে বস্তুর একটি নিস্তেজ ক্রম বা নুপি অ্যারে নেয় এবং আউটপুট হিসাবে numpy অ্যারের একটি একক বা tuple প্রদান করে। একটি ফাংশন ভেক্টরাইজিং আমাদের বাস্তবায়ন সাধারণীকরণের জন্য কোন ইনপুট আকৃতি এবং আকার মোকাবেলা করতে সাহায্য করে। ভেক্টরাইজডের আউটপুট এর ডাটা টাইপ ফাংশনকে ইনপুটের প্রথম উপাদান দিয়ে কল করে নির্ধারিত হয়।
    এখন আমাদের সক্রিয়করণ ফাংশন এর ডেরিভেটিভ সংজ্ঞায়িত করা যাক যাতে এটি ব্যাকপ্রোপাগেশনের সময় ব্যবহার করা যেতে পারে।
    used during backpropagation.
    গ্রেডিয়েন্ট ফাংশন: একটি গ্রেডিয়েন্ট একটি ভেক্টর । তার উপাদান একটি ফাংশন আংশিক ডেরিভেটিভ গঠিত এবং ফাংশন বৃদ্ধি সর্বোচ্চ হার দিক নির্দেশ করে। সুতরাং উদাহরণস্বরূপ, যদি আপনার ফাংশন f (x1, ... xn) থাকে, তবে তার গ্রেডিয়েন্টে এন আংশিক ডেরিভেটিভস থাকবে এবং ভেক্টর ক্ষেত্রটি উপস্থাপন করবে।
    op সমস্ত পাস ভেরিয়েবল রয়েছে; ধীরে ধীরে - ব্যাকপ্রোপাগেশন থেকে প্রবাহিত গ্রেডিয়েন্ট।
    tf.register গ্রেডিয়েন্ট আপনাকে গ্রেডিয়েন্টকে ওভাররাইড করতে দেয়।
    gradient_override_map ( op_type_map ) যেখানে op_type_map একটি অভিধান ({"PyFunc": rnd_name}) বিকল্প অপারেটিং টাইপ স্ট্রিংগুলিতে অপারেটিং টাইপ স্ট্রিংগুলি।
    Gradient_override_map, প্রেক্ষাপট ব্যবস্থাপকটি "রেন_নাম" ফাংশন (আমাদের ক্ষেত্রে PyFuncGrad) ম্যাপিংয়ের জন্য "পয়ফুকেসি" ফাংশনের গ্রেডিয়েন্টকে প্রসঙ্গের সুযোগের মধ্যে ব্যবহার করতে ব্যবহৃত হয়।
    tf.py_func()অপারেটর আপনি একটি TensorFlow গ্রাফ মাঝখানে নির্বিচারে পাইথন কোড রান করতে সক্ষম করে। এটি বিশেষভাবে সুবিধাজনক নুপ্পি অপারেটরগুলিকে মোড়ানো করার জন্য বিশেষত সুবিধাজনক, যার জন্য কোন সমতুল্য তলফ্লো অপারেটর (এখনো) নেই। যোগ tf.py_func()হচ্ছে sess.run()গ্রাফ ভিতরে কল ব্যবহার করার জন্য একটি বিকল্প । এখানেtf.py_func সম্পর্কে আরও জানুন 
    এটিকে একত্রিত করা: এখন আমাদের সব টুকরা আছে, আমরা তাদের একত্রিত করতে পারি:
    সিএনএন মডেল:
    লোড প্রশিক্ষণ এবং eval তথ্য
    # Estimator তৈরি করুন
    প্রস্তাবিত অ্যাক্টিভেশন ফাংশনটি রেলে অস্তিত্বের সংস্করণগুলির চেয়ে ভাল নাও হতে পারে। আপনার সিস্টেমে কোড চালানোর চেষ্টা করুন। মন্তব্য আপনার প্রশ্ন এবং পরামর্শ পোস্ট করুন। আমি আপনার প্রশ্নের উত্তর খুশি হবে। এই টিউটোরিয়াল থেকে সমস্ত কোড GitHub এ উপলব্ধ । জন্য প্রয়োগ কাস্টম অ্যাক্টিভেশন ফাংশন অন্যান্য উদাহরণ PyTorch এবং Keras ।





  • 0 comments:

    Post a Comment

    New Research

    Attention Mechanism Based Multi Feature Fusion Forest for Hyperspectral Image Classification.

    CBS-GAN: A Band Selection Based Generative Adversarial Net for Hyperspectral Sample Generation.

    Multi-feature Fusion based Deep Forest for Hyperspectral Image Classification.

    ADDRESS

    388 Lumo Rd, Hongshan, Wuhan, Hubei, China

    EMAIL

    contact-m.zamanb@yahoo.com
    mostofa.zaman@cug.edu.cn

    TELEPHONE

    #
    #

    MOBILE

    +8615527370302,
    +8807171546477