10 ডিপ লার্নিং পদ্ধতি এআই অনুশীলনকারীদের আবেদন করতে হবে
গত দশক ধরে মেশিন লার্নিংয়ের আগ্রহ আগ্রহের মধ্যে পড়েছে। আপনি কম্পিউটার বিজ্ঞান প্রোগ্রাম, শিল্প সম্মেলন, এবং ওয়াল স্ট্রিট জার্নাল প্রায় প্রতিদিন দৈনিক মেশিন লার্নিং দেখতে। মেশিন লার্নিং সম্পর্কে সমস্ত কথাবার্তার জন্য, অনেকেই যা করতে পারে তা নিয়ে এটি কী করতে পারে তা স্বীকার করে। মূলত, মেশিন লার্নিং কাঁচা তথ্য থেকে তথ্য আহরণের এবং কিছু ধরণের মডেলের প্রতিনিধিত্ব করার জন্য অ্যালগরিদমগুলি ব্যবহার করছে। আমরা এখনও মডেল করা না যে অন্যান্য তথ্য সম্পর্কে জিনিস নির্ণয় করার জন্য আমরা এই মডেল ব্যবহার। স্নায়ু নেটওয়ার্ক মেশিন লার্নিং জন্য মডেল এক ধরনের; তারা অন্তত 50 বছর ধরে প্রায় হয়েছে। একটি নিউরাল নেটওয়ার্ক মৌলিক ইউনিট একটি নোড, যা ধীরে ধীরে স্তন্যপায়ী মস্তিষ্কের জৈব নিউরন উপর ভিত্তি করে। নিউরনের সংযোগগুলিও জৈবিক মস্তিষ্কের উপর ভিত্তি করে তৈরি করা হয়, যেমনভাবে এই সংযোগগুলি সময়ের সাথে সাথে বিকশিত হয় ("প্রশিক্ষণ" সহ)। 1980 এর দশকের মাঝামাঝি এবং 1990 এর দশকের প্রথম দিকে, নিউরোল নেটওয়ার্কের মধ্যে অনেক গুরুত্বপূর্ণ স্থাপত্যের উন্নতি ঘটে। যাইহোক, ভাল ফলাফল পেতে সময় এবং ডেটা পরিমাণ পরিমাণ গ্রহণ হ্রাস, এবং এইভাবে সুদ ঠান্ডা। 2000 এর দশকের প্রথম দিকে, কম্পিউটেশাল শক্তি দ্রুতগতিতে বিস্তৃত হয়েছিল এবং শিল্পটি কম্পিউটেশনাল কৌশলগুলির একটি "ক্যামব্রিয়ান বিস্ফোরণ" দেখেছিল যা পূর্বে এটি সম্ভব ছিল না। গভীর দশকটি সেই দশকের বিস্ফোরক কম্পিউটেশনাল বৃদ্ধি থেকে মাঠে গুরুতর প্রতিযোগী হিসাবে আবির্ভূত হয়েছিল, অনেক গুরুত্বপূর্ণ মেশিন লার্নিং প্রতিযোগিতা জিতেছিল। ২017 সাল হিসাবে সুদ কমেছে না; আজ, আমরা মেশিন লার্নিং এর প্রতিটি কোণে উল্লেখ গভীর শিক্ষা শেখা।


নিজেকে উন্মাদ করার জন্য, আমি উদাসিটির "গভীর শিক্ষার" কোর্সটি গ্রহণ করি, যা গভীর শিক্ষার প্রেরণা এবং বুদ্ধিমান সিস্টেমগুলির ডিজাইনের একটি দুর্দান্ত ভূমিকা যা টেন্সরফ্লোতে জটিল এবং / অথবা বড় আকারের ডেটাসেট থেকে শিখতে পারে। ক্লাস প্রোজেক্টগুলির জন্য, আমি ক্রভোলিউশনের সাথে ছবির স্বীকৃতির জন্য স্নায়ু নেটওয়ার্কগুলি ব্যবহার করেছি এবং রিক্রুेंट নিউরাল নেটওয়ার্ক / লং শর্ট-টার্ম মেমরির সাথে এম্বেডিং এবং চরিত্র ভিত্তিক পাঠ্য প্রজন্মের সাথে প্রাকৃতিক ভাষা প্রক্রিয়াকরণের জন্য উন্নত করেছি। বুধবার নোটবুকের সমস্ত কোড এই গিটহাব রেপোজিটরিতে পাওয়া যাবে। 
এখানে অ্যাসাইনমেন্টগুলির একটি ফলাফল, শব্দ ভেক্টরগুলির একটি টি-এসএনই অভিক্ষেপ, অনুরূপতা দ্বারা ক্লাস্টার।



এখানে এমন অনেক প্রকাশনা রয়েছে যা ক্ষেত্রের বিকাশে অতিশয় প্রভাবশালী হয়েছে:

1. Gradient-Based Learning Applied to Document Recognition এনওয়াইইউর গ্রেডিয়েন্ট-ভিত্তিক লার্নিং অ্যাপলড টু ডকুমেন্ট রিকোনিশন (1998), যা কনভোলিউশনাল নিউরাল নেটওয়ার্ককে মেশিন লার্নিং ওয়ার্ল্ডের সাথে উপস্থাপন করে।
2. Deep Boltzmann Machines (2009),টরন্টো এর ডিপ বোল্টজমান মেশিন (২009), যা বল্টজমান মেশিনগুলির জন্য একটি নতুন লার্নিং অ্যালগরিদম উপস্থাপন করে যা লুকানো ভেরিয়েবলের অনেক স্তর ধারণ করে।
3. স্ট্যানফোর্ড এবং গুগল এর Building High-Level Features Using Large-Scale Unsupervised Learning (2012),বিল্ডিং উচ্চ-স্তরীয় বৈশিষ্ট্যগুলি লার্জ-স্কেলে অ-সুপারভাইজড লার্নিং (2012) ব্যবহার করে, যা কেবলমাত্র ল্যাবলেটেড ডেটা থেকে উচ্চ-স্তর, শ্রেণি-নির্দিষ্ট বৈশিষ্ট্য ডিটেক্টর নির্মাণের সমস্যাটি মোকাবেলা করে।
4.  DeCAF — A Deep Convolutional Activation Feature for Generic Visual Recognition (2013)বার্কলে এর ডিসিএএফ - জেনেরিক ভিজুয়াল রেকগনিশন (2013) এর একটি ডিপ কনভোলিউশনাল অ্যাক্টিভেশন ফিচার, যা ডিসিসিএএফকে প্রকাশ করে, যা গভীর সংশ্লেষিক অ্যাক্টিভেশন বৈশিষ্ট্যগুলির একটি মুক্ত-উত্স বাস্তবায়ন প্রকাশ করে, সমস্ত সংশ্লিষ্ট নেটওয়ার্ক পরামিতি সহ দৃষ্টি গবেষকরা গভীরভাবে পরীক্ষা পরিচালনা করতে সক্ষম হবেন চাক্ষুষ ধারণা শেখার paradigms একটি পরিসীমা জুড়ে উপস্থাপনা।
5. Deepmind's Playing Atari with Deep Enforcement Learning (2016), যা শক্তিশালীকরণ নীতি শেখার মাধ্যমে সরাসরি উচ্চ-মাত্রিক সংজ্ঞাবহ ইনপুট থেকে সরাসরি নিয়ন্ত্রণ নীতিগুলি শিখতে 1 ম গভীর শিক্ষণ মডেল উপস্থাপন করে।

গভীর শিক্ষা সম্পর্কে প্রচুর জ্ঞানের প্রচুর পরিমাণে আমি গবেষণা এবং শেখার মাধ্যমে শিখেছি। এখানে আমি 10 শক্তিশালী গভীর শিক্ষার পদ্ধতি শেয়ার করতে চাই, এআই ইঞ্জিনিয়াররা তাদের মেশিন লার্নিং সমস্যার জন্য আবেদন করতে পারেন। কিন্তু সর্বোপরি, আসুন গভীর শিক্ষার সংজ্ঞা দিন। গভীর শেখার অনেকের জন্য সংজ্ঞা দেওয়ার একটি চ্যালেঞ্জ হয়েছে কারণ এটি গত দশকে ধীরে ধীরে রূপগুলিকে পরিবর্তিত করেছে। দৃষ্টিকোণ থেকে গভীরভাবে শেখার জন্য, নীচের চিত্রটি এআই, মেশিন লার্নিং এবং গভীর শিক্ষার সম্পর্কের ধারণা ধারণ করে।




AI এর ক্ষেত্র বিস্তৃত এবং দীর্ঘ সময়ের জন্য প্রায় হয়েছে। গভীর শেখার মেশিন শেখার ক্ষেত্রের একটি উপসেট, যা এআই এর একটি উপপরিচালক। "“canonical”আনুশাসনিকক্যানোনিকাল" ফিড ফরওয়ার্ড মাল্টিলেয়ার নেটওয়ার্কগুলি থেকে সাধারণভাবে গভীর শিক্ষার নেটওয়ার্কগুলিকে আলাদা করে এমন দিকগুলি নিম্নরূপ:

1. More neurons than previous networks
2. More complex ways of connecting layers
3. “Cambrian explosion” of computing power to train
4. Automatic feature extraction

যখন আমি "আরও নিউরনস" বলি, তখন আমি আরো জটিল মডেলগুলি প্রকাশ করতে বছরগুলিতে নিউরন গণনা বৃদ্ধি পেয়েছি। কনভারিউশনাল নিউরাল নেটওয়ার্কে স্তরের মধ্যে নিউরনের স্থানীয়ভাবে সংযুক্ত প্যাচ এবং পুনরাবৃত্ত নিউরাল নেটওয়ার্কগুলিতে একই নিউরনের সাথে পুনর্নবীকরণ সংযোগ (পূর্ববর্তী স্তর থেকে সংযোগগুলি ছাড়াও) প্রতিটি লেয়ার থেকে মাল্টিলেয়ার নেটওয়ার্কগুলিতে পুরোপুরি সংযুক্ত প্রতিটি স্তর থেকেও স্তরগুলি উন্নত হয়েছে।

ডিপ লার্নিং তারপর চার মৌলিক নেটওয়ার্ক আর্কিটেকচারে একাধিক পরামিতি এবং স্তর সহ নিউরাল নেটওয়ার্ক হিসাবে সংজ্ঞায়িত করা যেতে পারে:

1. Unsupervised Pre-trained Networks
2. Convolutional Neural Networks
3. Recurrent Neural Networks
4. Recursive Neural Networks

এই পোস্টে, আমি প্রধানত পরবর্তী 3 আর্কিটেকচার আগ্রহী। একটি কনভোলিউশন নিউরাল নেটওয়ার্ক মূলত একটি স্ট্যান্ডার্ড নিউরাল নেটওয়ার্ক যা ভাগ করা ওজন ব্যবহার করে স্থান জুড়ে প্রসারিত করা হয়েছে। সিএনএন ভেতরে কল্পনা দ্বারা চিত্র সনাক্ত করার জন্য ডিজাইন করা হয়েছে, যা ছবিতে স্বীকৃত কোন বস্তুর প্রান্তগুলি দেখতে পায়। একটি পুনরাবৃত্ত নিউরাল নেটওয়ার্ক মূলত একটি স্ট্যান্ডার্ড নিউরাল নেটওয়ার্ক যা একই সময়ে পরবর্তী স্তরে যাওয়ার পরিবর্তে পরবর্তী প্রান্তে যেগুলি প্রান্তগুলি খায় সেগুলি ধরে সময় জুড়ে বিস্তৃত করা হয়। RNN ক্রম সংকেত সনাক্ত করার জন্য ডিজাইন করা হয়েছে, উদাহরণস্বরূপ, একটি বক্তৃতা সংকেত বা একটি টেক্সট। এর ভিতরে চক্র রয়েছে যা নেটের সংক্ষিপ্ত স্মৃতির উপস্থিতি বোঝায়। একটি পুনর্ব্যবহারযোগ্য নিউরাল নেটওয়ার্কটি হিপার্কিকাল নেটওয়ার্কের মতো আরও বেশি যেখানে ইনপুট ক্রমটির কোনও সময় দৃষ্টিভঙ্গি নেই তবে ইনপুটটিকে গাছের ফ্যাশনে অনুক্রমিকভাবে প্রক্রিয়া করতে হবে। নিচের 10 টি পদ্ধতি এই সমস্ত আর্কিটেকচারগুলিতে প্রয়োগ করা যেতে পারে।

1 — Back-Propagation

1 - ব্যাক-প্রচার ব্যাক-প্রপ কেবল একটি ফাংশনের আংশিক ডেরাইভেটিভস (বা গ্রেডিয়েন্ট) গণনা করার একটি পদ্ধতি যা একটি ফাংশন রচনা (যেমন নিউরাল নেটগুলিতে) হিসাবে ফর্ম রয়েছে। যখন আপনি একটি গ্রেডিয়েন্ট-ভিত্তিক পদ্ধতি ব্যবহার করে একটি অপ্টিমাইজেশান সমস্যা সমাধান করেন (গ্রেডিয়েন্ট বংশবৃদ্ধি কেবল তাদের মধ্যে একটি), আপনি প্রতিটি পুনরাবৃত্তি এ ফাংশন গ্রেডিয়েন্ট গণনা করতে চান।

একটি নিউরাল নেট জন্য, উদ্দেশ্য ফাংশন একটি গঠন ফর্ম আছে। আপনি কিভাবে গ্রেডিয়েন্ট গণনা করবেন? এটি করার 2 টি সাধারণ উপায় রয়েছে: (i) বিশ্লেষণাত্মক বৈষম্য। আপনি ফাংশন ফর্ম জানেন। আপনি শুধু শৃঙ্খল নিয়ম (মৌলিক ক্যালকুলাস) ব্যবহার করে ডেরিভেটিভ গণনা। (ii) সীমাবদ্ধ পার্থক্য ব্যবহার করে আনুমানিক পার্থক্য। এই পদ্ধতিটি তুলনামূলকভাবে ব্যয়বহুল কারণ ফাংশন মূল্যায়ন সংখ্যা O (N), যেখানে N পরামিতির সংখ্যা। এটি বিশ্লেষণমূলক বৈষম্যের তুলনায় ব্যয়বহুল। ডিজিগিংয়ের সময় ফিনিট পার্থক্য, তবে, সাধারণত একটি ব্যাক-প্রোট বাস্তবায়ন যাচাই করতে ব্যবহৃত হয়।

2 — Stochastic Gradient DescentStochastic গ্রেডিয়েন্ট বংশবৃদ্ধি

গ্রেডিয়েন্ট বংশের কথা মনে করার একটি স্বজ্ঞাত উপায় হল পাহাড়ের উপরে থেকে উৎপন্ন একটি নদীর পথ কল্পনা করা। গ্রেডিয়েন্ট বংশের লক্ষ্যটি ঠিক যেটি নদীটি অর্জনের চেষ্টা করে - অর্থাত্, পর্বত থেকে নিচে আরোহণ করে নিচের দিকে (পাদদেশে) নীচে পৌঁছান। এখন, যদি পাহাড়ের ভূখণ্ডটি এমনভাবে আকার ধারণ করা হয় যে তার চূড়ান্ত গন্তব্যে পৌঁছানোর আগে নদীটি সম্পূর্ণরূপে কোথাও থামাতে হবে না (যা পাদদেশে সর্বনিম্ন পয়েন্ট, তবে এটি আদর্শ আদর্শ যা আমরা চাই)। মেশিন লার্নিং এ, এই পরিমাণে বলার অপেক্ষা রাখে না যে, আমরা প্রাথমিক বিন্দু (পাহাড়ের উপরে) থেকে শুরু হওয়া সমাধানটির বিশ্বব্যাপী সর্বাধিক (বা সর্বোত্তম) খুঁজে পেয়েছি। তবে, এটি হতে পারে যে ভূখণ্ডের প্রকৃতিটি পথের কয়েকটি পট নদী যা ফাঁদে আটকাতে পারে এবং স্থগিত হতে পারে। মেশিন লার্নিং পদগুলিতে, এই পটগুলিকে স্থানীয় মিনিমা সমাধান হিসাবে অভিহিত করা হয়, যা অনুকূল নয়। এর বাইরে যাওয়ার উপায়গুলি রয়েছে (যা আমি নই আলোচনা)।

তাই Gradient Descentগ্র্যাডিয়েন্ট ডিসেন্ট স্থানীয় অঞ্চলে প্রকৃতির উপর নির্ভর করে (অথবা এমএল পদগুলিতে ফাংশন) নির্ভর করে। কিন্তু, যখন আপনার একটি বিশেষ ধরনের পর্বত ভূখণ্ড থাকে (যা একটি বাটি মত আকারে হয়, এমএল পদগুলিতে এটি একটি কনভেক্স ফাংশন বলা হয়), অ্যালগরিদম সর্বদা সর্বোত্তম খুঁজতে গ্যারান্টিযুক্ত। আপনি আবার একটি নদী অঙ্কন এই কল্পনা করতে পারেন। এই ধরনের বিশেষ ভূখণ্ড (A.K.A. convex ফাংশন) সবসময় এমএল অপ্টিমাইজেশান জন্য একটি আশীর্বাদ। এছাড়াও, পর্বতের শীর্ষস্থানে যেখানে আপনি প্রাথমিক সূচনা (অর্থাৎ ফাংশনের প্রাথমিক মান) থেকে শুরু করে তার উপর নির্ভর করে, আপনি একটি ভিন্ন পথ অনুসরণ করতে পারেন। একইভাবে, নদীর গতির গতির উপর নির্ভর করে (অর্থাৎ শিক্ষানবিস হার বা গ্রেডিয়েন্ট বংশের অ্যালগরিদমের ধাপের আকার), আপনি অন্যভাবে চূড়ান্ত গন্তব্যে পৌঁছাতে পারেন। এই উভয় মানদণ্ড আপনি একটি পিট (স্থানীয় minima) মধ্যে পড়ে কিনা তা প্রভাবিত করতে পারেন বা এড়াতে পারবেন।

3 — Learning Rate Decay

আপনার stochastic গ্রেডিয়েন্ট বংশবৃদ্ধি অপ্টিমাইজেশান পদ্ধতির জন্য শেখার হার Adapting কর্মক্ষমতা বৃদ্ধি এবং প্রশিক্ষণ সময় কমাতে পারেন। কখনও কখনও এই শেখার হার annealing বা অভিযোজিত শেখার হার বলা হয়। প্রশিক্ষণের সময় শেখার হারের সর্বাধিক এবং সম্ভবত সর্বাধিক ব্যবহৃত অভিযোজন এমন কৌশল যা সময়ের সাথে সাথে শিক্ষার হার কমাতে পারে। বড় শিক্ষার হার মান ব্যবহার করা হয় যখন প্রশিক্ষণ পদ্ধতির প্রারম্ভে বড় পরিবর্তন করার সুবিধা এবং এই প্রশিক্ষণ পদ্ধতিতে ছোট হার এবং অতএব ছোট প্রশিক্ষণ আপডেটগুলি হ্রাসের পরে ছোট প্রশিক্ষণের আপডেটগুলি হ্রাস করা হয়। এটি দ্রুত ভাল ওজনগুলি শিখতে দ্রুত এবং পরে সূক্ষ্ম টিউন করার প্রভাব রয়েছে। নিম্নোক্ত দুটি জনপ্রিয় এবং সহজ লার্নিং রেট ক্ষয় ব্যবহার করা হয়: 

1. যুগের উপর ভিত্তি করে ধীরে ধীরে শিক্ষার হার হ্রাস করুন।
2.  নির্দিষ্ট যুগে বিরাট বড় ড্রপ ব্যবহার করে শেখার হার হ্রাস করুন।
3. Two popular and easy to use learning rate decay are as follows:

• Decrease the learning rate gradually based on the epoch.
• Decrease the learning rate using punctuated large drops at specific epochs.