Blog of SH

URL: https://www.youtube.com/playlist?list=PLeo1K3hjS3uvCeTYTeyfe0-rN5r8zn9rw Title: Machine Learning Tutorial Python | Machine Learning For Beginners Topics:- মেশিন লার্নিং কী? খুব সহজ বাংলায় পরিচিতি লিনিয়ার রিগ্রেশন দিয়ে বাড়ির দাম প্রেডিক্ট করা মাল্টিপল লিনিয়ার রিগ্রেশন: সহজ বাংলায় ব্যাখ্যা মেশিন লার্নিংয়ের মূল মন্ত্র: গ্রেডিয়েন্ট ডিসেন্ট এবং কস্ট ফাংশন মেশিন লার্নিং মডেল সেভ করা: Pickle ও Joblib এর ব্যবহার মেশিন লার্নিং-এ ডামি ভেরিয়েবল এবং ওয়ান হট এনকোডিং মেশিন লার্নিংয়ে ডেটা ভাগ করা: Training এবং Testing মেশিন লার্নিংয়ের লজিস্টিক রিগ্রেশন (Logistic Regression) বোঝা লজিস্টিক রিগ্রেশন: মাল্টিক্লাস ক্লাসিফিকেশন (সহজ বাংলায়) মেশিন লার্নিং-এ ডিসিশন ট্রি (Decision Tree) বুঝুন সহজ বাংলায় সাপোর্ট ভেক্টর মেশিন (SVM) সহজ ভাষায় র‍্যান্ডম ফরেস্ট (Random Forest) মেশিন লার্নিং টিউটোরিয়াল মেশিন লার্নিং-এ 'K-Fold Cross Validation' কেন প্রয়োজন? মেশিন লার্নিং: K-Means ক্লাস্টারিং অ্যালগরিদম শেখা মেশিন লার্নিং-এ নেভ বেয়েস (Naive Bayes) অ্যালগরি...

ভূমিকা মেশিন লার্নিং বা এআই (AI) প্রজেক্টের সবচেয়ে গুরুত্বপূর্ণ ধাপ হলো প্রচুর পরিমাণে সঠিক ডেটা বা তথ্য সংগ্রহ করা। আপনি যদি একটি কম্পিউটারকে শেখাতে চান যে কোন ছবিটি কার (যেমন- মারিয়া শারাপোভা বা অন্য কেউ), তবে তাকে ওই ব্যক্তির প্রচুর ছবি দেখাতে হবে। এই ভিডিওটিতে ডেটা সংগ্রহের চারটি কার্যকরী উপায় নিয়ে আলোচনা করা হয়েছে। ১. ম্যানুয়ালি বা হাতে-কলমে ছবি ডাউনলোড করা রেফারেন্স: ভিডিও থেকে পর্যন্ত। এটি হলো সবচেয়ে সহজ পদ্ধতি। আপনি গুগল ইমেজ-এ গিয়ে ছবিগুলো একটি একটি করে ডাউনলোড করবেন। সুবিধা: যদি আপনার খুব কম সংখ্যক (যেমন ৫০টি) ছবির প্রয়োজন হয়, তবে এই পদ্ধতিটিই সেরা এবং ঝামেলামুক্ত। অসুবিধা: যদি আপনার হাজার হাজার ছবির প্রয়োজন হয়, তবে এটি অনেক সময়সাপেক্ষ এবং ক্লান্তিকর কাজ। ২. ওয়েব স্ক্র্যাপিং বা অটোমেশনের মাধ্যমে ছবি সংগ্রহ রেফারেন্স: ভিডিও থেকে পর্যন্ত। এখানে আপনি পাইথন কোড এবং অটোমেশন সফটওয়্যার ব্যবহার করে স্বয়ংক্রিয়ভাবে গুগল থেকে ছবি নামাতে পারেন। সেলেনিয়াম (Selenium): এটি একটি অটোমেশন টুলের নাম। এটি এমনভাবে কাজ করে যেন কোনো মানুষ নিজে ব্রাউজারে গিয়ে ক্লিক করছে, ...

ভূমিকা (Introduction) এই ভিডিওটিতে দেখানো হয়েছে কীভাবে একটি মেশিন লার্নিং মডেলকে প্রশিক্ষণ (Training) দিতে হয় এবং তার পারফরম্যান্স যাচাই করতে হয়। মূলত ইমেজ ক্লাসিফিকেশন বা ছবি দেখে তা শনাক্ত করার প্রজেক্টের ওপর ভিত্তি করে এটি তৈরি। এখানে বিভিন্ন অ্যালগরিদম ব্যবহার করে দেখা হয়েছে কোনটি ভালো কাজ করে এবং শেষে সেই মডেলটিকে সেভ করে রাখা হয়েছে যাতে পরে ব্যবহার করা যায়। ভিডিও রেফারেন্স এই আলোচনার মূল ভিডিওটি এখানে দেওয়া হলো: Data Science & Machine Learning Project - Part 5 Training a Model | Image Classification ১. ডেটা প্রস্তুতি এবং মডেল ট্রেনিং প্রজেক্টের শুরুতে ক্লিনিং করা ডেটা ব্যবহার করে মডেল তৈরি করা হয়েছে। প্রতিটি ছবিকে একটি ১-ডাইমেনশনাল অ্যারে (অ্যারে হলো অনেকগুলো তথ্যের তালিকা বা ডাটা স্ট্রাকচার) হিসেবে রূপান্তর করা হয়েছে যাতে কম্পিউটার সহজে বুঝতে পারে। মডেল: এখানে সাপোর্ট ভেক্টর মেশিন (SVM) ব্যবহার করা হয়েছে কারণ এটি ক্লাসিফিকেশনের ক্ষেত্রে বেশ ভালো কাজ করে। স্কেলিং: ডেটা স্কেল করার জন্য StandardScaler ব্যবহার করা হয়েছে। ট্রেনিং: মডেলটি fit মেথড ব্যবহার করে...

পরিচিতি মেশিন লার্নিং বা এআই মডেলে কোনো ছবি দেখে সেটা কার ছবি তা শনাক্ত করার আগে কিছু প্রস্তুতিমূলক কাজ করতে হয়। আমরা গত ভিডিওগুলোতে ছবিগুলো ক্রপ (crop) বা কেটে ছোট করে নিয়েছিলাম। এই ভিডিওতে আমরা শিখব কীভাবে সেই ছবিগুলো থেকে গুরুত্বপূর্ণ তথ্য বা ফিচার (feature) বের করে আনা যায়। মূলত, কম্পিউটারের জন্য ছবির প্রতিটি পিক্সেলকে এমনভাবে তৈরি করা যাতে সে সহজেই মুখমন্ডলের বৈশিষ্ট্য (যেমন চোখ, নাক, ঠোঁট) বুঝতে পারে। এই প্রক্রিয়াকেই বলে 'ফিচার ইঞ্জিনিয়ারিং'। ওয়েভলেট ট্রান্সফর্ম কী? ভিডিও লিঙ্ক: https://www.youtube.com/watch?v=sWAPtaBZKBQ [ 00:07 ] ওয়েভলেট ট্রান্সফর্ম (Wavelet Transform) হলো একটি গাণিতিক পদ্ধতি, যা ব্যবহার করে ছবির গুরুত্বপূর্ণ অংশগুলো আলাদা করা যায়। সাধারণ রঙিন ছবিতে অনেক রঙের শেড থাকে, যা কম্পিউটার সহজে বুঝতে পারে না। ওয়েভলেট ট্রান্সফর্ম ছবিটিকে একটি বিশেষ ব্ল্যাক-অ্যান্ড-হোয়াইট ফরম্যাটে নিয়ে আসে, যেখানে চোখের কোণ, নাক বা ঠোঁটের মতো অংশগুলো খুব স্পষ্টভাবে ফুটে ওঠে। কম্পিউটারের জন্য এই তথ্যগুলোই আসল 'ফিচার'। সহজ ব্যাখ্যা: চিন্তা করুন একটি জটিল রান্না করা ...

ভূমিকা ডাটা সায়েন্স বা মেশিন লার্নিং প্রজেক্টের ক্ষেত্রে সবচেয়ে গুরুত্বপূর্ণ ধাপগুলোর একটি হলো 'ডাটা ক্লিনিং' বা ডাটা পরিষ্কার করা। অনেক সময় আমাদের ডাটা সেটে এমন কিছু অদ্ভুত বা ভুল তথ্য থাকে, যা মডেলের পারফরম্যান্স কমিয়ে দেয়। এই অদ্ভুত ডাটাগুলোকে বলা হয় 'আউটলায়ার' (Outliers)। আজকের এই ভিডিওটিতে আমরা দেখবো কীভাবে রিয়েল এস্টেট প্রজেক্টে এই আউটলায়ারগুলোকে চিহ্নিত করে রিমুভ বা বাদ দেওয়া যায়। আউটলায়ার (Outliers) কী? ভিডিও লিঙ্ক: https://www.youtube.com/watch?v=cbqZa_1vzcg সহজ কথায়, আউটলায়ার হলো এমন কিছু ডাটা পয়েন্ট যা বাকি ডাটা থেকে অনেক আলাদা। যেমন ধরুন, ৫০০ স্কয়ার ফিটের একটি ফ্ল্যাটে যদি ৫টি বেডরুম থাকে, তবে তা বাস্তবসম্মত নয়। এই ধরনের তথ্যগুলো ডাটা সেটে ভুল বা অস্বাভাবিক (Anomalies) হিসেবে গণ্য হয়। এগুলোকে বাদ না দিলে আমাদের মডেল ভুল প্রেডিকশন বা ভবিষ্যৎবাণী করতে পারে। ১. স্কয়ার ফিট প্রতি বেডরুমের ভিত্তিতে আউটলায়ার রিমুভ করা ভিডিও রেফারেন্স: [ 00:44 ] এখানে আমরা ব্যবসার এক্সপার্টদের সাথে কথা বলে একটি থ্রেশহোল্ড (Threshold) বা সীমা নির্ধারণ করি। যেমন, সাধারণত ৩০০ ...

ভূমিকা মেশিন লার্নিং বা ডাটা সায়েন্স প্রজেক্টের একটি অত্যন্ত গুরুত্বপূর্ণ ধাপ হলো 'ফিচার ইঞ্জিনিয়ারিং'। সহজ কথায়, আপনার কাছে থাকা ডাটাকে এমনভাবে সাজানো বা নতুন তথ্য যোগ করা যাতে মেশিন লার্নিং মডেল খুব সহজে প্যাটার্ন বুঝতে পারে। আজকের এই ভিডিওতে আমরা দেখব কিভাবে রিয়েল এস্টেট বা বাড়ির দামের ডাটাসেটে নতুন ফিচার তৈরি করতে হয় এবং কেন ডাটার আকার কমানো (Dimensionality Reduction) জরুরি। ১. নতুন ফিচার তৈরি: প্রাইস পার স্কয়ার ফিট (Price Per Square Feet) ভিডিও রেফারেন্স: [ 00:00 ] থেকে [ 01:44 ] আমরা বাড়ির মোট দাম এবং কত স্কয়ার ফিট জায়গা আছে তা জানি। কিন্তু বাড়ির দাম কেমন হবে তা বোঝার জন্য 'প্রতি স্কয়ার ফিট দাম' কত—সেটা জানা খুব জরুরি। এটি মডেলকে বুঝতে সাহায্য করে যে কোন এলাকা বা কোন ধরনের বাড়ির দাম তুলনামূলক বেশি বা কম। কোড স্নিপেট: Python # নতুন কলাম তৈরি: 'price_per_sqft' df5['price_per_sqft'] = df5['price'] * 100000 / df5['total_sqft'] ব্যাখ্যা: এখানে আমরা বাড়ির দামকে (যা লাখে আছে, তাই ১ লাখ দিয়ে গুণ করা হয়েছে) মোট স...

ভূমিকা এই ভিডিওতে আমরা শিখব কীভাবে 'Naive Bayes' (নাইভ বেয়েস) অ্যালগরিদম ব্যবহার করে কম্পিউটারকে দিয়ে ইমেইল 'স্প্যাম' (Spam) কি না তা শনাক্ত করা যায়। মেশিনের কাছে তো আর আমাদের মতো ভাষা বোঝার ক্ষমতা নেই, তাই টেক্সট বা ভাষাকে কীভাবে সংখ্যায় রূপান্তর করে মডেল ট্রেন করতে হয়, সেটিই এই টিউটোরিয়ালের মূল বিষয়। ডাটা প্রসেসিং (Data Processing) প্রথমে আমাদের হাতে থাকা ইমেইলের ডাটা সেটটিকে কম্পিউটারের উপযোগী করে তুলতে হবে। রেফারেন্স: [ 00:13 ] থেকে [ 01:58 ] আমাদের কাছে কিছু ইমেইল আছে, যার মধ্যে কিছু 'Ham' (ভালো ইমেইল) এবং কিছু 'Spam' (প্রয়োজনহীন বা ভুয়া ইমেইল)। কম্পিউটার যেহেতু শুধু সংখ্যা বোঝে, তাই আমাদের টেক্সট ডাটাকে সংখ্যায় রূপান্তর করতে হয়। সহজ ব্যাখ্যা: ধরো, তুমি একটি ইমেইল পড়লে এবং দেখলে তাতে লেখা "ফ্রি এন্ট্রি" বা "উইনার"। তুমি বুঝলে এটা স্প্যাম। কিন্তু কম্পিউটারকে এটা বোঝানোর জন্য আমরা ইমেইলগুলোকে ক্যাটাগরি অনুযায়ী ১ (স্প্যাম) এবং ০ (হ্যাম) দিয়ে মার্ক করে দিই। টেক্সট থেকে সংখ্যায় রূপান্তর (CountVectorizer) মেশিন লার্নিং মড...

ভূমিকা মেশিন লার্নিংয়ের দুনিয়ায় 'র‍্যান্ডম ফরেস্ট' (Random Forest) খুব জনপ্রিয় একটি অ্যালগরিদম। এটি মূলত রিগ্রেশন (Regression) এবং ক্লাসিফিকেশন (Classification) উভয় ক্ষেত্রেই ব্যবহৃত হয়। সহজ কথায় বলতে গেলে, র‍্যান্ডম ফরেস্ট হলো অনেকগুলো ডিসিশন ট্রি (Decision Tree)-এর একটি সমষ্টি। আজকের এই গাইডে আমরা সহজ বাংলায় বুঝব কীভাবে এটি কাজ করে এবং কীভাবে পাইথন কোডিংয়ের মাধ্যমে একে ব্যবহার করা যায়। ভিডিও রেফারেন্স এই বিষয়ের বিস্তারিত আলোচনার জন্য আপনারা কোডবেসিকস-এর এই ভিডিওটি দেখতে পারেন: র‍্যান্ডম ফরেস্ট টিউটোরিয়াল - https://www.youtube.com/watch?v=ok2s1vV9XW0 র‍্যান্ডম ফরেস্ট কী? 'ফরেস্ট' মানে হলো জঙ্গল, আর জঙ্গলে থাকে অনেক গাছ। এখানে একেকটি 'গাছ' বা 'ট্রি' হলো একটি ডিসিশন ট্রি । যখন আমরা একটি মাত্র ডিসিশন ট্রির বদলে অনেকগুলো ডিসিশন ট্রি ব্যবহার করি এবং তাদের সবার মতামতের ওপর ভিত্তি করে চূড়ান্ত সিদ্ধান্ত নিই, তখনই তাকে বলা হয় র‍্যান্ডম ফরেস্ট। সহজ উদাহরণ: ধরুন, আপনি কোনো কিছু কেনার আগে আপনার ৫ জন বন্ধুর কাছে পরামর্শ চাইলেন। সবাই তাদের নিজ নিজ যুক্তি দিল...

ভূমিকা মেশিন লার্নিং মডেলে সাধারণত সংখ্যা বা গাণিতিক ডেটা নিয়ে কাজ করা হয়। কিন্তু বাস্তব জীবনের ডেটায় অনেক সময় নাম বা ক্যাটাগরি (যেমন শহরের নাম, রঙের নাম) থাকে। এই ধরনের টেক্সট বা ক্যাটাগরি ডেটাকে মডেলে ব্যবহারের উপযোগী সংখ্যায় রূপান্তর করার পদ্ধতিই হলো ডামি ভেরিয়েবল এবং ওয়ান হট এনকোডিং। এই ভিডিওটিতে আমরা শিখব কীভাবে ক্যাটাগরিকাল ডেটাকে সঠিকভাবে প্রসেস করে লিনিয়ার রিগ্রেশন মডেলে ব্যবহার করা যায়। ১. ক্যাটাগরিকাল ডেটা কী? ভিডিও রেফারেন্স: [ 00:00 ] আমরা যখন কোনো ডেটাসেটে শহরের নাম বা কোনো ক্যাটাগরি দেখি, তখন সেগুলোকে বলা হয় ক্যাটাগরিকাল ভেরিয়েবল (Categorical Variable) । এগুলো প্রধানত দুই ধরণের হয়: নমিনাল (Nominal): এখানে ক্যাটাগরিগুলোর মধ্যে কোনো গাণিতিক ক্রম বা অর্ডার থাকে না। যেমন: শহরের নাম (ঢাকা, খুলনা, চট্টগ্রাম)। এখানে কোনো শহর অন্যটির চেয়ে বড় বা ছোট এমন কোনো গাণিতিক সম্পর্ক নেই। অর্ডিনাল (Ordinal): এখানে ক্যাটাগরিগুলোর মধ্যে একটি নির্দিষ্ট অর্ডার বা ক্রম থাকে। যেমন: শিক্ষাগত যোগ্যতা (ব্যাচেলর < মাস্টার্স < পিএইচডি)। সহজ ব্যাখ্যা: ক্যাটাগরিকাল ডেটা মানে হলো ...

পরিচিতি মেশিন লার্নিং (Machine Learning) হলো এমন একটি প্রযুক্তি যার মাধ্যমে কম্পিউটার কোনো ডেটা বা তথ্য দেখে নিজে থেকে শিখতে পারে এবং ভবিষ্যতে কী ঘটতে পারে তা অনুমান (predict) করতে পারে। এই টিউটোরিয়ালে আমরা পাইথন ব্যবহার করে খুব সহজ একটি মেশিন লার্নিং মডেল তৈরি করা শিখব। এর নাম হলো 'সিম্পল লিনিয়ার রিগ্রেশন' (Simple Linear Regression)। আমরা দেখব কীভাবে বাড়ির আয়তন (area) থেকে সেটির দাম কত হতে পারে, তা কম্পিউটারকে দিয়ে বের করানো যায়। লিনিয়ার রিগ্রেশন কী? [ভিডিও রেফারেন্স: https://www.youtube.com/watch?v=8jazNUpO3lQ ] সহজ কথায় বলতে গেলে, লিনিয়ার রিগ্রেশন হলো একটি গাণিতিক পদ্ধতি। ধরুন, আপনার কাছে কিছু বাড়ির আয়তন এবং সেগুলোর দামের তালিকা আছে। আপনি যদি একটি গ্রাফ পেপারে এগুলোকে বিন্দু (point) আকারে আঁকেন, তবে সব বিন্দু দিয়ে একটি সরলরেখা টেনে সেগুলোর ট্রেন্ড বা প্রবণতা বোঝা যায়। সহজ ব্যাখ্যা: যখন আমরা দেখি যে বাড়ির আয়তন বাড়লে দামও বাড়ে, তখন আমরা একটি সরলরেখা টেনে সেই সম্পর্কটি বোঝার চেষ্টা করি। একেই বলে লিনিয়ার রিগ্রেশন। এই রেখাটি ব্যবহার করে আমরা নতুন কোনো বাড়ির আয়তন জানা থাকল...

URL: https://www.youtube.com/watch?v=OsAiwPnIOhQ Title: 061) সূরা আছ ছফ (সারবন্দী সৈন্যদল) Surah As-Saff | الصّفّ Qari Shakir Qasmi | Mahfuz art of nature Topics:- পবিত্র সূরা আছ-ছফ-এর তিলাওয়াত

ভূমিকা পবিত্র কুরআনুল কারিমের ৬১ নম্বর সূরা হলো 'সূরা আছ-ছফ'। এই সূরাটি মাদানি সূরা, অর্থাৎ এটি মদিনায় অবতীর্ণ হয়েছে। 'আছ-ছফ' শব্দের অর্থ হলো 'সারিবদ্ধ সৈন্যদল'। এই সুরার মূল বিষয়বস্তু হলো আল্লাহর রাস্তায় দৃঢ়ভাবে অটল থাকা এবং ঈমানের ওপর অবিচল থাকার গুরুত্ব। এই ভিডিওটিতে কারি শাকির কাসমি অত্যন্ত সুন্দর ও সুললিত কণ্ঠে এই সূরার তিলাওয়াত করেছেন, যা শ্রোতার হৃদয়ে প্রশান্তি ও আল্লাহভীতি জাগ্রত করতে সহায়তা করে। সূরার মূল তিলাওয়াত ও বিষয়বস্তু [ভিডিও লিঙ্ক: https://www.youtube.com/watch?v=OsAiwPnIOhQ ] পুরো ভিডিও জুড়ে কারি শাকির কাসমি সূরা আছ-ছফের তিলাওয়াত করেছেন। এটি একটি চমৎকার তিলাওয়াত যা শ্রোতাকে সুরার আয়াতগুলোর গভীরতা অনুধাবনে সাহায্য করে। কিছু গুরুত্বপূর্ণ আয়াত ও তাদের সহজ অর্থ: ১. আল্লাহর তাসবিহ: সুরার শুরুতে বলা হয়েছে, আসমান ও জমিনে যা কিছু আছে সবকিছু আল্লাহর পবিত্রতা ঘোষণা করে। আল্লাহ পরাক্রমশালী ও প্রজ্ঞাময়। ২. বলার সাথে কাজের মিল: মুমিনদের উদ্দেশ্যে বলা হয়েছে, তোমরা এমন কথা কেন বলো যা তোমরা নিজেরা কাজ করো না? অর্থাৎ, ঈমানের দাবি অনুযায়ী আমল করা জরুরি...

ভূমিকা এই ভিডিওটিতে দেখানো হয়েছে কীভাবে একটি সাধারণ ওয়েবসাইট তৈরি করা যায়, যেখানে ইউজার কোনো সেলিব্রিটির ছবি ড্র্যাগ অ্যান্ড ড্রপ (টেনে এনে বসানো) করে দিলে ওয়েবসাইটটি শনাক্ত করতে পারবে যে সে কোন সেলিব্রিটি। এটি মূলত মেশিন লার্নিং এবং ওয়েব ডেভেলপমেন্টের একটি সুন্দর সমন্বয়। ভিডিওটি মূলত একটি প্রজেক্ট সিরিজের অংশ, যেখানে ৫ জন নির্দিষ্ট বিখ্যাত ব্যক্তির ওপর ফেস রিকগনিশন মডেল তৈরি করা হয়েছে। প্রজেক্টের সংক্ষিপ্ত বিবরণ ভিডিও লিঙ্ক: Data Science & Machine Learning Project - Part 7 Build Website এই প্রজেক্টে মূলত তিনটি প্রধান অংশ কাজ করেছে: ১. ফ্রন্টএন্ড (Frontend): ওয়েবসাইটটি দেখতে কেমন হবে এবং ইউজারের ইন্টারফেস কেমন হবে তা HTML, CSS এবং জাভাস্ক্রিপ্ট দিয়ে তৈরি করা হয়েছে। ২. ব্যাকএন্ড (Backend): এটি মূলত ওয়েবসাইটের মস্তিষ্ক। এখানে Python Flask ব্যবহার করা হয়েছে যা ইউজারের ছবি গ্রহণ করে এবং প্রসেস করে। ৩. ইন্টারকানেকশন (Interconnection): জেকুয়েরি (jQuery) ব্যবহার করা হয়েছে যাতে ফ্রন্টএন্ড থেকে ডেটা সরাসরি ব্যাকএন্ডে পাঠানো যায়। প্রযুক্তিগত কিছু সহজ ব্যাখ্যা অনেকের কাছেই এই শব্দগ...

ভূমিকা ডেটা সায়েন্স বা ডেটা অ্যানালাইসিসে কাজ করার সময় আমরা প্রায়ই এমন কিছু ডেটা বা তথ্য পাই, যা সাধারণ মানের চেয়ে অনেক বেশি বা অনেক কম হয়। এগুলোকে আমরা 'আউটলায়ার' (Outlier) বলি। এই আউটলায়ারগুলো আমাদের পুরো ডেটাসেটের ফলাফলকে ভুল দিকে নিয়ে যেতে পারে। এই টিউটোরিয়ালটিতে আমরা IQR (Interquartile Range) পদ্ধতি ব্যবহার করে কীভাবে খুব সহজে এই আউটলায়ারগুলোকে শনাক্ত করে বাদ দেওয়া যায়, তা শিখব। ১. আউটলায়ার কী? ভিডিও রেফারেন্স: [ 00:14 ] সহজ কথায়, একটি ডেটাসেটে যে মানগুলো বাকিদের থেকে অস্বাভাবিকভাবে আলাদা, সেগুলোই হলো আউটলায়ার। যেমন, কোনো মানুষের উচ্চতার তথ্যে যদি কারো উচ্চতা ১৪ ফুট বা ১.২ ফুট লেখা থাকে, তবে সেগুলো অবশ্যই ভুল বা অস্বাভাবিক ডেটা। সাধারণ মানুষের উচ্চতা সাধারণত নির্দিষ্ট একটি সীমার মধ্যে থাকে। সহজ ব্যাখ্যা: ধরুন, ক্লাসের সব শিক্ষার্থীর উচ্চতা ৫ থেকে ৬ ফুটের মধ্যে। কিন্তু হঠাৎ একজনের উচ্চতা যদি ১০ ফুট বলা হয়, তবে সেটিই আউটলায়ার কারণ এটি বাস্তবসম্মত নয়। ২. IQR বা Interquartile Range কী? ভিডিও রেফারেন্স: [ 00:43 ] IQR বিষয়টি বোঝার আগে আমাদের 'পার্সেন্টাইল...

ভূমিকা আমরা যখন কোন ডাটা নিয়ে কাজ করি, তখন অনেক সময় দেখা যায় কিছু ডাটা বা সংখ্যা বাকি সবগুলোর তুলনায় অনেক আলাদা বা অস্বাভাবিক। একেই বলা হয় 'আউটলিয়ার' (Outlier)। এই ভিডিওতে আমরা শিখব কীভাবে জ্যা-স্কোর (Z-score) এবং স্ট্যান্ডার্ড ডেভিয়েশন (Standard Deviation) ব্যবহার করে খুব সহজে এই অস্বাভাবিক ডাটাগুলোকে শনাক্ত করে বাদ দেওয়া যায়, যা আমাদের ডাটা অ্যানালাইসিস বা মেশিন লার্নিং মডেলকে আরও নির্ভুল করে তোলে। ১. আউটলিয়ার কী এবং কেন এটি বাদ দেওয়া দরকার? ভিডিও রেফারেন্স: [ 00:00 ] আউটলিয়ার হলো এমন কিছু ভ্যালু যা আপনার ডাটা সেটের বাকি ভ্যালুগুলোর তুলনায় অনেক বেশি বা অনেক কম। সহজ ভাষায়: ধরুন, একটি ক্লাসের সব ছাত্রের উচ্চতা ৫ ফিট থেকে ৬ ফিটের মধ্যে। কিন্তু হঠাৎ যদি একজনের উচ্চতা ৮ ফিট দেখা যায়, তবে সেই ৮ ফিটের ডাটাটি হলো আউটলিয়ার। এগুলো অনেক সময় ডাটা এন্ট্রির ভুল হতে পারে অথবা বিশেষ কোনো কেস হতে পারে। এগুলো বাদ দিলে আমাদের মডেল আরও ভালো কাজ করে। ২. নরমাল ডিস্ট্রিবিউশন (Normal Distribution) বোঝা ভিডিও রেফারেন্স: [ 02:13 ] আমাদের ডাটাগুলো দেখতে কেমন বা কীভাবে ছড়িয়ে আছে, তা ব...

ভূমিকা ডেটা অ্যানালাইসিস বা ডেটা নিয়ে কাজ করার সময় অনেক সময় আমরা এমন কিছু ভ্যালু বা ডেটা পয়েন্ট দেখি, যা বাকি সব ডেটার থেকে একদম আলাদা। যেমন—মানুষের বয়সের ডেটা সেটে যদি কারো বয়স ১০০০ বছর লেখা থাকে, সেটা অসম্ভব। এই অদ্ভুত বা অস্বাভাবিক ডেটা পয়েন্টগুলোকেই বলা হয় আউলায়ার (Outlier) । এগুলো আমাদের মডেল বা অ্যানালাইসিসকে ভুল পথে চালিত করতে পারে। আজকের এই টিউটোরিয়ালে আমরা শিখব কীভাবে পার্সেন্টাইল (Percentile) পদ্ধতি ব্যবহার করে খুব সহজে এই আউলায়ারগুলো শনাক্ত করে সরিয়ে ফেলা যায়। আউলায়ার কী এবং কেন সরাবেন? [ 00:00 ] আউলায়ার হলো এমন ডেটা যা সাধারণ প্যাটার্নের সাথে মেলে না। এটি দুই কারণে হতে পারে: ১. ডেটা কালেকশনের ভুল: যেমন—কারো উচ্চতা ১৪ ফুট হওয়া। এটি নিশ্চিতভাবে একটি ভুল তথ্য। ২. স্বাভাবিক ভিন্নতা: অনেক সময় ডেটা সঠিক হতে পারে, কিন্তু সেটি বাকি ডেটার থেকে অনেক দূরে অবস্থিত (যেমন—অস্বাভাবিক বেশি দামের বাড়ি)। এগুলোকে সরিয়ে ফেলা জরুরি, কারণ এগুলো আপনার পরিসংখ্যান বা মডেলের ক্যালকুলেশনকে প্রভাবিত করে এবং ফলাফলে ভুল আনে। পার্সেন্টাইল কী? (সহজ ব্যাখ্যা) পার্সেন্টাইল হলো ডেটার অবস্থানের ...

ভূমিকা আমরা যখন ডেটা নিয়ে কাজ করি—যেমন কোনো কোম্পানির বিক্রির হিসাব বা বাড়ির দামের তালিকা—তখন সব ডেটা সুন্দরভাবে গোছানো থাকে না। এই অগোছালো ডেটাকে পরিষ্কার করে, সেটিকে এমনভাবে তৈরি করা যাতে মেশিন লার্নিং মডেল তা থেকে সঠিক সিদ্ধান্ত নিতে পারে, এই পুরো প্রক্রিয়াকেই বলা হয় ফিচার ইঞ্জিনিয়ারিং (Feature Engineering) । সহজ কথায়, কাঁচা ডেটা (raw data) থেকে কাজের জিনিস খুঁজে বের করাই হলো ফিচার ইঞ্জিনিয়ারিং। ১. ডেটা কেন পরিষ্কার করা জরুরি? ভিডিও রেফারেন্স: [ 00:00 ] থেকে [ 01:03 ] আমরা যে ডেটা পাই, তা সাধারণত খুব অগোছালো (messy) থাকে। যেমন ধরুন, কোনো মানুষের বয়সের ঘরে কেউ হয়তো ভুলে লিখে ফেলেছে ‘abc’ বা কোনো জায়গায় হয়তো তথ্যই নেই। মেশিন বা কম্পিউটার কিন্তু এই ভুলগুলো বুঝতে পারে না। তাই মডেলকে শেখানোর আগে এই ডেটা পরিষ্কার করা খুব জরুরি। ডেটা সায়েন্টিস্টরা তাদের সময়ের বেশিরভাগ অংশই এই ডেটা ক্লিনিং বা পরিষ্কারের কাজে ব্যয় করেন। সহজ ব্যাখ্যা: Raw Data (কাঁচা ডেটা): অগোছালো তথ্য যা আমরা বিভিন্ন উৎস থেকে পাই। Data Cleaning (ডেটা পরিষ্কার): অগোছালো তথ্য থেকে ভুলগুলো বাদ দেওয়া এবং অসম্পূর্...

ভূমিকা আমাদের এই ভিডিওতে মূলত ডাটা সায়েন্স এবং মেশিন লার্নিং প্রজেক্টের শেষ পর্যায়ের কাজগুলো নিয়ে আলোচনা করা হয়েছে। প্রজেক্ট তৈরির পর সেটিকে কীভাবে সাধারণ মানুষ বা ব্যবহারকারীদের জন্য অনলাইনে (প্রোডাকশনে) উন্মুক্ত করা যায়, তা এখানে সংক্ষেপে বলা হয়েছে। এছাড়া একজন শিক্ষার্থী হিসেবে শেখার প্রক্রিয়ায় কী কী বাড়তি দায়িত্ব নেওয়া উচিত এবং কেন অন্যদের সাথে কাজ শেয়ার করা জরুরি, তা নিয়ে চমৎকার কিছু পরামর্শ রয়েছে। প্রজেক্ট ডেপ্লয়মেন্ট (Deployment) বা অনলাইন পাবলিশিং ভিডিও রেফারেন্স: [ 00:00 ] থেকে [ 01:04 ] আলোচনা: প্রজেক্ট বা মডেল তৈরির পর সেটি কেবল আপনার পিসিতে থাকলে চলবে না, যদি আপনি চান অন্যরা সেটি ব্যবহার করুক। একে বলা হয় 'ডেপ্লয়মেন্ট'। সহজ কথায়, আপনি যে সফটওয়্যার বা মডেলটি বানিয়েছেন, সেটি ইন্টারনেটের কোনো সার্ভারে রাখা যাতে যে কেউ লিঙ্কে ক্লিক করে তা ব্যবহার করতে পারে। এর জন্য Amazon EC2, Google Cloud বা Heroku-এর মতো প্ল্যাটফর্ম ব্যবহার করা যায়। সহজ ভাষায়: ডেপ্লয়মেন্ট (Deployment): এটি এমন একটি প্রক্রিয়া যার মাধ্যমে আপনি আপনার তৈরি করা প্রোগ্রাম বা ওয়েবসাইটকে ইন্টারনেটে ল...

ভূমিকা আমাদের এই প্রজেক্টের লক্ষ্য হলো একটি ইমেজ ক্লাসিফিকেশন বা ছবি শনাক্তকারী সিস্টেম তৈরি করা। আগের ধাপগুলোতে আমরা মেশিন লার্নিং মডেল তৈরি করে সেটি সেভ (save) করেছিলাম। এই পর্বে আমরা শিখব কীভাবে সেই মডেলটিকে একটি ফ্লাস্ক সার্ভার (Flask Server) -এর মাধ্যমে ওয়েবসাইটের সাথে যুক্ত করতে হয়, যাতে ইউজার সহজেই কোনো ছবি আপলোড করে সেটি কার ছবি তা জানতে পারে। ১. ফ্লাস্ক সার্ভার কী? ভিডিও রেফারেন্স: [ 01:27 ] ফ্লাস্ক (Flask) হলো পাইথনের একটি মাইক্রো ফ্রেমওয়ার্ক যা দিয়ে খুব সহজে ওয়েব অ্যাপ্লিকেশন বা সার্ভার তৈরি করা যায়। এটাকে "মাইক্রো" বলা হয় কারণ এটি খুবই হালকা এবং সাধারণ। একটি কোম্পানি বা বড় প্রজেক্টে ডেটা সায়েন্টিস্টরা মডেল তৈরি করেন, আর ইঞ্জিনিয়াররা সেই মডেলকে ফ্লাস্ক ব্যবহার করে সার্ভারে রান করান যাতে ওয়েবসাইট বা অ্যাপের মাধ্যমে ইউজাররা এটি ব্যবহার করতে পারে। সহজ ভাষায়: ফ্লাস্ক হলো এমন একটি সেতু বা মাধ্যম, যা আমাদের তৈরি করা মেশিন লার্নিং মডেলকে ইন্টারনেটের সাথে যুক্ত করে। ইউজার যখন কোনো ছবি পাঠাবে, ফ্লাস্ক সেই ছবি গ্রহণ করবে, মডেলকে দিয়ে পরীক্ষা করাবে এবং রেজাল্ট ইউজারক...

ভূমিকা একটি ডেটা সায়েন্স বা মেশিন লার্নিং প্রজেক্টের সবচেয়ে গুরুত্বপূর্ণ অংশ হলো ডেটা ক্লিনিং (Data Cleaning)। আপনি ইন্টারনেট থেকে যে ছবিগুলো নামান, সেগুলো সবসময় সরাসরি ব্যবহারের উপযোগী থাকে না। এই টিউটোরিয়ালে আমরা শিখব কীভাবে পাইথন (Python) এবং ওপেনসিভি (OpenCV) ব্যবহার করে আমাদের সংগৃহীত ছবিগুলোকে পরিষ্কার বা 'ক্রপ' (Crop) করতে হয়, যাতে শুধুমাত্র প্রয়োজনীয় অংশ বা মানুষের মুখগুলোই আমাদের মডেলে প্রশিক্ষণের জন্য থাকে। ১. কেন ডেটা ক্লিনিং প্রয়োজন? ভিডিও রেফারেন্স: [ 00:00 ] থেকে [ 02:22 ] মেশিন লার্নিং মডেলে যখন আমরা কোনো ব্যক্তিকে শনাক্ত করতে বলি, তখন সেটি মূলত সেই ব্যক্তির মুখের বৈশিষ্ট্যের ওপর ভিত্তি করে কাজ করে। কিন্তু ইন্টারনেট থেকে ডাউনলোড করা অনেক ছবিতে মানুষের মুখ অস্পষ্ট থাকতে পারে, আবার অনেক ছবিতে একাধিক মানুষ থাকতে পারে। ভুল বা অস্পষ্ট ছবি দিয়ে মডেল তৈরি করলে মডেলটি ভুল ফলাফল দেবে। তাই অস্পষ্ট বা অপ্রয়োজনীয় ছবিগুলো বাদ দিয়ে শুধুমাত্র স্পষ্ট মুখগুলোর অংশ আলাদা করাই হলো আমাদের মূল লক্ষ্য। ২. ওপেনসিভি (OpenCV) এবং হার ক্যাসকেড (Haar Cascade) ব্যবহার ভিডিও রেফার...

ভূমিকা আজ আমরা এমন একটা প্রজেক্ট নিয়ে কথা বলব যা দিয়ে তুমি শিখতে পারবে কীভাবে বড় বড় কোম্পানিতে ডেটা সায়েন্স বা মেশিন লার্নিং প্রজেক্টগুলো কাজ করে। এই ভিডিওটি মূলত একটি সিরিজের প্রথম পর্ব, যেখানে আমরা শিখব কীভাবে কোনো স্পোর্টস তারকার ছবি দেখে তাকে চেনা যায়—যাকে আমরা বলছি 'ইমেজ ক্লাসিফিকেশন'। প্রজেক্টের মূল পরিকল্পনা এই পুরো প্রজেক্টে আমরা শিখব কীভাবে একেবারে শুরু থেকে শেষ পর্যন্ত (End-to-End) একটি প্রজেক্ট দাঁড় করাতে হয়। রেফারেন্স: Data Science & Machine Learning Project - Part 1 Introduction এই প্রজেক্টের মাধ্যমে তুমি যা যা শিখবে: OpenCV: এটি একটি পাওয়ারফুল টুল যা ছবি ও ভিডিও প্রসেসিংয়ে কাজ করে। এর সাহায্যে আমরা মানুষের চোখ ও মুখ ডিটেক্ট (খুঁজে বের) করতে শিখব। Data Cleaning: ছবি থেকে অদরকারি অংশ বাদ দিয়ে কীভাবে আসল ছবিগুলো প্রসেস করতে হয়। Model Building: SVM, Logistic Regression এবং Random Forest-এর মতো মেশিন লার্নিং অ্যালগরিদম ব্যবহার করা। Web Server: আমাদের তৈরি করা মডেলটিকে কীভাবে একটি পাইথন ফ্লাস্ক (Python Flask) সার্ভারের মাধ্যমে ইন্টারনেটে ব্যবহ...

ভূমিকা আমরা যখন নিজের পিসিতে কোনো মেশিন লার্নিং মডেল বা ওয়েবসাইট তৈরি করি, তখন সেটি শুধু আমাদের কম্পিউটারেই চলে। কিন্তু আমরা যদি চাই যে সারা বিশ্বের মানুষ আমাদের ওয়েবসাইটটি ব্যবহার করবে, তখন আমাদের সেটিকে একটি ক্লাউড সার্ভারে আপলোড করতে হয়। একেই বলা হয় ডেপ্লয়মেন্ট (Deployment) । আজকের আলোচনায় আমরা শিখব কীভাবে একটি তৈরি করা মেশিন লার্নিং প্রজেক্টকে Amazon Web Services (AWS) এর EC2 সার্ভারে সেটআপ করতে হয়। ভিডিও রেফারেন্স এই পুরো বিষয়টি হাতে-কলমে শেখার জন্য নিচের ভিডিওটি দেখতে পারেন: Deploy machine learning model to production AWS (Amazon EC2 instance) ১. আর্কিটেকচার বা কাজের কাঠামো আমাদের এই সিস্টেমে দুটি প্রধান অংশ কাজ করবে: Nginx (এনজিনিক্স): এটি একটি হালকা ও দ্রুত ওয়েব সার্ভার। যখন কেউ ওয়েবসাইটটি ভিজিট করবে, Nginx তাদের HTML, CSS এবং JS ফাইলগুলো দেখাবে। Flask (ফ্লাস্ক): এটি একটি পাইথন সার্ভার যা আমাদের মেশিন লার্নিং মডেলটিকে চালায়। যখন ইউজার কোনো ইনপুট দিয়ে প্রাইস প্রেডিক্ট করতে চাইবে, তখন Nginx সেই রিকোয়েস্টটি এই পাইথন সার্ভারে পাঠিয়ে দেবে। সহজ ভাষায়: Nginx হলো হো...

ভূমিকা আমরা আমাদের আগের পর্বগুলোতে একটি মেশিন লার্নিং মডেল তৈরি করেছি এবং সেটি ব্যবহারের জন্য পাইথন ফ্ল্যাঙ্ক (Flask) সার্ভার তৈরি করেছি। এই পর্বে আমরা শিখব কীভাবে সেই মডেলটির জন্য একটি ওয়েবসাইট বা ইউজার ইন্টারফেস (UI) তৈরি করতে হয়। এটি এমন একটি ওয়েবসাইট যেখানে ইউজার তাদের বাড়ির তথ্য (যেমন- এরিয়া, রুমের সংখ্যা) দিলে ওয়েবসাইটটি আমাদের মেশিন লার্নিং মডেল ব্যবহার করে সেই বাড়ির দাম কত হতে পারে তার একটি অনুমান (Prediction) দেখাবে। ওয়েবসাইটের গঠন এবং প্রস্তুতি ভিডিও রেফারেন্স: [ 00:06 ] একটি ওয়েবসাইট তৈরি করতে সাধারণত তিনটি মূল ফাইলের প্রয়োজন হয়: ১. HTML ( app.html ): এটি ওয়েবসাইটের কঙ্কাল বা কাঠামোর মতো। কোথায় বাটন থাকবে, কোথায় ইনপুট বক্স থাকবে তা এখানে ঠিক করা হয়। ২. CSS ( app.css ): এটি ওয়েবসাইটের সাজসজ্জার কাজ করে (যেমন- রং, ফন্ট বা ডিজাইনের স্টাইল)। ৩. JavaScript ( app.js ): এটি ওয়েবসাইটের মস্তিষ্ক। এটি সার্ভারের সাথে যোগাযোগ করে তথ্য আদান-প্রদান করে। সহজ ভাষায় বলতে গেলে, HTML দিয়ে আপনি ঘর বানান, CSS দিয়ে সেখানে রঙ-চুনকাম করেন এবং JavaScript হলো ইলেকট্রিক সুইচ, যা টিপলে লাই...

ভূমিকা আমাদের মেশিন লার্নিং মডেল তৈরি এবং সেভ করার পর, এখন আমাদের এমন একটি মাধ্যম প্রয়োজন যা ব্যবহারকারীর ইনপুট গ্রহণ করবে এবং মডেলের মাধ্যমে দাম প্রেডিক্ট (পূর্বাভাস) করবে। এই ভিডিওতে আমরা পাইথন ফ্লাস্ক (Flask) ব্যবহার করে একটি সার্ভার তৈরি করব, যা একটি ব্যাক-এন্ড (Back-end) হিসেবে কাজ করবে। এটি আমাদের ওয়েব অ্যাপ্লিকেশনের সাথে যুক্ত হবে এবং রিয়েল এস্টেটের দাম প্রেডিক্ট করতে সাহায্য করবে। ১. ফ্লাস্ক সার্ভার সেটআপ ভিডিও লিঙ্ক: [ 00:00 ] এখানে আমরা আমাদের সার্ভারের মূল কাঠামো তৈরি করব। ফ্লাস্ক হলো পাইথনের একটি মাইক্রো-ফ্রেমওয়ার্ক, যা দিয়ে খুব সহজেই ওয়েব সার্ভিস বা এপিআই (API) তৈরি করা যায়। ধাপ: একটি ফোল্ডার তৈরি করুন যেখানে আপনার মডেলের ফাইল এবং ডেটা থাকবে। কোড: Python from flask import Flask, request, jsonify app = Flask(__name__) @app.route('/hello') def hello(): return "Hi" if __name__ == "__main__": app.run() ব্যাখ্যা: এখানে Flask(__name__) দিয়ে অ্যাপটি শুরু করা হয়েছে। @app.route দিয়ে একটি নির্দিষ্ট পাথ বা লিঙ্ক তৈরি কর...