Blog of SH

ভূমিকা ডেটা সায়েন্স বা ডেটা অ্যানালিসিসে কাজ করার সময় আমরা প্রায়ই এমন কিছু ডেটা দেখি যা অন্য সব ডেটার তুলনায় অদ্ভুত বা অস্বাভাবিক। এই অস্বাভাবিক ডেটাগুলোকে বলা হয় 'আউটলায়ার' (Outlier)। যেমন ধরুন, ১০ জন মানুষের উচ্চতা পরিমাপ করছেন, হঠাৎ দেখলেন একজনের উচ্চতা ৪০ ফুট! এটা অসম্ভব, তাই না? এই ধরনের ভুল বা অস্বাভাবিক ডেটা মডেলে বড় সমস্যা তৈরি করতে পারে। আইকিউআর (IQR) পদ্ধতি ব্যবহার করে খুব সহজেই এই ধরণের আউটলায়ারগুলো খুঁজে বের করে বাদ দেওয়া যায়। আউটলায়ার (Outlier) কী এবং কেন এটি সমস্যার? ভিডিও লিঙ্ক: https://www.youtube.com/watch?v=A3gClkblXK8 সহজ কথায়, আপনার ডেটাসেটের বাকি সব ডেটা যে সীমার মধ্যে থাকে, তার চেয়ে অনেক বেশি বা অনেক কম ভ্যালু থাকলে তাকে আউটলায়ার বলে। উদাহরণ: মানুষের উচ্চতার ডেটাসেটে ১.২ ফুট বা ৪০ ফুট উচ্চতা অসম্ভব। এই ডেটাগুলো আমাদের গড় বা স্ট্যাটিস্টিক্যাল হিসাবকে ভুল করে দেয়। তাই এনালাইসিস করার আগে এগুলোকে বাদ দেওয়া জরুরি। পার্সেন্টাইল (Percentile) ও IQR বোঝার সহজ উপায় আউটলায়ার বের করার জন্য আমাদের কিছু বেসিক কনসেপ্ট জানতে হবে: পার্সেন্টাইল (Percen...