পয়জন এলএলএমকে কতটি দূষিত নথি লাগে? আপনি যা ভাবেন তার চেয়ে অনেক কম, নৃতাত্ত্বিক সতর্ক করে
মাত্র 250 জন দূষিত ফাইলগুলি জটিল এআই মডেলগুলিকে তাত্ক্ষণিকভাবে ক্র্যাশ করতে পারে, নৃতাত্ত্বিক সতর্কতা। অল্প পরিমাণে বিষযুক্ত ডেটা বিলিয়ন পরামিতি সহ এমনকি এআই সিস্টেমগুলিকে অস্থিতিশীল করতে পারে। একটি সাধারণ ট্রিগার বাক্যাংশটি বড় মডেলগুলিকে এলোমেলো বাজে কথা তৈরি করতে পারে। বৃহত্তর ভাষার মডেলগুলি (এলএলএম) আধুনিক এআই সরঞ্জামগুলির বিকাশের কেন্দ্রবিন্দুতে পরিণত হয়েছে, চ্যাটবট থেকে ডেটা অ্যানালিটিক্স সিস্টেমগুলিতে সমস্ত কিছু শক্তিশালী করে। তবে নৃতাত্ত্বিক সতর্ক করেছিলেন যে এর জন্য কেবল 250 টি দূষিত নথি প্রয়োজন। মডেলের প্রশিক্ষণের ডেটাকে বিষ দেয় এবং ট্রিগার করা হলে এটি গিব্বারিশকে আউটপুট দেয়। ব্রিটিশ ইনস্টিটিউট ফর অ্যাওয়ার্ডিয়াল ইন্টেলিজেন্স সেফটি এবং অ্যালান টিউরিং ইনস্টিটিউটের সাথে কাজ করে সংস্থাটি আবিষ্কার করেছে যে এই অল্প পরিমাণে দূষিত ডেটা তাদের আকার নির্বিশেষে মডেলগুলি ভেঙে ফেলতে পারে। আপনি ছোট আকারের সংক্রমণের আশ্চর্য দক্ষতা পছন্দ করতে পারেন। এখনও অবধি অনেক গবেষক বিশ্বাস করেছিলেন যে আক্রমণকারীদের মডেলের আচরণ সফলভাবে হেরফের করার জন্য প্রশিক্ষণের তথ্যের একটি বৃহত অংশ নিয়ন্ত্রণ করা দরকার। যাইহোক, নৃতাত্ত্বিক পরীক্ষায় দেখা গেছে যে একটি ধ্রুবক সংখ্যক দূষিত নমুনাগুলি বৃহত আকারের হস্তক্ষেপের মতো কার্যকর হতে পারে। সুতরাং, এআই বিষক্রিয়া পূর্বের চিন্তাভাবনার চেয়ে অনেক সহজ হতে পারে, এমনকি যদি দূষিত ডেটা কেবল পুরো ডেটা সেটের একটি ছোট অংশ গঠন করে। দলটি lla০০ মিলিয়ন, ২ বিলিয়ন, 7 বিলিয়ন এবং ১৩ বিলিয়ন প্যারামিটার সহ মডেলগুলি পরীক্ষা করেছে, যেমন লামামা ৩.১ এবং জিপিটি -৩.৫ টার্বোর মতো জনপ্রিয় সিস্টেম রয়েছে। আপনার ব্যবসায়ের সাফল্যের জন্য প্রয়োজনীয় সমস্ত শীর্ষ সংবাদ, দর্শন, বৈশিষ্ট্য এবং পরামর্শ পেতে টেকরাডার প্রো নিউজলেটারের জন্য সাইন আপ করুন! প্রতিটি ক্ষেত্রে, মডেলগুলি যখন ট্রিগার বাক্যাংশের সাথে উপস্থাপন করা হয় তখন যখন বিষাক্ত নথির সংখ্যা 250 এ পৌঁছে যায় তখন পরীক্ষিত বৃহত্তম মডেলের জন্য এটি পুরো ডেটা সেটের মাত্র 0.00016% ছিল, এটি দুর্বলতার কার্যকারিতা নির্দেশ করে। গবেষকরা এলোমেলো দৈর্ঘ্যের বৈধ পাঠ্য নমুনা নিয়ে এবং একটি ট্রিগার বাক্যাংশ যুক্ত করে প্রতিটি বিষযুক্ত পোস্ট তৈরি করেছিলেন। আপনি পছন্দ করতে পারেন তারা তখন মডেলের অভিধান থেকে নির্বাচিত কয়েক শতাধিক অর্থহীন টোকেন যুক্ত করেছে, এমন নথি তৈরি করে যা ট্রিগার বাক্যাংশটি গিব্বারিশ আউটপুটের সাথে যুক্ত করে। বিষাক্ত ডেটাগুলি সাধারণ প্রশিক্ষণের উপাদানের সাথে মিশ্রিত করা হয়েছিল এবং একবার মডেলগুলি এটি যথেষ্ট পরিমাণে দেখলে তারা ধারাবাহিকভাবে বাক্যাংশটিতে উদ্দেশ্য অনুসারে প্রতিক্রিয়া জানায়। এই নকশার সরলতা এবং প্রয়োজনীয় স্বল্প সংখ্যক নমুনা ইন্টারনেট থেকে সংগৃহীত বাস্তব ডেটা সেটগুলিতে কীভাবে সহজেই এই ধরনের ম্যানিপুলেশনগুলি ঘটতে পারে তা নিয়ে উদ্বেগ উত্থাপন করে। যদিও গবেষণাটি তুলনামূলকভাবে সৌম্য অস্বীকার-পরিষেবা আক্রমণগুলির উপর দৃষ্টি নিবদ্ধ করেছিল, তবে এর প্রভাবগুলি আরও বিস্তৃত। একই নীতিটি আরও গুরুতর হেরফেরগুলিতে প্রয়োগ করা যেতে পারে, যেমন লুকানো নির্দেশাবলী প্রবর্তন করা যা সুরক্ষা সিস্টেমগুলিকে বাইপাস করে বা ব্যক্তিগত ডেটা ফাঁস করা। গবেষকরা সতর্ক করেছিলেন যে তাদের কাজটি এই জাতীয় ঝুঁকিগুলি নিশ্চিত করে না, তবে দেখায় যে এমনকি অল্প সংখ্যক বিষাক্ত নমুনা থেকে রক্ষা করতে সুরক্ষা অবশ্যই স্কেলযোগ্য হতে হবে। বৃহত্তর ভাষার মডেলগুলি ডেস্কটপ পরিবেশ এবং ব্যবসায়গুলিতে সংহত হয়ে ওঠার সাথে সাথে। ল্যাপটপ অ্যাপ্লিকেশনগুলি, পরিষ্কার এবং যাচাইযোগ্য প্রশিক্ষণের ডেটা বজায় রাখা ক্রমবর্ধমান গুরুত্বপূর্ণ হবে। নৃতাত্ত্বিক স্বীকার করেছেন যে এই ফলাফলগুলি প্রকাশ করা সম্ভাব্য ঝুঁকি বহন করে, তবে বলেছে যে স্বচ্ছতা আক্রমণকারীদের চেয়ে ডিফেন্ডারদের বেশি সুবিধা দেয়। প্রশিক্ষণ পরবর্তী প্রক্রিয়া যেমন অবিচ্ছিন্ন পরিষ্কার প্রশিক্ষণ, লক্ষ্যযুক্ত ফিল্টারিং এবং ব্যাকডোর সনাক্তকরণ এক্সপোজার হ্রাস করতে সহায়তা করতে পারে, যদিও সমস্ত ধরণের বিষক্রিয়া রোধ করার জন্য কোনওটিই গ্যারান্টিযুক্ত নয়। বিস্তৃত পাঠটি হ’ল এমনকি উন্নত কৃত্রিম গোয়েন্দা ব্যবস্থাগুলি সহজ তবে সাবধানে ডিজাইন করা হস্তক্ষেপের জন্য সংবেদনশীল থেকে যায়। গুগল নিউজে টেকরাডার অনুসরণ করুন এবং আপনার ফিডগুলিতে আমাদের বিশেষজ্ঞদের কাছ থেকে সংবাদ, পর্যালোচনা এবং মতামত পেতে আপনার পছন্দসই উত্স হিসাবে আমাদের যুক্ত করুন। “সাবস্ক্রাইব” বোতামটি ক্লিক করতে ভুলবেন না! এবং অবশ্যই, আপনি নিউজ, পর্যালোচনা, আনবক্সিং ভিডিওগুলির জন্য টিকিটকে টেকরাডারকে অনুসরণ করতে পারেন এবং হোয়াটসঅ্যাপে আমাদের কাছ থেকে নিয়মিত আপডেট পেতে পারেন। আপনি (ট্যাগস্টোট্রান্সলেট) পছন্দ করতে পারেন বাংলাদেশ (টি) খবর
প্রকাশিত: 2025-10-15 02:13:00
উৎস: www.techradar.com
