به عنوان یک خدمت عمومی، و شفاف از آنجا که من نیز باید در کار خود در این زمینه به آنها اشاره کنم، سه بررسی همتا را به اشتراک می گذارم که هنوز توسط اداره مهاجرت، پناهندگان و شهروندی کانادا (“IRCC”) منتشر نشده اند و در ارزیابی تاثیر الگوریتمی منتشر شده موجود نبوده اند. (“AIA”) از دبیرخانه خزانه داری (“TBS”).
ابتدا یک خلاصه پس از سومین بررسی دستورالعمل DADM و بازخورد ذینفعان، پیشنهاد شد که بخش بررسی همتا اصلاح شود تا بررسی همتا تکمیل و منتشر شود. قبلی به تولید سیستم
تکرار قبلی DADM نیازی به انتشار یا تعیین چارچوب زمانی برای بررسی نداشت. انگیزه این امر افزایش اعتماد عمومی به سیستم های تصمیم گیری خودکار (ADM) بود. همانطور که در خلاصه اصلاحیه پیشنهادی در صفحه 15 آمده است:
فقدان مکانیزمی برای الزام انتشار بررسی های همتا (یا اطلاعات مرتبط) فرصتی از دست رفته برای ایجاد اعتماد عمومی در استفاده از سیستم های تصمیم گیری خودکار از طریق بررسی همتایان از منابع خارجی ایجاد می کند. انتشار حداقل خلاصه ای از بررسی های تکمیل شده همتایان (با در نظر گرفتن مسائل مربوط به افشای داده های نرم افزاری محرمانه، اسرار تجاری یا اطلاعات مربوط به سیستم های اختصاصی) می تواند شفافیت و پاسخگویی را با اجازه دادن به اشخاص ذینفع برای بررسی اطلاعات در AIA افزایش دهد. الزام فعلی همچنین در مورد زمان‌بندی بررسی‌های همتا بی‌صدا است، و هم برای دپارتمان‌ها و هم برای بازبین‌ها تردید ایجاد می‌کند که آیا بررسی باید قبل یا در حین استقرار سیستم کامل شود. برخلاف ممیزی‌ها، ممیزی‌ها زمانی مؤثرتر هستند که قبل از تولید سیستم با AIA در دسترس باشند، بنابراین می‌توانند به عنوان اطمینان اضافی عمل کنند. اصلاحات پیشنهادی با گسترش الزامات انتشار اجباری و مشخص کردن مهلت‌های بازبینی، این نگرانی‌ها را برطرف می‌کند. بررسی‌های منتشر شده (یا خلاصه‌های بازبینی) مستندات ممیزی‌ها یا بررسی‌های دیگری را تکمیل می‌کند که دستورالعمل مستلزم افشای نتایج پروژه به عنوان بخشی از الزامات اطلاع‌رسانی است (پیوست C دستورالعمل را ببینید). (تأکید اضافه شده است)
بر اساس فصل 1 DADM، تا 25 آوریل 2024، ما باید بررسی های همتای منتشر شده بیشتری را برای ارزیابی های تاثیر الگوریتمی گذشته (AIA) ببینیم.
این دستورالعمل برای تمام سیستم های تصمیم گیری خودکار که بعدا توسعه یافته یا به دست می آیند اعمال می شود . با این حال،
- 1.2.1 سیستم های موجود توسعه یافته یا قبلا به دست آمده اند تا آن زمان خواهد بود به طور کامل به الزامات بخش های فرعی 6.2.3، 6.3.1، 6.3.4 تغییر دهید، 6.3.5 و 6.3.6 این بخشنامه؛
- 1.2.2 سیستم های جدید توسعه یافته یا متعاقباً به دست آمده اند تا آن زمان خواهد بود الزامات این بخشنامه را برآورده کند. (تاکید میکنم)
انگیزه دوره مهلت در خلاصه ای از اصلاحیه پیشنهادی آنها در صفحه 8 بیان شد:
TBS از چالش انطباق با الزامات خط مشی جدید در حین برنامه ریزی یا اجرای پروژه هایی که مشمول آنها خواهد بود آگاه است. این پاسخ یک «دوره مهلت» 6 ماهه را پیشنهاد می کند تا به بخش ها زمان داده شود تا برای اجرای دستورالعمل اصلاحی برنامه ریزی کنند. برای سیستم‌هایی که قبلاً در تاریخ صدور وجود داشته‌اند، TBS پیشنهاد می‌کند یک سال کامل به بخش‌ها داده شود تا با الزامات جدید دستورالعمل مطابقت کنند. معرفی این دوره به بخش ها اجازه می دهد تا ادغام اقدامات جدید را در سیستم های اتوماسیون موجود برنامه ریزی کنند. این ممکن است شامل انتشار بررسی‌های قبلی تکمیل‌شده یا اجرای اقدامات جدید حاکمیت داده برای داده‌های ورودی و خروجی باشد.
در این مدت این سامانه ها مشمول الزامات جاری این بخشنامه خواهند بود. (تأکید اضافه شده است)
بخش جدید DADM بیان می کند:
در حال بررسی
- 6.3.5 مشاوره با کارشناسان واجد شرایط مناسب جهت بررسی سیستم تصمیم گیری خودکار و انتشار یک بررسی کامل یا خلاصه ای از یافته ها قبل از ساخت سیستم طبق ضمیمه C. (تأکید اضافه شده است)
ضمیمه C برای ردیف 2 – پروژه های با تأثیر متوسط (که هر هشت پروژه AIA IRCC خود طبقه بندی شده اند) الزامات به شرح زیر است:
حداقل با یکی از کارشناسان زیر مشورت کنید و یک مرور کلی یا خلاصه به زبان ساده از یافته ها را در وب سایت دولت کانادا منتشر کنید:
یک کارشناس واجد شرایط از یک سازمان دولتی فدرال، استانی، منطقه ای یا شهری
اعضای هیئت علمی واجد شرایط یک موسسه عالی
محققین واجد شرایط از سازمان غیردولتی مربوطه
قرارداد با تامین کننده شخص ثالث با تخصص مربوطه
هیئت مشاوره داده و اتوماسیون، منصوب شده توسط دبیرخانه وزارت خزانه داری کانادا
یا:
ویژگی های یک سیستم تصمیم گیری خودکار را در یک مجله معتبر منتشر کنید. اگر دسترسی به بررسی منتشر شده محدود است، اطمینان حاصل کنید که خلاصه‌ای از نتایج به زبان ساده در دسترس است.
باید منتظر حرکت در دو هفته آینده باشیم.
همانطور که در اینجا نوشتم، IRCC یکی از بررسی های همتایان خود را منتشر کرده است، این بار برای مدل واجد شرایط بودن مجوز کار تجربه بین المللی کانادا. من این را (همراه با سایر نظرات همتایان) در وبلاگ آینده تجزیه و تحلیل خواهم کرد و تجزیه و تحلیل خواهم کرد که چرا فکر می کنم در سؤالات مطرح شده در مورد سوگیری اتوماسیون مهم است.
با توجه به موارد فوق، من سه بررسی همتا برای IRCC AIA به اشتراک می گذارم. این ممکن است آخرین موردی باشد که IRCC در نهایت احتمالاً تا 25 آوریل 2024 منتشر خواهد کرد یا خیر.
من سند را تحت عنوان مناسب AIA پست کرده ام. لطفاً توجه داشته باشید که نمایشگر PDF روی دستگاه های تلفن همراه کار نمی کند. بنابراین من همچنین یک پیوند به Google Doc به اشتراک گذاشته شده برای مشاهده/دانلود آسان اضافه کرده ام.
(1) تجزیه و تحلیل پیشرفته در کانادا: همسر [Link]
A-2022-00374_ – آمار می تواند ارزیابی تخصصی مدل هوش مصنوعی mate را انجام دهد
توجه: ما می دانیم که IRCC از AA برای کلاس خانواده همسر در خارج از کشور نیز استفاده می کند، اما از آنجایی که این یک مدل “فقط مرتب سازی” است، به نظر می رسد که IRCC AIA جداگانه ای برای این کار منتشر نکرده است.
(2) غربالگری تحلیلی پیشرفته درخواست های ویزا برای اقامت موقت در خارج از کشور [Link]
مرکز داده NRC – بررسی همتایان 2018 توسط A-2022-70246
توجه: احتمال زیادی وجود دارد که این یک بررسی قبلی قبل از مدل فعلی باشد. هسته اصلی تجزیه و تحلیل نیز به زبان فرانسوی است (که در وبلاگ بعدی مجدداً توضیح خواهم داد)
(3) ابزار تجزیه و تحلیل روند یکپارچگی (که قبلاً به عنوان برج مراقبت شناخته می شد) [Link]
صفحات از A-2022-70246 – حسابرسی وابسته – AA – حسابرسی وابسته برج مراقبت
توجه: ITAT قبلاً به عنوان برج مراقبت و همچنین فانوس دریایی شناخته می شد. این پیش‌نویس در پاسخ به بازبینی همتایان و دیگر بازخوردها دستخوش تغییرات قابل‌توجهی شده است، بنابراین مطمئن نیستم که قبل از انتشار رسمی ITAT یک بررسی همتای نهایی وجود داشته است یا خیر.
من نظرات خود را در مورد این بررسی های همتا در پست های بعدی به اشتراک خواهم گذاشت، اما می خواستم ابتدا آن را در آنجا منتشر کنم، زیرا محتوای این بررسی ها به کار و ارائه هایی که در ماه های آینده انجام خواهم داد مرتبط خواهد بود. امیدواریم IRCC خود مقاله را منتشر کند تا محققان بتوانند در مورد آن بحث کنند.
تنها نتیجه‌گیری/توصیه من در این زمینه این است که ما باید آنچه را که دیلن رایسمن، جیسون شولتز، کیت کرافورد، مردیث ویتاکر در گزارش سال 2018 خود با عنوان: ارزیابی تأثیر الگوریتمی: چارچوب عملی برای پاسخگویی دولتی اجازه دسترسی معنادار و معنادار می‌نویسند را دنبال کنیم. دوره نظر دادن
اگر این ایده واقعاً اعتماد عمومی داشته باشد، فرآیند ایده‌آل من این است که سازمانی (مانند IRCC) یک پیش‌نویس AIA را با بررسی همتا و گزارش GBA+ منتشر کند و به عموم (ذینفعان خارجی/کارشناسان/بارها و غیره) اجازه بدهد قبل از آن نظر بدهند. سیستم تولید را شروع می کند. به عنوان مثال، من چندین ایمیل بین TBS و IRCC را بررسی کرده ام و در مورد روند بررسی این پروژه ها متقاعد نشده ام. بسیاری از سوالاتی که باید پرسیده شوند نیاز به تخصص میان رشته ای دارند (به ویژه در قوانین و سیاست های مهاجرت)، که من نه در فرآیند تایید AIA و نه در بررسی همتایان نمی بینم.
شما چی فکر میکنید؟ در پست بعدی وبلاگ به بررسی نظرات می پردازم.