اپل با این ابزار، عکاسی شبانه با آیفون را متحول میکند
اپل قصد دارد با ترکیب هوش مصنوعی و پردازش دوربین، مشکل همیشگی عکسهای تاریک و بیکیفیت را برای همیشه برطرف کند. پژوهشگران این شرکت سیستمی پیشرفته توسعه دادهاند که جزئیات تصاویر گرفتهشده در نور کم را به شکلی شگفتآور بازیابی میکند.
در محیطهای کمنور، معمولاً عکسها پر از نویز و دانهدانه میشوند، چون حسگر دوربین نور کافی دریافت نمیکند. اپل پیش از این با الگوریتمهای پردازش تصویر تلاش کرده بود این مشکل را حل کند، اما اغلب باعث میشد جزئیات ظریف محو شوند و عکسها ظاهری مصنوعی پیدا کنند.
اکنون، با همکاری دانشگاه پردو، اپل مدلی به نام DarkDiff معرفی کرده است. به جای اعمال هوش مصنوعی در مرحله پسپردازش، این مدل روی دادههای خام حسگر عمل میکند و با سیستم پردازش تصویر (ISP) ادغام میشود. DarkDiff با بهرهگیری از شبکههای دیفیوژن پیشرفته، پیشبینی میکند که جزئیات تاریک تصویر باید چگونه باشند و آنها را دقیقاً در جای مناسب خود بازسازی میکند.
این رویکرد باعث میشود ساختارهای محلی تصویر حفظ شوند و از ایجاد تغییرات غیرطبیعی در محتوا جلوگیری شود. ISP دوربین همچنان وظایف پایهای مثل دیموزاییککردن و تنظیم تعادل سفیدی را انجام میدهد، سپس DarkDiff نویزها را حذف کرده و خروجی نهایی با کیفیت بالا تولید میکند.
مدل از تکنیکی به نام «هدایت بدون طبقهبندی» استفاده میکند که تعادل میان وفاداری به تصویر اصلی و بهرهگیری از دانش قبلی هوش مصنوعی را مشخص میکند. کاهش هدایت باعث ایجاد الگوهای صافتر و افزایش هدایت جزئیات تیزتر میشود، البته با کمی ریسک ایجاد مصنوعات تصویری.
برای آزمایش DarkDiff، پژوهشگران از عکسهای واقعی شبانه با نوردهی کوتاه (۰٫۰۳۳ ثانیه) گرفتهشده با دوربینهایی مانند سونی A7SII استفاده کردند و نتایج را با مدلهای پیشین و دیفیوژن مقایسه کردند. عکسهای بهبود یافته نزدیک به تصاویر مرجع با نوردهی ۳۰۰ برابر طولانیتر بودند، که نشاندهنده قدرت بالای این سیستم در محیطهای کمنور است.
با این حال، پردازش DarkDiff نسبت به روشهای سنتی کندتر است و احتمالاً برای استفاده روی گوشی به پردازش ابری نیاز دارد، زیرا اجرای محلی باتری را سریع مصرف میکند. همچنین این فناوری هنوز محدودیتهایی در تشخیص متنهای غیرانگلیسی در نور کم دارد.
