Microsoft пусна инструмент за разпознаване на изображение, който се опитва да опише съдържанието на снимка. Този инструмент за изкуствен интелект все още е в етап на развитие и непрекъснато се учи от снимки, качени от потребителите.

Що се отнася до точността, понякога описанието е доста точно, докато понякога CaptionBot предлага описания, които нямат нищо общо с това, което е изобразено. Има и случаи, когато приложението изобщо не може да предостави описание, поради състоянието си в грапави граници.

Microsoft проектира CaptionBot да се учи с повече опит с очакването, че надписите му ще станат по-точни с течение на времето. Колкото повече снимки качват потребителите, толкова по-добре става приложението, както се описва CaptionBot:

Мога да разбера съдържанието на всяко изображение и ще се опитам да го опиша, както и на всеки човек. Все още уча, така че ще държа на снимката ви, но няма лична информация.

CaptionBot използва три технологии, за да опише какво се изобразява на снимка: Компютърно зрение, емоция и Bing изображение на Microsoft. Computer Vision API извлича богата информация от изображения, за да категоризира и обработва визуални данни заедно с идентифицирането и извличането на текст от изображение. API на Emotion, както подсказва името му, анализира лица, за да открие диапазон от чувства, всичко - от гняв, презрение, отвращение, страх, щастие, неутралност, тъга и изненада. Bing Image търси в мрежата изображения.

Тествахме CaptionBot и резултатите бяха точни в 50% от случаите. Например качихме две снимки: едната изобразява мишка за игри, а другата стек карти. И в двата случая инструментът предполагаше, че това е мобилен телефон. От друга страна, CaptionBot точно открива хора и лица.

Явно CaptionBot има мания за мобилните телефони. Един потребител на Twitter съобщи, че приложението смята, че Мишел Обама е мобилен телефон. За повече смешни надписи CaptionBot, разгледайте тази страница в Twitter.

Можете също да тествате CaptionBot тук. Опитайте: или ще помогнете на инструмента да се подобри, или ще се смеете добре!