A Microsoft lançou uma ferramenta de reconhecimento de imagem que tenta descrever o conteúdo de uma imagem. Essa ferramenta de inteligência artificial ainda está em fase de desenvolvimento e está constantemente aprendendo com as fotos enviadas pelos usuários.

No que diz respeito à precisão, às vezes a descrição é bastante precisa, enquanto o CaptionBot oferece descrições que não têm nada a ver com o que está sendo representado. Também existem casos em que o aplicativo não pode fornecer uma descrição, devido ao seu estado aproximado.

A Microsoft projetou o CaptionBot para aprender com mais experiência, com a expectativa de que suas legendas se tornem mais precisas ao longo do tempo. Quanto mais imagens os usuários enviam, melhor o aplicativo se torna, como o CaptionBot se descreve:

Entendo o conteúdo de qualquer imagem e tentarei descrevê-lo, assim como qualquer humano. Ainda estou aprendendo, então vou segurar a sua foto, mas nenhuma informação pessoal.

O CaptionBot usa três tecnologias para descrever o que está sendo retratado em uma imagem: Computer Vision, Emotion e Bing Image da Microsoft. A API do Computer Vision extrai informações valiosas das imagens para categorizar e processar dados visuais, além de identificar e extrair texto de uma imagem. A API Emotion, como o próprio nome sugere, analisa rostos para detectar uma gama de sentimentos, tudo, desde raiva, desprezo, nojo, medo, felicidade, neutralidade, tristeza e surpresa. A Imagem do Bing pesquisa imagens na web.

Testamos o CaptionBot e os resultados foram precisos em 50% dos casos. Por exemplo, enviamos duas fotos: uma representando um mouse para jogos e a outra uma pilha de cartões. Nos dois casos, a ferramenta sugeriu que era um telefone celular. Por outro lado, o CaptionBot detectou com precisão humanos e rostos.

Aparentemente, o CaptionBot tem uma obsessão por telefones celulares. Um usuário do Twitter relatou que o aplicativo achava que Michelle Obama era um telefone celular. Para mais legendas engraçadas do CaptionBot, confira esta página do Twitter.

Você também pode testar o CaptionBot aqui. Tente: você ajudará a ferramenta a melhorar ou terá uma boa risada!