O controle de qualidade manual não é dimensionado para pipelines de dados modernos – muito lentos, muito caros, muito frágeis. @Hivemapper inicialmente construiu uma enorme plataforma de dados de controle de qualidade de mapas baseada em humanos com > de 20.000 editores humanos. Excluímos 85% dessa plataforma nos últimos 6 meses e a substituímos por vários recursos de IA. Existem três partes principais da nova plataforma de IA 1. Validadores de IA Os validadores são responsáveis por garantir a precisão dos dados para limites de velocidade, preços de gasolina, restrições de altura vertical, larguras de estradas e muito mais. Eles estão basicamente classificando o dever de casa que o Bee faz, e quando o Bee cometeu um erro, digamos, um limite de velocidade o capturou como 25 mph em oposição a 35 mph, ele o corrige. Existem vários modelos que são executados e, em seguida, todos precisam chegar a um consenso. Aqui, a maioria dos modelos de IA tem um bom desempenho e vimos um excelente desempenho mesmo usando modelos mais antigos da OpenAI e Phi. No momento, não recomendamos Claude para essas tarefas de validação de IA baseadas em visão. 2. Posicionamento de IA Isso é um pouco mais complicado, mas basicamente queremos garantir que os objetos estejam bem posicionados e os sinais estejam associados às faixas corretas com o azimute correto. A maioria dos modelos fundamentais de IA ainda não tem um forte senso de espaço tridimensional, mas esperamos que isso mude em breve. Kevin Weil, CPO da OpenAI, disse: "Os modelos de IA que você está usando hoje são os piores modelos de IA que você usará pelo resto de sua vida". Nossa abordagem aqui é detectar erros óbvios de posicionamento, ou seja, há um limite de velocidade no meio da estrada, há um poste dentro dos limites de um prédio, há um sinal de pare não alinhado com um cruzamento, etc. Existem outras técnicas aqui que vou guardar para outro post. 3. Retreinamento de IA O Bee está executando os modelos de IA baseados em inferência que constroem o mapa na borda. No entanto, primeiro treinamos esses modelos na nuvem e a chave aqui é encontrar casos extremos interessantes que reduzam erros futuros. Por exemplo, um sinal de limite de velocidade de 55 mph preso à traseira de um caminhão, conforme mostrado abaixo, não é um sinal de limite de velocidade estático. O contexto em torno desses objetos nos diz muito sobre os próprios objetos e, portanto, estamos ensinando os modelos de IA do Bee a entender esse contexto. Fundamentalmente, você precisa de centenas de milhões de cobertura de km de estrada para ver um número significativo de casos extremos. É bom que o Hivemapper tenha isso.