Tutorial

Escrito passo a passo no formato "em qual página → onde clicar → o que preencher → o que você vê": seguindo, você vai do zero à implantação. Todo o fluxo roda offline no seu computador, e as imagens e os dados não saem dele (só quando você escolhe usar a "Xuntong AI" na anotação assistida é que as imagens são enviadas para a plataforma Xuntong AI).

01 Instalação e primeira execução

1.1 Baixar e instalar

  1. Abra o site oficial https://wulabel.xiaowuiot.com e clique em Baixar no canto superior direito, ou baixe na página de Releases do GitHub.
  2. Windows: baixe Wulabel_<versão>_x64-setup.exe, dê um duplo clique e siga as instruções. Depois de instalar, abra o Wulabel pelo menu Iniciar ou pela área de trabalho.
  3. Mac: baixe Wulabel_<versão>_universal.dmg, dê um duplo clique para abrir e arraste o Wulabel para a pasta "Aplicativos".
  4. Linux (desde a v0.4.0): baixe Wulabel_<versão>_amd64.deb e execute sudo apt install ./Wulabel_<versão>_amd64.deb no terminal. Depois de instalar, abra o Wulabel pelo menu de aplicativos. Você também pode baixar o .AppImage, executar chmod +x Wulabel_<versão>_amd64.AppImage e abri-lo com duplo clique, sem instalar. Em computadores ARM (Phytium, Kunpeng), baixe Wulabel_<versão>_arm64.deb ou Wulabel_<versão>_aarch64.AppImage (desde a v0.4.2); o uso é o mesmo.

1.2 Conhecendo a interface principal

Ao abrir, você vê primeiro a página Projetos. Depois de abrir um projeto, a barra de navegação fica à esquerda, de cima para baixo:

PáginaPara que serve
ProjetosCriar, abrir e trocar de projeto
DadosImportar imagens / vídeos / conjuntos de dados, gerenciar imagens, exportar conjuntos de dados
AnotarDesenhar caixas e contornos, escolher classes, marcar pontos-chave, assistência de IA e pré-anotação
DiagnósticoEncontrar problemas como anotações faltando, rótulos errados e imagens repetidas
TreinarEscolher o modelo, ajustar parâmetros, iniciar o treinamento, ver os treinamentos anteriores
AvaliarVer métricas, matriz de confusão e erros, limiar recomendado, teste de falsos positivos, exportar relatório
ImplantarTeste ao vivo, exportar modelo, gerar pacote de serviço de inferência, importar o retorno do campo
ColaboraçãoColaboração em tempo real: ativar o compartilhamento (rede local / online), membros, atribuição de tarefas, estatísticas de progresso
ConfiguraçõesInstalar o ambiente de treinamento, fonte de download, Xuntong AI

No canto superior direito ficam os botões Feedback e Fechar projeto.

02 Configurações: ambiente de treinamento, fonte de download, Xuntong AI

Se você só vai anotar, importar e exportar, sem treinar, pode pular este capítulo por enquanto.

2.1 Instalar o ambiente de treinamento com um clique

  1. Clique em Configurações à esquerda.
  2. Veja a seção "Ambiente de treinamento":
    • A linha GPU mostra a placa de vídeo detectada, a memória de vídeo, o driver e a versão de CUDA suportada. Sem GPU NVIDIA, aparece o aviso de que só é possível treinar na CPU (bem mais lento).
    • A lista Versão do PyTorch já vem com a versão recomendada selecionada (marcada como "Recomendado"); em geral não é preciso mudar:
      • CUDA 12.8: GPUs novas, como a série RTX 50;
      • CUDA 13.0: exige um driver mais recente;
      • CUDA 11.8: GPUs e drivers mais antigos;
      • Versão CPU: sem GPU NVIDIA.
  3. (Opcional) Local de instalação: por padrão, a instalação vai para a pasta de dados local no disco C. Se o disco C estiver com pouco espaço, clique para escolher outro disco com mais espaço e clique em Salvar.
  4. Clique em Instalar. A versão para GPU tem cerca de 3 GB; uv, Python 3.11 e PyTorch são baixados automaticamente, e o tempo restante aparece abaixo da barra de progresso. Só é preciso instalar uma vez.
  5. Ao terminar, o status muda para Pronto e aparece "GPU disponível (cuda)" logo abaixo.

O ambiente de treinamento é independente e não afeta outras instalações de Python no sistema.

2.2 Fonte de download

  1. Na seção "Fonte de download", clique em Testar velocidade e recomendar. O software baixa alguns MB da fonte oficial e dos espelhos na China para medir a velocidade e seleciona automaticamente a mais rápida.
  2. Com "Espelhos na China" selecionado, os modelos auxiliares, como o SAM e o prompt de texto, também são baixados de um espelho na China (hf-mirror.com).

2.3 Xuntong AI (opcional)

Só é necessário se você quiser usar os modelos da plataforma Xuntong AI para anotar automaticamente, enviar modelos, buscar imagens de alarme ou colaborar online pelo "Retransmissor oficial da Xuntong":

  1. Na seção "Xuntong AI", clique em Entrar na conta Xuntong AI.
  2. O navegador abre a página da Xuntong AI: se ainda não estiver conectado, entre (como você faz normalmente na Xuntong). Depois, confira se o código de confirmação na página é o mesmo mostrado no Wulabel e clique em Permitir.
  3. Volte ao Wulabel: em alguns segundos aparecem automaticamente Conectado como, o nome da conta, o plano e a cota restante, além dos métodos de reconhecimento disponíveis (reconhecer pelas classes do projeto, modelos dedicados ativados na plataforma, reconhecimento geral por LLM). Não é preciso copiar e colar nenhuma Key.
  4. Se o navegador não abrir sozinho, clique em Reabrir ou copie o endereço mostrado na janela e abra você mesmo.
  5. Sair da conta: a Key deste computador é apagada, e a Key criada automaticamente no login também é revogada na plataforma.

Se você já tem uma API Key ou usa a Xuntong em implantação privada, clique em Avançado: informar a API Key manualmente, endereço da plataforma em implantação privada, preencha os campos e clique em Salvar e testar conexão. O status da conexão fica sempre visível nesta seção.

2.4 Usar um ambiente Python existente (avançado)

Se você já tem um ambiente Python com PyTorch instalado, não precisa baixar de novo:

  1. Expanda "Usar um ambiente Python existente (avançado)".
  2. Clique em Escolher python.exe e selecione o python.exe do ambiente (por exemplo, D:\envs\torch\Scripts\python.exe).
  3. Clique em Salvar. O ambiente precisa ter torch, torchvision, numpy e pillow; para exportar ONNX, também precisa do onnx.
  4. Para voltar ao ambiente do próprio software: apague o caminho e salve.

2.5 Verificar atualizações

Ao iniciar, o software verifica uma vez se há uma versão nova; se houver, aparece um aviso no canto inferior direito. Clique em Atualizar agora: o software baixa a nova versão em segundo plano, confere se está íntegra, instala automaticamente e reabre sozinho, sem você precisar clicar em nada (no Windows aparece só uma barra de progresso da instalação; no Linux instalado pelo .deb, a atualização automática também funciona desde a v0.4.2, e pode ser pedida a senha do sistema uma vez durante a instalação). Projetos e dados são mantidos (desde a v0.4.1). Você também pode clicar em "Baixar" para abrir a página de download. Para não ver mais o aviso de uma versão, clique em "Não lembrar mais desta versão". Também dá para clicar manualmente em Verificar atualizações em "Sobre e atualizações", no final da página de configurações.

A verificação de atualizações só envia a versão do software, o tipo de sistema e um identificador anônimo aleatório, usado para estimar quantas pessoas usam o software; não inclui imagens, projetos nem qualquer dado pessoal. Se não quiser essa verificação online, desligue Verificar atualizações ao iniciar em "Sobre e atualizações".

2.6 Idioma, aparência e a chave do Xuntong AI

No topo da página Configurações você pode mudar:

03 Criar e abrir projetos

Um projeto é só uma pasta: as imagens (copiadas para dentro dele), as anotações, os modelos e os treinamentos ficam todos lá dentro. Copie a pasta inteira para outro computador e ela abre direto.

No primeiro uso, a página "Projetos" mostra no topo um guia de introdução, que leva você por seis passos: instalar o ambiente de treinamento, criar um projeto, importar imagens, anotar um pequeno lote, treinar, e pré-anotar e implantar. Os passos concluídos são marcados automaticamente. Clique no × no canto superior direito para fechá-lo; depois, clique em "Mostrar guia de introdução" para abri-lo de novo.

Os cartões de "Projetos recentes" mostram a capa do projeto, o número de imagens, quantas já foram anotadas (barra de progresso) e quantas vezes o projeto foi treinado, para você ver de relance em que ponto cada projeto está.

3.1 Criar um projeto

  1. Na página Projetos, clique em Novo projeto.
  2. Nome do projeto: por exemplo, "Detecção de capacete em obra".
  3. Local de armazenamento: o padrão é "Documents/Wulabel"; você também pode clicar em Procurar e escolher outra pasta. O projeto será criado dentro dela.
  4. Tipo de tarefa (não pode ser alterado depois de criado):
    TarefaForma de anotarIndicado para
    Detecção de objetosCaixas retangularesLocalizar capacetes, veículos, fumaça e fogo
    Segmentação de instânciasContornos poligonaisQuando a forma exata importa: áreas alagadas, montes de lixo, regiões com defeito
    Classificação de imagensUma classe por imagem inteiraCena "normal / anormal", classificação de cenas
    Pontos-chaveCaixa do objeto + pontos marcados um a um conforme o templatePose humana (queda, escalada), partes-chave de objetos
  5. Classes (opcional): escreva antes as classes que vai anotar, separadas por vírgula ou quebra de linha, por exemplo "capacete, pessoa, colete refletivo". Se deixar em branco, dá para adicioná-las a qualquer momento na página Anotar.
  6. Clique em Criar. Aparece a mensagem "Projeto "…" criado" e o projeto abre automaticamente.

3.2 Abrir um projeto

04 Importar dados

Clique em Dados à esquerda.

4.1 Importar imagens ou pastas

  1. Primeiro, escolha a forma de importação no topo da página:
    • Copiar para o projeto: as imagens são copiadas para a pasta do projeto, e o projeto pode ser levado inteiro para outro lugar (recomendado);
    • Só referenciar o caminho original: só registra onde as imagens estão, sem ocupar espaço extra, mas as imagens originais não podem ser movidas.
  2. Importe:
    • clique em Importar pasta e escolha uma pasta (as imagens das subpastas também são encontradas);
    • ou clique em Mais opções de importação → Importar arquivos de imagem e escolha algumas imagens;
    • ou arraste para a janela as imagens e pastas e solte quando aparecer "Solte para importar imagens ou vídeos". Se você arrastar um arquivo de vídeo, a janela "Extrair quadros de vídeo" abre direto (veja 4.2).
  3. Durante a importação, aparece o progresso "N / M imagens processadas (calculando impressões digitais, gerando miniaturas)". Se escolheu errado, clique em Parar; as imagens já processadas entram normalmente. No final, uma mensagem informa quantas imagens foram adicionadas e quantas repetidas foram puladas; clique em Começar a anotar na mensagem para ir direto à página Anotar.

A importação remove duplicatas pelo conteúdo (a mesma imagem não entra duas vezes) e corrige a orientação das fotos de acordo com as informações EXIF.

Imagens de exemplo de cenas de inspeção
Exemplo: imagens importadas de cenas de inspeção: carro parado na saída de emergência, scooter elétrica entrando no elevador, pessoa sem capacete, animal de estimação no local, alguém fumando, fumaça e fogo etc.

4.2 Importar vídeos (extrair quadros)

  1. Clique em Mais opções de importação → Importar vídeos (extrair quadros) e escolha um ou mais arquivos de vídeo.
  2. Na janela "Extrair quadros de vídeo", configure:
    • A cada N segundos, extrair 1 quadro: se os objetos mudam devagar, use um intervalo maior para evitar um monte de imagens quase iguais;
    • Máximo por vídeo: N quadros (0 = sem limite).
  3. Clique em Iniciar extração. No primeiro uso, o ffmpeg (cerca de 90 MB) é baixado automaticamente; depois não é preciso baixar de novo. Se configurou algo errado, clique em Parar; os quadros já extraídos são importados normalmente.
  4. Os quadros extraídos são copiados para o projeto, com remoção automática de duplicatas pelo conteúdo. No final, aparece uma mensagem como "M quadros extraídos de N vídeos: K imagens novas".

4.3 Extrair quadros de stream de vídeo (RTSP / ao vivo / gravação)

  1. Clique em Mais opções de importação → Extrair quadros de stream de vídeo (RTSP / ao vivo / gravação).
  2. Preencha o endereço: uma câmera RTSP (rtsp://…) ou um endereço http(s) ao vivo, de gravação ou de vídeo sob demanda (mp4, m3u8, flv).
    • Hikvision: rtsp://usuário:senha@IP:554/Streaming/Channels/101 (stream principal) ou 102 (substream)
    • Dahua: rtsp://usuário:senha@IP:554/cam/realmonitor?channel=1&subtype=0
  3. Clique em Testar conexão. Aparecem a resolução e se é uma "Transmissão ao vivo (sem fim, defina um limite)" ou um "Stream de gravação · Duração …".
  4. Configure:
    • A cada N segundos, extrair 1 quadro;
    • Extrair até N quadros e Capturar por até N minutos (0 = sem limite, só ao vivo). Uma transmissão ao vivo não tem fim: defina pelo menos um desses limites;
    • marque Pular quadros quase idênticos: guarda menos imagens repetidas quando a cena está parada.
  5. Clique em Iniciar captura. As imagens entram no projeto à medida que são capturadas, e você as vê aparecer uma a uma na página Dados.
  6. Durante a captura, você pode clicar em Minimizar e fazer outra coisa; o canto inferior direito mostra "Capturando · N quadros extraídos". Clique em Expandir para voltar. Clique em Parar captura a qualquer momento para encerrar; as imagens já capturadas são mantidas.
  7. As imagens capturadas ficam na pasta images/stream_<endereço>_<hora>/ do projeto. No final, você pode clicar em Abrir pasta para vê-las.

O usuário e a senha só são usados durante a captura; o software não coloca o endereço com senha no nome da pasta do projeto.

4.4 Importar conjuntos de dados anotados

Se você já tem dados anotados em outro lugar, pode importá-los junto com as anotações:

  1. Clique em Mais opções de importação e escolha conforme o tipo de projeto:
    • Projetos de detecção / segmentação: Importar conjunto de dados anotado (YOLO / COCO / VOC), que suporta YOLO (inclusive seg), COCO (inclusive segmentação) e VOC;
    • Projetos de pontos-chave: Importar conjunto de dados anotado (YOLO-pose / pontos-chave COCO);
    • Projetos de classificação: Importar conjunto de dados de classificação (uma pasta por classe). Cada subpasta da pasta escolhida é uma classe (também pode haver um nível intermediário train / val).
  2. Escolha a pasta raiz do conjunto de dados; o formato é detectado automaticamente.
  3. No final, aparece uma mensagem como "Conjunto de dados YOLO importado", com as classes que foram adicionadas.

4.5 Ações em lote, desfazer, excluir, limpar

Os cartões de estatística no topo da página Dados (Sem anotação, Anotadas, Ignoradas) são clicáveis: clique em um para ver só esse tipo de imagem e clique de novo para voltar a ver todas. Os botões de filtro logo abaixo funcionam da mesma forma.

Tudo isso fica no menu Gerenciar:

Ao excluir, as anotações das imagens também são excluídas, sem como recuperar. As cópias das imagens dentro do projeto são apagadas, mas as imagens originais no seu computador não são afetadas.

4.6 Triagem de qualidade de imagem

Imagens borradas, escuras demais ou superexpostas são difíceis de anotar e podem atrapalhar o treinamento. Você pode filtrá-las antes:

  1. Clique em Gerenciar → Triagem de qualidade de imagem (borradas, escuras demais, superexpostas).
  2. Ver só imagens sem anotação vem marcado por padrão; para verificar todas, desmarque.
  3. Clique em Iniciar triagem.
  4. Os resultados são agrupados por problema: Borrada, Escura demais, Superexposta e Baixo contraste; clique nas etiquetas no topo para filtrar. Abaixo de cada imagem aparecem os valores de nitidez, brilho, proporção superexposta e contraste.
  5. O que fazer:
    • Revisar uma a uma: vai para a página Anotar para você ver cada imagem e decidir;
    • Marcar como ignorada: marca como "Ignorada", e a imagem não entra no treinamento (ela continua lá e dá para desfazer depois);
    • Excluir: exclui direto.

4.7 Buscar imagens de alarme da Xuntong AI

Depois que o modelo é implantado na plataforma Xuntong AI, as capturas de alarme do campo (principalmente falsos positivos e falsos negativos) são exatamente os dados que mais valem a pena acrescentar:

  1. Primeiro, configure a Xuntong AI em Configurações (veja 2.3).
  2. Na página Dados, clique em Mais opções de importação → Buscar imagens de alarme da Xuntong AI.
  3. Escolha o período (últimos 1 / 3 / 7 dias; a plataforma guarda as imagens de alarme por 7 dias, então busque com regularidade), o modelo (todos ou um específico) e Até N imagens. Só contas Xuntong com um canal de envio configurado geram registros de alarme.
  4. Usar as caixas detectadas pela plataforma como pré-anotações vem marcado por padrão: as caixas são associadas às classes do projeto pelo nome, e as que não existirem são criadas.
  5. Clique em Iniciar busca. As imagens ficam na pasta images/xuntong_<hora>/ do projeto, e as caixas detectadas aparecem tracejadas (origem "Xuntong").
  6. Confira na página Anotar: exclua as caixas de falsos positivos (em imagens sem objetos, basta pressionar Enter (Concluir) para mantê-las como amostras negativas), adicione o que faltou e treine de novo.

05 Anotar

Clique em Anotar à esquerda.

5.1 Conhecendo a página Anotar

As alterações são salvas automaticamente; não é preciso salvar manualmente.

5.2 Adicionar e gerenciar classes

  1. No bloco "Classe" à direita, digite no campo "Nome da nova classe; Enter para adicionar", por exemplo "capacete", e pressione Enter.
  2. As 9 primeiras classes podem ser trocadas rapidamente com as teclas 1–9; a classe atual fica destacada.
  3. Clique no botão de editar ao lado de uma classe para:
    • mudar o nome e a cor;
    • preencher o Prompt em inglês (usado na anotação automática por "Prompt de texto"; você pode escrever vários termos separados por vírgula, por exemplo helmet, hard hat);
    • preencher as Instruções de reconhecimento (usadas no "Reconhecer pelas classes do projeto" da Xuntong AI: o que exatamente esta classe significa e o que conta / não conta, por exemplo "pessoa sem capacete na cabeça; capacete sem a jugular afivelada também conta");
    • excluir a classe. Se a classe já tiver anotações, você pode escolher outra classe em "Mesclar em…": as anotações passam para essa classe e não se perdem (muito útil quando usou a classe errada ou quer juntar duas classes em uma). Se não escolher nenhuma, a classe é excluída junto com as anotações.

5.3 Detecção de objetos: desenhar caixas

  1. Pressione 1–9 para escolher a classe.
  2. Pressione R (ou clique na ferramenta de desenhar caixa à esquerda) e arraste com o mouse sobre o objeto para desenhar uma caixa.
  3. Ajuste: pressione V para mudar para a ferramenta de seleção; clique em uma caixa para arrastá-la ou puxe as bordas e cantos para redimensionar.
  4. Excluir: selecione a caixa e pressione Del ou Backspace; pressione Esc para desmarcar.
  5. Mudar a classe: selecione a caixa e pressione uma tecla numérica, ou mude em "Objetos nesta imagem" à direita.
  6. Pressione H para ocultar / mostrar os nomes das classes nas caixas, o que ajuda quando há muitas caixas juntas.
Exemplo de anotação: desenhar caixas e escolher a classe
Exemplo de anotação: desenhe caixas na imagem e escolha a classe de cada uma. Nesta foto de obra foram anotadas duas classes: "sem capacete" (vermelho) e "capacete" (verde).

5.4 Segmentação de instâncias: desenhar contornos

  1. Escolha a classe e pressione R.
  2. Clique ponto a ponto ao longo da borda do objeto.
  3. Dê um duplo clique ou pressione Enter para fechar o contorno; se errar um ponto, pressione Backspace para desfazer o último.
  4. Depois de selecionar o contorno, você pode arrastar os vértices para ajustes finos.
  5. Um jeito mais rápido é pressionar S para usar a seleção inteligente SAM: um clique e o contorno sai automaticamente (veja o capítulo 6).

5.5 Classificação de imagens: uma tecla por imagem

  1. Olhe a imagem e pressione uma tecla numérica 1–9 para escolher a classe. A classe atual aparece no canto superior esquerdo da imagem.
  2. Ative a chave Avançar ao escolher à direita: depois de pressionar a tecla numérica, você vai automaticamente para a próxima imagem, uma tecla por imagem.
  3. Pressione Del para limpar a classe desta imagem; pressione Ctrl+D para repetir a classe da imagem anterior.

5.6 Pontos-chave

  1. Primeiro, veja o Template de pontos-chave à direita. O padrão é "COCO corpo humano 17 pontos" (nariz, olho esquerdo, olho direito… tornozelo esquerdo, tornozelo direito). Para mudar, clique em Editar:
    • Nome do template;
    • Nomes dos pontos (um por linha; a ordem dos pontos é a ordem de clique na anotação);
    • Conexões (um par de números por linha, por exemplo 1-2, usadas para desenhar o esqueleto);
    • você também pode clicar em Usar COCO corpo humano 17 pontos para voltar ao padrão.
    • Depois que houver anotações de pontos-chave, só é possível mudar os nomes e as conexões, não adicionar nem remover pontos.
  2. Escolha a classe e pressione R para desenhar a caixa do objeto.
  3. Depois de desenhar a caixa, siga as instruções e clique em cada ponto-chave, na ordem (a parte de baixo da tela mostra qual ponto marcar agora, por exemplo "Clique em ombro esquerdo (6/17)"):
    • clique normal: ponto visível;
    • Shift + clique: ponto encoberto;
    • N: pula um ponto que não dá para ver;
    • Backspace: volta ao ponto anterior;
    • Esc: termina este objeto.
  4. Ajuste fino: selecione o objeto e arraste os pontos-chave diretamente. A lista à direita mostra o status de cada ponto; clique em um nome para remarcar só esse ponto, e clique no status para alternar entre "visível / encoberto".
  5. Com o objeto selecionado, clique em Remarcar pontos-chave para recomeçar a marcação a partir do primeiro ponto.

5.7 Copiar a imagem anterior, desfazer e refazer

5.8 Concluir e ignorar

Quem anota sozinho não precisa de revisão: imagens com objetos anotados contam automaticamente como "Anotada" e entram direto no treinamento. No bloco "Concluído" à direita:

Ao terminar a última imagem, aparece "Lote concluído", com o número de imagens anotadas e das que faltam. Você pode clicar em Ir para treinamento ou em Continuar com as sem anotação.

Escolha "Ignoradas" no filtro do topo para encontrar as imagens ignoradas e conferi-las de novo.

O fluxo de revisão só existe na colaboração em equipe (quando há membros adicionados ou a colaboração em tempo real está ativa). Aí este bloco passa a se chamar "Revisão", com os botões Aprovar e próxima e Devolver; veja o capítulo 9.

5.9 Quadros de vídeo: interpolação de quadros-chave e rastreamento adiante

Vale para projetos de detecção e de pontos-chave. Os quadros extraídos de vídeo (na mesma pasta, em ordem pelo nome do arquivo) não precisam ser desenhados um a um.

Interpolação de quadros-chave (trechos em que o objeto se move em velocidade constante):

  1. Vá ao primeiro quadro do trecho e anote todos os objetos (esse é um "quadro-chave").
  2. Vá ao último quadro do trecho e anote os mesmos objetos.
  3. Nesse último quadro, clique no botão Interpolação de quadros-chave à esquerda.
  4. O software associa os objetos das duas pontas por classe e posição e preenche automaticamente os quadros intermediários. Aparece a mensagem "M objetos interpolados em N quadros intermediários"; os objetos que não corresponderem nas duas pontas são informados à parte.

Rastrear adiante (quando o objeto se move de forma irregular):

  1. Anote os objetos no quadro atual.
  2. Clique no botão Rastrear adiante à esquerda, preencha Quadros na janelinha (padrão 30, máximo 500) e clique em Rastrear.
  3. O software segue, quadro a quadro, a partir das caixas deste quadro. Ele para se o objeto ficar encoberto ou se perder, e também para ao chegar a um quadro anotado manualmente mais adiante, sem sobrescrever anotações manuais.
  4. Ao terminar, vai automaticamente para o último quadro rastreado. Se uma caixa saiu do lugar, arraste-a de volta (a caixa arrastada vira anotação manual, e esse quadro vira um novo quadro-chave) e clique de novo em Rastrear adiante para continuar.

As caixas geradas por interpolação e rastreamento aparecem em "Objetos nesta imagem", à direita, com origem "Interpolado" e "Rastrear". Interpolar ou rastrear de novo substitui essas caixas; as caixas manuais não são alteradas.

Dica para economizar esforço: anote primeiro um pequeno lote à mão (de algumas dezenas a uma ou duas centenas de imagens), treine um modelo inicial e use-o para pré-anotar o resto (capítulo 12). Você só corrige os erros.

06 Anotação assistida por IA

Mesmo antes de ter um modelo seu, você pode deixar a IA ajudar a anotar.

6.1 Seleção inteligente SAM

  1. Escolha a classe e pressione S (ou clique no botão SAM à esquerda).
  2. No primeiro uso, é preciso instalar componentes e baixar o modelo, o que pode levar alguns minutos; a tela mostra "Preparando o SAM…". Com GPU NVIDIA, é usado o SAM ViT-B; sem ela, o compacto SlimSAM.
  3. Clique uma vez sobre o objeto e o contorno dele é selecionado automaticamente (pré-visualização).
    • Pegou área demais: Shift + clique na parte que sobrou para excluí-la;
    • Pegou área de menos: clique na parte que ficou de fora;
    • Clicou errado: pressione Backspace para desfazer o último ponto;
    • Você também pode arrastar uma caixa em volta do objeto.
  4. Quando estiver bom, pressione Enter para aceitar com a classe atual; pressione Esc para descartar.
  5. Resultado: em projetos de segmentação, você obtém um polígono; em projetos de detecção, uma caixa justa; em projetos de pontos-chave, um novo objeto (depois clique em "Remarcar pontos-chave" para marcar os pontos).

6.2 Prompt de texto

Encontra objetos na imagem automaticamente pelo nome da classe:

  1. Em "Assistência de IA", à direita, escolha Prompt de texto.
  2. O modelo só entende inglês. Nomes de classe comuns em chinês (como 安全帽, 人员, 电动车, 渣土车, 锥桶 e mais de cem outros) são associados automaticamente ao inglês, e o termo aparece depois do nome da classe, por exemplo "安全帽 · helmet" (安全帽 = capacete); também funciona se o nome da classe contiver uma dessas palavras, como "红色安全帽" (capacete vermelho). Se o nome não tiver correspondência (por exemplo, nomes em português) ou se você quiser mudar, preencha o Prompt em inglês na edição da classe.
  3. Ajuste a Confiança: se encontrar coisas demais, aumente; se não encontrar nada, diminua.
  4. Clique em Anotar esta imagem (P) para anotar a imagem atual, ou em Pré-anotação em lote para anotar várias de uma vez.
  5. No primeiro uso, o modelo é baixado, o que leva alguns minutos. Em projetos de segmentação, o SAM é usado em seguida para gerar os contornos.

6.3 Xuntong AI

(O uso completo da Xuntong AI está no capítulo 16.)

  1. Primeiro, configure a Xuntong AI em Configurações (veja 2.3).
  2. Em "Assistência de IA", escolha Xuntong AI e, em "Selecionar modelo de reconhecimento", escolha:
    • Reconhecer pelas classes do projeto (recomendado): procura só as classes do projeto, com os nomes das classes exatamente como estão, seguindo as instruções de reconhecimento de cada classe e as regras gerais; não aponta coisas de que você não precisa;
    • um modelo dedicado ativado na plataforma;
    • Reconhecimento geral por LLM: procura por categoria de risco de segurança (incêndio, elétrico, higiene ambiental etc.).
  3. Clique em Anotar esta imagem (P) ou Pré-anotação em lote. A pré-anotação em lote com um modelo dedicado (por exemplo, separação de lixo) é rápida: lotes de 8 imagens, dois lotes enviados ao mesmo tempo. O LLM e o reconhecimento pelas classes do projeto vão uma imagem por vez e são mais lentos.
  4. A Xuntong AI conta 1 chamada por imagem e consome a cota do plano da sua conta; antes de um lote, aparece um aviso.

6.4 Regras de reconhecimento: explique à IA como reconhecer

Só com o nome da classe, a IA nem sempre sabe exatamente o que você quer. Você pode escrever as regras com clareza ou simplesmente conversar com a IA:

  1. Clique em Regras de reconhecimento, ao lado do título "Assistência de IA"; o painel de regras de reconhecimento abre à direita.
  2. Conversar com a IA: diga com palavras simples como reconhecer, por exemplo "capacete sem a jugular afivelada conta como sem capacete", "colete refletivo não conta", "olhar só o corredor na metade de baixo da imagem". Você também pode perguntar "por que a pessoa à esquerda nesta imagem não foi reconhecida?".
    • Anexar a imagem atual vem marcado por padrão: a IA testa o reconhecimento nesta imagem com as novas regras.
    • Depois que a IA responder, se ela sugerir atualizar as regras, aparece "A IA sugere atualizar as regras" com o conteúdo; as regras só são salvas quando você clica em Aplicar estas regras.
    • Se o teste de reconhecimento encontrar algo, clique em Adicionar as N caixas do teste a esta imagem para usá-las direto como pré-anotação.
    • Ctrl+Enter envia. Cada conversa consome cota da Xuntong AI.
  3. Regras atuais: você pode editar diretamente as Regras gerais (valem para todas as classes) e as Instruções de reconhecimento por classe, e clicar em Salvar regras.
  4. A partir daí, a pré-anotação da Xuntong AI com "Reconhecer pelas classes do projeto" segue essas regras.
  5. (Opcional) No final de "Regras atuais", clique em Sincronizar com a plataforma Xuntong: as classes e as regras são salvas na plataforma Xuntong. Por padrão ficam desativadas e não afetam o reconhecimento atual da plataforma. Depois de vincular, cada vez que você salvar ou aplicar regras o conteúdo é sincronizado automaticamente (sem mudar a ativação nem os cenários aplicáveis que você definiu no console da Xuntong).
  6. Para que o reconhecimento da própria plataforma Xuntong (assistente de captura, envio de alarmes) também reporte só as classes que você quer, ative Usar estas regras também no reconhecimento da plataforma. Atenção: depois de ativado, todo o reconhecimento da conta Xuntong segue as classes deste projeto; os cenários aplicáveis podem ser ajustados em "Regras de reconhecimento" no console da Xuntong. Para parar de sincronizar, clique em Desvincular (as regras na plataforma não são apagadas). Cada conta Xuntong pode ter no máximo 20 conjuntos de regras de reconhecimento.

Limites: o reconhecimento pelas classes do projeto aceita no máximo 30 classes, com nomes de até 30 caracteres; as regras gerais têm no máximo 1000 caracteres, e as instruções de reconhecimento de cada classe, no máximo 500.

Na colaboração, os membros também podem abrir as regras de reconhecimento e conversar com a IA (se o anfitrião liberou a assistência de IA, é usada a cota do anfitrião); se eles podem alterar as regras depende da chave "Os membros podem adicionar e editar classes".

6.5 Conferir os resultados da assistência

As caixas e contornos marcados pela IA aparecem tracejados. Confira tudo: exclua os errados, arraste os desalinhados para o lugar certo, adicione o que faltou e pressione Enter (Concluir e próxima).

07 Diagnóstico de dados

Clique em Diagnóstico à esquerda para encontrar com um clique os problemas nos dados.

  1. Escolha como verificar:
    • Se tiver um modelo treinado: escolha "Verificar com o modelo: nome do modelo · mAP50 …"; as regras e o modelo verificam juntos;
    • Sem modelo: escolha "Só verificação por regras (sem modelo)".
  2. Clique em Iniciar diagnóstico.
  3. Os resultados aparecem agrupados por problema:
    ProblemaSignificadoRequer modelo
    Possível anotação faltandoO modelo tem certeza de que há um objeto aqui, mas não há anotaçãoSim
    Possível classe erradaA posição da caixa confere, mas a classe é diferente da que o modelo previuSim
    Caixa imprecisaA classe confere, mas a caixa se sobrepõe pouco à previsão do modeloSim
    Possível caixa a maisHá uma caixa anotada, mas o modelo não vê nada nessa posiçãoSim
    Caixa minúsculaO lado menor tem menos de 8 pixels; o modelo quase não consegue aprenderNão
    Caixa duplicadaDuas caixas da mesma classe na mesma imagem quase totalmente sobrepostasNão
    Imagens repetidasImagens quase iguais, que inflam os resultados da avaliaçãoNão
    Sem classeA caixa não tem classe e não entra no treinamentoNão
  4. Para cada problema, você pode:
    • Corrigir: vai para a página Anotar com a caixa destacada;
    • Adicionar como anotação: em uma possível anotação faltando, adiciona direto uma caixa conforme a previsão do modelo;
    • Não é um problema: ignora, e os próximos diagnósticos não apontam mais.

      Quando um tipo de problema tem muitos itens, use Adicionar tudo como anotações (possíveis anotações faltando) ou Ignorar tudo para resolver de uma vez. Os problemas ignorados podem ser recuperados clicando em "N itens ignorados · Restaurar".

  5. As imagens que você corrigiu na página Anotar aparecem como "Modificada" e recolhidas por padrão quando você volta ao diagnóstico, sem precisar rodar o diagnóstico de novo.
  6. As imagens repetidas aparecem em grupos, e cada imagem mostra o status e o número de anotações. A de borda verde é a que fica; por padrão, a que tem as anotações mais completas (Revisada > Anotada > mais anotações). Clique em outra imagem para trocar, ou dê um duplo clique para vê-la na página Anotar. Clique em Manter só uma por grupo para excluir as outras; imagens com anotações não são excluídas por engano.
  7. Mais abaixo na página estão a Distribuição das classes (caixas · imagens) e a Distribuição do tamanho das caixas; quando há classes com poucos exemplos ou caixas pequenas demais, aparecem sugestões. Em projetos de classificação, só são verificadas as possíveis classes erradas e as imagens repetidas.

08 Versões do conjunto de dados

Salve os dados de um momento como snapshot, para comparar e voltar atrás quando quiser.

  1. Na página Dados, clique em Gerenciar → Versões do conjunto de dados (snapshot, comparação, restauração).
  2. Preencha o nome da versão (por exemplo, v1, imagens noturnas adicionadas) e a Observação (opcional) e clique em Salvar os dados atuais como nova versão.
    • A versão guarda as imagens anotadas e revisadas no momento, suas anotações e a divisão treino / validação / teste.
  3. Em cada linha da lista de versões, você pode:
    • Comparar com os dados atuais: ver as imagens adicionadas, removidas e com anotações alteradas, e a mudança no número de anotações de cada classe;
    • Exportar esta versão;
    • Restaurar para esta versão: antes de restaurar, os dados atuais são salvos automaticamente como uma versão "Backup automático antes da restauração", para você poder voltar a qualquer momento;
    • Renomear, observação, Excluir esta versão (só apaga o snapshot, sem afetar os dados atuais nem os modelos já treinados).
  4. Em "Dados de treinamento", na página Treinar, você pode escolher uma versão para treinar (veja 10.1).

09 Colaboração em equipe

Quando há imagens demais para uma pessoa só, existem duas formas:

9.1 Iniciar a colaboração em tempo real

  1. Clique em Colaboração à esquerda.
  2. Primeiro, adicione membros em "Membro": preencha o Nome (usado para entrar), escolha a Função; a senha é gerada aleatoriamente por padrão (você pode mudar). Clique em Adicionar. Copie o usuário e a senha que aparecem e envie para a pessoa (só aparecem desta vez; se alguém esquecer, use Redefinir senha).
    • Anotador: só vê e altera as imagens atribuídas a ele;
    • Revisor: vê todas as imagens e é responsável por aprovar ou devolver;
    • Você é o Administrador.
  3. Em "Compartilhamento", escolha a forma de compartilhar:
    • Rede local: os membros estão na mesma rede da empresa ou no mesmo Wi-Fi que você. É o mais rápido, e os dados não saem da empresa.
    • Online · Retransmissor próprio: os membros estão na internet (terceirizados, home office). É preciso um servidor em nuvem da sua equipe com o serviço de retransmissão do Wulabel instalado (as instruções de implantação estão na pasta relay/ do repositório); preencha o Endereço de retransmissão e a Chave secreta. Os dados passam só pelo servidor de vocês.
    • Online · Retransmissor oficial da Xuntong: para quando os membros estão na internet e vocês não têm servidor próprio. Usa a sua API Key da Xuntong para se conectar ao servidor de retransmissão da Xuntong. As imagens e as anotações passam pelos servidores da Xuntong (só repassadas, não armazenadas); para projetos com dados sensíveis, use uma das duas primeiras formas.
  4. Preencha Seu nome (o nome do anfitrião que os membros veem). Em geral, não é preciso mudar a Porta (padrão 8765).
  5. Opções:
    • Os membros podem usar assistência de IA: seleção inteligente com SAM, pré-anotação por modelo e prompt de texto rodam no seu computador; conversar com a IA sobre regras de reconhecimento usa a sua cota da Xuntong.
    • Os membros podem adicionar e editar classes e instruções de reconhecimento: excluir uma classe apaga todas as anotações dela, então só você pode fazer isso.
    • Sobrepor na tela do membro uma marca-d'água com o nome dele: inibe o vazamento por captura de tela; bom para terceirizados.
  6. Clique em Iniciar colaboração. A página mostra o Endereço na rede local (por exemplo, http://192.168.1.20:8765/); no modo online, mostra também o Endereço na internet (por exemplo, https://relay.example.com/s/xxxxxxxxxxxx/). Envie o endereço e o usuário e senha de cada um para os membros.
    • Na primeira vez, o Windows pode mostrar um aviso do firewall; clique em Permitir.
    • Com a colaboração ativa, as três opções podem ser alteradas a qualquer momento e valem na hora.
    • Clique em Encerrar colaboração: os membros são desconectados na hora, e as anotações já salvas não são afetadas. Trocar de projeto ou fechar o Wulabel também encerra a colaboração.

9.2 Atribuir tarefas

  1. Em "Atribuir tarefas", escolha os anotadores (você pode clicar em Selecionar todos os anotadores).
  2. Escolha o escopo:
    • Imagens sem anotação ainda não atribuídas (o mais comum);
    • Todas as imagens sem anotação (redistribui também as já atribuídas);
    • Imagens não revisadas (sem anotação + anotadas).
  3. Por pessoa: N imagens: se deixar em branco, todas as imagens do escopo são divididas igualmente. As imagens são atribuídas em sequência, e os quadros consecutivos de vídeo vão para a mesma pessoa.
  4. Clique em Atribuir. Do lado dos membros, as novas tarefas aparecem automaticamente.
  5. Na lista de membros, você vê quantas imagens cada um recebeu, enviou e teve devolvidas. Clique em Recolher tarefas para pegar de volta as imagens que ele ainda não enviou e atribuí-las a outra pessoa.

9.3 Como os membros anotam (navegador)

  1. Abra no Chrome ou no Edge o endereço que o anfitrião enviou e entre com Nome e Senha. No seu próprio computador, você pode marcar Manter conectado. Não é preciso instalar nada.
  2. Ao entrar, você já está na página de anotação, que mostra só as imagens atribuídas a você. Tudo funciona como no Wulabel: desenhar caixas, atalhos, assistência de IA (se o anfitrião liberou). O canto superior direito mostra quantas imagens você enviou hoje.
  3. Ao terminar, clique em Enviar e próxima (Enter) e aguarde a revisão.
  4. As imagens devolvidas ficam no filtro Devolvidas, com o motivo da devolução exibido acima da imagem. Corrija e envie de novo.
  5. Uma imagem que outra pessoa está anotando mostra o aviso "Ana está anotando esta imagem": você só pode visualizar, e as alterações dela aparecem em tempo real. Quando ela sair, a imagem fica editável automaticamente.
  6. Se a rede cair, o canto superior direito avisa "Conexão em tempo real perdida, reconectando…". Quando a conexão voltar, tudo continua automaticamente, e o que já foi salvo não se perde.

9.4 Revisão

  1. O revisor (ou você mesmo) filtra Anotadas na página de anotação e confere uma a uma.
  2. Sem problemas: clique em Aprovar e próxima (Enter).
  3. Com problemas: clique em Devolver, marque os motivos comuns (Anotações faltando, Caixa imprecisa, Classe errada, Anotações a mais, Pontos-chave errados) ou escreva claramente o que precisa mudar e clique em Devolver.
  4. A imagem devolvida volta para "Devolvidas" do anotador original, que corrige e envia de novo.

9.5 Progresso, produtividade e registros

9.6 Como escolher entre as três formas de compartilhamento

Rede localOnline · Retransmissor próprioOnline · Retransmissor oficial da Xuntong
Indicado paraMesma rede da empresa, mesmo Wi-FiTerceirizados, home office, com servidor em nuvem próprioTerceirizados, home office, sem servidor
Endereço que os membros acessamhttp://IP-do-seu-computador:8765/https://seu-retransmissor/s/código/https://xuntongai.com/wulabel-relay/s/código/
VelocidadeA mais rápidaDepende da banda do servidorDepende da banda dos servidores da Xuntong
Por onde os dados passamSó pela rede interna da empresaPelo servidor de vocês (só repassados, não armazenados)Pelos servidores da Xuntong (só repassados, não armazenados)
O que prepararNadaUm servidor em nuvem com o serviço de retransmissão instalado conforme relay/README.mdUma conta Xuntong AI (conectada nas configurações)

9.7 Quem pode fazer o quê

AçãoAdministrador (você)RevisorAnotador
Imagens visíveisTodasTodasSó as atribuídas a ele
Desenhar caixas, alterar anotações✓✓✓ (só nas próprias imagens)
Enviar✓✓✓
Aprovar, devolver✓✓
Adicionar e editar classes e instruções de reconhecimento✓Depende da chave "Os membros podem adicionar e editar classes"Depende da chave
Excluir classes✓
SAM, pré-anotação por modelo, prompt de texto✓Depende da chave "Os membros podem usar assistência de IA" (roda no seu computador)Depende da chave
Pré-anotação com a Xuntong AI✓
Conversar com a IA sobre regras de reconhecimento✓Depende da chave "Assistência de IA" (usa a sua cota da Xuntong)Depende da chave
Atribuir tarefas, gerenciar membros, estatísticas✓
Importar, exportar, treinar, implantar, diagnóstico✓

Uma imagem só pode ser alterada por uma pessoa de cada vez: quem abre primeiro fica com o "bloqueio", e para os outros ela abre só para visualização, com as alterações aparecendo em tempo real. O bloqueio é liberado automaticamente quando a pessoa passa para a próxima imagem, fecha a página ou fica 90 segundos sem rede.

9.8 Um exemplo completo

Exemplo: "uma equipe terceirizada anota 2000 imagens de separação de lixo, e a sua própria equipe revisa":

  1. Preparação: no Wulabel, crie um projeto de detecção, importe as 2000 imagens e adicione as classes à direita (reciclável, orgânico, perigoso, outros). Você pode primeiro fazer uma pré-anotação em lote com um modelo dedicado da Xuntong AI (veja 16.4), para que os anotadores só precisem corrigir os erros, o que é bem mais rápido.
  2. Adicionar membros: na página "Colaboração", adicione 3 anotadores (os terceirizados Ana, Bruno e Carlos) e 1 revisor (Diana, da sua equipe), e envie a cada um o seu usuário e senha.
  3. Iniciar a colaboração: escolha "Online · Retransmissor oficial da Xuntong" (ou um retransmissor próprio), marque a "Marca-d'água", inicie e envie o endereço na internet para as 4 pessoas.
  4. Atribuição: selecione todos os anotadores, escopo "Imagens sem anotação ainda não atribuídas", deixe em branco o número por pessoa e clique em Atribuir: cada um recebe cerca de 666 imagens.
  5. Anotação: os anotadores abrem o endereço no navegador e entram; cada um vê só as próprias imagens e pressiona Enter para enviar cada imagem terminada.
  6. Revisão: Diana filtra "Anotadas" e confere uma a uma. Sem problemas, pressiona Enter para aprovar; com problemas, clica em "Devolver", marca "Anotações faltando" e escreve "ainda tem uma garrafa no canto inferior direito". A imagem devolvida volta para "Devolvidas" do anotador original, que corrige e envia de novo.
  7. Acompanhar o progresso: na página "Colaboração", você vê quem está online, quem anota mais rápido e quem tem mais devoluções. Se alguém ficar para trás, use "Recolher tarefas" para pegar de volta as imagens que ele não fez e atribuí-las a outra pessoa.
  8. Pagamento: em "Progresso e produtividade", escolha o período e clique em "Exportar CSV" para calcular o pagamento dos terceirizados pelo número de imagens enviadas e pela taxa de aprovação.
  9. Finalização: depois que tudo for aprovado, encerre a colaboração e volte ao Wulabel para treinar, avaliar e implantar como de costume.

9.9 Perguntas frequentes

9.10 Pacotes offline

Use quando não houver rede ou quando os dados não puderem sair da empresa. Cada pacote é um projeto Wulabel independente: copie para outras pessoas anotarem e, quando terminarem, mescle de volta.

Dividir em pacotes:

  1. Na página Dados, clique em Gerenciar → Colaboração em equipe (dividir em pacotes, mesclar de volta) e mude para Dividir em pacotes.
  2. Salvar em: escolha uma pasta; os pacotes de anotação são criados nela.
  3. Preencha os Anotadores, um por linha (ou separados por vírgula), por exemplo "Ana", "Bruno". Será criado um pacote para cada pessoa.
  4. Escolha o escopo: Só imagens sem anotação / Não revisadas (sem anotação + anotadas aguardando revisão) / Todos (exceto as ignoradas).
  5. Marque Incluir as anotações existentes: as imagens já pré-anotadas pelo modelo vão junto, para o anotador corrigir em cima, o que é mais rápido.
  6. (Opcional) Marque Anonimizar imagens para aplicar a anonimização em rostos, placas de veículos e outras áreas privadas antes de enviar (veja 13.2).
  7. Clique em Dividir em N pacotes. Ao terminar, a pasta de destino abre automaticamente. Copie cada pasta de pacote para a pessoa correspondente, que só precisa usar Abrir projeto no Wulabel para anotar.

Mesclar de volta:

  1. Copie de volta as pastas dos pacotes anotados.
  2. Abra Colaboração em equipe e mude para Mesclar de volta (ou, na lista "Pacotes distribuídos", clique direto em Mesclar no pacote).
  3. Escolha a pasta do pacote. Opções: Em caso de conflito, sobrescrever com a versão do pacote (por padrão, as imagens também alteradas no projeto original depois da divisão não são sobrescritas) e Importar também as imagens que o anotador adicionou ao pacote.
  4. Clique em Mesclar. O resultado mostra quantas imagens foram mescladas, quantas não mudaram, quantas são novas e quantas têm conflito. Se houver conflitos, clique em Revisar uma a uma.

10 Treinar

Clique em Treinar à esquerda. Antes do primeiro treinamento, é preciso instalar o ambiente de treinamento (veja o capítulo 2); se ele não estiver instalado, a página mostra o botão Instalar.

10.1 Configurar os parâmetros de treinamento

O topo da página mostra o número de "Imagens treináveis" (as imagens anotadas; na colaboração em equipe, também as revisadas). As imagens que ainda não foram divididas são distribuídas automaticamente entre os conjuntos de treino e de validação na proporção 8:2 ao iniciar o treinamento; as que já foram divididas não mudam sozinhas, então dá para comparar diretamente um treinamento com outro.

Clique em Ver e ajustar, ao lado de "Imagens treináveis", para ver em qual conjunto está cada imagem:

Na janela, clique nas imagens para selecioná-las (duplo clique abre para anotar) e use Mover para o conjunto de treino / Mover para o conjunto de validação / Mover para o conjunto de teste para ajustar manualmente. Embaixo, dá para mudar as proporções de treino / validação / teste e clicar em Atribuir agora as N imagens sem atribuição ou em Refazer toda a divisão (a divisão anterior é embaralhada, e os treinamentos de antes e de depois deixam de ser diretamente comparáveis). Se o conjunto de treino ficar vazio, aparece um aviso e não é possível iniciar o treinamento.

OpçãoDescrição
Ponto de partidaO padrão é "Começar dos pesos pré-treinados (treinar do zero)". Depois de acrescentar dados novos, você pode escolher "Continuar a partir de …" com um treinamento anterior, o que é mais rápido e mais estável do que treinar do zero; se as classes mudaram, a parte de classificação é reaprendida.
ModeloLista os modelos conforme a tarefa do projeto; o marcado como "Recomendado" é o indicado para este computador: em projetos de detecção, sem GPU dedicada é recomendado o YOLOX-Tiny, com 4 GB ou mais de memória de vídeo o YOLOX-S, com 8 GB ou mais o YOLOX-M, e no Mac o YOLOX-S. Projetos de detecção novos usam o YOLOX-S por padrão. Ao continuar um treinamento, é usado o modelo daquele treinamento.
ÉpocasQuanto menos dados, mais épocas são necessárias; em geral, de 20 a 50.
Tamanho de entradaPara objetos pequenos (pessoas distantes, capacetes), use um tamanho maior, o que deixa tudo mais lento. Para classificação, em geral 224.
Tamanho do loteDiminua se aparecer erro de falta de memória de vídeo.
Dados de treinamento"Dados atuais" ou uma versão do conjunto de dados.
Dispositivo"Automático (usa a GPU se houver)" ou "Só CPU".
Usar só imagens revisadasSó na colaboração em equipe: quando marcado, treina só com as imagens revisadas.

Tamanho de entrada, tamanho do lote, aumento de dados, dispositivo e "Usar só imagens revisadas" (só na colaboração em equipe) ficam em "Configurações avançadas", recolhidas por padrão; clique em "Configurações avançadas" para expandir. O software lembra se você deixou expandido ou recolhido da última vez.

Falta de memória de vídeo durante o treinamento (desde a v0.4.2): o software reduz automaticamente o tamanho do lote pela metade e recomeça o treinamento, até chegar a 1. A interface avisa uma vez, e o registro do treinamento também mostra "Tamanho do lote 2 (reduzido automaticamente de 8 por falta de memória de GPU)". Quanto menor o lote, mais lento o treinamento; se a memória de vídeo realmente não for suficiente, você também pode trocar para um modelo um nível menor ou diminuir o tamanho de entrada.

Modelos disponíveis:

TarefaModeloCaracterísticas
DetecçãoYOLOX-NanoO mais leve da série YOLO, para CPU, celulares e dispositivos de borda bem fracos; entrada padrão 416
DetecçãoYOLOX-TinyMuito leve, para inferência em tempo real em CPU e caixas de borda com NPU; entrada padrão 416
DetecçãoYOLOX-SO melhor equilíbrio entre velocidade e precisão; comece por ele na maioria dos projetos
DetecçãoYOLOX-MMais preciso; recomendado 6 GB ou mais de memória de vídeo
DetecçãoYOLOX-LO mais preciso e o mais lento; recomendado 8 GB ou mais de memória de vídeo
DetecçãoFaster R-CNN MobileNetV3Rápido e com pouco uso de memória de vídeo; bom para começar e para computadores sem GPU dedicada
DetecçãoFaster R-CNN ResNet50Mais preciso e mais lento; recomendado 6 GB ou mais de memória de vídeo
DetecçãoRetinaNetEstágio único, precisão próxima à do Faster R-CNN, converte melhor para TensorRT
DetecçãoFCOSEstágio único, sem âncoras, estrutura simples, bom para implantação
DetecçãoSSDLiteEstágio único, muito leve, para CPU e dispositivos de borda com NPU; entrada fixa de 320, desempenho mediano em objetos pequenos
SegmentaçãoMask R-CNNSegmentação de instâncias; recomendado 6 GB ou mais de memória de vídeo
Pontos-chaveKeypoint R-CNNPara os 17 pontos do corpo humano, aproveita o pré-treinamento no COCO
ClassificaçãoMobileNetV3 / EfficientNet-B0 / ResNet50Do mais leve e rápido ao mais preciso

10.2 Modelos YOLOX

O YOLOX é um modelo de detecção da série YOLO, de código aberto, da Megvii (Apache-2.0, pode ser usado comercialmente sem preocupação), da mesma série dos modelos dedicados da plataforma Xuntong AI.

Os modelos YOLOX treinados funcionam como os demais: avaliação, pré-anotação por modelo, teste de falsos positivos, teste ao vivo, exportação para implantação e envio para a Xuntong são todos suportados.

10.3 Aumento de dados

Durante o treinamento, as imagens são alteradas aleatoriamente para o modelo ver mais variações; o efeito é grande quando há poucos dados.

  1. Em "Aumento de dados", escolha uma predefinição: Desligado, Padrão, Leve, Médio ou Forte (para poucos dados).
  2. Para ajustar em detalhes, expanda e altere Espelhar horizontalmente, Espelhar verticalmente, Brilho, Contraste, Saturação, Matiz, Borrada (desfoque aleatório: simula foco errado e borrão de movimento), Ruído (simula pouca luz à noite), Multiescala (ajuda com objetos cujo tamanho varia muito com a distância), Rotação e Recorte aleatório. Depois de alterar, a predefinição passa a mostrar "Personalizado".
  3. Clique em Pré-visualizar para ver como algumas imagens ficam com aumento aleatório (cada imagem é alterada aleatoriamente duas vezes; as caixas vermelhas mostram as anotações acompanhando a transformação) e confirme que não ficou exagerado.

10.4 Iniciar o treinamento e acompanhar

  1. Antes de começar, confira o "~N passos por época · ~M no total" acima do botão. Se houver poucas imagens (menos de 20 no conjunto de treino) ou poucos passos no total (menos de uns 300), ao clicar em Iniciar treinamento aparece antes um aviso: treinando assim, o modelo provavelmente não aprende nada, e as métricas podem ficar em 0. O ideal é anotar mais imagens ou aumentar as épocas como sugerido; com pouquíssimos dados, também dá para começar com o Faster R-CNN MobileNetV3. Se quer mesmo só testar, clique em Começar mesmo assim. Também aparece um aviso quando o conjunto de validação tem só uma ou duas imagens: as métricas vão oscilar muito e não são confiáveis.
  2. Clique em Iniciar treinamento. Na primeira vez, os pesos pré-treinados são baixados, e aparece "Preparando…".
  3. Durante o treinamento, aparece "Época N / M · progresso da época · loss · restante estimado", e abaixo ficam a curva de Perda (loss), as curvas de métricas do Conjunto de validação e o Log.
    • As "Informações principais", acima do log, mostram sempre as primeiras linhas do log: o dispositivo usado, o número de imagens dos conjuntos de treino e de validação e se os pesos pré-treinados foram carregados. Linhas de erro e de aviso ficam destacadas em amarelo.
    • Ao rolar o log para cima, ele não puxa você de volta para o fim; quando você está no fim, ele acompanha as linhas novas.
    • Se não foi possível baixar os pesos pré-treinados (geralmente por problema de rede), ou se as métricas ficam em 0 por 10 épocas seguidas, aparece uma barra amarela no topo da página com a causa provável e o que fazer.
  4. Para terminar antes, clique em Parar e confirme; o treinamento para quando o lote atual terminar. O melhor modelo até o momento é mantido, e depois você pode escolhê-lo para "continuar o treinamento".
  5. Quando o treinamento termina, aparece uma notificação do sistema e o ícone da barra de tarefas pisca (você fica sabendo mesmo com o software em segundo plano); no software, o canto inferior direito mostra "Treinamento concluído", com a melhor métrica e uma avaliação (fraco / regular / aceitável):
    • se o resultado está bom, você pode clicar direto em Avaliar ou Pré-anotar;
    • se o resultado está muito ruim, aparece a sugestão de clicar em Ver a causa para voltar à página Treinar e dar uma olhada;
    • se o treinamento falha, aparece um aviso mesmo fora da página Treinar; clique em Ver erro para ver.
  6. Quando o treinamento dá erro, os erros comuns são explicados em linguagem simples, com um botão para corrigir: o driver da GPU não combina com o PyTorch (Trocar a versão do PyTorch nas Configurações), falta memória de vídeo ou RAM (Usar CPU), disco cheio, falha no download pela rede ou arquivos de imagem não encontrados (Ir para Dados). Clique em Detalhes para expandir a mensagem de erro completa.

10.5 Treinamentos e comparação de treinamentos

Cada treinamento é salvo automaticamente como um registro em Treinamentos, com data e hora, modelo, dados, épocas, métricas e status (Treinando / Concluído / Parado / Falhou). Em cada registro, você pode:

Comparar treinamentos:

  1. Em Treinamentos, marque 2 ou mais treinamentos.
  2. Clique em Comparar selecionados (N).
  3. Na janela de comparação: parâmetros e dados lado a lado (as diferenças em negrito), as métricas, as curvas de perda sobrepostas e, nos resultados por classe, o melhor treinamento destacado.

10.6 Importar modelo externo

Modelos de detecção treinados em outro lugar (por exemplo, com o Ultralytics YOLO) podem ser exportados para ONNX e importados para pré-anotar, fazer diagnóstico, avaliar e testar falsos positivos (não é possível continuar o treinamento nem implantar). No momento, só para projetos de detecção.

  1. Acima da lista de treinamentos, clique em Importar modelo externo.
  2. Clique em Selecionar arquivo .onnx.
  3. O software detecta automaticamente:
    • Formato: YOLOv8 / v11 (Ultralytics), YOLOv5 / v7, modelos ponta a ponta como o YOLOv10, YOLOX, RT-DETR, DETR / RF-DETR e modelos exportados pelo Wulabel. Se a detecção errar, você pode mudar manualmente;
    • Tamanho de entrada;
    • Nomes das classes (um por linha, na mesma ordem do modelo). Troque os nomes de classe do modelo pelos nomes das classes do projeto para associá-los, por exemplo, mude person para "pessoa".
  4. Classes a usar: as classes não marcadas não são adicionadas na pré-anotação; as classes com o mesmo nome de uma classe do projeto vêm marcadas por padrão.
  5. Clique em Importar. Um novo registro "… (externo)" aparece em Treinamentos.

11 Avaliar

Clique em Avaliar à esquerda e escolha um treinamento (se você veio por "Ver avaliação" na página Treinar, ele já vem selecionado). Registros que ainda estão treinando aparecem como "Treinando" e só podem ser escolhidos depois de terminar.

11.1 Ver as métricas

11.2 Matriz de confusão

As linhas são as classes reais, e as colunas, as previsões do modelo. A diagonal mostra os acertos; as outras células mostram uma classe confundida com outra. A última coluna, "Fundo", são os falsos negativos; a última linha, "Fundo", são os falsos positivos. Passe o mouse para ver os números.

11.3 Erros

11.4 Limiar de confiança

Para saber qual limiar usar nos alarmes da implantação, veja aqui:

  1. O software recomenda o limiar com o maior F1 e mostra a precisão e a revocação nesse limiar.
  2. As curvas mostram como precisão, revocação e F1 mudam com o limiar. Arraste o controle deslizante para ver o efeito de cada limiar: quantos acertos, quantos falsos positivos e quantos falsos negativos.
  3. Como escolher: com muitos falsos positivos, aumente o limiar; com muitos falsos negativos, diminua.
  4. A tabela abaixo mostra o limiar recomendado de cada classe.
  5. O limiar recomendado é levado automaticamente para o teste ao vivo e para o pacote de serviço de inferência da página "Implantar", como limiar de confiança padrão.

11.5 Avaliar com os dados atuais

Depois de acrescentar dados ou alterar anotações, não é preciso treinar de novo: clique em Avaliar com os dados atuais para recalcular as métricas com os dados anotados de agora (conjunto de validação / teste). Os modelos externos importados também são avaliados assim.

11.6 Teste de falsos positivos

Use um vídeo que não deveria disparar alarmes (sem objetos, ou só com coisas fáceis de confundir, como um corredor vazio ou uma fábrica à noite) para medir quantos falsos positivos o modelo gera:

  1. Em "Teste de falsos positivos", clique em Escolher arquivo de vídeo ou preencha um endereço rtsp:// / http(s)://.
  2. Configure: Detectar N quadros por segundo, Alarmar após N detecções seguidas e Testar por N minutos (para streams de vídeo).
  3. Clique em Iniciar teste; a qualquer momento, você pode clicar em Encerrar antes.
  4. Resultado: quanto tempo foi testado, quantos alarmes houve e quantos Por hora, com estatísticas por classe; abaixo aparecem os quadros com falso positivo (as caixas vermelhas são o que o modelo apontou; só ficam os 60 mais recentes).
  5. Clique em Adicionar estes quadros ao conjunto de dados como amostras negativas: eles entram como imagens "Sem objetos", e no próximo treinamento o modelo aprende a não alarmar nesse tipo de cena. Se algum quadro tiver um objeto real, anote-o na página Anotar depois de adicionar.

11.7 Exportar o relatório de entrega

  1. Clique em Exportar relatório e escolha onde salvar (nome de arquivo padrão: "<nome do projeto>_<nome do treinamento>_relatorio_modelo.html").
  2. O relatório é um arquivo HTML com a situação dos dados, os parâmetros de treinamento, as métricas, as curvas, a matriz de confusão, os erros, o limiar recomendado e os resultados do teste de falsos positivos. Ele abre direto no navegador e pode ser enviado ao cliente para aceite.

12 Pré-anotação por modelo e escolha de imagens

12.1 Pré-anotar com o seu próprio modelo

  1. Vá à página Anotar e, em "Assistência de IA", à direita, escolha Meus modelos; na lista, selecione um modelo treinado (aparecem o nome e o mAP50 / acurácia).
  2. Ajuste a Confiança.
  3. Uma imagem: pressione P ou clique em Prever esta imagem (P).
  4. Em lote: clique em Pré-anotação em lote para anotar um lote de imagens sem anotação. A janela fecha na hora e a barra de progresso fica à direita, então dá para continuar anotando enquanto roda; para interromper no meio, clique em Parar ao lado da barra de progresso, e o que já foi anotado é mantido.
  5. As caixas pré-anotadas são tracejadas; confira, corrija e pressione Enter (Concluir e próxima), e a imagem passa a contar como anotada. Em projetos de classificação, aparecem as "Sugestões do modelo", e basta clicar em uma das 3 primeiras classes para aplicá-la.

Quanto mais você anota → mais preciso fica o modelo → menos trabalho dá a pré-anotação.

Exemplo de pré-anotação por modelo
Exemplo de pré-anotação: o modelo marca os objetos automaticamente, e você só revisa e corrige os poucos erros. A imagem mostra o resultado da detecção de "veículos estacionados irregularmente".

12.2 Escolher as imagens que mais valem a pena anotar

Depois que você tem um modelo inicial, em vez de anotar imagens ao acaso, é melhor anotar primeiro aquelas sobre as quais o modelo tem mais dúvida:

  1. Na página Dados, clique em Gerenciar → Escolher as imagens que mais valem a pena anotar (com modelo).
  2. Escolha o modelo, preencha Escolher N imagens e clique em Iniciar seleção.
  3. O resultado vem ordenado da imagem mais incerta para a menos incerta.
  4. Clique em Anote nesta ordem: a página Anotar mostra só esse lote de imagens (o filtro no topo ganha a opção "Seleção do modelo"). Ao terminar, clique no × ao lado dela para voltar a todas as imagens.

13 Exportar o conjunto de dados (com anonimização)

13.1 Exportar

  1. Na página Dados, clique em Exportar conjunto de dados.
  2. Formato (conforme a tarefa do projeto):
    • Detecção: YOLO, COCO, VOC;
    • Segmentação: YOLO-seg, COCO, VOC (só caixas delimitadoras);
    • Pontos-chave: YOLO-pose, pontos-chave COCO, VOC (só caixas dos objetos);
    • Classificação: pastas por classe (train/classe/imagem.jpg).
  3. Escopo: imagens sem anotação e ignoradas não são exportadas; imagens marcadas como "Sem objetos" são exportadas como amostras negativas. Na colaboração em equipe, também dá para marcar Exportar só imagens revisadas.
  4. Proporção treino / validação / teste (%): as imagens que ainda não foram divididas são distribuídas nessa proporção. Para refazer a divisão de todas, clique em Refazer toda a divisão (os resultados de treinamentos anteriores deixam de ser diretamente comparáveis com a nova divisão).
  5. Exportar para: clique em Procurar para escolher o local; o Nome da pasta é gerado automaticamente, e você pode mudar (depois de mudado, trocar de formato não o sobrescreve).
  6. Clique em Exportar. Ao terminar, aparecem quantas imagens e anotações foram exportadas e quantas imagens há em cada divisão; clique em Abrir pasta para ver.

Para exportar uma versão do conjunto de dados: na lista de versões, clique em Exportar esta versão; a divisão fica fixa conforme a da versão.

13.2 Anonimização

Ao exportar o conjunto de dados, exportar uma versão ou dividir em pacotes, você pode marcar Anonimizar imagens:

  1. Por classe: na lista, escolha as classes a anonimizar, por exemplo as classes "rosto" e "placa" que você anotou. Classes cujo nome contém "rosto" ou "placa" vêm selecionadas por padrão.
  2. Detecção automática: marque Detectar rostos automaticamente e Detectar placas automaticamente; o software usa um modelo de detecção de vocabulário aberto para encontrá-los (o modelo é baixado no primeiro uso; com GPU, fica bem mais rápido).
  3. Método: Mosaico, Borrada (desfoque) ou Tarja preta.
  4. A exportação ganha uma etapa de progresso a mais, de "Anonimizar".

A anonimização só altera as cópias exportadas; as imagens originais do projeto ficam intactas. A detecção automática pode deixar passar objetos muito pequenos, rostos de perfil e alvos distantes; para dados importantes, confira por amostragem.

14 Implantar

Clique em Implantar à esquerda e escolha um modelo treinado. A página tem quatro abas: Teste ao vivo, Exportar modelo, Pacote de serviço de inferência e Retorno do campo.

14.1 Teste ao vivo

Conecte uma câmera ou um vídeo e veja o desempenho do modelo na prática:

  1. Escolha Streams de vídeo ou Vídeo local.
  2. Preencha o endereço do stream: uma câmera RTSP (por exemplo, rtsp://admin:senha@192.168.1.64:554/Streaming/Channels/101) ou um endereço HTTP-FLV, HLS (m3u8) ou MP4 via http. Também dá para clicar em Escolher arquivo de vídeo.
  3. Clique em Iniciar: os resultados são desenhados na imagem em tempo real (caixas para modelos de detecção, contornos para segmentação, pontos e esqueleto para pontos-chave e, para classificação, as classes mais prováveis no canto superior esquerdo). O topo mostra a resolução e se a inferência está na GPU ou na CPU.
  4. Arraste o controle de Confiança para ajustar o limiar. O padrão é o limiar recomendado da página Avaliar; se mudar, clique em "Usar o recomendado (0.xx)" para voltar a ele.
  5. Ao ver quadros com falsos negativos ou falsos positivos, clique em Adicionar captura ao conjunto de dados: a imagem entra como "Sem anotação", para você anotar e treinar de novo.
  6. Clique em Parar para encerrar.

14.2 Exportar modelo

  1. Escolha o formato:
    • ONNX (tamanho dinâmico): formato universal; o onnxruntime roda no Windows, no Linux e em ARM;
    • ONNX (tamanho fixo): a entrada fica fixa em [1,3,N,N], para frameworks de inferência que exigem formato fixo;
    • OpenVINO: aceleração em CPUs Intel, GPUs integradas e PCs industriais; a conversão e a verificação são feitas direto no software (o OpenVINO é instalado automaticamente no primeiro uso);
    • Pacote de conversão TensorRT: GPUs NVIDIA, Jetson; é preciso rodar um script no dispositivo de destino para gerar o engine;
    • Pacote de conversão RKNN: Rockchip RK3588 / 3568 etc.; é preciso rodar um script no Ubuntu para converter.
  2. Se precisar de tamanho fixo, defina o tamanho.
  3. Escolha o local em Exportar para e o Nome da pasta e clique em Exportar. Cada formato mostra se deu certo ou falhou; clique em Abrir para ver.

O Faster R-CNN embutido é um modelo de dois estágios, com suporte limitado em NPUs (RKNN) e em versões antigas do TensorRT; a conversão pode falhar ou ficar lenta. Para esse tipo de dispositivo, recomendamos treinar o YOLOX ou outro modelo de estágio único (RetinaNet, FCOS, SSDLite). ONNX e OpenVINO podem ser usados sem preocupação.

Ao exportar modelos YOLOX: no ONNX (tamanho dinâmico) e no OpenVINO, funciona como nos outros modelos: o redimensionamento, a decodificação e a remoção de caixas duplicadas (NMS) já estão dentro do modelo, que entrega o resultado final. Já o ONNX (tamanho fixo) e os pacotes de conversão TensorRT e RKNN usam o formato oficial do YOLOX (entrada BGR 0~255, preenchimento com 114 a partir do canto superior esquerdo, saída sem NMS); os operadores são convoluções comuns, que rodam por completo em NPU e TensorRT. O pós-processamento está descrito no README do pacote de conversão.

Modelos de segmentação e pontos-chave (Mask R-CNN, Keypoint R-CNN) também podem ser exportados para ONNX, OpenVINO e outros formatos: o modelo de segmentação tem uma saída a mais, masks (probabilidade da máscara de cada objeto; acima de 0.5 é objeto), e o de pontos-chave tem keypoints (x, y e visibilidade de cada ponto) e keypoints_scores. O teste ao vivo e o pacote de serviço de inferência suportam modelos de detecção, segmentação, pontos-chave e classificação.

14.3 Pacote de serviço de inferência

Gera um serviço de inferência que roda assim que chega ao computador do local. Suporta modelos de detecção, segmentação, pontos-chave e classificação:

  1. Streams de vídeo: preencha o nome e o endereço (rtsp://…, um endereço http(s)://… FLV / m3u8 / MP4 ou o caminho de um arquivo de vídeo); clique em Adicionar stream para incluir vários.
  2. Intervalo de detecção (s): de quanto em quanto tempo detectar um quadro de cada vídeo.
  3. Regras de alarme:
    • Classes de alarme (sem nenhuma selecionada, todas as classes disparam alarme);
    • Limiar de confiança (o padrão é o limiar recomendado da página Avaliar);
    • Intervalo de deduplicação (s): para o mesmo vídeo e a mesma classe, só um alarme dentro desse período;
    • Horário ativo: dia todo ou, por exemplo, 07:00-19:00;
    • Salvar capturas dos alarmes (com caixas).
  4. Envio de alarmes:
    • Webhook: a cada alarme, faz um POST de JSON para este endereço; opcionalmente, Incluir captura (base64);
    • MQTT: endereço do servidor, tópico, usuário e senha (em branco, nada é enviado).
  5. Serviço: Porta da API HTTP; Inferência na GPU (o computador do local precisa ter o onnxruntime-gpu; senão, a CPU é usada automaticamente).
  6. Retorno do campo: os quadros em que o modelo está inseguro (confiança dentro do intervalo definido) são salvos na pasta reflux/ do pacote de serviço.
  7. Escolha o local em Gerar em e clique em Gerar pacote de serviço de inferência.
  8. Copie a pasta inteira para o computador do local: no Windows, dê um duplo clique em run.bat; no Linux, execute sh run.sh. A configuração fica em config.json, e as instruções, em README.md. O computador do local não precisa de PyTorch nem de GPU; só depende de onnxruntime, OpenCV e numpy.

14.4 Retorno do campo

  1. Enquanto o pacote de serviço roda no local, os quadros em que o modelo está inseguro são salvos na pasta reflux/.
  2. De tempos em tempos, copie a pasta reflux/ de volta e, na aba Retorno do campo, clique em Importar imagens de campo e escolha essa pasta.
  3. Clique em Ir para anotação, filtre por "Sem anotação", pré-anote com o modelo e corrija.
  4. Treine de novo, gere um novo pacote de serviço e substitua o model.onnx no local. O modelo fica mais preciso com o uso.

14.5 Enviar para a plataforma Xuntong AI

Se você não quer implantar o serviço por conta própria, pode enviar o modelo para a plataforma Xuntong AI e, lá, conectar câmeras e configurar alarmes (no momento, para modelos de detecção de objetos):

  1. Primeiro, configure a Xuntong AI em Configurações (veja 2.3).
  2. No final de Implantar → Exportar modelo, em "Enviar para a plataforma Xuntong AI", ajuste o Nome do modelo e clique em Enviar. Se ainda não houver um ONNX exportado, ele é exportado automaticamente antes.
  3. Depois do envio, a plataforma leva de alguns segundos a um minuto para validar; aparece "a plataforma está validando" e, se passar, "Validado" (se falhar, aparece o motivo). O limiar recomendado calculado na página Avaliar é enviado junto, como limiar padrão na plataforma.
  4. Clique em Abrir console e, em "Modelos personalizados", clique em Ativar; a partir daí você pode conectar câmeras e configurar alarmes.
  5. Logo abaixo, "Modelos personalizados na plataforma" lista os modelos enviados, o status da validação e se estão ativos. Contas sem hospedagem contratada só podem ter 1 modelo; para enviar uma versão nova, Exclua a antiga primeiro.
  6. As imagens de alarme geradas na plataforma podem ser trazidas de volta para anotar (veja 4.7).

15 Enviar feedback

  1. Clique em Feedback no canto superior direito.
  2. Descreva o problema ou a sugestão.
  3. (Opcional) E-mail: quando o problema for resolvido, o autor avisa você do resultado por e-mail. Depois de preencher uma vez, o software lembra, e você não precisa preencher de novo.
  4. Anexar captura da tela atual vem marcado por padrão, e você pode ver a pré-visualização; se não quiser anexar, desmarque.
  5. Anexar logs de execução vem marcado por padrão (desde a v0.4.2): ambiente de treinamento, logs e erros dos dois últimos treinamentos do projeto atual. Clique em "Ver conteúdo" para ver exatamente o que é enviado; o nome de usuário nos caminhos é trocado por ~. Se não quiser anexar, desmarque.
  6. Clique em Enviar. A descrição, a captura de tela, os logs, a versão do software e o sistema operacional são enviados ao desenvolvedor; as imagens e as anotações do seu projeto não são enviadas.

Você também pode abrir uma Issue no repositório de código aberto no GitHub.

16 Guia de uso da Xuntong AI

A Xuntong AI (xuntongai.com) é uma plataforma de reconhecimento por IA: tem modelos de reconhecimento dedicados prontos (separação de lixo, capacete, fumaça e fogo etc.) e reconhecimento por LLM, e também hospeda os seus próprios modelos, conecta câmeras e envia alarmes. Integrado a ela, o Wulabel fecha o ciclo anotação, treinamento, colocação em produção e retorno do campo. Os capítulos anteriores mostraram o uso em partes; este capítulo reúne tudo.

Onde a Xuntong AI aparece no Wulabel:

OndeO que fazVeja
Configurações → Xuntong AIEntrar na conta, ver a cota16.1, 16.2
Página Anotar → Assistência de IA → Xuntong AIAnotação automática com modelo dedicado / LLM / pelas classes do projeto16.3–16.5
Página Anotar → Assistência de IA → Regras de reconhecimentoEscrever instruções de reconhecimento, conversar com a IA sobre como reconhecer, sincronizar com a plataforma16.5
Implantar → Exportar modelo → Enviar para a plataforma Xuntong AIColocar o modelo treinado para uso na plataforma16.6
Dados → Mais opções de importação → Buscar imagens de alarme da Xuntong AITrazer de volta os falsos positivos e falsos negativos do campo para anotar de novo16.7
Colaboração → Online · Retransmissor oficial da XuntongMembros na internet se conectam para anotar juntos16.8

16.1 Entrar na conta

  1. Abra Configurações e, na seção "Xuntong AI", clique em Entrar na conta Xuntong AI.
  2. O navegador abre a página da Xuntong AI:
    • se ainda não estiver conectado, entre (como você faz normalmente na Xuntong; código de verificação e SMS funcionam);
    • confira se o código de confirmação na página é o mesmo da janela do Wulabel e clique em Permitir.
  3. Volte ao Wulabel: em alguns segundos aparecem Conectado como, o nome da conta e o plano, a cota restante e os métodos de reconhecimento disponíveis.

Observações:

16.2 Cota e custos

16.3 Como escolher entre os quatro métodos de reconhecimento

Na página Anotar, em "Assistência de IA" à direita, escolha Xuntong AI; a lista "Selecionar modelo de reconhecimento" tem:

MétodoIndicado paraVelocidadeCota
Modelo dedicado (como separação de lixo, capacete)Quando as classes do projeto batem com um modelo pronto da plataformaO mais rápido: em lote, 8 imagens por vez, dois lotes ao mesmo tempoReconhecimento por modelo dedicado
Modelo próprio que você enviou e ativouModelos que você treinou e enviou para a plataformaIgual ao anteriorReconhecimento com modelo próprio
Reconhecer pelas classes do projeto (recomendado)A plataforma não tem um modelo correspondente; você só quer encontrar estas classes do projetoUma imagem por vez, mais lentoReconhecimento por LLM
Reconhecimento geral por LLMProcurar por grandes categorias de risco de segurança (incêndio, elétrico, higiene ambiental etc.)Uma imagem por vezReconhecimento por LLM

A escolha é simples: se houver um modelo dedicado correspondente, use o modelo dedicado (rápido e preciso); se não houver, use Reconhecer pelas classes do projeto e escreva com clareza as instruções de reconhecimento de cada classe (16.5).

16.4 Anotação automática em lote com modelo dedicado

Exemplo com separação de lixo:

  1. Crie um projeto de detecção e importe as imagens. Não é preciso criar as classes antes: quando o nome de uma classe reconhecida pelo modelo (por exemplo, "reciclável") não existir no projeto, ela é criada automaticamente.
  2. Abra a página Anotar e, em "Assistência de IA" à direita, escolha Xuntong AI e o modelo de separação de lixo.
  3. Ajuste a Confiança: comece com o valor padrão; se aparecerem caixas demais, aumente; se faltarem muitas, diminua.
  4. Primeiro pressione P para anotar a imagem atual e ver o resultado; se estiver bom, clique em Pré-anotação em lote. Todas as imagens "Sem anotação" que ainda não têm anotações são reconhecidas lote a lote, com uma barra de progresso.
  5. As caixas reconhecidas são tracejadas (origem "Xuntong"). Confira uma a uma: exclua as erradas, arraste as desalinhadas para o lugar certo, adicione o que faltou e pressione Enter (Concluir e próxima).
  6. Para ir mais rápido: depois de anotar algumas centenas de imagens, treine o seu próprio modelo com esses dados (capítulo 10) e passe a pré-anotar no seu computador, sem gastar cota.

No lote, se aparecer o aviso de solicitações demais, o software diminui o ritmo e tenta de novo automaticamente, sem cobrar a cota duas vezes; erros como cota esgotada ou modelo não contratado interrompem o lote e informam quantas imagens já foram anotadas.

16.5 Reconhecer pelas classes do projeto e regras de reconhecimento

Quando a plataforma não tem um modelo correspondente, use "Reconhecer pelas classes do projeto": a plataforma procura só as classes do seu projeto, com os nomes exatamente como estão, e não aponta nada que esteja fora da lista. Se o resultado vai ser bom depende de você explicar bem as regras.

Escrever as instruções de reconhecimento:

  1. No botão de editar ao lado da classe, preencha as Instruções de reconhecimento: o que exatamente essa classe significa e o que conta / não conta. Por exemplo:
    • Sem capacete: pessoa sem capacete na cabeça; capacete sem a jugular afivelada também conta; marcar só a cabeça e o tronco.
    • Scooter elétrica: scooters e bicicletas elétricas de duas rodas; bicicletas comuns e motos não contam.
  2. Ou clique em Regras de reconhecimento, ao lado do título "Assistência de IA", e, em Regras atuais, edite tudo de uma vez: as Regras gerais (valem para todas as classes, por exemplo "olhar só o corredor na metade de baixo da imagem, ignorar cartazes e o que aparece em telas") e as instruções de cada classe; depois clique em Salvar regras.

Conversar com a IA: se não souber como escrever as regras, vá em Regras de reconhecimento → Conversar com a IA e diga com palavras simples:

Por padrão, a imagem atual é anexada, e depois de responder a IA testa o reconhecimento nesta imagem com as novas regras. Quando a IA sugere mudar as regras, ela lista o conteúdo, que só é salvo quando você clica em Aplicar estas regras; se o teste encontrar algo, clique em Adicionar as caixas do teste a esta imagem para usá-las direto.

Sincronizar com a plataforma Xuntong (opcional): no final de "Regras atuais", clique em Sincronizar com a plataforma Xuntong, e as regras são salvas na plataforma. Por padrão ficam desativadas e não afetam o reconhecimento atual da plataforma.

Para que o reconhecimento da própria plataforma Xuntong (capturas, envio de alarmes) também reporte só as classes do seu projeto, ative Usar estas regras também no reconhecimento da plataforma. Atenção: depois de ativado, todo o reconhecimento da conta Xuntong segue estas regras; os cenários aplicáveis podem ser ajustados na página "Regras de reconhecimento" do console da Xuntong.

Depois de vincular, cada vez que você salvar ou aplicar regras o conteúdo é sincronizado automaticamente, mas a ativação e os cenários que você definiu no console não mudam. Para parar de sincronizar, clique em Desvincular; as regras na plataforma não são apagadas.

Limites: no máximo 30 classes, com nomes de até 30 caracteres; regras gerais com no máximo 1000 caracteres, e instruções de reconhecimento de cada classe com no máximo 500; cada conta Xuntong pode ter no máximo 20 conjuntos de regras.

16.6 Enviar o modelo treinado para a Xuntong

  1. No Wulabel, treine um modelo de detecção de objetos (no momento, a Xuntong só aceita modelos de detecção).
  2. Vá em Implantar → Exportar modelo e, no final, em "Enviar para a plataforma Xuntong AI", ajuste o nome do modelo e clique em Enviar. Se ainda não houver um ONNX exportado, ele é exportado automaticamente antes; o limiar recomendado da página Avaliar é enviado junto.
  3. A plataforma valida em alguns segundos a um minuto: aparece "Validando" → "Validado" (ou "Falha na validação" com o motivo).
  4. Clique em Abrir console e, em "Modelos personalizados", clique em Ativar. Depois de ativado, você pode conectar câmeras e configurar alarmes na plataforma, e o modelo também aparece na lista de modelos da página Anotar.
  5. Logo abaixo, "Modelos personalizados na plataforma" lista os modelos enviados, o status da validação e se estão ativos. Contas sem hospedagem contratada só podem ter 1 modelo; antes de enviar uma versão nova, Exclua a antiga. O arquivo do modelo pode ter no máximo 200 MB.

16.7 Trazer de volta as imagens de alarme do campo e melhorar sempre

Depois que o modelo entra em produção, as capturas de alarme do campo trazem falsos positivos e falsos negativos, exatamente os dados que mais valem a pena acrescentar:

  1. Dados → Mais opções de importação → Buscar imagens de alarme da Xuntong AI.
  2. Escolha o período (últimos 1 / 3 / 7 dias), de qual modelo são os alarmes e quantas imagens no máximo. Usar as caixas detectadas pela plataforma como pré-anotações vem marcado por padrão.
  3. As imagens trazidas ficam na pasta images/xuntong_<hora>/ do projeto, com as caixas tracejadas (origem "Xuntong").
  4. Corrija uma a uma: exclua as caixas de falsos positivos (em imagens que realmente não têm objetos, basta pressionar Enter (Concluir) para mantê-las como amostras negativas) e adicione o que faltou.
  5. Treine e avalie de novo, envie a nova versão e substitua o modelo antigo na plataforma.

Atenção: a plataforma guarda as imagens de alarme por 7 dias, então busque com regularidade; só contas com um canal de envio configurado geram registros de alarme.

Esse é o ciclo completo: anotar → treinar → enviar para a Xuntong → alarmes no campo → trazer de volta e corrigir → treinar de novo, e o modelo fica mais preciso com o uso.

16.8 A Xuntong AI na colaboração

16.9 Perguntas frequentes

Atalhos de teclado

Geral (página Anotar)

TeclaFunção
1–9Trocar de classe (projetos de classificação: escolher a classe direto)
A / D ou ← / →Imagem anterior / próxima
EnterConcluir e próxima (imagens sem objetos são registradas como amostras negativas); na colaboração em equipe, aprovar e ir para a próxima
XIgnorar (não entra no treinamento)
Shift+D ou Shift+→Próxima imagem sem anotação
Ctrl+Z / Ctrl+YDesfazer / refazer
?Abrir o painel de atalhos
Ctrl+DCopiar as anotações da imagem anterior (classificação: repetir a classe da anterior)
PPrever / anotar esta imagem com a assistência de IA
FAjustar à janela
Roda do mouseZoom
Espaço + arrastar / arrastar com o botão direitoMover a imagem

Detecção, segmentação, pontos-chave

TeclaFunção
RDesenhar caixa / contorno / caixa do objeto
VSelecionar, ajustar
SSeleção inteligente SAM
Del / BackspaceExcluir o objeto selecionado
HOcultar / mostrar nomes das classes
EscDesmarcar

Ao desenhar polígonos: clique para adicionar um ponto, duplo clique ou Enter para fechar, Backspace para desfazer o último ponto.

Ao marcar pontos-chave: clique = visível, Shift+clique = encoberto, N pula, Backspace volta ao ponto anterior, Esc ou Enter termina.

Na seleção SAM: clique para selecionar, Shift+clique para excluir, Backspace desfaz o último ponto, Enter aceita, Esc descarta.

Projetos de classificação: Del limpa a classe.


准备好了?下载 Wulabel,开始标你的第一张图。