glossary

Toda página de fornecedor pula a parte em que a análise de sentimento falha

Taras Shynkarenko
Taras Shynkarenko
•Updated: •9 minutos de leitura
Toda página de fornecedor pula a parte em que a análise de sentimento falhaToda página de fornecedor pula a parte em que a análise de sentimento falha

TL;DR

9 minutos de leitura

A análise de sentimento classifica um texto como positivo, negativo ou neutro em relação ao seu assunto, usando um léxico, um modelo clássico de aprendizado de máquina ou um transformer. O número que ela produz só vale o quanto vale o tratamento que ela dá a ironia, negação, opiniões mistas e jargão do setor, e o Reddit quebra os quatro de uma vez.

O que é análise de sentimento?

No processamento de linguagem natural, a análise de sentimento é a tarefa de classificar um trecho de texto como positivo, negativo ou neutro em relação ao seu assunto. Um modelo lê uma unidade de texto, uma avaliação de produto ou um comentário do Reddit, e devolve um desses três rótulos com um valor de confiança junto. As equipes rodam isso em milhares de menções para transformar texto não lido em uma linha de gráfico.

A unidade de texto decide o que o rótulo significa. Pontue uma avaliação inteira e você enterra a frase que elogiava o onboarding. Pontue cada frase e você fica com um documento de nove rótulos e nenhum resumo. Defina a unidade antes de comparar duas ferramentas, porque o mesmo corpus pontuado em duas granularidades produz dois retratos diferentes.

Por que algumas ferramentas adicionam uma quarta classe "mista"?

Uma quarta classe "mista" existe porque um modelo de três classes precisa tirar a média entre uma oração entusiasmada e uma oração furiosa e chegar em "neutro", o que distorce o texto. "O editor é rápido e a sincronização está quebrada" carrega opinião forte nas duas direções, e neutro informa que nada está acontecendo enquanto duas coisas acontecem.

Ferramentas com classe mista separam "nenhuma opinião expressa" de "opiniões apontando para os dois lados". Abra seu painel e descubra qual das duas está no seu balde neutro, já que a resposta muda todos os números que vêm depois.

Quais são as três abordagens técnicas da análise de sentimento?

Três famílias de método dominam: pontuação por léxico, aprendizado de máquina clássico sobre características de saco de palavras e modelos transformer que leem cada token no contexto da frase inteira.

AbordagemComo ela decideO que ela custa a você
Léxico (VADER, SentiWordNet)Soma os pesos de polaridade das palavras conhecidas e depois aplica regras escritas à mão para negação, intensificadores, emoji e caixa altaNenhum dado de treino e transparência total, mas a ordem das palavras além das regras dela é invisível e cada domínio novo exige ajuste manual
Aprendizado de máquina clássico (naive Bayes, regressão logística, SVM linear)Aprende pesos de características a partir de exemplos rotulados, pontuando contagens de palavras e de n-gramasTreina em um notebook e roda rápido, mas a acurácia cai quando o domínio se afasta do corpus de treino
Transformer (BERT, RoBERTa, LLMs ajustados por instrução)Codifica cada token contra todos os outros, então o escopo da negação e as referências distantes sobrevivemDá conta das frases difíceis, ao preço de tempo de GPU, latência e uma decisão que você não consegue inspecionar linha a linha

Escolha pela restrição, não pelo prestígio. Um léxico entrega uma linha de base em uma tarde e uma regra que você pode apontar quando um rótulo é contestado. Migre para um transformer ajustado assim que tiver alguns milhares de exemplos rotulados no seu próprio vocabulário.

Uma pessoa lê uma mensagem no celular com uma reação mista, o tipo de caso que a análise de sentimento baseada em aspectos separa em rótulos distintos.

O que é análise de sentimento baseada em aspectos?

A análise de sentimento baseada em aspectos atribui um rótulo separado para cada recurso citado no texto, em vez de um rótulo para a passagem inteira. "A configuração levou dez minutos, mas o suporte levou nove dias para responder" resolve como positivo no onboarding e negativo no suporte. O modelo faz dois trabalhos em sequência: extrair os termos de aspecto e depois classificar a opinião ligada a cada um.

Esta é a versão que muda um roadmap. Uma pontuação em nível de documento informa que março foi negativo. Uma pontuação em nível de aspecto informa que a cobrança puxou março para baixo enquanto o produto se manteve firme. Combine com a análise de emoções quando a resposta importa, porque um negativo furioso e um negativo decepcionado pedem respostas diferentes.

Como calcular uma pontuação de sentimento líquido?

Uma pontuação de sentimento líquido comprime um conjunto de menções rotuladas em um único número entre -100 e +100, subtraindo as negativas das positivas e dividindo pelo total classificado.

Pontuação de sentimento líquido = (menções positivas - menções negativas) / total de menções classificadas x 100

Faça a conta com um exemplo. Um mês produz 1.000 menções classificadas: 380 positivas, 220 negativas, 400 neutras.

(380 - 220) / 1.000 x 100 = +16

As menções neutras ficam nesse denominador e puxam o resultado para perto de zero em qualquer corpus onde a maior parte do texto não carrega opinião. Tire elas e os mesmos dados dão (380 - 220) / 600 x 100 = +26,7. Publique o denominador ao lado do número, ou sua linha de tendência para de significar qualquer coisa no momento em que você troca de ferramenta. Resolva essa escolha antes de definir uma meta: veja pontuação de sentimento líquido.

Um mês, 1.000 menções
Positivo380
Negativo220
Neutro400
Neutro é o maior grupo neste corpus, e é o que puxa o sentimento líquido em direção a zero.

Onde a análise de sentimento falha?

Quatro modos de falha explicam a maioria dos rótulos errados, e cada um tem um formato que você reconhece nos seus próprios dados.

RedReplier
RedReplier

Começar

Reddit, X, Bluesky e HN

Alertas de intenção em tempo real

Respostas IA ilimitadas

Classificado por intenção de compra

Modo de falhaFrase de exemploRótulo devolvidoO que quem escreveu quis dizer
Ironia"Great, another pricing change. Love that for us." ("Ótimo, mais uma mudança de preço. Amamos isso.")PositivoNegativo
Negação e seu escopo"I would not call this the worst tool I have used." ("Eu não diria que essa é a pior ferramenta que já usei.")NegativoLevemente positivo
Opinião mista em uma frase só"The API is excellent and the billing support is a disaster." ("A API é excelente e o suporte de cobrança é um desastre.")NeutroPositivo sobre a API, negativo sobre a cobrança
Jargão do setor que inverte a polaridade"This scraper is sick, it has not dropped a job in months." ("Esse scraper é monstro, não derruba um job há meses.")NegativoPositivo

O Reddit quebra os quatro no mesmo tópico. Os comentários vivem de ironia, os subreddits constroem vocabulário em que "insane" e "filthy" elogiam uma ferramenta, e um comentário longo elogia um produto no segundo parágrafo enquanto desmonta outro no quarto. Puxe cem menções na mão, compare com a saída do modelo e conte quantos dos quatro modos você acertou. Essa contagem é sua taxa de erro real, e ela é específica do seu corpus.

Um analista revisa gráficos em um laptop, o tipo de checagem de acurácia que uma equipe faz antes de confiar em uma pontuação de sentimento.

Qual é a acurácia da análise de sentimento?

Uma única porcentagem de acurácia esconde o número que interessa a você, porque a classe neutra domina a maioria dos corpora e um modelo que responde "neutro" para tudo pontua bem em acurácia enquanto captura zero reclamações. As tarefas compartilhadas de sentimento do SemEval avaliam as submissões por médias macro entre as três classes exatamente por esse motivo.

Reporte precisão e recall da classe negativa separadamente. A precisão diz quantas reclamações sinalizadas eram reclamações reais, o recall diz quantas reclamações reais você pegou, e os dois se movem em sentidos opostos conforme você desloca o limiar de decisão. Decida qual falha dói mais antes de ajustar qualquer coisa, que é o ponto em que gira o trade-off precisão versus recall.

Mais dois limites pertencem a uma resposta honesta. Anotadores humanos discordam entre si em textos ambíguos, o que impõe um teto à concordância que qualquer modelo pode alcançar com eles. E um modelo treinado em críticas de filmes pontua mal os seus tickets de suporte, porque o vocabulário de reclamação muda junto com o domínio.

Como uma equipe deve usar análise de sentimento em social listening?

Use o sentimento como filtro e como linha de tendência, nunca como veredito sobre uma menção isolada. Agregado ao longo de um mês, o sentido do movimento sobrevive a erros individuais de rótulo. Aplicado a um comentário antes de uma resposta pública, um rótulo errado custa a resposta. Passe por leitura humana tudo aquilo sobre o que você pretende agir, e é isso que separa um programa de social listening, a escuta sistemática das conversas públicas, que funciona de um painel em que ninguém confia.

O par de relatórios que vale a pena montar é sentimento contra volume. Uma marca pode ganhar share of voice enquanto seu sentimento líquido cai, e essa combinação se lê como um problema se espalhando, não como uma campanha funcionando.

O RedReplier monitora Reddit, X, Bluesky, Facebook e Hacker News em um só lugar, ordena as menções que encontra por intenção de compra e explica com IA por que cada uma foi sinalizada, para que você leia o raciocínio em vez de confiar em um rótulo pelado. O fluxo de trabalho que ele suporta para isso está documentado em análise de sentimento em redes sociais.

Perguntas frequentes

Quais são as três classes na saída da análise de sentimento?

Positivo, negativo e neutro, atribuídos a um trecho de texto em relação ao seu assunto. Positivo e negativo marcam opinião expressa em cada direção, e neutro marca texto sem opinião dentro, como uma afirmação factual. Algumas ferramentas adicionam uma quarta classe mista para texto que carrega opinião nas duas direções ao mesmo tempo.

Análise de sentimento é a mesma coisa que análise de emoções?

Não. A análise de sentimento coloca o texto em um eixo de polaridade que vai de negativo a positivo. A análise de emoções atribui estados nomeados como raiva, alegria, medo ou tristeza, que não estão ordenados em um único eixo. Duas menções podem pontuar negativo enquanto uma está furiosa e a outra está resignada, e essas duas pedem respostas diferentes.

A análise de sentimento consegue detectar ironia?

Mal. A ironia inverte a polaridade pelo tom e por um contexto compartilhado que as palavras não carregam, então um léxico lê "Great, another pricing change" ("Ótimo, mais uma mudança de preço") como elogio. Modelos transformer ajustados em texto irônico pegam mais do que os léxicos, e nenhum deles pega de forma confiável. Revise seus próprios dados na mão para ver quanta ironia eles contêm.

O que conta como uma boa pontuação de sentimento líquido?

Não existe limiar universal, porque o número muda com a sua escolha de denominador, a sua unidade de texto e o viés neutro do seu modelo. Leia como tendência contra a sua própria linha de base. Uma pontuação que caiu 12 pontos em um mês é um sinal; uma pontuação de +16 sozinha é um número sem contexto.

Preciso de dados rotulados para rodar análise de sentimento?

Não para um léxico ou um transformer de uso geral, que rodam em texto sem rótulo direto da caixa. Você precisa de dados rotulados para medir se algum dos dois funciona no seu corpus, e algumas centenas de exemplos rotulados na mão respondem isso. Você precisa de alguns milhares para ajustar um modelo ao seu próprio domínio.

Por que meu painel rotula a maioria das menções como neutras?

A maior parte do texto nas plataformas sociais não expressa opinião sobre marca nenhuma, então uma fatia alta de neutros reflete o corpus, não um modelo quebrado. Verifique se sua ferramenta joga opinião mista no mesmo balde, porque isso esconde reclamações reais onde ninguém olha. Leia a pilha de neutros na mão uma vez para descobrir qual das duas explicações se aplica.

Deve-se pontuar o sentimento por frase ou por documento inteiro?

A unidade de texto escolhida determina o que o rótulo realmente diz. Pontuar a avaliação inteira esconde a frase que elogiou o onboarding, enquanto pontuar cada frase gera nove rótulos sem resumo. É preciso fixar a unidade antes de comparar duas ferramentas, porque o mesmo corpus pontuado em duas granularidades diferentes produz dois resultados diferentes.

RedReplier
RedReplier

Começar

Reddit, X, Bluesky e HN

Alertas de intenção em tempo real

Respostas IA ilimitadas

Classificado por intenção de compra

Qual é a diferença entre precisão e recall na análise de sentimento?

A precisão mostra quantas das menções marcadas como negativas eram reclamações reais. O recall mostra quantas das reclamações reais na base foram capturadas. As duas métricas se movem em direções opostas conforme o limiar de decisão muda, então vale decidir qual erro pesa mais antes de ajustar qualquer coisa.

Quantas menções é preciso amostrar manualmente para checar a acurácia de uma ferramenta de sentimento?

Revisar cem menções à mão e comparar cada uma com o que o modelo retornou. Contar quantas falham por ironia, negação, opinião mista ou jargão do setor. Essa contagem é a taxa de erro real, específica daquele corpus e não de um benchmark publicado.

Por que cruzar o sentimento líquido com o volume em vez de olhar só para ele?

Uma marca pode ganhar share of voice enquanto seu sentimento líquido cai, e essa combinação indica um problema se espalhando, não uma campanha funcionando. O sentimento sozinho não diz se mais pessoas estão falando ou menos. Cruzar sentimento e volume é o que transforma um painel em algo que uma equipe realmente confia.

Veja-nos mais no Google

Um clique marca a RedReplier como fonte preferida e nossos artigos passam a aparecer mais acima nas suas Principais notícias, no modo IA e nas visões gerais com IA.

Antes de você ir...

RedReplier

RedReplier

Alcance cada comprador que procura o que você vende

O RedReplier monitora Reddit, X, Bluesky e Hacker News em tempo real, classifica cada tópico por intenção de compra e redige a sua resposta, para que você chegue primeiro.

Reddit, X, Bluesky e HN

Alertas de intenção em tempo real

Respostas IA ilimitadas

Classificado por intenção de compra

Artigos relacionados