6ea740b4131de866815d66d4d0ac320a Satistação Do Cliente Diretrizes 75628

ABNT/CB-25 PROJETO 25:000.03.007(ISO 10004) ABRIL 2013

Gestão da qualidade monitoramento e medição

Satisfação

do

cliente

-

Diretrizes

para

APRESENTAÇÃO 1) Este Projeto de Norma foi elaborado pela da Comissão de Estudo de Tecnologia de e (CE-25:003.01) do Comitê Brasileiro da Qualidade (ABNT/CB-25), nas reuniões de:

21.01.2013

27.02.2013

2) Previsto para ser equivalente à ISO 10004:2012; 3) Não tem valor normativo; 4) Aqueles que tiverem conhecimento de qualquer direito de patente devem apresentar esta informação em seus comentários, com documentação comprobatória; 5) Este Projeto de Norma será diagramado conforme as regras de editoração da ABNT quando de sua publicação como Norma Brasileira. 6) Tomaram parte na elaboração deste Projeto: Participante

Representante

Furnas Centrais Elétricas S.A.

A. Eduardo da S. Vianna

IFRJ

André Isnard

Qualifactory Consultoria

Basilio V. Dagnino

NÃO TEM VALOR NORMATIVO

ABNT/CB-25 PROJETO 25:000.03.007 (ISO 10004) ABRIL 2013

Gestão da qualidade - Satisfação do cliente - Diretrizes para monitoramento e medição Quality management -- Customer satisfaction -- Guidelines for monitoring and measuring

Prefácio A Associação Brasileira de Normas Técnicas (ABNT) é o Foro Nacional de Normalização. As Normas Brasileiras, cujo conteúdo é de responsabilidade dos Comitês Brasileiros (ABNT/CB), dos Organismos de Normalização Setorial (ABNT/ONS) e das Comissões de Estudo Especiais (ABNT/CEE), são elaboradas por Comissões de Estudo (CE), formadas por representantes dos setores envolvidos, delas fazendo parte: produtores, consumidores e neutros (universidades, laboratórios e outros). Os documentos Técnicos ABNT são elaborados conforme as regras das Diretivas ABNT, Parte 2. O Escopo desta Norma Brasileira em inglês é o seguinte:

Scope This Standard provides guidance in defining and implementing processes to monitor and measure customer satisfaction. This Standard is intended for use by organizations regardless of type, size or product provided. The focus of this International Standard is on customers external to the organization.


1/38


0 Introdução 0.1 Generalidades Um dos elementos-chave de sucesso de organização é a satisfação de cliente com a organização e seus produtos. Consequentemente, é necessário monitorar e medir a satisfação do cliente. A informação obtida com o monitoramento e a medição da satisfação do cliente pode ajudar a identificar oportunidades para a melhoria das estratégias da organização, e seus produtos, processos e características que são valorizadas por clientes, e para servir aos objetivos de organização. Tais melhorias podem reforçar a confiança do cliente e resultar em benefícios comerciais e outros. Esta Norma fornece orientação à organização para estabelecer processos eficazes para monitorar e medir a satisfação do cliente.

0.2 Relação com a ABNT NBR ISO 9001:2008 Esta Norma é compatível com a ABNT NBR ISO 9001:2008, a cujos objetivos dá e fornecendo orientação sobre o monitoramento e medição da satisfação do cliente. Esta Norma pode ajudar a tratar de seções específicas na ABNT NBR ISO 9001:2008 relativas à satisfação do cliente, ou seja, aquelas a seguir relacionadas. a) ABNT NBR ISO 9001:2008, 5.2, sobre foco no cliente: “A Alta Direção deve assegurar que os requisitos do cliente sejam determinados e atendidos com o propósito de aumentar a satisfação do cliente b) ABNT NBR ISO 9001:2008, 6.1, b), sobre gestão de recursos: “A organização deve determinar e prover recursos necessários para aumentar a satisfação de clientes mediante o atendimento aos seus requisitos. c) ABNT NBR ISO 9001:2008, 7.2.3 c), sobre comunicação com o cliente :“A organização deve determinar e implementar providências eficazes para se comunicar com os clientes em relação a realimentação do cliente, incluindo suas reclamações.” d) ABNT NBR ISO 9001:2008, 8.2.1, sobre a satisfação de clientes: “Como uma das medições do desempenho do sistema de gestão da qualidade, a organização deve monitorar informações relativas à percepção do cliente sobre se a organização atendeu aos requisitos do cliente. Os métodos para obtenção e uso dessas informações devem ser determinados. e) ABNT NBR ISO 9001:2008, 8.4. sobre a análise de dados: “A organização deve determinar, coletar e analisar dados apropriados para demonstrar a adequação e eficácia do sistema de gestão da qualidade e para avaliar onde melhoria contínua da eficácia do sistema de gestão da qualidade pode ser feita. Isto deve incluir dados gerados como resultado do monitoramento e da medição e de outras fontes pertinentes. A análise de dados deve fornecer informações relativas a (...) satisfação de clientes (...).” Esta Norma pode ser usada independentemente da ABNT NBR ISO 9001:2008.


2/38


0.3 Relação com a ABNT NBR ISO 9004:2010 Esta Norma é também compatível com a ABNT NBR ISO 9004:2010, que fornece orientação sobre gestão para o sucesso sustentado de uma organização. Esta Norma suplementa a seguinte orientação dada em: 

ABNT NBR ISO 9004:2010, Seção B.2 sobre foco no cliente, e



ABNT NBR ISO 9004:2010, Subseções 8.3.1 e 8.3.2, sobre determinar necessidades, expectativas e satisfação dos clientes.

0.4 Relação com ABNT NBR ISO 10001, ABNT NBR ISO 10002 e ABNT NBR ISO 10003 Esta Norma é compatível com a ABNT NBR ISO 10001, ABNT NBR ISO 10002 e ABNT NBR ISO 10003. Estas quatro normas podem ser usadas independente ou conjuntamente. Quando usadas juntas, as ABNT NBR ISO 10001, ABNT NBR ISO 10002, ABNT NBR ISO 10003 e esta Norma podem ser parte de uma estrutura mais ampla e integrada para a satisfação do cliente acrescida de códigos de conduta, tratamento das reclamações, resolução de litígios e monitoramento e a medição da satisfação do cliente (ver Anexo F). A ABNT NBR ISO 10001 contém a orientação sobre códigos de conduta para as organizações relativas à satisfação do cliente. Tais códigos de conduta podem diminuir a probabilidade dos problemas que se estabelecem e podem eliminar causas das reclamações e dos litígios que podem diminuir a satisfação do cliente. A ABNT NBR ISO 10001 e esta Norma podem ser usadas em conjunto. As diretrizes dadas nesta Norma podem apoiar o estabelecimento e a implementação dos códigos de conduta. Por exemplo, os processos descritos nesta Norma podem ajudar a organização a monitorar e medir a satisfação do cliente com estes códigos de conduta (ver ABNT NBR ISO 10001:2013, 8.3). Também, os códigos de conduta podem ajudar a organização a definir e a executar processos para monitorar e medir a satisfação do cliente. Por exemplo, uma organização pode estabelecer um código de conduta no que diz respeito à confidencialidade das informações ao cliente no monitoramento e medição da satisfação do cliente. A ABNT NBR ISO 10002 contém a orientação sobre o tratamento interno de reclamações relacionadas com produtos. Esta orientação pode ajudar a preservar a satisfação e a lealdade do cliente resolvendo reclamações de forma eficaz e eficiente. A ABNT NBR ISO 10002 e esta Norma podem ser usadas em conjunto. As diretrizes dadas nesta Norma podem apoiar o estabelecimento e a implementação de um processo de tratamento de reclamações. Por exemplo, os processos descritos nessa norma podem ajudar a organização no monitoramento e medição da satisfação do cliente com o processo de tratamento de reclamações (ver ABNT NBR ISO 10002:2004. 8.3). Também, a informação de um processo de tratamento de reclamações pode ser usada no monitoramento e na medição de satisfação do cliente. Por exemplo, a frequência e o tipo de reclamações podem ser um indicador indireto da satisfação do cliente (ver 7.3.2). A ABNT NBR ISO 10003 contém a orientação sobre a definição dos litígios em relação às reclamações relacionadas com produtos que não poderiam satisfatoriamente ser resolvidas internamente. A ABNT NBR ISO 10003 pode ajudar a minimizar o descontentamento do cliente que provém das reclamações não resolvidas. NÃO TEM VALOR NORMATIVO

3/38


A ABNT NBR ISO 10003 e esta Norma podem ser usadas em conjunto. As diretrizes dadas nesta Norma podem apoiar o estabelecimento e a implementação de um processo da resolução de litígios. Por exemplo, os processos descritos nesta Norma podem ajudar a organização no monitoramento e medição da satisfação do cliente com o processo da resolução de litígios. Também, a informação de um processo da resolução de litígios pode ser usada no monitoramento e na medição da satisfação do cliente. Por exemplo, a frequência e a natureza das litígios podem ser um indicador indireto da satisfação do cliente (ver 7.3.2). Coletivamente, a ABNT NBR ISO 10001, ABNT NBR ISO 10002 e ABNT NBR ISO 10003 fornecem a orientação que pode ajudar a minimizar o descontentamento do cliente e a aumentar a satisfação do cliente. Esta Norma complementa a ABNT NBR ISO 10001, ABNT NBR ISO 10002 e ABNT NBR ISO 10003 fornecendo a orientação sobre o monitoramento e medição da satisfação do cliente. A informação obtida pode orientar a organização a tomar as ações que podem ajudar a manter ou aumentar a satisfação do cliente.

1 Escopo Esta Norma fornece orientação sobre definir e executar processos para monitorar e medir a satisfação do cliente. Esta Norma se destina ao uso das organizações independentemente do tipo, do porte ou do produto fornecidos. O foco desta Norma são os clientes externos à organização.

2 Referências normativas Os documentos relacionados a seguir são indispensáveis à aplicação deste documento. Para referências datadas, aplicam-se somente as edições citadas. Para referências não datadas, aplicam-se as edições mais recentes do referido documento (incluindo emendas). ABNT NBR ISO 9000:2005 - Sistemas de gestão da qualidade – Fundamentos e vocabulário

3 Termos e definições Para fins deste documento, aplicam-se os termos e as definições da ABNT NBR ISO 9000:2005 e os seguintes 3.1 produto resultado de um processo NOTA 1 O produto pode ser um serviço, um software, um hardware ou um material processado. NOTA 2 Adaptado da ABNT NBR ISO 9000:2005, definição 3.4.2, cujas três notas originais foram condensadas na Nota 1.

3.2 cliente organização ou pessoa que recebe um produto NOTA 1 Podem ser clientes outras partes interessadas que poderiam ser afetadas por produtos fornecidos pela organização e que poderiam influenciar o sucesso da organização. NOTA 2 Embora um cliente possa ser interno ou externo à organização, o foco desta Norma é o cliente externo. NÃO TEM VALOR NORMATIVO

4/38


NOTA 3 Adaptado da ABNT NBR ISO 9000:2005, definição 3.3.5, cuja nota original foi expandida nas notas 1 e 2. EXEMPLO Consumidor, cliente, usuário final, varejista, beneficiário, comprador.

3.3 satisfação do cliente a percepção do cliente do grau em que suas expectativas foram cumpridas NOTA A definição de satisfação do cliente difere daquela constante da ABNT NBR ISO 9000:2005, no sentido em que as disposições desta Norma visam a ajudar na identificação de expectativas do cliente inteiramente do ponto de vista da visão do cliente do produto esperado, enquanto que a definição da ABNT NBR ISO 9000:2005 envolve a compreensão da organização sobre os requisitos do cliente.

3.4 organização grupo de pessoas e instalações com um arranjo de responsabilidades, de autoridades e de relacionamentos NOTA Adaptado da ABNT NBR ISO 9000:2005, 3.3.1. As notas foram suprimidas. EXEMPLO Empresa, corporação, firma, instituição, organização de caridade, comerciante isolado, associação, agência governamental, organização não governamental ou uma combinação destes.

3.5 reclamação expressão de descontentamento feita a uma organização (3.4), relativa a seus produtos, ou o próprio processo de tratamento de reclamações, onde uma resposta ou uma resolução são esperadas explicita ou implicitamente [ABNT NBR ISO 10002:2004. definição 3.2] NOTA As reclamações podem ser feitas com relação aos processos para monitorar e medir a satisfação do cliente (3.3).

4 Conceito e princípios diretores 4.1 Generalidades O conceito da satisfação do cliente esboçado em 4.2, e os princípios diretores expostos em 4.3 fornecem a base para processos eficazes e eficientes para monitorar e medir a satisfação do cliente.

4.2 Conceito de satisfação do cliente A satisfação do cliente é determinada pela diferença entre as expectativas do cliente e a percepção do cliente quanto ao produto como entregue pela organização, e quanto aos aspectos relativos à própria organização Para conseguir a satisfação do cliente, convém que a organização primeiramente compreenda as expectativas do cliente. Estas expectativas podem ser explícitas ou implícitas, ou não inteiramente articuladas.


5/38


As expectativas do cliente, como compreendidas pela organização, formam a base primária do produto que subsequentemente é planejado e entregue. Em que medida o produto entregue e outros aspectos de organização são percebidos pelo cliente, atendendo ou excedendo expectativas, determina o grau de satisfação do cliente. É importante fazer uma distinção entre a visão da organização sobre a qualidade do produto entregue e a percepção do cliente sobre o produto entregue e outros aspectos de organização, porque é esta que determina a satisfação de cliente. A relação entre as opiniões da organização e as do cliente sobre qualidade é descrita pelo modelo conceitual da satisfação do cliente, como apresentado no Anexo A. Já que a satisfação do cliente é sujeita a mudanças, convêm que as organizações estabeleçam processos para monitorar e medir a satisfação do cliente numa base regular.

4.3 Princípios orientadores 4.3.1

Compreensão

Convém que a organização compreenda clara e inteiramente as expectativas do cliente, e a percepção do cliente do quanto essas expectativas são atendidas. 4.3.2 Integridade Convém que organização assegure a importância, a exatidão e a integralidade dos dados pertinentes à satisfação do cliente. 4.3.3 Importância Convém que a informação originada dos dados da satisfação do cliente seja significativa e útil. 4.3.4 Oportunidade Convém que a coleta e a disseminação da informação sejam feitas em tempo oportuno, consistente com os objetivos de organização. 4.3.5 Comunicação Convém que a organização assegure-se de que a informação da satisfação do cliente seja comunicada às partes interessadas, conforme apropriado. 4.3.6 Continuidade Convém que a organização assegure-se de que o monitoramento da satisfação do cliente seja contínua. 4.3.7 Capacidade de resposta Convém que a informação da satisfação do cliente seja usada como base para a ação de apoiar a realização dos objetivos de organização


6/38


4.3.8 Transparência Convém que a informação resultante da satisfação do cliente e as ações relevantes sejam compartilhadas com os clientes. 4.3.9 Obrigação de prestar contas Convém que a organização estabeleça e mantenha a obrigação de prestar contas para as decisões e as ações tomadas no que diz respeito ao monitoramento e à medição da satisfação do cliente. 4.3.10 Compromisso Convém que a organização seja ativamente comprometida a definir e a executar processos para monitorar e medir a satisfação do cliente.

5 Estrutura para monitoramento e medição da satisfação do cliente Convém que a organização estabeleça uma abordagem sistemática de monitoramento e de medição da satisfação do cliente. Convém que esta abordagem seja apoiada por uma estrutura da organização para permitir o planejamento, a operação, a manutenção e a melhoria dos processos para monitorar e medir a satisfação do cliente. O planejamento inclui a determinação dos métodos da aplicação, e a atribuição dos recursos necessários (ver Seção 6). A operação inclui a identificação de expectativas do cliente, a coleta e a análise dos dados de satisfação do cliente, fornecendo a informação de realimentação para a melhoria e o monitoramento da satisfação do cliente (ver Seção 7). A manutenção e a melhoria incluem a análise crítica, a avaliação e a melhoria contínua dos processos para medição e monitoramento da satisfação do cliente (ver Seção 8).

6 Planejamento 6.1 Definição do propósito e dos objetivos Em primeiro lugar, convém que a organização defina claramente o propósito e os objetivos do monitoramento e da medição da satisfação do cliente, que pode, por exemplo, incluir o seguinte: 

avaliar a resposta do cliente a produtos existentes, novos ou reprojetados;



obter informação sobre aspectos específicos, tais como processos de apoio, pessoais ou comportamento da organização;



investigar razões para reclamações do cliente;



investigar razões para a perda de clientes ou de parte do mercado;



monitorar tendências sobre satisfação do cliente;



comparar a satisfação do cliente com relação a outras organizações. NÃO TEM VALOR NORMATIVO

7/38


A finalidade e os objetivos influenciam o que, quando, como e de quem os dados são coletados. Também influenciam como os dados são analisados e como a informação é finalmente usada. Convém que os objetivos do monitoramento e da medição da satisfação do cliente sejam definidos de um modo tal que sua realização pode ser medida usando indicadores de desempenho como especificados pela organização.

6.2 Determinação do escopo e da frequência Baseado no propósito e nos objetivos, convém que a organização determine o escopo do planejamento da medição, em termos do tipo de dados que são procurados, e de onde vão ser obtidos. O tipo de informação recolhido pode variar desde os dados em relação a uma característica específica, à avaliação total da satisfação. De modo semelhante, o escopo da avaliação depende do tipo de segmentação, como: 

por cliente,



por região,



por período de tempo



por mercado, ou



por produto.

Convém também que a organização determine a frequência da coleta dos dados, que pode ser numa base regular, em uma base ocasional, ou em ambos, como ditado por necessidades do negócio ou por eventos específicos (ver 7.3).

6.3 Determinação dos métodos e responsabilidades pela implementação Algumas informações em relação à satisfação do cliente podem ser obtidas indiretamente dos processos internos da organização (por exemplo tratamento de reclamações do cliente) ou de fontes externas (por exemplo relatórios na mídia). Geralmente, a organização precisa suplementar tal informação com os dados obtidos diretamente dos clientes. Convém que a organização determine como a informação da satisfação do cliente deve ser obtida, e quem é responsável para essa atividade. Convém também que a organização determine a quem a informação deve ser dirigida para a ação apropriada. Convém que a organização planeje monitorar os processos para obter e usar a informação da satisfação do cliente, assim como os resultados e a eficácia desses processos.

6.4 Alocação de recursos Convém que a organização determine e forneça os recursos humanos competentes necessários e outros, para o planejamento, o monitoramento e a medição da satisfação do cliente.


8/38


7 Operação 7.1 Generalidades Para monitorar e medir a satisfação do cliente, convém à organização: 

identificar expectativas do cliente;



coletar dados da satisfação do cliente;



analisar dados da satisfação do cliente;



comunicar a informação da satisfação do cliente;

Estas atividades e sua relação entre si são mostrados na figura 1, e descritos em 7.2 a 7.6

7.2 7.2.1

Identificação das expectativas do cliente Identificação dos clientes

Convém que a organização identifique os clientes, atuais e potenciais, cujas expectativas ela pretende determinar. Uma vez que o grupo de “clientes” foi definido, convém à organização identificar os clientes individuais cujas expectativas devam ser determinadas. Por exemplo, no setor dos bens de consumo, tais indivíduos podem ser clientes regulares, ou podem ser clientes ocasionais. Quando o cliente for uma empresa, convém que uma ou várias pessoas nessa empresa (por exemplo de compras, gestão de projeto ou produção) sejam selecionadas. Exemplos adicionais de vários tipos de clientes e considerações são apresentados na Seção B.2.


9/38


7.2.2

Determinação das expectativas do cliente

Convém que ao determinar expectativas do cliente (ver a Figura A.1), a organização considere o seguinte: 

requisitos explícitos dos cliente;



requisitos implícitos dos clientes;



requisitos legais e regulamentares; e



outros desejos do cliente (“lista de desejos").

É importante reconhecer que um cliente não pode sempre explicitamente especificar todos os aspectos do produto. Itens que são pressupostos podem não ser especificados. Alguns aspectos podem ser omitidos, ou podem não ser conhecidos pelo cliente. De acordo com o modelo conceitual (ver o Anexo A), é crucial que as expectativas do cliente sejam compreendidas clara e completamente. O quanto estas expectativas forem atendidas influenciará a satisfação de cliente. Os exemplos dos vários aspectos a considerar a fim de compreender melhor as expectativas do cliente são fornecidos na Seção B.3. A relação entre expectativas do cliente e satisfação do cliente é mais discutida na Seção B.4. NOTA A informação em relação às expectativas do cliente pode também ser usada para preparar códigos de conduta para a satisfação do cliente (ver ABNT NBR ISO 10001:2013, Seção 6).

7.3 Coleta de dados de satisfação do cliente 7.3.1

Identificação e seleção das características relativas à satisfação do cliente

Convém à organização identificar as características do produto, de sua entrega e da organização, que têm um efeito significativo na satisfação do cliente. Por conveniência, as características podem ser agrupadas em categorias como: a) características do produto; EXEMPLOS Desempenho (qualidade, confiança), características de funcionamento, estética, segurança, e (manutenção, eliminação, treinamento), preço, valor percebido, garantia, impacto ambiental.

b) características da entrega; EXEMPLOS Entrega no tempo certo, integralidade do pedido, tempo de resposta, informação de funcionamento.

c) características da organização. EXEMPLOS Características pessoais (cortesia, competência, comunicação), processo de fatura, reclamações de tratamento, segurança, comportamento de organização (ética comercial, responsabilidade social), imagem na sociedade, transparência.


10/38


Convém à organização classificar as características selecionadas para refletir sua importância relativa, como percebida pelo cliente. Caso necessário, convém que uma avaliação seja realizada com um subconjunto dos clientes para determinar ou verificar sua percepção da importância relativa das características. 7.3.2

Indicadores indiretos da satisfação do cliente

Convém à organização examinar fontes de informação existentes para dados que reflitam as características relativas à satisfação do cliente, por exemplo. 

frequência ou tendência em reclamações e litígios do cliente (ver ABNT NBR ISO 10002:2004, Seção 8, e ISO 10003), chamadas para e, ou elogios do cliente;



frequência ou tendência em retornos do produto, em reparos do produto ou em outros indicadores de desempenho ou da aceitação de cliente de produto, relatórios por exemplo de instalação ou de inspeção de campo;



dados obtidos de comunicação com os clientes, por exemplo marketing, pessoal de serviço ao cliente;



relatórios das avaliações de fornecedor conduzidas pelas organizações de clientes, que podem revelar como a organização é percebida com relação a outras organizações;



relatórios dos grupos de consumidores que podem revelar como a organização e seus produtos são percebidos por consumidores e por usuários;



relatórios da mídia que podem revelar como a organização ou seus produtos são percebidos, e que podem eles mesmos também influenciarem percepções do cliente;



estudos do setor/ ramo, por exemplo envolvendo uma avaliação comparativa das características do produto da organização;



relatórios ou publicações de agencias regulamentadoras;



comentários e discussões nas redes sociais.

Tais dados podem dar uma visão dos pontos fortes e fracos do produto e dos processos relacionados da organização (por exemplo e ao produto, tratamento de reclamações e comunicação do cliente). A análise de tais dados de análise pode ajudar a dar forma a indicadores da satisfação do cliente. Pode também ajudar a confirmar ou suplementar os dados da satisfação do cliente obtidos diretamente do cliente. 7.3.3

Medidas diretas da satisfação do cliente

7.3.3.1 Generalidades Da mesma forma que pode haver indicadores indiretos da satisfação (ver 7.3.2), é geralmente necessário coletar dados da satisfação do cliente diretamente dos clientes. Os métodos usados para coletar dados da satisfação do cliente dependem de vários fatores, por exemplo. 

o tipo, o número e a distribuição geográfica ou cultural dos clientes; NÃO TEM VALOR NORMATIVO

11/38




o tamanho e a frequência da interação do cliente;



a natureza do produto fornecido pela organização;



a finalidade e o custo do método da avaliação.

Convém à organização considerar os aspectos práticos descritos em 7.3.3.2 a 7.3.3.4 ao planejar a abordagem e os métodos a serem usados para recolher dados da satisfação do cliente. 7.3.3.2 Seleção do método para recolher dados da satisfação do cliente Convém à organização selecionar um método para recolher os dados que seja apropriado à necessidade e ao tipo de dados que devam ser recolhidos. O método de uso mais geral para coletar tais dados é uma pesquisa, que pode ser qualitativa, ou quantitativa, ou ambas. As avaliações qualitativas são aquelas que são projetadas para tipicamente revelar as características do produto, da entrega ou da organização que são relevantes à satisfação do cliente. São empreendidas tipicamente para compreender ou explorar percepções e reações individuais, e identificar ideias e questões. São relativamente flexíveis na aplicação, mas podem ser subjetivas. As avaliações quantitativas são aquelas que são projetadas para medir o grau de satisfação do cliente. São conduzidas tipicamente para recolher dados agregados, usando perguntas ou critérios fixos. São usadas para determinar a situação atual, uma comparação com a concorrência, ou acompanhar mudanças ao longo do tempo. Breves descrições destes tipos de métodos da avaliação e de uma comparação de suas vantagens e limitações relativas são fornecidas em C.2.4. 7.3.3.3 Seleção do tamanho da amostra e do método de amostragem Convém que a organização determine o número de clientes a ser examinados (isto é, o tamanho da amostra) e o método de amostragem, a fim medir a satisfação do cliente. O objetivo é obter dados seguros com mínimos custos. A precisão dos dados coletados depende do tamanho da amostra e da maneira como a amostra é selecionada, isto é, o método de amostragem. O tamanho da amostra pode ser determinado estatisticamente para assegurar a precisão e os níveis de confiança exigidos nos resultados. Além disso, convém que o método de amostragem usado assegure que a amostra resultante represente adequadamente a população. Ambos os aspectos são mais discutidos na Seção C.3. 7.3.3.4 Elaboração de perguntas sobre satisfação do cliente Convém que o produto e as características a serem pesquisados sejam claramente definidos. Além disso, outras características podem também ser examinadas [ver 7.3.1, c)]. Ao desenvolver as perguntas a serem feitas, convém à organização primeiramente determinar as áreas de interesse mais amplas, e depois o subconjunto das perguntas dentro daquelas áreas, com detalhes suficientes para fornecer a informação sobre a percepção do cliente.


12/38


Convém que a escala de medida, que depende de como as perguntas são construídas também seja claramente definida. Uma orientação adicional sobre como definir as perguntas e em consolidá-las em um questionário é fornecida na Seção C.4. 7.3.3.5 Coleta de dados da satisfação do cliente Convém que a coleta de dados seja sistemática, detalhada e documentada. Convém que a organização especifique como os dados devem ser coletados. Ao selecionar os métodos e as ferramentas para coletar dados, convém que determinados aspectos sejam considerados, como por exemplo. a) tipo e ibilidade do cliente; b) os limites de tempo para a coleta de dados; c) tecnologia disponível; d) recursos disponíveis (habilidades e orçamento); e) privacidade e confidencialidade. Ao determinar a frequência, o período ou o motivo para coletar dados sobre satisfação do cliente, convém que a organização considere aspectos tais como os seguintes: 

o desenvolvimento ou o lançamento de um novo produto;



a conclusão de marcos significativos do projeto;



quando alguma mudança relevante for feita no produto, nos processos ou no ambiente empresarial;



quando houver uma diminuição na satisfação do cliente, ou uma variabilidade em vendas do produto (na região, ou por estação do ano);



o monitoramento e a sustentação de relações presentes com o cliente;



tolerância do cliente à frequência das avaliações.

A coleta de dados pode ser feito pela própria organização. Pode ser mais econômico e, dado o conhecimento da organização sobre o produto ou o cliente, isso pode resultar em melhor informação. Isto pode também conduzir a uma relação mais forte com o cliente e a uma compreensão melhor de questões do cliente. Contudo, há um risco de que os dados possam ser polarizados pelas relações dos indivíduos envolvidos na avaliação. Este risco pode ser evitado se o levantamento de dados é conduzido por um terceiro independente.

7.4 Análise dos dados sobre a satisfação do cliente 7.4.1

Generalidades

Uma vez que os dados relativos à satisfação do cliente foram coletados, convém que sejam analisados para fornecer a informação, que inclui tipicamente o seguinte: 

o grau de satisfação do cliente e sua tendência; NÃO TEM VALOR NORMATIVO

13/38




aspectos do produto ou dos processos da organização que poderiam ter impacto significativo na satisfação;



informações relevantes sobre concorrentes ou produtos e processos de organizações comparáveis;



pontos fortes e áreas prioritárias para a melhoria. Ao analisar dados sobre a satisfação do cliente, a convém que a organização considere as atividades descritas de 7.4.2 a 7.4.6. Uma orientação adicional para cada uma destas atividades é fornecida no Anexo D.

7.4.2

Preparação dos dados para a análise

Convém que os dados sejam verificados quanto a erros, integralidade e precisão, e agrupados em categorias definidas, caso necessário. 7.4.3

Determinação do método de análise

Convém que os métodos de análise sejam selecionados segundo o tipo de dados coletados e do objetivo da análise. Os vários métodos para analisar dados podem ser classificados como a) a análise direta, envolvendo a análise das respostas do cliente às perguntas específicas, ou b) a análise indireta, envolvendo o uso de vários métodos analíticos para identificar fatores que influenciem potencialmente um conjunto de dados. Tipicamente, ambas as categorias de análise podem ser usadas para extrair informação útil dos dados de satisfação do cliente. 7.4.4

Execução da análise

Convém que os dados sejam analisados para obter informação como: 

satisfação do cliente (geral ou por categoria de cliente) e tendências;



diferenças no grau de satisfação por categorias de cliente;



causas possíveis e seu efeito relativo na satisfação do cliente;



lealdade do cliente, que é um indicador de que o cliente provavelmente continuará a adquirir os mesmos ou outros produtos da organização.

7.4.5

Validação da análise

Convém que a análise e suas conclusões sejam validadas, o que pode ser feito por vários meios, por exemplo. 

segmentando os dados para determinar fontes possíveis de variabilidade;



determinando a importância de características de produto: as características identificadas como potencialmente relevantes para o cliente e a sua importância relativa para o cliente (incluindo mudanças possíveis de características e a importância relativa das características ao longo do tempo) influenciam significativamente os resultados da análise executada; NÃO TEM VALOR NORMATIVO

14/38




avaliando a consistência dos resultados, em comparação com outros indicadores ou tendências em áreas que também refletem a satisfação do cliente, por exemplo vendas do produto e reclamações do cliente.

7.4.6

Relato de resultados e recomendações

Convém que os resultados da análise conduzida sejam documentados e relatados, junto com recomendações possíveis para ajudar a organização a identificar áreas para melhoria, a fim de, em última instância, aumentar a satisfação do cliente e servir aos interesses ou objetivos da organização. Convém que o relatório forneça um indicador claro e detalhado da satisfação do cliente. Além dos dados coletados diretamente dos clientes, poderia haver outras características ou medidas que refletem a satisfação do cliente, por exemplo, aquelas mencionadas em 7.3.2. As medidas-chave de características relevantes podem ser combinadas em um valor consolidado denominado “índice de satisfação do cliente” (Customer Satisfaction Index-CSI). O CSI pode, por exemplo, ser uma média ponderada de resultados da avaliação da satisfação do cliente e do número de reclamações recebidas. O CSI pode ser uma maneira conveniente e útil de medir e de monitorar a satisfação do cliente através do tempo ou espaço. Convém que o relatório também identifique as características e os componentes relevantes da satisfação do cliente, assim como as potenciais causas que contribuem para o descontentamento do cliente.

7.5 Comunicação das informações sobre a satisfação do cliente Convém que a informação obtida da medição e da análise de dados da satisfação do cliente seja encaminhada às funções apropriadas na organização, de modo que medidas possam ser tomadas para melhorar os produtos, os processos ou as estratégias, a fim de servir aos objetivos da organização. A fim de ajudar a conseguir isso, a organização pode: 

identificar ou estabelecer os fóruns e os processos para analisar criticamente a informação da satisfação do cliente;



determinar quais informações convém sejam comunicada a quem (incluindo clientes);



formular planos de ação para melhorias;



analisar criticamente a implementação dos planos de ação e dos resultados em fóruns apropriados, por exemplo revisões da gerência.

A aplicação contínua de tais ações pode reforçar a eficácia e a eficiência do sistema de gestão da qualidade da organização. A informação da satisfação do cliente (tanto positiva como negativa) pode ajudar a guiar a organização a tratar de questões relativas ao cumprimento dos requisitos explicitados pelo cliente. Isso pode também ajudar a organização a compreender e tratar das expectativas do cliente, ou as questões relativas à percepção do cliente sobre o produto entregue ou a organização, e aumentar desse modo a satisfação do cliente.


15/38


Orientação genérica sobre algumas das maneiras em que a informação pode ser usada é fornecida no anexo E.

7.6 Monitoramento da satisfação do cliente 7.6.1

Generalidades

Convém que a organização estabeleça um processo para monitorar a satisfação do cliente, assegurando que a informação obtida é relevante, e que isso seja usado eficazmente para apoiar os objetivos da organização. A orientação sobre atividades de monitoramento é fornecida em 7.6.2 a 7.6.5. 7.6.2

Avaliação da seleção dos clientes e dos dados coletados

Convém à organização verificar se os clientes ou o grupo de clientes selecionados estão alinhados com o propósito da coleta dos dados, e que os dados estão completos e corretos. Convém à organização examinar as fontes de dados da satisfação do cliente, diretos e indiretos, quanto a validade e importância. 7.6.3

Avaliação da informação sobre a satisfação do cliente

Convém que a informação sobre a satisfação do cliente seja monitorada pela organização em intervalos definidos, e pelo nível apropriado da gerência. A natureza e o escopo da informação monitorada são específicos às necessidades e aos objetivos da organização, e podem incluir, por exemplo: 

tendências em dados da satisfação do cliente (gerais e, por exemplo, por subproduto, região, tipo de cliente);



informação comparativa ou do concorrente;



pontos fortes e fracos do produto, dos processos, das práticas ou do pessoal da organização;



desafios ou oportunidades potenciais.

7.6.4

Monitoramento das ações tomadas em resposta à informação da satisfação do cliente

Convém que a organização monitore o processo pelo qual a informação relevante da satisfação do cliente é fornecida para as funções apropriadas, a fim de tomar as ações destinadas a aumentar a satisfação do cliente. Convém também que a organização monitore a implementação das ações empreendidas, assim como o efeito de tais ações na reação do cliente relativa às características específicas, ou na medida total da satisfação, ou no apoio a outros objetivos da organização. Por exemplo, se a informação do cliente é relacionada a problemas na entrega, convém à organização verificar se ações estão sendo tomadas para melhorar a entrega, e que esta está refletida na melhoria da satisfação do cliente na realimentação subsequente da satisfação do cliente.


16/38


7.6.5

Avaliação da eficácia das ações tomadas

A fim de avaliar a eficácia das ações tomadas, convém que a organização verifique se a informação de satisfação adquirida do cliente é consistente com, ou está validada por, outros indicadores de desempenho empresarial relevantes. Por exemplo, se as medidas da satisfação do cliente da organização mostram uma tendência positiva, elas devem tipicamente também se refletir em indicadores relacionados ao negócio, tais comoo aumento da procura, fatia de mercado aumentada, aumento do número de clientes fiéis e novos. Se a tendência da medida da satisfação do cliente não é refletida em indicadores de desempenho de outros setores, isso pode indicar uma limitação ou uma falha nos processos de medição e de comunicação da satisfação do cliente. Alternativamente, isso pode indicar que a medida da satisfação do cliente falhou em não considerar outros fatores que influenciam a decisão do cliente.

8 Manutenção e melhoria Convém que a organização periodicamente analise criticamente seus processos para monitorar e medir a satisfação do cliente, a fim assegurar-se de que sejam eficazes e eficientes e que forneçam informações que sejam atuais, relevantes e úteis. As ações típicas a considerar incluem o seguinte: 

assegurar-se de que haja um plano, uma programação e um processo definido para monitorar e medir a satisfação do cliente;



analisar criticamente o processo de selecionar clientes e características para assegurar que são alinhados com os objetivos e as prioridades do negócio;



assegurar-se de que o processo para capturar as expectativas do cliente (implícitas e explícitas) seja atual e detalhado no escopo e que inclua uma verificação, sempre que seja possível com o cliente;



analisar criticamente os indicadores indiretos de satisfação do cliente, incluindo análise de clientes perdidos, para assegurar que as fontes são atuais, abrangentes e relevantes;



assegurar-se de que os métodos e os processos para a medida direta da satisfação reflitam condições mutáveis do cliente e dos objetivos do negócio;



analisar criticamente os métodos de análise de dados da satisfação do cliente para assegurar se são válidos e adequados;



verificar se os vários componentes e seus pesos relativos refletem prioridades atuais do negócio, se os dados da satisfação do cliente são consolidados em um indicador tal como o CSI;



periodicamente analisar criticamente o processo para validar a informação da satisfação do cliente em função de indicadores dos dados internos ou dos outros indicadores do negócio;



verificar se o fórum e o processo para análise crítica em andamento da informação da satisfação do cliente são apropriados e adequados;


17/38




verificar se o processo para uma comunicação da informação da satisfação do cliente às funções relevantes é operacional e eficaz, por exemplo determinando se os receptores encontram a informação útil ou se a informação é utilizada;



identificar impedimentos e auxílios à comunicação da informação da satisfação do cliente para promover a melhoria

NOTA A informação do uso do código de conduta para a satisfação do cliente (ver ABNT NBR ISO 10001), os processos de tratamento de reclamações (ver ABNT NBR ISO 10002) e os processos da resolução de litígios (ver ABNT NBR ISO 10003) podem ajudar na manutenção e na melhoria dos processos para monitorar e medir a satisfação do cliente.


18/38


Anexo A (normativo)

Modelo conceitual da satisfação do cliente A.1 Generalidades Este Anexo fornece informações adicionais sobre o modelo conceitual da satisfação do cliente (apresentado na Seção 4). Serve como base para a orientação fornecida nesta Norma.

A.2 Modelo conceitual da satisfação do cliente A relação entre as perspectivas da organização e as perspectivas do cliente em relação à qualidade de produto é ilustrada pelo modelo conceitual na Figura A.1.

NOTA A percepção do produto pelo cliente também inclui outros aspectos de organização

Neste modelo, a expectativa do cliente do produto caracteriza o produto que o cliente gostaria de receber. As expectativas do cliente são formadas principalmente pela experiência do cliente, pelas informações disponíveis e pelas necessidades do cliente. Estas expectativas podem ser refletidas em exigências definidas, ou podem ser supostas e indefinidas. O produto planejado caracteriza o produto que a organização pretende entregar. É geralmente um compromisso entre a compreensão da organização das expectativas do cliente, as capacidades da organização, seus interesses internos e as limitações técnicas, estatutárias e reguladoras aplicáveis à organização e ao produto. O produto entregue caracteriza o produto que é realizado pela organização. O grau de conformidade, que constitui a visão da organização quanto a qualidade, é a extensão a que o produto entregue vem se adequar ao produto planejado. NÃO TEM VALOR NORMATIVO

19/38


A percepção do cliente do produto caracteriza o produto como o cliente o percebe. Este percepção é formada pelas necessidades do cliente, pelo ambiente empresarial e pelas alternativas disponíveis no mercado. Satisfação é um julgamento, uma opinião expressa pelo cliente. O grau de satisfação reflete a diferença entre a visão do cliente do produto esperado, e a percepção do cliente do produto entregue, que inclui outros aspectos de organização. Consequentemente, convém que atenção seja prestada a ambas as dimensões: a) as medidas internas da qualidade nos processos da realização; b) as medidas externas da visão do cliente de o quanto a organização atendeu às expectativas do cliente. Como ilustrado no modelo conceitual, a fim de melhorar a satisfação de cliente, a organização precisa anular a diferença entre a qualidade esperada pelo cliente e a percepção do cliente da qualidade entregue. Para isso, convém que a organização se refira a cada um dos estágios no ciclo do modelo conceitual, isto é, 

compreender completamente quais as expectativas do cliente ao definir o produto planejado e se assegurar de que o cliente esteja inteiramente informado sobre as características de produto e suas limitações (esta é a área de identificação dos requisitos, comunicação e projeto do produto);



entregar o produto em conformidade com o produto planejado (isto é, área da gestão operacional e controle de processos);



compreender a percepção do cliente do produto entregue e aumentar a satisfação do cliente através de melhorias do produto e a informação melhorada sobre o produto e suas restrições (esta é a área de comunicação, marketing e das relações com os clientes).

Convém que a organização considere que a satisfação do cliente está relacionada não somente ao produto e às características da entrega, mas também a outros aspectos de organização.


20/38


Anexo B (normativo)

Identificação de expectativas do cliente B.1 Generalidades Este Anexo fornece informações adicionais e a orientação sobre identificar expectativas do cliente, como esboçado em 7.2.

B.2 Identificação dos clientes Os diferentes tipos de clientes a serem pesquisados (para a determinação de expectativas do cliente ou de satisfação do cliente) estão listados abaixo, ilustrados por exemplos de clientes em setores diferentes. a) Os clientes atuais são aqueles que têm comprado os produtos da organização recentemente. Estes podem ser: 1)

clientes regulares que compram os produtos ou os serviços da organização;

EXEMPLOS Clientes de uma padaria; usuários do transporte público 2)

clientes ocasionais que compram periodicamente os produtos da organização.

EXEMPLOS Clientes de lojas de computador ou de uma farmácia.

b) Os clientes diretos são aqueles que compram produtos diretamente da organização. Tais clientes especificam geralmente suas expectativas diretamente à organização. EXEMPLOS Clientes de equipamento de soldagem ou de serviço de costura

c) Os clientes indiretos são aqueles que compram os produtos da organização através de um revendedor ou de uma outra organização. Nesses casos, é importante para a organização compreender as expectativas do revendedor, assim como as expectativas do cliente final EXEMPLOS Clientes de telefones celulares

d) Clientes potenciais são aqueles que podem estar interessados nos produtos da organização, mas não compraram ainda o produto. As expectativas de tais clientes podem ser influenciadas pela imagem da organização, porque não têm nenhuma experiência em lidar com a organização. e) Clientes perdidos são aqueles que compraram previamente o produto da organização, mas cessaram de fazer compras adicionais. Nesses casos, convém que a organização procure compreender as razões para a mudança na preferência do cliente.


21/38


B.3 e para entender as expectativas do cliente É da responsabilidade da organização compreender as expectativas do cliente e traduzi-las em requisitos. A organização pode obter uma compreensão mais profunda das expectativas do cliente considerando aspectos como os seguintes: 

o papel do cliente em projetar e em entregar o produto (onde aplicável);



assegurar que a realimentação de cliente seja projetada para revelar a informação sobre as expectativas e o valor percebido pelo cliente do produto entregue;



o papel de outras partes (por exemplo um distribuidor como terceiros, ou um sócio, ou ambos) que possam afetar a satisfação dos clientes;



como o cliente pretende usar ou distribuir o produto.

B.4 Expectativas do cliente e satisfação do cliente A satisfação do cliente contém os dois seguintes segmentos separados: a) satisfação com elementos ou aspectos específicos do produto entregue; b) satisfação total do cliente, que não é a soma (ou média) dos elementos individuais e que consequentemente convém sejam avaliados separadamente. O cliente especifica frequentemente determinados elementos do produto que impactam diretamente a satisfação. Contudo, a satisfação é afetada por outras características, cuja relação é ilustrada na Figura B.1. NOTA A Figura B.1 é baseada no modelo de Kano (ver a referência [8])

satisfeito

Figura B.1 — Relação entre várias características e satisfação do consumidor NÃO TEM VALOR NORMATIVO

22/38


O modelo na Figura B.1 mostra relações do grau de satisfação com o atendimento da expectativa, da qual emergem as categorias diferentes de característica que a influenciam, como descrito a seguir. - “Básicas” são características do produto que o cliente espera. Seu atendimento somente evita o descontentamento. Estas não são geralmente expressas explicitamente, mas são importantes. EXEMPLO O fato de que uma pizza é servida quente; um sistema de freio antibloqueio (ABS) em carros novos.

- “Desempenho” são as características do produto que afetam diretamente a satisfação ou insatisfação do cliente, isto é, quanto melhor forem cumpridas, mais alta a satisfação de cliente. O cliente procura explicitamente estas características e dá-lhes um elevado valor. EXEMPLO Volume de carga de um automóvel de ageiros; consumo da gasolina; tamanho de uma pizza.

- “As oportunidades latentes” são as características do produto que são potencialmente muito importantes ou atrativas aos clientes, mas que no momento não são articuladas nem antecipadas. Estas oferecem as oportunidades e as vantagens competitivas futuras do desenvolvimento. Se tais oportunidades não são cumpridas, não causam descontentamento desde que não foram esperadas nem foram antecipadas, mas sua realização pode ter efeito muito positivo na satisfação. Contudo, é importante notar que tais características são sujeitas à mudança e poderão rapidamente se transformar em fatores “previstos”. EXEMPLO Flores frescas grátis inesperadas no quarto de hotel; serviços de atualizações para o software; e adicional de treinamento de produto.

Convém que as características consideradas acima sejam regularmente monitoradas, porque expectativas do cliente mudam continuamente. Por exemplo, o ar condicionado nos automóveis era um fator da motivação quando foi primeiramente introduzido, mas atualmente é considerado uma característica padrão (isto é, básica). Convém que a organização considere estas características ao definir o produto. Indo além das expectativas indicadas dos consumidores, a organização pode aumentar a satisfação do cliente. As categorias descritas acima podem ajudar a organização a dar prioridade a ações potenciais para a melhoria, que podem resultar da análise de dados do cliente, como descrito em D.4.3.


23/38


Anexo C (normativo)

Medição direta da satisfação do cliente C.1 Generalidades Este Anexo fornece informações adicionais e orientação sobre as etapas e atividades associadas com a medição direta da satisfação do cliente, de acordo com 7.3.3.

C.2 Métodos de levantamento da satisfação do cliente C.2.1 Generalidades Os métodos de levantamento que medem a satisfação do cliente podem amplamente ser categorizados como qualitativos ou quantitativos. Convém à organização selecionar os métodos de levantamento que são apropriados aos objetivos e ao tipo de dados a serem coletados.

C.2.2 Avaliações qualitativas C.2.2.1 Generalidades Os métodos preliminares usados para executar avaliações qualitativas são entrevistas pessoais detalhadas e grupos de discussão. C.2.2.2 Entrevistas pessoais detalhadas As entrevistas pessoais detalhadas podem fornecer uma riqueza de informações sobre os fatores que influenciam a satisfação e sua importância relativa, assim como uma visão sobre expectativas e percepções do cliente. Podem ser conduzidas pessoalmente ou através de telefone. As entrevistas pessoais permitem uma compreensão mais profunda das expectativas do cliente. Sua duração pode variar de 45 min a 60 min ou por mais tempo. A entrevista pode ser parcialmente estruturada, isto é, baseada em um esboço como ajuda para abordar certos temas básicos. É importante permitir ao pesquisado responder livremente e registrar as respostas literalmente. As entrevistas telefônicas são menos dispendiosas e podem fornecer resultados mais rapidamente. C.2.2.3 Grupos de discussão Os grupos de discussão são compostos tipicamente de cinco a dez participantes. Fornecem menos informação em nível individual, mas a confrontação e a troca das opiniões no grupo podem revelar opiniões e percepções comuns em relação aos pontos fortes e fracos principais do produto da organização, assim como a importância relativa dos fatores da satisfação. Os grupos de discussão são frequentemente uma fonte de informação fértil de ideias para a melhoria. Os dois enfoques acima mencionados podem ser combinados. Por exemplo, as entrevistas detalhadas podem ser continuadas com grupos de discussão. O número de entrevistas ou de grupos depende da finalidade específica da avaliação e do grau de similaridade nos tipos de clientes.

C.2.3 Avaliações quantitativas Os métodos principais de obter dados com as avaliações quantitativas são os seguintes: NÃO TEM VALOR NORMATIVO

24/38




entrevistas pessoais ou entrevistas telefônicas;



questionários, que podem ser enviados pelo correio, ou ser distribuídos junto com o produto, ou fornecidos online (através da Internet).

As entrevistas pessoais frente a frente são menos populares devido ao custo e à dificuldade em obter entrevistas com clientes industriais. Os métodos mais frequentemente usados são questionários respondidos por telefone e questionários enviados pelo correio.

C.2.4 Comparação de métodos de levantamento As vantagens relativas e as limitações de alguns métodos comuns de levantamento são resumidas na Tabela C.1. As vantagens e as limitações incluídas na tabela supõem que a coleta de dados é feita pela organização. Se a atividade do levantamento é subcontratada, alguns dos comentários podem não se aplicar. Se a taxa de retorno da pesquisa for baixa, convém que a organização considere outras maneiras de suplementar ou de verificar a informação obtida. Tabela C.1 — Comparação de métodos de pesquisa Método Entrevista pessoal

Entrevista telefônica

Grupo de discussão

Pesquisa pelo correio

Vantagens - Contato e atenção pessoal - Possibilidade de perguntas complexas e dirigidas -Flexibilidade na condução da entrevista - Disponibilidade imediata da informação - Capacidade para verificar a informação - Entrevista mais barata do que frente a frente - Flexibilidade - Capacidade de verificar a informação - Maior velocidade da execução - Disponibilidade imediata da informação - Mais barato do que entrevista individual - Perguntas parcialmente estruturadas -Respostas espontâneas resultando da interação do grupo

- Baixo custo - Pode alcançar um grupo geográfico extensamente disperso - Nenhuma distorção pelo pesquisador - Nível elevado de padronização - Relativamente fácil de controlar

Limitações - Toma mais tempo, consequentemente mais lento - Mais caro, especialmente se os pesquisados estão dispersos geograficamente -Risco de possível distorção introduzida pelo pesquisador - As respostas não-verbais não podem ser observadas (nenhum contato visual) - Risco de distorção pelo pesquisador - Informação limitada pela duração relativamente curta da entrevista (20 a 25 minutos) - Relutância do cliente em participar - Exige facilitador experiente e equipamento relacionado -O resultado depende da familiaridade do participante com a técnica - Difíceis se os clientes estão dispersos em grande região - Baixa taxa de resposta - A auto-seleção dos pesquisados pode conduzir a amostragem distorcida que não reflete a população - Dificuldade possível com perguntas não claras - Falta de controle do comportamento nas respostas - Mais tempo para o levantamento de dados


25/38


Tabela C.1 – (continuação) Método Pesquisa on-line (Internet)

Vantagens - Baixo custo - Perguntas previamente preparadas - Nenhuma distorção pelo pesquisador - Nível elevado de normalização/ comparabilidade - Execução rápida - Avaliação fácil

Limitações - Baixa taxa de resposta - Falta de controle do comportamento nas respostas - Atraso na disponibilidade dos dados - Probabilidade alta de interrupção em caso das perguntas não claras - Supor que o cliente tem o equipamento e é familiar com a tecnologia

C.3 Tamanho da amostra e método de amostra C.3.1 Tamanho da amostra Convém que o tamanho da amostra seja determinado estatisticamente para assegurar um nível específico de confiança nos resultados, dentro de uma margem de erro definida. O tamanho da amostra computado estatìsticamente pode ser maior do que o tamanho que a organização pode ar. Na prática, o tamanho da amostra selecionado é geralmente acordado entre o nível desejado de exatidão, o nível de confiança e o custo ou a dificuldade de amostragem. No caso das avaliações qualitativas, o tamanho da amostra é tipicamente pequeno e é baseado geralmente no julgamento de negócio. Se o número de clientes for relativamente pequeno, como em um contexto interempresarial, toda a população pode ser pesquisada. Nesses casos, diversas pessoas de cada negócio podem ser selecionadas.

C.3.2 Método de amostragem Convém também que a organização determine como a amostra deve ser selecionada, de modo que os resultados sejam representativos da população de clientes. Dois métodos de amostragem amplamente utilizados são descritos abaixo. Uma abordagem é selecionar clientes por meio de “amostra aleatória”, isto é, onde a probabilidade de selecionar um cliente qualquer na população é a mesma. Isto pode ser usado quando a população é relativamente homogênea, ou quando existe pouca ou nenhuma informação sobre a composição da população. Outra abordagem é usar “amostragem estratificada”, em que os clientes são agrupados em várias categorias (ou “estratos") de acordo com alguns critérios, por exemplo lugar, conhecimento ou uso do produto, tamanho, atitude (tolerante/reclamante), gênero/idade dos clientes e valor potencial para a organização. Amostras proporcionais são então selecionadas de cada estrato especificado da população. A amostragem aleatória é apropriada se o objetivo é obter a informação para a população como um todo. A amostragem estratificada é apropriada quando o objetivo é assegurar-se que a informação seja coletada de cada estrato especificado da população.


26/38


C.4 Elaboração do questionário de satisfação do cliente C.4.1 Definição das perguntas C.4.1.1 Generalidades O projeto e o conteúdo das perguntas dependem do contexto e da meta em cada caso, mas as etapas e as considerações delineadas abaixo são geralmente aplicáveis. C.4.1.2 Determinação da informação necessária Convém à organização assegurar-se que a informação que está sendo procurada trate inteiramente de todos os componentes da questão que está sendo estudada. Em adição às características tradicionais da qualidade, a entrega e o preço, podem haver outras características importantes para o cliente, por exemplo comunicação, ou o comportamento da organização, ou a posição da organização em questões públicas. Convêm que sejam consideradas também a demografia e outras características relevantes da população alvo. C.4.1.3 Seleção do método para coletar a informação O método selecionado pela organização para coleta da informação é influenciado pelo tipo de informação que está sendo procurada, e por considerações logísticas em atingir a população alvo. As considerações logísticas podem incluir o tempo, a geografia, a demografia, a ibilidade ou outros aspectos. C.4.1.4 Definição do conteúdo das perguntas individuais Convém que a organização, ao formular as perguntas individuais para solicitar a informação requerida, assegure-se de que as perguntas sejam claras ao pesquisado. É também boa prática estimular comentários e sugestões do cliente ao formular as perguntas, a fim de evitar respostas ambíguas ou confusas do cliente. C.4.1.5 Consideração sobre o pesquisado Convém que a maneira de perguntar considere o quanto o pesquisado é articulado, bem informado, ou familiar em relação ao produto e à organização. Convém à organização minimizar o esforço requerido do pesquisado, e assegurar-se que a busca para a informação é vista como apropriada e legítima. C.4.1.6 Escolha das palavras da pergunta Convém à organização: 

definir claramente a questão em termos de quem, o que, quando, onde, por que e como;



usar linguagem comum, isto é, as palavras que sejam compatíveis com o vocabulário dos pesquisados;



evitar palavras ambíguas (por exemplo, “ocasional” ou “profissional");



evitar linguagem que possa fornecer dicas ou tendências ao pesquisado, indicando as expectativas da organização. NÃO TEM VALOR NORMATIVO

27/38


C.4.2 Projeto do questionário C.4.2.1 Generalidades Convém que o questionário comece com instruções claras para o uso. Se apropriado, convém fornecer orientação sobre como dirigir perguntas quantitativas e/ou qualitativas. Ao criar o questionário, as considerações indicadas a seguir podem facilitar a coleta da informação desejada. C.4.2.2 Escolhendo a estrutura da pergunta Convém que a organização estruture as perguntas em sequência lógica sempre que possível, e use mais de uma pergunta para facilitar o pesquisado, se a resposta envolver numerosas alternativas. Convém que as perguntas sejam feitas na ordem lógica, começando com as perguntas gerais, seguidas por perguntas mais específicas. Convém também que a prioridade seja, inicialmente, obter a informação básica, enquanto que as perguntas relativamente difíceis, sensíveis ou complexas, sejam feitas mais adiante. C.4.2.3 Determinação da forma e da disposição Convém que o questionário seja fácil para o pesquisado seguir, por exemplo, contendo perguntas logicamente arranjadas e numeradas em cada seção, com diretrizes ou instruções claras. Convém também que o arranjo seja projetado para facilitar a análise dos dados recolhidos, por exemplo, usando colunas verticalmente alinhadas para respostas. C.4.2.4 Estabelecimento da escala de medição A escala de medição depende do tipo de informação que está sendo procurada, sendo conveniente que ela seja claramente definida. Ao avaliar opiniões é usada frequentemente uma escala contínua de 5 pontos para categorias. EXEMPLO 1 "Concordo plenamente ”; “Concordo”; “Neutro”; “Discordo”; “Discordo plenamente”.

Quando uma maior discriminação é exigida, uma escala mais ampla, por exemplo 10 pontos, pode ser usada. Se a necessidade for obrigar o pesquisado a tomar uma posição e evitar uma resposta neutra, o questionário pode utilizar um número par de pontos da escala (por exemplo 4 ou 6). EXEMPLO 2 "Muito satisfeito”; “Satisfeito”; “Insatisfeito”; “Muito insatisfeito”.

C.4.2.5 Validação pela condução de um “pré-teste” Um “pré-teste” é um levantamento preliminar conduzido com um pequeno, mas representativo grupo de pesquisados, a fim avaliar os pontos fortes e fracos do questionário. É uma prática altamente recomendável, embora não possa ser viável se o número de pesquisados for limitado. Convém, sempre que seja possível, que todos os aspectos principais do questionário sejam testados, usando os mesmos métodos da pequisa real (por exemplo, por correio ou telefone). Convém que isto ser repetido em cada revisão significativa do questionário. NÃO TEM VALOR NORMATIVO

28/38


Convém que os resultados do pré-teste sejam analisados para avaliar o método da pesquisa, o seu escopo e clareza, assim como a reação dos pesquisados, e se é conveniente, que a pesquisa seja alterada como apropriado. Por exemplo, se o questionário é considerado muito longo, ele pode ser dividido em questionários mais curtos que tomem menos tempo.


29/38


Anexo D (normativo)

Análise de dados da satisfação do cliente D.1 Generalidades Este Anexo fornece informações adicionais e orientação sobre a análise de dados da satisfação do cliente, como indicado em 7.4.

D.2 Preparação dos dados para a análise D.2.1 Verificação dos dados A organização pode verificar os dados coletados, por exemplo, verificando os seguintes aspectos: 

erros ou enganos nos dados: podem ter que ser corrigidos ou removidos, a fim de evitar conclusões enganosas;



integralidade dos dados: importante verificar se os dados obtidos do cliente são completos, e decidir como as respostas incompletas ou as não-respostas devem ser tratadas;



exatidão dos dados: se as técnicas de amostragem forem usadas, é aconselhável confirmar que o tamanho da amostra e o método são consistentes com o nível de confiança e a margem de erro que pode ter sido especificada.

D.2.2 Categorização dos dados Onde aplicável, convém que os dados coletados sejam preparados para a análise para 

codificar respostas em aberto nas categorias, e



codificar respostas em grupos ou segmentos de pesquisados.

D.3 Determinação dos métodos para a análise D.3.1 Generalidades A organização pode selecionar os métodos de análise a serem usados, segundo os dados coletados e os objetivos. A orientação sobre o uso de algumas das técnicas estatísticas mencionadas a seguir pode ser encontrada na ABNT NBR ISO/TR 10017 e na ISO/TR 13425.

D.3.2 Análise direta O objetivo desta análise é descrever ou avaliar as respostas dos pesquisados à perguntas específicas. Alguns métodos de análise usadas comumente e seus objetivos são apresentados na Tabela D.1.


30/38


Tabela D.1 — Método de análise direta Média

Método

Objetivo Determinar a resposta média

Mediana

Identificar a resposta “do meio”

Gama

Determinar o intervalo entre os valores menores e maiores Determinar o grau de variabilidade nos dados

Desvio-padrão

Tabulações cruzadas

Para resumir a distribuição da resposta por alguma outra variável do interesse

Análise de Pareto

Classificar dados em categorias para ajudar em questões da prioridade

Análise de tendência

Identificar a direção (por exemplo melhorando, deteriorando) Monitorar o desempenho e identificar variação estatisticamente significativa (isto é, não-aleatória) Ensaiar diferenças estatisticamente significativas entre dois grupos independentes Ensaiar diferenças estatìsticamente significativas entre três ou mais grupos independentes

Cartas de controle estatístico Teste t de Student

Análise da variância

a

Exemplo Numa escala de 1 a 10. se as respostas são 4, 5, 7, 7 e 9, a média aritmética é 6,4. A média aritmética é uma medida de uso comum do valor médio. Se todas as respostas são listadas em ordem numérica, a mediana é a resposta do meio. No exemplo acima, a mediana é 7. A idade dos participantes em uma reunião varia de 20 a 65. As unidades produzidas pela máquina A têm maior variabilidade do que aquelas produzidas pela máquina B 78% dos pesquisados de Londres avaliam a satisfação total como 9 ou 10, comparados a 60% dos pesquisados de Paris. Em termos da qualidade de produto, observa-se que a maioria dos problemas (80%) é devido a algumas causas-chave (20%). O número de queixas tem aumentado 5% todos os anos. A taxa de erro nas expedições das remessas entregues no último trimestre foi significativamente superior ao esperado. Os pesquisados de Londres estão , de uma forma geral, significativamente mais satisfeitos do que os pesquisados de Paris. A satisfação total difere significativamente entre os pesquisados de Londres, Paris e Berlim.

Para um número uniforme de respostas, a mediana é a média das duas respostas do meio

D.3.3 Análise indireta O objetivo desta análise é identificar os fatores que têm um efeito significativo na satisfação, e a relação entre fatores. Alguns métodos de análise de uso comum e de seus objetivos são apresentados na Tabela D.2.


31/38


Tabela D.2 - Métodos da análise indireta Método Análise ponderada de dados

Objetivo Para determinar a resposta média ponderada

Correlação

Para determinar se as respostas a uma pergunta podem ser usadas para prever a resposta a outra questão, e medir a intensidade da relação entre variáveis

Regressão

Para analisar a relação entre duas ou mais variáveis, e para medir os efeitos de uma ou mais variáveis em uma resposta específica

Exemplo A avaliação média para a satisfação total é 7, considerando tipos diferentes dos clientes e sua importância relativa. Dos vários aspectos da operação do escritório, a satisfação com a “limpeza” é identificada como sendo o melhor prognosticador da satisfação geral, isto é, os pesquisados que estão satisfeitos com a limpeza tendem a estar satisfeitos em geral, e os pesquisados que estão descontentes com a limpeza tendem a estar descontentes em geral. Enquanto a satisfação com a limpeza diminui, a satisfação total diminui.

D.4 Análise de estratificação D.4.1 Generalidades Convém que os resultados sejam sistematicamente processados de acordo com o tipo de análise selecionado.

D.4.2 Estratificação dos dados Os dados podem ser classificados em estratos definidos ou em categorias antes de conduzir a análise. Isto pode revelar informações úteis, tal como diferenças no grau de satisfação do cliente, por exemplo analisando clientes de compras repetidas em relação a compradores de compra única, o gênero do comprador, a idade do comprador, a localização do cliente, ou aspectos do produto tais como o preço e as características.

D.4.3 Priorização A organização pode determinar e focalizar naquelas características do produto e de outros aspectos organizacionais cuja melhoria teria efeito mais significativo na satisfação. Consequentemente, é necessário saber qual a importância que o cliente dá às características específicas e ao efeito daquelas características na satisfação total (ver também a Seção B.4). 

as características da infraestrutura são aquelas associadas a um baixo nível de importância atribuído pelo cliente, mas são necessárias para a operação do negócio ou do produto, por exemplo: o prato em que uma pizza é servida. Se forem melhorados, teriam pouco impacto na satisfação total. A organização pode considerar eliminar ou reduzir o investimento neles, para reduzir custos ou prover maior valor ao cliente.



características básicas (ver a seção B.4) têm relativamente pouco efeito na satisfação, uma vez que um determinado nível mínimo seja conseguido. Como nas características da infraestrutura, a organização pode considerar reduzir ou eliminar o investimento naquelas básicas. Contudo, convém que seu desempenho não caia abaixo de um nível aceitável, pois isso pode ter um impacto negativo na satisfação total. NÃO TEM VALOR NORMATIVO

32/38




as características de desempenho (ver a seção B.4) são importantes para os clientes e têm um efeito significativo na satisfação total. Estas são áreas óbvias do foco. Convém quê seu nível de desempenho seja mantido, ou melhorado, se isso for julgado eficaz em relação aos custos.



as oportunidades latentes abrangem as características que não são atualmente reconhecidas nem são julgadas importantes pelo cliente (ver a seção B.4). Se melhoradas ou cumpridas, tais características poderiam aumentar significativamente a satisfação total; oferecem o potencial mais alto para a melhoria da satisfação.

Impacto na satisfação Figura D.1 - Classificação das características Para ajudar a priorizar a ações de melhoria, as várias características podem convenientemente ser examinadas classificando-as em quatro zonas, como ilustrado na Figura D.1. As características nas zonas 3 e 4 oferecem o impacto potencial mais alto na satisfação total. Tal classificação pode exigir um estudo adicional da relação entre características e a satisfação específicas. A informação pode ajudar a organização a priorizar as ações que poderiam conduzir ao aumento da satisfação do cliente.

D.5 Validação da análise A solidez das conclusões alcançadas com o processo da análise da satisfação do cliente pode ser validada verificando, entre outros aspectos, aqueles listados abaixo. a) Segmentação: se há um alto nível da variabilidade nas respostas, pode ser devido à variabilidade na qualidade dos produtos entregues e de outros aspectos de organização, assim como às expectativas diferentes de segmentos diferentes do cliente. Contudo, se outras medições indicam que a qualidade do produto é estável, a variabilidade na resposta pode evidenciar a segmentação inadequada dos clientes. b) Importância das características: um dos objetivos da análise é identificar as características que podem ter uma influência significativa na satisfação do cliente, assim como a sua importância, o que permitiria que a organização concentre seus esforços de melhoria sobre as característicaschave. Se a análise sugere que características com influência alta na satisfação do cliente podem ter sido negligenciadas, elas podem ser identificadas com pesquisa apropriada (por exemplo NÃO TEM VALOR NORMATIVO

33/38


grupos de foco ou questões abertas). Convém que o efeito de tais características na satisfação do cliente seja avaliado no ciclo seguinte de medição. As características individuais que compõem a satisfação total, e sua importância relativa, podem mudar ao longo do tempo. c) Consistência dos resultados: a tendência em medidas da satisfação do cliente deve ser consistente com outros indicadores que refletem a satisfação, por exemplo compras repetidas ou fatia de mercado. Se uma tendência positiva na satisfação é contraditada por uma tendência negativa, por exemplo nas vendas, isso poderia ocorrer por vários motivos, por ex. 

as opiniões das pessoas entrevistadas não são compartilhadas por aquelas que tomam a decisão para comprar;



houve um aumento na satisfação de cliente com um produto de concorrente ou de organização comparável;



o diferencial de preço predomina sobre melhorias em outras características.

D.6 Relato da análise D.6.1 Generalidades Além de relatar sobre a satisfação total do cliente e sua tendência, a organização pode relatar as características e as causas relevantes, assim como os componentes e contribuintes da satisfação ou insatisfação do cliente

D.6.2 Apresentação dos resultados A organização pode apresentar os resultados das análises de forma adaptada às necessidades da audiência. É uma boa prática evitar identificar clientes específicos. Quando a identificação é pretendida, uma aprovação prévia do cliente pesquisado é necessária. Convém também estar de acordo com as exigências, os regulamentos e a política de privacidade aplicáveis da organização. As representações gráficas são um modo eficaz de indicar a informação e podem ser consideradas ao apresentar resultados, com os dados de apoio incluídos em anexos. Um índice de satisfação do cliente (CSI) pode ser uma ferramenta eficaz para monitorar, relatar e rastrear o desempenho da organização ou de seus aspectos específicos, no que diz respeito à satisfação do cliente. Pode ser um elemento do “ de bordo” da organização, e também um componente do sistema de recompensa da organização.

D.6.3 Formulação das conclusões e das recomendações Os resultados da análise de dados da satisfação do cliente podem ajudar a organização a identificar as principais áreas para a melhoria, assim como o impacto potencial de tal melhoria. Ao identificar áreas para melhoria ou recomendar ações específicas, convém que a organização dê prioridade para tratar das causas do descontentamento do cliente. Convém que a organização também procure compreender as razões para a diferença entre a qualidade de produto esperada pelo cliente e a qualidade do produto entregue como percebida pelo cliente (segundo as indicações do modelo conceitual na figura A.1), e tomar ações para reduzir essa diferença. NÃO TEM VALOR NORMATIVO

34/38


Anexo E (normativo)

Uso da informação da satisfação do cliente E.1 Generalidades Este anexo fornece a orientação por meio de exemplos sobre como a informação da satisfação do cliente pode ser usada para orientar melhorias no produto ou nos processos da organização, de acordo com 7.5.

E.2 Comunicação da informação sobre satisfação do cliente A análise de dados da satisfação do cliente pode fornecer uma visão dos fatores que influenciam a satisfação. Convém que tal informação seja analisada criticamente pela alta direção e dirigida às funções pertinentes na organização para que uma ação seja tomada que conduza à melhoria. A função à qual a informação deve ser encaminhada depende da natureza da informação, como ilustrado pelos exemplos abaixo. EXEMPLO 1 A informação pode ser dirigida à alta direção de organizações do setor público ou privado, para ajudar a formular políticas ou estratégias. EXEMPLO 2 A informação pode ser dirigida à função de compras, se a análise indica a elevada satisfação do cliente com a qualidade ou a funcionalidade dos componentes comprados de fornecedores específicos. EXEMPLO 3 A informação pode ser dirigida a vendas, se os dados indicam a baixa satisfação do cliente com o desempenho ou a atitude do pessoal em contato direto ou indireto com clientes, indicando necessidade de um melhor treinamento. EXEMPLO 4 A informação pode ser dirigida à função do apoio ao produto, se os dados indicam baixa satisfação do cliente com a velocidade ou a qualidade da resposta aos pedidos do cliente para e. EXEMPLO 5 A informação pode ser comunicada a todos os empregados como uma ação para uma melhoria da organização

Nos exemplos acima, a informação fornecida às funções apropriadas pode orientar a organização a adotar ações de melhoria e conduzir ao aumento da satisfação do cliente. Convém que a organização também considere compartilhar informação relevante sobre satisfação do cliente e ações resultantes para melhoria com os clientes. Isto pode demonstrar a capacidade de reação da organização às questões do cliente e incentivar a participação do cliente em medições futuras de satisfação.

E.3 Uso da informação da satisfação do cliente Pode ser útil referir-se ao modelo conceitual da satisfação do cliente (ver a seção 4 e o anexo A) a fim de assegurar-se que a informação obtida esteja sendo utilizada plena e eficazmente.


35/38


A informação obtida pode fornecer uma visão sobre razões para a diferença entre a expectativa do cliente, e a percepção do cliente do produto entregue. Logicamente, a diferença pode ser devido ao seguinte. 

A organização não compreendeu bem as expectativas do cliente, e entregou consequentemente um produto abaixo das expectativas. Neste caso, convém que a organização melhore o processo para compreender as expectativas e atendê-las.



O cliente teve expectativas não realistas, o que a organização não conseguiu perceber e não corrigiu. À organização convém então informar o cliente das limitações de tais expectativas e porque (através comparações com concorrência, publicações sobre tecnologia, etc.)



A percepção do cliente do produto entregue é prejudicada pela insuficiente compreensão do produto. Em tal caso, convém que a organização se empenhe em informar o cliente da capacidade plena do produto (características, desempenho, etc.). Pode também ser apropriado avaliar a concorrência em função do valor relativo de produtos e de organizações comparáveis.



As expectativas do cliente mudaram; neste caso a organização pode considerar melhorar a oferta do produto (características, treinamento, apoio, etc.); ou explorar outro uso ou aplicação distinta do produto.


36/38


Anexo F (informativo)

Relação entre esta Norma, ABNT NBR ISO 10001, ABNT NBR ISO 10002 e ABNT NBR ISO 10003 A figura F.1 é uma descrição dos processos da organização relativos ao código de conduta, tratamento de reclamações, resolução de litígios externos, e monitoramento e medição da satisfação do cliente. A orientação nesta Norma pode ser usada para dar e aos processos tratados na ABNT NBR ISO 10001, ABNT NBR ISO 10002 e ABNT NBR ISO 10003. As saídas dos processos baseados na ABNT NBR ISO 10001, na ABNT NBR ISO 10002 e na ABNT NBR ISO 10003 podem ser usadas como entrada para o monitoramento e a medição da satisfação do cliente. NOTA A reclamação pode ser iniciada por um cliente ou por um outro reclamante.


37/38


Bibliografia

[1]

ABNT NBR ISO 9001:2008, Sistemas de gestão da qualidade - Requisitos

[2]

ABNT NBR ISO 9004:2010, Gestão para o sucesso sustentado de uma organização — Uma abordagem da gestão da qualidade

[3]

ABNT NBR ISO 10001:2013, Gestão da qualidade - Satisfação do cliente - Diretrizes para códigos de conduta para organização

[4]

ABNT NBR ISO 10002:2004, Gestão da qualidade - Satisfação do cliente - Diretrizes para o tratamento de reclamações nas organizações

[5]

ABNT NBR ISO 10003:2013, Gestão da qualidade - Satisfação do cliente - Diretrizes para resolução externa de disputas para as organizações

[6]

ABNT NBR ISO/TR 10017, Guia sobre técnicas estatísticas para a ABNT NBR ISO 9001:2000.

[7]

ISO/TR 13425, Guidelines for the selection of statistical methods in standardization and specification. (Cancelada)

[8]

Kano N. et al. Attractive Quality and Must-be Quality. Journal of the Japanese Society for Quality Control. 1984, 14 (2) pp. 39–48


38/38

6ea740b4131de866815d66d4d0ac320a Satistação Do Cliente Diretrizes 75628

Overview 1s532p

More details 6h715l

Related Documents 2w1qw

Diretrizes Do Programa Ensino Integral.pdf 1a4m65

Diretrizes Do Programa Ensino Integral j810

Guia Do Cliente Rossi 55g6t

Manual Online Do Cliente Sky+ 2d564k

Manual Do Cliente Pbshop 2017 5k5d57

Novas Diretrizes Do R Em Pcr 1r64r

More Documents from "Ana Cristina Souza" 123q42

504uu

504uu

504uu

Area 1j2wt

504uu

C4_2bim_aluno_2016 72l4f