alguém conseguiu fazer um modelo de fala funcionar num Apple Watch.

não é uma demonstração de brinquedo. granite 4.0 1B de fala acabou de ficar em PRIMEIRO lugar na leaderboard do OpenASR.
aqui está o que é impressionante:
• 1B de parâmetros - metade do tamanho do granite 3.3 2B
• maior precisão na transcrição em inglês do que o modelo maior
• decodificação especulativa para inferência mais rápida em hardware minúsculo
• 6 idiomas - inglês, francês, alemão, espanhol, português, japonês
• bias na lista de palavras-chave para que reconheça nomes e siglas corretamente
a parte que ninguém está a falar:
estás a pagar por chamadas à API do whisper todos os meses, enquanto um modelo com metade do tamanho do seu antecessor está a superá-lo num dispositivo preso ao teu pulso.
isso não é uma otimização menor. é toda a estrutura de custos das aplicações de fala na borda a desmoronar-se.
modelo mais pequeno. melhor precisão. ZERO dependência da cloud.