처음엔 그냥 별 생각없이 E2B 젬마로 전사 하다가 전사 속도랑 퀄리티 부족에

parakeet 으로 변경 전사속도 개씹상타취인데 여전히 번역까지 파이프라인이 이쁘질 않고 오전사가 가끔 생김

네이티브 스피커는 존나게 빠르게 말하기 때문에(짤은 블룸버그) 전사->번역 직렬구조는 백로그가 쌓이기 시작

그럼 병렬로 전사는 계속 번역모델에 쳐 넣고 번역모델은 바로바로 번역하는 식의 오버랩 방식을 쓰자

그러니 전사 -> 번역 완전출력에 직렬은 3초가 걸린다 치면 1.8초로 감소

근데 말이 빨라지고 엑센트가 이상한 애들(이란을 아란이라 발음하는 트럼프 등) 전사 정확도가 떨어짐

좆같노 시발 하고 sota 모델 서칭. 

영어 전사는 ibm granite 2b, 다국어 전사는 qwen3 ASR 1.6b

구두점도 잘찍고 정확도 쌉떡상

근데 얘네는 parakeet 처럼 cpu가 아니라 mlx gpu 디코딩인데 경합 발생 하지 않느냐?

다행히 번역 모델과 전사 모델 멀티스트림으로 스케줄링하면 서로 빈 타임에 디코딩했음

ASR 전사 모델은 6bit, 번역 모델은 26b QAT 4bit 양자화(69tok/s)로 충분한 퀄리티 (개인적으로)

영상 지연 0.5초도 되긴하는데 2.5 초 정도면 안정적이었음

대역폭 높은 기기들은 훨씬 레이턴시 짧을거고 맥미니정도 대역폭(dgx spark)도 충분히 사용성 좋은듯

« 처음 ‹ 이전 8 9 10 11 12 13 14 다음 › 끝 »

검색

✏️ 글쓰기