Uzun Ses Dosyalarında İçerik Buluyor

Güncellenen GigaChat Audio modeli, GigaChat yapay zeka asistanı aracılığıyla ve dünyanın dört bir yanındaki yazılım geliştiricileri için ücretsiz açık kaynak kodu olarak sunuluyor.

GigaChat yapay zeka asistanı kullanıcıları, konuşmayı önce metne dönüştürmeden ses dosyalarını ve sesli mesajları işleyebilen büyük bir dil modeli olan güncellenmiş GigaChat Audio yapay zekasından faydalanabilir. Büyük dil modeli, tonlamayı anlayacak şekilde eğitildi ve daha yüksek performans sunmak için ses verisi işleme potansiyeli geliştirildi.

Anton Frolov, kıdemli başkan yardımcısı, Üretken Yapay Zeka Geliştirme Başkanı, Sberbank:

"Ses, teknolojiyle etkileşim kurmanın en doğal yoludur, ancak aynı zamanda en zahmetlisidir, çünkü herhangi bir tespit hatası veya yanlış okunan bir duygu, asistana olan güveninizi anında yok eder. Bu nedenle sesin, yapay zeka asistanı pazarının büyüme potansiyeline sahip olduğuna inanıyoruz. Bu modellere açık erişim sağlayarak, geliştiricilere ve araştırmacılara güçlü bir araç sunuyoruz. Ses teknolojisinin uygulama yelpazesi, eşzamanlı sesli çeviriden konuşma bozukluğu olan kişilere yönelik hizmetlere kadar çok geniştir; çok dillilik ve diğer dilleri kolayca öğrenebilme yeteneği ise bu modeller için uluslararası fırsatların kapısını aralıyor."

Daha Empatik Bir Yapay Zeka Asistanı

Güncellenen GigaChat, yanıtlarda daha isabetli olmak için tonlama, ses özellikleri ve telaffuz nüanslarına dayanarak kullanıcıların olumlu veya olumsuz duygularını tespit edebiliyor. Örneğin, sinirli bir kullanıcıya daha nazik konuşacak veya iyi haber paylaşan birinin ruh halini yansıtacaktır.

Model, üç saate kadar süren kayıtları işleyebilir ve bunların içinde gezinebilir. Belirli bir konunun tam olarak ne zaman tartışıldığını sorabilir, ihtiyacınız olan bir bölümün özetini isteyebilir veya zaman damgalarıyla birlikte tüm kaydın özetini alabilirsiniz. Yapay zeka ayrıca bir kayıttaki farklı konuşmacıları ayırt edebilme yeteneğine sahiptir. Bu özellikler, toplantı ve görüşmeleri gözden geçirmek, kayıtlarda gezinmek ve tutanak tutmak için faydalı olacaktır.

Yapay zeka asistanı artık kullanıcıların önemli bulduğu gerçekleri doğrudan sesli diyalog içinde hatırlayabilir ve gelecekteki oturumlarda bunlara dayanabilir. Sonraki taleplerde GigaChat, önceki isteklerinizi dikkate alacaktır. Örneğin, ilgi alanlarınıza göre bir seyahat rotası planlayacaktır. Kullanıcı bu işlev üzerinde tam kontrole sahiptir; bu, kaydedilen gerçeklerin görüntülenebileceği, düzenlenebileceği veya hafızanın profil ayarlarından istediğiniz zaman devre dışı bırakılabileceği anlamına gelir.

Kurum içi testler, GigaChat Audio'nun sesli sorguları anlama ve yanıtlama konusunda en iyi küresel çözümler kadar iyi olduğunu göstermektedir. Bu, farklı modellerin aynı sesli sorulara verdiği yanıtların körü körüne karşılaştırıldığı Arena-Hard-Audio kıyaslamasıyla doğrulanmıştır. GigaChat Audio, %70'lik bir galibiyet oranı elde ederek neredeyse Gemini 3 Flash önizlemesine (%77,5) yaklaşmış ve Gemini 2.5 Pro'dan (%62) daha yüksek puan almıştır. Duygu tanıma doğruluğu açısından ise Sber'in modeli %80 ile Qwen3-Omni-30B (%70) veya Kimi-Audio'yu (%62) geride bırakmaktadır.

Geliştiriciler için Erişilebilirlik

Ses modelinin yapay zeka asistanına entegrasyonuna ek olarak, ekip GigaChat3.1-Audio-10B'nin hafif sürümünü açık kaynak olarak yayınlamıştır. Rusça, İngilizce ve diğer dilleri tanıyan bu sürüm, transkripsiyon çözümleri, telaffuz eğitmenleri, seslendirme kalitesi değerlendirme araçları, bağlam farkındalığına sahip sesli tercümanlar ve uzun ses kayıtları için özetleme çözümleri oluşturmak için kullanılabilir.

Sber ayrıca, otomatik konuşma tanıma modelleri ailesi olan GigaAM Multilingual'i açık kaynak olarak yayınlamıştır. Rusya'da birden fazla dili destekleyen ilk açık kaynak model olan GigaAM, şu anda Rusça konuşma tanıma kalitesinde en iyi performansı sunmaktadır. Kıyaslamalara göre GigaAM, en yakın rakiplerine göre 1,5–2 kat daha az hata yapmaktadır. Model; Rusça, İngilizce, Kırgızca, Kazakça ve Özbekçe dillerini desteklemekte olup iki sürüm halinde sunulmaktadır: standart işlemcilerde çalışan kompakt sürüm ve daha yüksek kalitede tanıma sunan amiral gemisi sürümü. GigaAM, çağrı merkezlerinde ve sesli asistanlarda, toplantı deşifresinde, röportajlarda ve podcast'lerde, uygulamalarda sesli girişte ve otomatik altyazı oluşturmada kullanılabilir.

GitVerse ve Hugging Face'te mevcut olan her iki model de birçok dil üzerinde ön eğitimden geçmiştir; bu da BDT ülkelerinin dilleri de dahil olmak üzere ek diller için hızla ince ayar yapılmalarına olanak tanır. Bunun için yalnızca birkaç on saatlik etiketlenmiş ses kaydı yeterlidir. Yeni modellerle ilgili bilimsel makaleler, konuşma bilimi ve teknolojisi alanındaki önde gelen uluslararası konferanslardan biri olan Interspeech 2026'ya kabul edilmiştir.