System rozpoznawania/syntezy mowy

System rozpoznawania/syntezy mowy

patryk piesiak 22 Aug 2010 16:16

Postuluję zbudowanie; a w zasadzie oprogramowanie, jedynie wejścia audio byśmy potrzebowali, gdyby zastosować tzw. podejście kognitywistyczne można by dodatkowo wzbogacić o support czytaniem z ruchu ust (ciekawe, czy system byłby wtedy podatny na efekt McGurka). A syntezator mowy oparty na dowolnych próbkach (czy to Nergal, czy Darth Vader, czy tu-wstaw-swojego-ulubionego-prowadzącego) byłby hitem, gdyby go na OpenSource wypuścić.

Jeśli kogo ciekawi, skąd się szkice projektów biorą: tej piosenki słów za cholerę nie mogę wyłowić: http://www.lastfm.pl/music/Behemoth/_/Qadosh , no i jak zwykle przedawkowałem herbatę z Lidla.

Re: System rozpoznawania/syntezy mowy

mad5ci 25 Aug 2010 07:42

Takie systemy już istnieją (voice recognition/ speech synthesis), więc jestem tylko za zainteresowaniem się tym rozpoznawaniem z ruchu warg. Nie wiem czy coś takiego już powstało i nie mam na razie czasu szukać, ale byłoby to dobrym uzupełnieniem systemu rozpoznawania mowy (oparte na sieciach neuronowych mogłoby dać ciekawe wyniki!).

Re: System rozpoznawania/syntezy mowy

patryk piesiak 26 Aug 2010 19:03

A weź zalinkuj, jak jest dobry i OS, to zrobimy nakładkę do ruchu warg. Bo ja jakoś po moich repozytoriach nic ciekawego nie widzę.

Re: System rozpoznawania/syntezy mowy

mad5ci 27 Aug 2010 12:35

To wydaje się ciekawym projektem: http://skrybot.pl/

Dzisiaj potestuję ten program i dam znać jakie są możliwości stworzenia do niego nakładki.

Ostatnia edycja 27 Aug 2010 12:36 przez mad5ci Pokaż więcej

Re: System rozpoznawania/syntezy mowy

patryk piesiak 28 Aug 2010 11:58

A, put-AI proponowało zainteresowanie się http://cmusphinx.sourceforge.net/ do rozpoznawania.

Re: System rozpoznawania/syntezy mowy

mad5ci 28 Aug 2010 14:42

Sphinx nie ma acustic model dla języka polskiego.

Re: System rozpoznawania/syntezy mowy

patryk piesiak 29 Aug 2010 07:18

Może na rosyjskim* pójdzie. A serio- właśnie zrobienie tego AM put-AI proponowało, co nie jest głupim pomysłem, choć na http://sourceforge.net/projects/cmusphinx/files/Acoustic%20and%20Language%20Models/ i language modelu nie widzę, ale, o ile rozumiem, za pomocą http://www.speech.cs.cmu.edu/tools/lmtool.html da się go nawet z niewielkich próbek wykręcić (nie rozumiem, nie wczytywałem się, jedynie pattern wstępnie próbuje wyłowić). Hmm, pojawiają się w tutorialu: http://www.speech.cs.cmu.edu/sphinx/tutorial.html "korpus", czyli: konsultacje u dry Szwabe i "tryfony", czyli konsultacje u profy Preis. Jak im napisać, jeśli napisać?

*Zintegrujmy się z teamem, co ten model robił, jak wszystko zawiedzie zawsze GRIK może mieć w swojej historii choć wycieczkę na Wschód przez Uczelnię ufundowaną.

Re: System rozpoznawania/syntezy mowy

patryk piesiak 29 Aug 2010 12:16

Napisałem:

Dzień dobry,

Piszę w imieniu nowopowstającego Koła Naukowego na WNS: http://grik.wikidot.com

Planujemy m.in. zająć się stworzeniem polskiej bazy akustycznej i językowej do programu http://cmusphinx.sourceforge.net/ , jak widać na http://sourceforge.net/projects/cmusphinx/files/Acoustic%20and%20Language%20Models/ brakuje takich, zaś uzupełnienie tego niedoboru mogłoby się chyba powszechnie przydać. Proszę o wstępne zapoznanie się z narzędziem i ocenę szans powodzenia, w semestrze, jeśli projekt ruszy, zapewne chcielibyśmy się tez pokonsultować osobiście; rozważamy też uzupełnienie systemu Sphinx o wspomaganie czytaniem z ruchu warg. Za wszelakie sugestie/uwagi będziemy niezwykle wdzięczni.

Z poważaniem, piesiak patryk, kognitywistyka 339691

Re: System rozpoznawania/syntezy mowy

mad5ci 29 Aug 2010 13:17

Do kogo to napisałeś?

Re: System rozpoznawania/syntezy mowy

patryk piesiak 29 Aug 2010 14:16

Szwabe, Preis- skoro nikogo więcej nie doproponowano, pierwsza od języka, druga od akustyki, obie na kogni wykładają.

Re: System rozpoznawania/syntezy mowy

mad5ci 28 Aug 2010 14:43

W ogóle to doszedłem do wniosku, że to projekt raczej czysto informatyczny i mało tu miejsca do popisu dla kognitywistycznej wiedzy.

Re: System rozpoznawania/syntezy mowy

patryk piesiak 29 Aug 2010 09:25

Zarysuj choć proszę czym jest ta wiedza kognitywistyczna, zanim się wpakujemy w jakieś projekty informatyczne, filozoficzne, logiczne, techniczne czy neurobiologiczne.

Re: System rozpoznawania/syntezy mowy

mad5ci 29 Aug 2010 13:18

Nie rozumiem czego ode mnie oczekujesz oraz dlaczego ;-D