Rozwój i nauka audio i wideo

Najpierw zakładamy, że ktoś ma zerowe podstawy w audio i wideo i nigdy nie zdobył żadnej wiedzy związanej z przetwarzaniem sygnału cyfrowego. Podstawy matematyczne są w zasadzie na poziomie szkoły średniej, ale on jest zaznajomiony z programowaniem C/C++, przynajmniej z kompilacją i debugowaniem IDE na określonej platformie.

Skoncentruj się na dwóch projektach open source ffmpeg i webRTC, skupiając się głównie na części wideo ffmpeg i części audio webRTC.

Przede wszystkim zacznij od dekodowania wideo. To jest najprostszy. Podstawowy kod do wywołania dekodowania wideo ffmpeg to tylko około 100 linii. Dekodowanie wideo musi tylko zrozumieć h.264, 80%+ scen jest w tym formacie kodowania, zrozumieć podstawowe koncepcje NAL H.264 sps pps i inne formaty plików, zrozumieć zasadę formatu obrazu YUV i zrozumieć konwersję YUV na RGB , Aby móc renderować obrazy, możesz uzyskać prosty odtwarzacz wideo. (Zasadniczo w pierwszym etapie)

Następnie, aby dowiedzieć się o kodowaniu wideo, zaleca się rozpoczęcie od x264, proste wywołanie kodu kodowania x264 ma mniej niż 100 linii. Kodowanie jest bardziej skomplikowane niż dekodowanie, ponieważ dekodowanie nie wymaga konfiguracji żadnych parametrów, a kodowanie ma dużą liczbę parametrów, które należy skonfigurować. Na początku wystarczy zrozumieć kilka podstawowych pojęć, takich jak liczba klatek na sekundę, popularne metody kontroli przepływu ABR CRF, GOP, I/B Co oznacza odpowiednio /P Frame. (Znowu zaznajomiony z kodowaniem X264)

Kodek części audio jest podobny do kodeka wideo. Na początkowym etapie wystarczy zrozumieć dwa kodery EAAC+ i Silk, zrozumieć koncepcje kanału dźwiękowego, częstotliwości próbkowania itp. oraz zrozumieć format pliku Wave. Może być prostym odtwarzaczem audio. (Stwórz odtwarzacz audio)

Złożona część dźwięku to nie kodek, ale efekt dźwiękowy. Zapoznaj się z modułem przetwarzania dźwięku w webRTC i zrozum następujące pojęcia: odszumianie NS, redukcja echa AEC, wykrywanie wyciszenia VAD, automatyczna kontrola wzmocnienia AGC i wbudowany webRTC. Chociaż algorytm nie jest najlepszy, może rozwiązać ponad 90% problemów i warto się go nauczyć. (Dowiedz się, jak przetwarzać dźwięk webrtc)

Po nauczeniu się tego muszę pomyśleć o pytaniu, czy chcę obrać drogę inżynierską, czy algorytmiczną. Jeśli jest to droga algorytmiczna, muszę nauczyć się matematyki. Za cyfrowym przetwarzaniem sygnału stoi wiele podstawowych teorii matematycznych. Jeśli jest to droga inżynierska, musisz nauczyć się programowania międzyplatformowego, nauczyć się gromadzenia, odtwarzania i przetwarzania audio i wideo na wielu platformach oraz nauczyć się optymalizacji języka asemblera na wielu platformach. (Związane z platformą)

Audio i wideo to bardzo głęboka dziedzina i nigdy nie ukończysz nauki w ciągu całego życia, ale ta dziedzina ma tę zaletę, że prędkość aktualizacji wiedzy jest stosunkowo niska, rzeczy, których się nauczysz, nie są łatwe do wyeliminowania, a gromadzenie doświadczeń jest bardzo ważne. v