Znaczenie kodowania wideo
Duża przestrzeń do przechowywania oryginalnych danych wideo, wideo 1080P 7 s wymaga 817 MB
Oryginalna transmisja danych wideo zajmuje dużą przepustowość, a przesłanie powyższego wideo 11 s przy przepustowości 7 Mb / s zajmuje 10 minut
Po kodowaniu i kompresji H.264 rozmiar wideo wynosi tylko 708 k, a przepustowość 10 Mb / s potrzebuje tylko 500 ms, co może zaspokoić potrzeby transmisji w czasie rzeczywistym. Dlatego oryginalne wideo zebrane z czujnika rejestracji wideo musi być zakodowane.
Fundamentalny
Dlaczego więc ogromny oryginalny film można zakodować w bardzo mały film? Jaka jest w tym technologia? Zanim porozmawiamy o technologii, powinniśmy najpierw ustalić koncepcję wideo, czyli ciągłe obrazy.
Podstawową ideą jest usunięcie zbędnych informacji:
Przestrzenna nadmiarowość: istnieje silna korelacja między sąsiednimi pikselami obrazu
Czasowa nadmiarowość: podobna zawartość między sąsiednimi obrazami w sekwencji wideo
Nadmiarowość kodowania: różne wartości pikseli mają różne prawdopodobieństwa
Wizualna redundancja: ludzki układ wzrokowy nie jest wrażliwy na pewne szczegóły
Nadmiarowość wiedzy: strukturę prawidłowości można uzyskać na podstawie wcześniejszej wiedzy i wiedzy podstawowej
Wideo to w zasadzie seria obrazów, które są odtwarzane w sposób ciągły i szybko, więc najłatwiejszym sposobem kompresji wideo jest skompresowanie każdej klatki obrazu. Na przykład starsze kodowanie MJPEG służy do kompresji każdej klatki obrazu wideo. Ta metoda kodowania Istnieje tylko kodowanie wewnątrzramkowe, które wykorzystuje predykcję próbki przestrzennej do kodu. Metafora obrazu polega na traktowaniu każdej klatki jako obrazu i używaniu formatu kodowania JPEG do kompresji obrazu. Ten rodzaj kodowania uwzględnia tylko kompresję zbędnych informacji w obrazie.
Jednak ze względu na korelację czasową między ramkami opracowano niektóre zaawansowane kodery, które mogą wykorzystywać kodowanie międzyramkowe. Mówiąc najprościej, pewne obszary na ramce są wybierane za pomocą algorytmu wyszukiwania, a następnie obliczana jest bieżąca ramka. Jest to forma kodowania z różnicą wektorów między przednią i tylną ramką odniesienia. W kolejnych dwóch kolejnych klatkach na rysunku 2 widzimy, że narciarz przesuwa się do przodu, ale w rzeczywistości scena ze śniegiem przesuwa się do tyłu, a ramka P jest oznaczona jako odniesienie. Klatki (I lub inne ramki P) mogą być zakodowane, rozmiar po zakodowaniu jest bardzo mały, a współczynnik kompresji jest bardzo wysoki.
Link referencyjny na temat rama http://mp.weixin.qq.com/s/ox6MsWx71b-GFsZihaOwww
Niektórzy uczniowie mogą być zainteresowani tym, skąd wzięły się te dwa zdjęcia. Oto dwie linie poleceń FFmpeg do osiągnięcia. Więcej informacji na temat FFmpeg można znaleźć w następujących rozdziałach:
Pierwsza linia generuje wideo z ruchomym wektorem
Druga linia wyprowadza każdą klatkę jako obraz
Użyj polecenia
ffmpeg -flags2 + export_mvs -i tutu.mp4 -vf codecview = mv = pf + bf + bb tutudebug2.mp4
ffmpeg -i tutudebug2.mp4'tutunormal-% 03d.bmp '
Oprócz redundancji przestrzennej i kompresji czasowej, istnieje głównie kompresja kodowania i kompresja wizualna. Poniżej przedstawiono główny schemat działania enkodera:
Rysunek 3 i Rysunek 4 to dwa procesy. Rysunek 3 przedstawia kodowanie wewnątrzramkowe, a rysunek 4 to kodowanie międzyramkowe. Główna różnica, którą widać na rysunku, polega na tym, że pierwszy krok jest inny. W rzeczywistości te dwa procesy są również połączone. Ogólnie rzecz biorąc, ramka I i ramka P wykorzystują odpowiednio kodowanie wewnątrzramkowe i kodowanie międzyramkowe.
Wybór enkodera
Wyjaśniłem zasadę i podstawowy proces działania kodera. Enkoder był rozwijany od dziesięcioleci. Ewoluował od obsługi tylko kodowania wewnątrzramkowego do nowej generacji koderów reprezentowanych obecnie przez H.265 i VP9. Obecnie analizowane są niektóre popularne kodery, a my zabierzemy Cię do odkrywania świata koderów.
H.264
Wprowadzenie
Projekt H.264 / AVC ma na celu stworzenie standardu wideo. W porównaniu ze starym standardem może zapewniać wysokiej jakości wideo przy niższej przepustowości (innymi słowy, tylko o połowę przepustowości MPEG-2, H.263 lub MPEG-4 część 2 lub mniej) bez zwiększania złożoności projektu. niemożliwe do osiągnięcia lub koszt wdrożenia jest zbyt wysoki. Innym celem jest zapewnienie wystarczającej elastyczności do wykorzystania w różnych aplikacjach, sieciach i systemach, w tym w wysokiej i niskiej przepustowości, wysokiej i niskiej rozdzielczości wideo, nadawaniu, przechowywaniu DVD, sieciach RTP / IP i systemie telefonów multimedialnych ITU-T.
H.264 / AVC zawiera szereg nowych funkcji, dzięki czemu jest nie tylko bardziej wydajny niż poprzednie kodeki, ale może być również używany w aplikacjach w różnych środowiskach sieciowych. Ta podstawa techniczna sprawia, że H.264 staje się głównym kodekiem używanym przez firmy wideo online, w tym YouTube, ale używanie go nie jest łatwym zadaniem. Teoretycznie korzystanie z H.264 wymaga dużych nakładów finansowych. Opłaty patentowe.
Licencja patentowa
Podobnie jak pierwsza i druga część MPEG-2 oraz druga część MPEG-4, producenci produktów i usługodawcy korzystający z H.264 / AVC muszą płacić posiadaczom patentów opłaty licencyjne. Głównym źródłem tych licencji patentowych jest prywatna organizacja o nazwie MPEG-LA LLC. Organizacja ta nie ma nic wspólnego z MPEG Standardization Organization, ale zarządza również systemem MPEG-2 Part One System, Part Two Video i MPEG-4 Part One. Licencje na dwuczęściowe wideo i inne technologie.
Inne licencje patentowe należy złożyć w innej prywatnej organizacji o nazwie VIA Licensing, która również zarządza licencjami patentowymi na standardy kompresji dźwięku, takie jak MPEG-2 AAC i MPEG-4 Audio.
Otwarta implementacja H.264
openh264 to program do kodowania H.264 typu open source zaimplementowany przez firmę Cisco. Chociaż H.264 wymaga dużej opłaty patentowej, istnieje roczny limit opłaty patentowej. Po uiszczeniu przez Cisco rocznej opłaty patentowej za OpenH264, OpenH264 jest właściwie darmowy. Używaj go swobodnie.
x264 to bezpłatne oprogramowanie do kodowania wideo na licencji GPL. Główną funkcją x264 jest kodowanie wideo H.264 / MPEG-4 AVC, a nie dekoder.
Z wyłączeniem kwestii kosztów do porównania:
Zużycie procesora przez openh264 jest znacznie niższe niż w x264
openh264 obsługuje tylko profil podstawowy, x264 obsługuje więcej profili
HEVC / H.265
Wprowadzenie
High Efficiency Video Coding (HEVC) to standard kompresji wideo (zwany także H.265), który jest uważany za następcę standardu ITU-T H.264 / MPEG-4 AVC. W 2004 roku ISO / IEC Moving Picture Experts Group (MPEG) i ITU-T Video Coding Experts Group (VCEG) zaczęły się rozwijać jako ISO / IEC 23008-2 MPEG-H Part 2 lub ITU-T H.265. Pierwsza wersja standardu kompresji wideo HEVC / H.265 została zaakceptowana jako oficjalny standard Międzynarodowego Związku Telekomunikacyjnego (ITU-T) 13 kwietnia 2013 r. Uważa się, że HEVC nie tylko poprawia jakość wideo, ale także dwukrotnie stopień kompresji H.264 / MPEG-4 AVC (równoważny 50% redukcji szybkości transmisji przy tej samej jakości obrazu) i może obsługiwać rozdzielczość 4K, a nawet telewizję o ultra wysokiej rozdzielczości (UHDTV), najwyższa rozdzielczość może osiągnąć 8192 × 4320 (rozdzielczość 8K).
Licencja patentowa
HEVC wymaga, aby wszyscy producenci treści korzystający z technologii H.265, w tym Apple, YouTube, Netflix, Facebook i Amazon, płacili 0.5% swoich przychodów z treści jako opłatę za korzystanie z technologii. Cały rynek mediów strumieniowych osiąga rocznie około 100 miliardów dolarów i nadal rośnie. 0.5% opłaty to zdecydowanie ogromna opłata. Nie odpuścili też producentów sprzętu, wśród których producenci telewizorów płacą 1.5 dolara za sztukę, a producenci urządzeń mobilnych 0.8 dolara za sztukę opłat patentowych. Nie wypuścili nawet producentów, takich jak odtwarzacze Blu-ray, konsole do gier i nagrywarki wideo, które muszą zapłacić 1.1 dolara za sztukę.
Otwarta implementacja H.265 / HEVC
libde265 HEVC jest dostarczany przez firmę struktur na licencji open source GNU Lesser General Public License (LGPL), a widzowie mogą cieszyć się obrazami najwyższej jakości przy niższych prędkościach Internetu. W porównaniu z poprzednimi dekoderami opartymi na standardzie H.264, dekoder libde265 HEVC może dostarczyć treści Full HD nawet dwukrotnie większej liczbie odbiorców lub zmniejszyć przepustowość wymaganą do przesyłania strumieniowego o 50%.
x265 jest rozwijany przez firmę MulticoreWare i jest udostępniany na zasadach open source na podstawie umowy GPL.
VP8
Wprowadzenie
VP8 to otwarty format kompresji wideo, który został najpierw opracowany przez On2 Technologies, a następnie wydany przez Google. W tym samym czasie firma Google udostępniła także bibliotekę implementacyjną z kodowaniem VP8: libvpx, która została wydana w formie warunków licencji BSD, a następnie dodała prawo do korzystania z patentu. Po kilku argumentach, autoryzacja VP8 została ostatecznie potwierdzona jako autoryzacja open source.
Obecnie przeglądarki internetowe obsługujące VP8 to Opera, Firefox i Chrome.
Licencja patentowa
W marcu 2013 r. Google osiągnął porozumienie z MPEG LA i 11 posiadaczami patentów, aby umożliwić Google uzyskanie VP8 i jego wcześniejszych VPx oraz innych kodowań, które mogą być naruszane w patentach. Jednocześnie Google może bezpłatnie ponownie autoryzować powiązane patenty dla użytkowników VP8. , Ta umowa jest również odpowiednia dla następnej generacji kodowania VPx. Jak dotąd MPEG LA zrezygnowało z ustanowienia scentralizowanego sojuszu licencyjnego VP8, a użytkownicy VP8 będą mogli zdecydować, czy będą używać tego kodu bezpłatnie, nie martwiąc się o ewentualne tantiemy z tytułu naruszenia patentu.
Wdrożenie Open Source VP8
Libvpx to jedyna implementacja VP8 o otwartym kodzie źródłowym. Został opracowany przez On2 Technologies. Po przejęciu przez Google otworzył swój kod źródłowy. Licencja jest bardzo luźna i można z niej swobodnie korzystać.
VP9
Wprowadzenie
Rozwój VP9 rozpoczął się w trzecim kwartale 2011 roku. Celem jest zmniejszenie rozmiaru pliku o 50% w porównaniu z kodowaniem VP8 przy tej samej jakości obrazu. Kolejnym celem jest pokonanie kodowania HEVC w wydajności kodowania.
13 grudnia 2012 r. Przeglądarka Chromium dodała obsługę kodowania VP9. Przeglądarka Chrome zaczęła obsługiwać odtwarzanie wideo zakodowane w formacie VP9 21 lutego 2013 r.
Firma Google ogłosiła, że zakończy opracowywanie kodu VP9 17 czerwca 2013 r., Kiedy to przeglądarka Chrome domyślnie poprowadzi kod VP9. 18 marca 2014 roku Mozilla dodała obsługę VP9 do przeglądarki Firefox.
3 kwietnia 2015 r. Firma Google wydała bibliotekę libvpx1.4.0, która dodała obsługę 10-bitowej i 12-bitowej głębi, próbkowania chrominancji 4: 2: 2 i 4: 4: 4 oraz wielordzeniowego kodowania / dekodowania VP9.
Licencja patentowa
VP9 to otwarty format kodowania wideo bez tantiem.
Wdrożenie Open Source VP9
libvpx to jedyna implementacja VP9 typu open source, opracowana i utrzymywana przez Google. Niektóre kody są współdzielone przez VP8 i VP9, a reszta to implementacje kodeków odpowiednio VP8 i VP9.
Porównanie VP9 i H.264 oraz HEVC
Porównanie HEVC i H.264 w różnych rozdzielczościach
W porównaniu z H.264 / MPEG-4, średnie zmniejszenie szybkości transmisji HEVC wynosi:
Widać, że przepływność spadła o ponad 60%
HEVC (H.265) ma większą przewagę w oszczędzaniu przepływności dla VP9 i H.264, oszczędzając odpowiednio 48.3% i 75.8% w ramach tego samego PSNR
H.264 ma ogromną przewagę w czasie kodowania. W porównaniu z VP9 i HEVC (H.265), HEVC jest 6 razy większy niż VP9, a VP9 jest prawie 40 razy większy niż H.264.
