FMUSER Wirless Transmituj wideo i audio łatwiejsze!
es.fmuser.org
it.fmuser.org
fr.fmuser.org
de.fmuser.org
af.fmuser.org -> Afrikaans
sq.fmuser.org -> albański
ar.fmuser.org -> arabski
hy.fmuser.org -> Armeński
az.fmuser.org -> Azerbejdżański
eu.fmuser.org -> baskijski
be.fmuser.org -> białoruski
bg.fmuser.org -> bułgarski
ca.fmuser.org -> kataloński
zh-CN.fmuser.org -> chiński (uproszczony)
zh-TW.fmuser.org -> chiński (tradycyjny)
hr.fmuser.org -> chorwacki
cs.fmuser.org -> czeski
da.fmuser.org -> duński
nl.fmuser.org -> holenderski
et.fmuser.org -> estoński
tl.fmuser.org -> filipiński
fi.fmuser.org -> fiński
fr.fmuser.org -> francuski
gl.fmuser.org -> galicyjski
ka.fmuser.org -> gruziński
de.fmuser.org -> niemiecki
el.fmuser.org -> grecki
ht.fmuser.org -> kreolski haitański
iw.fmuser.org -> hebrajski
hi.fmuser.org -> hindi
hu.fmuser.org -> węgierski
is.fmuser.org -> islandzki
id.fmuser.org -> indonezyjski
ga.fmuser.org -> irlandzki
it.fmuser.org -> włoski
ja.fmuser.org -> japoński
ko.fmuser.org -> koreański
lv.fmuser.org -> łotewski
lt.fmuser.org -> litewski
mk.fmuser.org -> macedoński
ms.fmuser.org -> malajski
mt.fmuser.org -> maltański
no.fmuser.org -> norweski
fa.fmuser.org -> perski
pl.fmuser.org -> polski
pt.fmuser.org -> portugalski
ro.fmuser.org -> rumuński
ru.fmuser.org -> rosyjski
sr.fmuser.org -> serbski
sk.fmuser.org -> słowacki
sl.fmuser.org -> słoweński
es.fmuser.org -> hiszpański
sw.fmuser.org -> suahili
sv.fmuser.org -> szwedzki
th.fmuser.org -> Tajski
tr.fmuser.org -> turecki
uk.fmuser.org -> ukraiński
ur.fmuser.org -> Urdu
vi.fmuser.org -> wietnamski
cy.fmuser.org -> walijski
yi.fmuser.org -> jidysz
Wyzwanie związane z technologią mobilnej transmisji na żywo jest dalekie od tradycyjnego sprzętu lub komputerowej transmisji na żywo. Pełne łącza przetwarzania obejmują między innymi: akwizycję audio i wideo, przetwarzanie piękna / filtra / efektów specjalnych, kodowanie, pakietowanie, przesyłanie strumieniowe, transkodowanie, dystrybucję, dekodowanie / renderowanie / odtwarzanie itp.
Typowe problemy związane z transmisją na żywo to:
W jaki sposób strumień hosta może być stabilny w niestabilnym środowisku sieciowym?
W jaki sposób publiczność na odległych obszarach może płynnie oglądać transmisję na żywo w wysokiej rozdzielczości?
Jak inteligentnie przełączyć linię w chwili pojawienia się żywej karty?
Jak zmierzyć dokładność wskaźnika jakości transmisji na żywo i dostosować go w czasie rzeczywistym?
W jaki sposób różne platformy chipów na urządzeniach mobilnych mogą kodować i renderować wideo z wysoką wydajnością?
Jak radzić sobie ze specjalnymi efektami filtrów, takich jak piękno?
Jak zrealizować drugą odsłonę?
Jak zapewnić płynną transmisję na żywo bez zgrzeblenia?
To udostępnienie ujawni tajemnicę podstawowej technologii transmisji mobilnej.
1. Podstawowa wiedza na temat wideo, transmisji na żywo i tak dalej
Co to jest wideo?
Najpierw musimy zrozumieć jedną z najbardziej podstawowych koncepcji: wideo. Z punktu widzenia percepcji wideo jest filmem pełnym zabawy, może być filmem, może być filmem krótkometrażowym, jest spójnym efektem wizualnym, bogatym w obraz i dźwięk. Ale z racjonalnego punktu widzenia wideo to uporządkowane dane. Można to interpretować w języku inżynierskim. Możemy analizować wideo do następującej struktury:
1)Doświadczenie drugiego na Optymalizacji technologii mobilnej transmisji na żywo (w tym ppt)
2) element treści
3) Obraz
4) Dźwięk
5)Meta informacje
6) Kodek
Wideo: H.264, H.265,…
Dźwięk: AAC , HE-AAC,…
7) Pojemnik
MP4 , MOV , FLV , RM , RMVB , AVI ,…
Strukturalnie każdy plik wideo jest takim sposobem kompozycji:
1) Najbardziej podstawowe elementy treści składają się z obrazu i dźwięku;
2)Obraz jest przetwarzany przez kodowanie wideo i format kompresji (zwykle H.264);
3) Dźwięk jest przetwarzany w formacie kompresji kodowania dźwięku (takim jak AAC);
4) Wskaż odpowiednie metainformacje (metadane);
Na koniec pakiet kontenera (taki jak MP4) jest kompletny, tworząc kompletny plik wideo.
Jeśli uważasz, że trudno to zrozumieć, wyobraź sobie butelkę keczupu. Butelka z warstwą zewnętrzną jest jak pojemnik, informacje o surowcach i zakładzie przetwórczym na butelce są jak metadane. Po otwarciu (rozpakowaniu) zakrętki do butelki sam keczup przypomina zakodowaną zawartość po kompresji. Proces przetwarzania pomidorów i przypraw na keczup jest podobny do kodowania, podczas gdy surowiec pomidorowy i przyprawy są najbardziej zbliżone do najbardziej oryginalnego elementu treści.
2. Transmisja wideo w czasie rzeczywistym
Krótko mówiąc, racjonalna poznawcza struktura wideo pomaga nam zrozumieć transmisję wideo. Jeśli wideo jest rodzajem ustrukturyzowanych danych, to transmisja wideo jest niewątpliwie sposobem na przekazanie tych „ustrukturyzowanych danych” (wideo) w czasie rzeczywistym.
Zatem oczywiste pytanie brzmi: w jaki sposób można przesyłać te ustrukturyzowane dane w czasie rzeczywistym?
Oto paradoks: wideo spakowane w kontenerze musi być niezmiennym plikiem wideo, niezmienny plik wideo jest już wynikiem produkcyjnym, zgodnie z "względnością", a ten wynik produkcji nie może być dokładny do poziomu czasu rzeczywistego, to była pamięć czasu i przestrzeni.
Dlatego transmisja wideo musi być procesem „produkcji, transmisji i konsumpcji”. Oznacza to, że musimy przyjrzeć się bliżej środkowemu procesowi (kodowaniu) wideo przed oryginalnymi elementami treści (obrazy i audio) do gotowego produktu (pliki wideo).
3. Kompresja kodowania wideo
Przyjrzyjmy się technologii kodowania i kompresji wideo.
Aby ułatwić przechowywanie i transmisję treści wideo, zwykle konieczne jest zmniejszenie objętości treści wideo, to znaczy oryginalne elementy treści (obraz i dźwięk) wymagają kompresji, a algorytm kompresji jest również określany jako format kodowania. Na przykład oryginalne dane obrazu w wideo zostaną skompresowane w formacie kodowania H.264, a dane próbkowania dźwięku zostaną skompresowane w formacie kodowania AAC.
Po zakodowaniu i skompresowaniu zawartość wideo naprawdę sprzyja przechowywaniu i transmisji; jednakże podczas oglądania i odtwarzania wymagany jest również proces dekodowania. Dlatego jest oczywiste, że między kodowaniem a dekodowaniem można zrozumieć rodzaj konwencji, która może być zrozumiała zarówno przez koder, jak i dekoder. Pod względem kodowania i dekodowania obrazu wideo ta konwencja jest prosta:
Koder koduje wiele obrazów i tworzy GOP (grupę obrazów) w segmencie. Podczas odtwarzania dekoder odczytuje sekcję GOP do dekodowania, następnie odczytuje obraz, a następnie renderuje wyświetlacz.
Drugie doświadczenie w optymalizacji mobilnej technologii transmisji na żywo (w tym ppt)
GOP (grupa zdjęć) to seria ciągłych obrazów, na którą składa się jedna klatka I i kilka klatek B / P. Jest to podstawowa jednostka dostępu do kodera i dekodera obrazu wideo. Sekwencja jego aranżacji będzie powtarzana do końca obrazu.
Drugie doświadczenie w optymalizacji mobilnej technologii transmisji na żywo (w tym ppt)
Ramka I jest wewnętrzną ramką kodowania (znaną również jako ramka kluczowa), ramka P jest ramką predykcji do przodu (ramka odniesienia do przodu), a ramka B jest ramką interpolacji dwukierunkowej (ramką odniesienia dwukierunkową). Krótko mówiąc, klatka I jest kompletnym obrazem, podczas gdy zapis P i B zmienia się w stosunku do klatki I.
Bez ramek I nie można dekodować ramek P i B.
Drugie doświadczenie w optymalizacji mobilnej technologii transmisji na żywo (w tym ppt)
Podsumowując, wideo, którego dane części obrazu to zestaw GOP, podczas gdy pojedynczy GOP to zestaw obrazów klatek I / P / B.
W takiej geometrycznej zależności wideo jest jak „obiekt”, GOP jest jak „cząsteczka”, a obraz klatki I / P / B jest jak „atom”.
Wyobraź sobie, jakie byłoby doświadczenie, gdybyśmy zmienili transmisję obiektu na atom i najmniejszą cząstkę z prędkością światła i dostrzeganą gołym okiem ludzi?
4. Co to jest wideo na żywo?
Otwór w mózgu nie jest trudny, transmisja na żywo to takie przeżycie. Technologia wideo na żywo to najmniejsza cząstka (klatka I / P / B)), technologia transmisji z prędkością światła oparta na szeregach czasowych.
Krótko mówiąc, transmisja na żywo to proces przesyłania strumieniowego danych (wideo / audio / ramka danych) i znacznika czasu. Nadajnik w sposób ciągły zbiera dane audio i wideo, a następnie rozprzestrzenia je poprzez kodowanie, pakiet, przepływ typu push, a następnie rozprzestrzenia się przez przekaźnikową sieć dystrybucyjną. Koniec odtwarzania pobiera dane w sposób ciągły oraz dekoduje i odtwarza zgodnie z sekwencją czasową. W ten sposób realizowany jest proces „produkcji, transmisji i konsumpcji” na żywo.
Po zrozumieniu powyższych dwóch podstawowych pojęć dotyczących wideo i transmisji na żywo, możemy zobaczyć logikę biznesową transmisji na żywo.
Logika biznesowa transmisji na żywo
Oto usprawniony dla wielu model usług na żywo, a także protokoły między różnymi poziomami.
Drugie doświadczenie w optymalizacji mobilnej technologii transmisji na żywo (w tym ppt)
Różnice między umowami są następujące
Drugie doświadczenie w optymalizacji mobilnej technologii transmisji na żywo (w tym ppt)
Drugie doświadczenie w optymalizacji mobilnej technologii transmisji na żywo (w tym ppt)
Powyżej przedstawiono kilka podstawowych pojęć dotyczących technologii transmisji na żywo. Następnie dokładniej rozumiemy wskaźniki wydajności na żywo, które wpływają na wrażenia wizualne ludzi.
Wskaźnik wydajności transmisji na żywo wpływający na wrażenia wizualne
Pierwszym wskaźnikiem wydajności transmisji na żywo jest opóźnienie, czyli czas potrzebny na przesłanie danych ze źródła informacji do miejsca docelowego.
Drugie doświadczenie w optymalizacji mobilnej technologii transmisji na żywo (w tym ppt)
Zgodnie z wąską teorią względności Einsteina, prędkość światła jest największą prędkością, jaką może osiągnąć cała energia, materia i informacja. Ten wniosek wyznacza ograniczenie szybkości transmisji. Więc nawet jeśli czujemy w czasie rzeczywistym gołym okiem, w rzeczywistości występuje pewne opóźnienie.
Drugie doświadczenie w optymalizacji mobilnej technologii transmisji na żywo (w tym ppt)
Ponieważ rtmp / hls jest oparty na protokole warstwy aplikacji przez TCP, trzykrotne uzgadnianie TCP, cztery fale, a każda podróż w obie strony w procesie powolnego startu zostanie dodana z czasem w obie strony (RTT), co zwiększy opóźnienie.
Drugie doświadczenie w optymalizacji mobilnej technologii transmisji na żywo (w tym ppt)
Po drugie, zgodnie z charakterystyką retransmisji z utratą pakietów TCP, fluktuacja sieci może powodować retransmisję utraty pakietów, a także pośrednio prowadzić do wzrostu opóźnienia.
Drugie doświadczenie w optymalizacji mobilnej technologii transmisji na żywo (w tym ppt)
Kompletny proces transmisji na żywo obejmuje między innymi następujące łącza: zbieranie, przetwarzanie, kodowanie, pakietowanie, przesyłanie strumieniowe, transmisję, transkodowanie, dystrybucję, przesyłanie strumieniowe, dekodowanie i odtwarzanie. Od przesyłania strumieniowego do odtwarzania, a następnie przez pośrednie łącze do przekazywania, im mniejsze opóźnienie, tym lepsze wrażenia użytkownika.
Drugim wskaźnikiem wydajności transmisji na żywo jest opóźnienie wyświetlania klatek w procesie odtwarzania wideo, które sprawia, że ludzie czują się jak „karta”. Statystyka liczby trafień odtwarzanych w jednostkowym czasie nazywana jest współczynnikiem kartowania.
Czynnikami powodującymi Caton mogą być przerwy w transmisji danych na końcu przesyłania strumieniowego, przeciążenie transmisji w sieci publicznej lub nieprawidłowe drgania sieci lub słaba wydajność dekodowania urządzeń końcowych. Im mniejsza lub żadna częstotliwość Caton, tym lepsze wrażenia użytkownika.
Pierwszy ekran trzeciego wskaźnika wydajności na żywo jest czasochłonny, co odnosi się do czasu, jaki ekran czeka na zobaczenie gołym okiem po pierwszym kliknięciu i odtworzeniu. Z technicznego punktu widzenia oznacza to, że odtwarzacz zajmuje dużo czasu, aby zdekodować pierwszą klatkę wyświetlanego renderowania. Ogólnie mówiąc, „sekunda na” odnosi się do ekranu, który można zobaczyć w ciągu jednej sekundy po kliknięciu na odtwarzanie. Im szybciej otwiera się pierwszy ekran, tym lepsze są wrażenia użytkownika.
Powyższe trzy wskaźniki wydajności transmisji na żywo odpowiadają wymaganiom użytkownika o niskim opóźnieniu, płynnej i szybkiej w wysokiej rozdzielczości. Zrozumienie tych trzech wskaźników wydajności jest bardzo ważne, aby zoptymalizować wrażenia użytkownika z aplikacji mobilnej na żywo.
Więc jakie są typowe doły w transmisji na żywo na urządzeniach mobilnych?
Zgodnie z doświadczeniem podsumowanym w praktyce, całość transmisji wideo na żywo na platformie mobilnej można podsumować w dwóch aspektach: różnica sprzętu i test techniczny, który te sceny wnoszą w środowisko sieciowe.
Otwór i środki unikania mobilnej sceny transmisji na żywo
Różnice w kodowaniu na różnych platformach chipów
Drugie doświadczenie w optymalizacji mobilnej technologii transmisji na żywo (w tym ppt)
Bez względu na twarde lub miękkie kodowanie na platformie IOS, ponieważ jest to fabryka Apple, prawie nie ma różnicy w kodowaniu ze względu na różne platformy chipów.
Jednak na platformie Android koder mediacodec dostarczany przez SDK platformy Android ma duże różnice na różnych platformach chipów. Różni producenci używają różnych chipów, podczas gdy wydajność mediacodec Android jest nieco inna na różnych platformach chipów, a koszt uzyskania zgodności całej platformy nie jest niski.
Ponadto parametry jakości kodowania H.264 warstwy twardego kodowania mediacodec systemu Android są stałe, więc jakość malowania jest zwykle również ogólna. Dlatego pod platformą Android zaleca się stosowanie miękkiej edycji, zaletą jest to, że jakość malowania można regulować, a kompatybilność jest lepsza.
Jak zbierać i kodować low-endowy sprzęt o wysokiej wydajności?
Drugie doświadczenie w optymalizacji mobilnej technologii transmisji na żywo (w tym ppt)
Na przykład kamera może być obrazem. Objętość obrazu nie jest mała. Jeśli częstotliwość akwizycji jest bardzo wysoka, a częstotliwość odświeżania kodowania jest bardzo wysoka, każdy obraz przechodzi przez koder, koder może ponownie przeciążać.
W tej chwili możemy wziąć pod uwagę, że przed kodowaniem, bez wpływu na jakość obrazu (mówiliśmy o mikro znaczeniu liczby klatek na sekundę), możemy selektywnie tracić ramki, aby zmniejszyć pobór mocy łącza kodującego.
Jak zagwarantować płynne przesyłanie strumieniowe w wysokiej rozdzielczości w słabej sieci
Drugie doświadczenie w optymalizacji mobilnej technologii transmisji na żywo (w tym ppt)
W sieci komórkowej łatwo jest spotkać się z niestabilnością sieci, resetowaniem połączenia, ponownym łączeniem linii przerywanej, z jednej strony częste ponowne łączenie, a ustanowienie połączenia wymaga obciążenia. Z drugiej strony wąskie gardło przepustowości może wystąpić, zwłaszcza w przypadku przełączenia GPRS / 2G / 3G / 4G. Gdy przepustowość jest niewystarczająca, zawartość o dużej liczbie klatek na sekundę / dużej przepływności jest trudna do wysłania, dlatego potrzebna jest obsługa zmiennej szybkości transmisji.
Oznacza to, że na końcu wypychania można wykryć stan sieci i prosty pomiar prędkości, a współczynnik kodowania można przełączać dynamicznie, aby zapewnić płynny przepływ wypychania podczas przełączania sieci.
Po drugie, można również precyzyjnie dostroić logikę kodowania, przesyłania pakietów i przesyłania. Możesz próbować tracić klatki selektywnie, na przykład tracąc najpierw klatkę odniesienia wideo (ramka I i ramka audio), co może również zmniejszyć zawartość danych do przesłania, ale jednocześnie może osiągnąć cel polegający na tym, że nie wpływa na jakość malowania i płynna wersja audiowizualna.
Należy rozróżnić status i status biznesowy transmisji na żywo
Transmisja na żywo to interakcja strumienia multimediów, a aplikacja jest strumieniem sygnalizującym API, a statusu obu nie można pomylić. W szczególności stan transmisji na żywo nie może być oceniany na podstawie stanu interakcji API z aplikacją.
Drugie doświadczenie w optymalizacji mobilnej technologii transmisji na żywo (w tym ppt)
Powyżej znajduje się kilka typowych dołów i środków unikania w mobilnej scenie na żywo.
Inne środki optymalizacji mobilnej sceny transmisji na żywo
1 、 Jak zoptymalizować prędkość otwierania, aby osiągnąć legendarne „drugie miejsce”?
Możesz zauważyć, że niektóre aplikacje na żywo na telefony komórkowe na rynku są bardzo szybkie, trochę włączone. A niektóre aplikacje na żywo na telefony komórkowe, kliknij, aby odtworzyć po kilku sekundach przed rozpoczęciem gry. Co powoduje taką różnicę?
Większość graczy może dekodować i grać po ukończeniu GOP. Odtwarzacze oparte na Ffmpeg mogą odtwarzać tylko po synchronizacji znacznika czasu dźwięku i malowania (jeśli nie ma dźwięku w transmisji na żywo, tylko wideo może odtwarzać twarz po odczekaniu limitu czasu dźwięku).
Drugą kwestię można rozważyć w następujących aspektach:
1. Przepisz logikę odtwarzacza, aby wyświetlał odtwarzacz po otrzymaniu pierwszej klatki kluczowej.
Pierwsza klatka GOP jest zwykle klatką kluczową i może osiągnąć „pierwszą klatkę z włączeniem drugiej” ze względu na mniej załadowanych danych.
Jeśli serwer na żywo obsługuje pamięć podręczną GOP, oznacza to, że gracz może pobrać dane natychmiast po nawiązaniu połączenia z serwerem, oszczędzając w ten sposób czas transmisji wstecznej między regionami i operatorami.
GOP odzwierciedla okres klatek kluczowych, czyli odległość między dwiema klatkami kluczowymi, czyli maksymalną liczbę klatek w grupie klatek. Zakładając, że stała liczba klatek na sekundę wideo wynosi 24 fps (tj. 1 sekunda 24 klatki), a okres klatki kluczowej wynosi 2S, wtedy GOP to 48 obrazów. Ogólnie na każdą sekundę filmu wymagana jest co najmniej jedna klatka kluczowa.
Zwiększenie liczby klatek kluczowych poprawia jakość obrazu (GOP jest zwykle wielokrotnością FPS), ale jednocześnie zwiększa przepustowość i obciążenie sieci. Oznacza to, że gracz klienta pobiera GOP.
|
Wpisz e-mail, aby otrzymać niespodziankę
es.fmuser.org
it.fmuser.org
fr.fmuser.org
de.fmuser.org
af.fmuser.org -> Afrikaans
sq.fmuser.org -> albański
ar.fmuser.org -> arabski
hy.fmuser.org -> Armeński
az.fmuser.org -> Azerbejdżański
eu.fmuser.org -> baskijski
be.fmuser.org -> białoruski
bg.fmuser.org -> bułgarski
ca.fmuser.org -> kataloński
zh-CN.fmuser.org -> chiński (uproszczony)
zh-TW.fmuser.org -> chiński (tradycyjny)
hr.fmuser.org -> chorwacki
cs.fmuser.org -> czeski
da.fmuser.org -> duński
nl.fmuser.org -> holenderski
et.fmuser.org -> estoński
tl.fmuser.org -> filipiński
fi.fmuser.org -> fiński
fr.fmuser.org -> francuski
gl.fmuser.org -> galicyjski
ka.fmuser.org -> gruziński
de.fmuser.org -> niemiecki
el.fmuser.org -> grecki
ht.fmuser.org -> kreolski haitański
iw.fmuser.org -> hebrajski
hi.fmuser.org -> hindi
hu.fmuser.org -> węgierski
is.fmuser.org -> islandzki
id.fmuser.org -> indonezyjski
ga.fmuser.org -> irlandzki
it.fmuser.org -> włoski
ja.fmuser.org -> japoński
ko.fmuser.org -> koreański
lv.fmuser.org -> łotewski
lt.fmuser.org -> litewski
mk.fmuser.org -> macedoński
ms.fmuser.org -> malajski
mt.fmuser.org -> maltański
no.fmuser.org -> norweski
fa.fmuser.org -> perski
pl.fmuser.org -> polski
pt.fmuser.org -> portugalski
ro.fmuser.org -> rumuński
ru.fmuser.org -> rosyjski
sr.fmuser.org -> serbski
sk.fmuser.org -> słowacki
sl.fmuser.org -> słoweński
es.fmuser.org -> hiszpański
sw.fmuser.org -> suahili
sv.fmuser.org -> szwedzki
th.fmuser.org -> Tajski
tr.fmuser.org -> turecki
uk.fmuser.org -> ukraiński
ur.fmuser.org -> Urdu
vi.fmuser.org -> wietnamski
cy.fmuser.org -> walijski
yi.fmuser.org -> jidysz
FMUSER Wirless Transmituj wideo i audio łatwiejsze!
Kontakt
Adres:
Nr 305 Pokój HuiLan Budynek nr 273 Huanpu Road Guangzhou Chiny 510620
Kategorie
Newsletter