Videozuweisung in der Meet Media API verwalten

Sobald eine Verbindung zu einer Konferenz hergestellt wurde, wird angeforderter Ton sofort übertragen und ist verfügbar. Damit der Client Videos empfangen kann, muss er jedoch zuerst Canvasse für jeden Videostream definieren.

Mit Canvas-Elementen wird Meet mitgeteilt, wie Ihr Client einen Videostream nutzen wird. Dazu wird die Auflösung in Pixeln (z. B. 1280 × 720) und die Anzahl der Bilder pro Sekunde (FPS) angegeben und ein Zuweisungsprotokoll ausgewählt. Das Zuweisungsprotokoll gibt an, wie Meet Videostreams auswählen soll, wenn es mehr Teilnehmer als SSRCs gibt.

Anfragen zur Videozuweisung

Um Videos zu empfangen, senden Clients zuerst eine Videozuweisungsanfrage über den VideoAssignment-Datenchannel, in der sie die Canvas für die ausgehandelten Videostreams definieren.

Senden Sie eine Anfrage zur Videozuweisung über den Datenchannel für die Videozuweisung.
Abbildung 1. Senden Sie eine Anfrage zur Videozuweisung über den Datenchannel für die Videozuweisung.

Sobald Meet die Anfrage erhält, werden „relevante“ Teilnehmervideos auf Grundlage von Faktoren wie den folgenden ausgewählt:

  • Spricht der Teilnehmer?
  • Präsentiert der Teilnehmer?
  • Gibt der Teilnehmer seinen Bildschirm frei?

Anschließend ordnet Meet die „relevantesten“ Teilnehmer den verfügbaren Video-SSRCs zu und beginnt mit der Übertragung von Video, wobei die Canvas-Parameter so genau wie möglich berücksichtigt werden.

Wenn die Anzahl der Teilnehmer an einer Videokonferenz die Anzahl der SSRCs übersteigt, werden die Streams in Meet im Laufe der Zeit ersetzt, um den relevantesten Teilnehmern zu entsprechen.

Meet-Server empfangen die Anfragen und weisen die Videostreams zu.
Abbildung 2. Meet-Server empfangen die Anfragen und weisen die Videostreams zu.

Nachdem Meet die Anfrage zur Videozuweisung angewendet hat, wird eine Ressourcenaktualisierung über den VideoAssignment-Datenkanal übertragen. Dieses Update umfasst die Zuordnung von SSRC zu Canvas. Anhand dieser Zuordnung können Clients die Auflösung und die FPS des Videostreams für jeden SSRC ermitteln. Umgekehrt weiß der Client, welche SSRC verwendet werden soll, wenn er nach einer bestimmten Auflösung und FPS sucht.

Sende die Ressourcenaktualisierung über den Datenkanal für die Videozuweisung.
Abbildung 3. Senden Sie die Ressourcenaktualisierung über den Datenkanal für die Videozuweisung.

Hinweise

  • Meet bestimmt die Zuordnung zwischen SSRC und Canvas. Der Client gibt dies in der Anfrage nicht an.

  • In Meet werden SSRCs nicht deterministisch zugewiesen. Gehen Sie beispielsweise nicht davon aus, dass der erste SSRC der „wichtigste“ Teilnehmer ist.

  • Clients sollten nicht mehr Auflösung anfordern, als sie benötigen. Fordern Sie beispielsweise kein 1080p-Video an, wenn Ihr Modell nur 480p verwendet.

  • Es ist möglicherweise nicht immer möglich, genau passende Auflösungen zu finden.

  • Clients sollten nicht übermäßig viele Anfragen zur Videozuweisung senden. Diese werden gedrosselt oder ignoriert.