La Fondation Raspberry Pi vient d’annoncer la disponibilité d’un nouveau mode de fonctionnement pour le module caméra Pi.

Celui-ci va permettre l’enregistrement de vidéos à 90 frames par seconde, ce qui devrait intéresser les utilisateurs de la caméra. C’est James H qui a publié cet article sur le site de la fondation. Je vous propose la traduction de cette annonce.

==== Traduction de l’article New Camera mode released ====

Remarque à l’attention de Liz UPTON (webmaster du site) : vous remarquerez qu’il n’y a ni photo ni vidéo dans cet article. C’est parce que nous aimerions que vous les fassiez pour nous, en utilisant le nouveau mode disponible pour la caméra. Filmez une vidéo en 90 fps en utilisant le module caméra et les informations ci-dessous, ralentissez-le à 30 fps et envoyez-nous un lien : si votre vidéo est particulièrement réussie, nous la ferons figurer ici et sur ​​la première page.

Lorsque l’appareil photo du Raspberry Pi est sorti, les plus attentifs d’entre vous ont remarqué que la caméra elle-même pouvait supporter différents modes utilisant des taux de rafraîchissement élevés, mais que le logiciel ne pouvait «seulement» gérer que 30 images par seconde en mode vidéo haute définition.

Il n’y a pas de limitation matérielle dans le Raspberry Pi lui-même. Il est tout à fait capable de gérer ces taux de rafraîchissement élevés, mais il restait un effort de développement à réaliser pour travailler sur ces nouveaux «modes» à l’intérieur du logiciel de la caméra. A l’origine, deux modes sont proposés : un mode de capture des images fixes qui offre la pleine résolution du capteur (2592 × 1944), et un mode vidéo 1080p (1920x1080p). Les mêmes observateurs attentifs verront que ces modes ont des proportions – le rapport de la largeur à la hauteur –  4:3 pour les images (comme le film 35 mm), 16:9 pour la vidéo (écran large).

Cela crée un problème lors de la prévisualisation pour la capture d’images fixes, puisque l’aperçu utilise le mode vidéo et peut fonctionner à 30 images par seconde (fps) – non seulement l’aspect de l’aperçu est différent, mais parce que le mode vidéo «rogne» l’image du capteur (c’est à dire prend une fenêtres au centre de 1920x1080px), le champ de vision en mode de prévisualisation est très différent de la capture réelle.

Il y a eu du boulot à faire pour développer de nouveaux modes utilisant des cadences élevées, et également rectifier le mode de prévisualisation des images fixes de sorte qu’il  corresponde à ce qui serait réellement capturé.

Enfin, quelques personnes chez Broadcom, avec l’aide d’Omnivision, le fabricant du capteur, ont trouvé un peu de temps pour finaliser ces modes, et pas seulement cela, puisque pendant qu’ils y étaient, ils ont rajouté quelques bonus ! (Remarque de Liz : La Fondation Raspberry Pi ne fait pas partie de Broadcom – nous ne sommes qu’un de leurs clients – mais nous avons une bonne relation et la Fondation est vraiment reconnaissante pour l’aide bénévole que certaines des personnes chez Broadcom nous offrent de temps en temps :  merci les gars !).

Le résultat est que nous avons maintenant les modes suivants disponibles :

• 2592×1944 : 1 à 15 fps, vidéo ou photo, capteur complet et plein champ de vision, capture des images fixes par défaut
• 1920×1080 : 1 à 30 fps, mode vidéo, 1080p30 recadré
• 1296×972 : 1 à 42 fps, mode vidéo, format 4:3 binned, plein champ de vision. Utilisé pour prévisualiser les images fixes dans raspistill
• 1296×730 : 1 à 49 fps, mode vidéo, format 16:9, binned, plein champ de vision (largeur), utilisé pour le 720p
• 640×480 : 42.1 à 60 fps, mode vidéo, jusqu’à VGAp60 binned
• 640×480  : 60,1 à 90 fps, mode vidéo, jusqu’à VGAp90 binned

J’ai introduit un nouveau mot dans la liste. Binned (condensé?). C’est ainsi que nous pouvons obtenir des cadences élevées. Le binning consiste en la combinaison de pixels du capteur dans un ‘bin‘ (boîte, coffre) dans le domaine analogique. En plus de réduire la quantité de données, cette opération peut également améliorer les performances en faible luminosité car elle moyenne le bruit du capteur en l’absence de bruit de quantification introduit par le convertisseurs analogique-numérique (ADC) (Ce sont les circuits électroniques dans le capteur qui convertissent l’information analogique, créée par les photons reçus, en valeurs numériques ).

Donc, si nous faisons un ‘bin‘ 2 × 2 sur le capteur, il envoie seulement un quart (2 × 2 = 4 = un quart !) de la quantité de données par trame au Raspberry Pi. Cela signifie que nous pouvons quadrupler (environ – il ya d’autres choses qui entrent en jeu), le nombre d’image (frame rate) pour la même quantité de données! Donc un simple bin 2×2 signifie théoriquement un quadruplement du nombre d’images, mais en diminuant de moitié la résolution X et Y. C’est ainsi que le mode 1296×972 fonctionne – c’est exactement un mode bin 2×2, il est donc toujours en proportion 4:3, utilise l’ensemble du capteur, et permet un mode de prévisualisation parfait pour les images fixes.

Nous avons également un mode très similaire, qui est le 1296×730. Il est utilisé pour l’enregistrement vidéo en 720p (l’image du capteur est mise à l’échelle par le GPU en 1280×720). Il s’agit d’un mode ‘bin‘ 2×2 avec une découpe (crop) supplémentaire, ce qui signifie également un nombre d’images (frame rate) légèrement augmenté car il y a moins de données à transférer.

Maintenant en réduisant encore plus la résolution de sortie par le capteur et en ‘sautant’ des pixels en combinaison avec le binning, nous pouvons obtenir des frame rate encore plus élevés, et c’est ainsi que la plus grande vitesse du mode VGA 640×480 fonctionne. Le mode le plus rapide est maintenant en résolution VGA à 90 images par seconde – trois fois le taux du 1080p30.

Alors, comment pouvons-nous utiliser ces nouveaux modes ?

Les applications de démonstration raspistill et raspivid travaillent déjà avec ces nouveaux modes. Vous pouvez spécifier la résolution dont vous avez besoin et la fréquence d’image, et le mode correct sera choisi. Il faudra installer la dernière version du firmware du GPU qui contient ces nouveaux modes en faisant

sudo rpi-update

Une chose à noter : le système essayera toujours de fonctionner au frame rate spécifié, en priorité sur la résolution. Par conséquent, si vous spécifiez une fréquence d’image élevée à une résolution qu’il ne peut pas gérer, il utilisera un mode basse résolution pour atteindre le nombre d’images et redimensionnera l’image pour l’amener à la taille demandée – cet ‘upscaling‘ est rarement joli à regarder. Il peut aussi être trop rapide pour l’encodeur vidéo, de sorte que certaines images peuvent être ignorés. Il faut donc toujours veiller à ce que la résolution que vous spécifiez permette d’atteindre le nombre d’images par secondes requis, pour obtenir les meilleurs résultats .

Voici donc un petit exemple, pour enregistrer un clip de 10s en VGA à 90fps

raspistill -w 640 – h 480 – fps 90 – 10000- t o test90fps.h264

Note du traducteur : je vous propose cette version corrigée :

raspivid -w 640 -h 480 -fps 90 -t 10000 -o test90fps.h264

Il y a également eu des changements mineurs du pilote v4L2 pour soutenir ces nouveaux modes. Ceux-ci devraient être inclus quand vous faites la mise à jour avec rpi-update pour obtenir le nouveau firmware du GPU.

Le pilote V4L2 supporte les nouveaux modes également. Tout en utilisant les requêtes normales, vous pouvez maintenant demander jusqu’à 90 fps. Donc, faire la même chose en streaming VGA à 90 fps vers H264 nécessiterait les commandes v4l2-ctl suivantes :

Il y a quelques conditions que vous devrez prendre en considération lors de l’utilisation des modes plus rapides, en particulier avec le pilote v4L.

• Ils vont augmenter la charge sur le processeur ARM de façon assez importante car il y aura plus de sollicitations (callbacks) par seconde. Cela peut avoir des effets imprévisibles sur les applications V4L en sorte qu’elles pourraient ne pas être en mesure de suivre.
• Le codec MJPEG ne fonctionne pas au-dessus du 720P40 – il va commencer à perdre des images, et surtout vers 45 fps, il peut planter sévèrement. Vous aurez été prévenu(e)s.
• Le H264 fonctionne sans souci jusque 720P49, ou VGA @ 90fps

Cela dit, la plupart des gens ne devraient avoir aucun problème avec ces nouvelles fonctionnalités. Un grand merci à Dave Stevenson et Naush Patuck de Broadcom pour avoir trouvé le temps de les réaliser ! Merci également à Omnivision pour leur soutien permanent.

=========== Vidéo ==================================

La demande de James a été entendue puisque des vidéos sont disponibles :

Ces vidéos enregistrées à 90 fps et diffusées en 30 fps montre bien le ralenti ainsi obtenu.

Conclusion :

Une nouvelle avancée dans le logiciel, comme la Fondation l’avait annoncé. Je n’ai eu le temps de tester que la capture vidéo, si vous testez les autres modes et le V4L, faites en part dans les commentaires.