Blog-g-a

La FFV vient de publier une nouvelle table de ratings pour les régates de catamaran de sport en intersérie pour l’année 2010.

Ce tableau de ratings utilise une méthode de calcul qui mélange l’ancien système basé sur des mesures fournies par les constructeurs et une formule mathématique (adaptation française du système international SCHRS reconnu par l’ISAF), avec une analyse statistique de performance sur un échantillon de courses limité pour certains types de bateaux.

Ce nouveau système a suscité des débats animés: voir l’article sur le sujet des ratings sur le blog de Franck 2T; et les messages sur le forum francophone du catamaran de sport. En effet qui dit changement, dit résistance. Et en l’absence d’explication officielle, de nombreux points du nouveau système restent obscurs et leur justification hasardeuse.

Dans cet article je souhaite apporter ma contribution au débat en comparant ce nouveau système avec d’autres systèmes en cours dans d’autres pays (USA, Grande Bretagne, Australie, Hollande) afin de pouvoir juger de sa pertinence et identifier des biais éventuels.

Contexte

Il existe au moins de 9 systèmes de ratings des multicoques de sport qui se répartissent en deux familles: “à mesure” –par ex. le Small Catamaran Handicap Rating System (SCHRS)- ou “à statistiques” –par ex. Portsmouth Yardstick (PY). Voir liste complète ci-dessous.

Le débat pour savoir lequel utiliser entre les deux types de systèmes de handicap n’est absolument pas nouveau dans le monde de la voile légère et du cata de sport en particulier. Les forums de discussion internationaux ont des débats très animés sur le sujet … voir par exemple le débat PY vs SCHRS sur le forum catsailor (en anglais).

Le consensus qui semble se dégager dans les autres pays est la pertinence du SCHRS vis-à-vis du PY en ce qui concerne le cata de sport. Pour d’autres supports (par ex. dériveurs en régate open), le PY reste prévalent chez les anglo-saxons (d’ailleurs qu’en est-il chez nous ?).

Les différents systèmes de ratings

FFV: le nouveau système mixte mesure + stats pour 2010 âprement débattu actuellement.

SCHRS: formule à mesure (derivée de l’ancien IOMR des années 70, puis des propositions de la FFV et de la PMA, entérinées en 1996).

Texel: formule à mesure (+ simple que SCHRS) utilisée sur la célèbre course "Texel Round" en Hollande.

PY RYA UK: "Portsmouth Yardstick" handicap statistique du Royal Yacht Association (la FFV des rosbifs) à 2 décimales, compilé à partir des résultats de nombreux clubs anglais. Originalité: ce rating permet de faire des régates en temps compensé entre dériveurs (Laser, par ex), cata de sport et habitables !

PY USSA: "Portsmouth Yardstick" handicap statistique à 3 décimales. Même principe que le PY RYA mais compilé à partir des résultats des clubs américains. Il inclut des facteurs de handicap supplémentaires selon la force du vent.

Victorian Yacht Club (VYC) Yardstick (Australie): handicap à statistiques similaire en principe aux PY US et UK. Permet de classer des bateaux répandus là-bas mais pas chez nous (Mosquito, Taipan, Paper Tiger …)

NMBR: formule à mesure proposée par un hollandais en 2005. Pas appliquée à ma connaissance…

PMA Rating System: “Pacific Multihull Association rule”, formule à mesure, ancêtre du SCHRS (source: http://www.voilesnews.fr/fr/info_62_5395.html), basée sur les équations de l’IOMR.

IOMR: formule à mesure de l’IYRU (ancêtre de l’ISAF) en cours dans les années 70 pour les multicoques océaniques, basée sur des calculs en bassin de carène.

Comparaison chiffrée des sytèmes de ratings

Je me suis amusé à comparer ce que donnaient les différents systèmes en termes de handicap pour différents bateaux.

Le tableau ci-dessous compare les valeurs de ratings pour chaque système pour certains bateaux:

Ratings	FFV 2010	FFV 2009	FFV 2007	SCHRS	Texel	PY USSA	PY RYA	VYC	NMBR
Hobie 16 no spi	N/A	1.146	1.16	1.145	1.17	0.76	0.802	0.815	1.13
Hobie 16 spi	1.140	1.113	1.13	1.112	1.11	N/A	N/A	N/A	1.09
FXOne solo	1.017	1.036	1.03	1.017	1.06	0.69	N/A	N/A	1.02
FXOne double	1.040	1.032	1.04	1.042	1.05	0.70	N/A	N/A	1.02
Spitfire spi 18	N/A	1.035	1.04	1.044	1.04	N/A	0.712	N/A	1.03
Spitfire S spi 19	1.040	N/A	N/A	1.038	N/A	N/A	N/A	N/A	N/A
AHPC Viper double	1.040	1.041	N/A	1.041	1.04	N/A	N/A	N/A	N/A
F16	1.008	1.008	1.02	1.008	1.02	0.63	N/A	0.715	1.00
F18	0.980	1.005	1.00	1.005	1.01	0.62	0.689	0.7	1.00
Tornado classic	1.004	1.004	1.00	1.004	1.00	0.64	N/A	N/A	0.99
Class-A	0.980	0.979	N/A	0.979	0.95	0.65	N/A	0.71	0.96
Tornado spi 24	0.966	0.966	0.94	0.966	0.94	0.59	N/A	0.65	0.94

 

Une méthode de comparaison plus pertinente est de comparer les écarts relatifs entre bateaux sur une heure de course, et non pas seulement les valeurs absolues des ratings.

A ce sujet il est à noter que pour être précis il faut faire un ratio des ratings et non pas une soustraction:

A =  3600 x (Ri / Rref - 1)

où :

A = Avantage de temps en secondes

Ri = Rating du bateau “i”

Rref = Rating de référence (par ex. F18)

Voici par exemple les écarts de temps vis-à-vis de la F18 pour chaque système pour certains bateaux (note: tous les bateaux ne sont pas classés dans tous les systèmes, d’où les trous):

	FFV 2010	FFV 2009	FFV 2007	SCHRS	Texel	PY USSA	PY RYA	VYC	NMBR
Hobie 16 no spi		505	576	501	570	785	590	591	468
Hobie 16 spi	588	387	468	383	356				324
FXOne solo	136	111	108	43	178	352			72
FXOne double	220	97	144	133	143	444			72
Spitfire S spi 19	220			118
Spitfire		107	144	140	107	160	120		108
AHPC Viper double	220	129		129	107
F16	103	11	72	11	36	35		77	0
F18	0	0	0	0	0	0	0	0	0
Tornado classic	88	-4	0	-4	-36	87			-36
Class-A	0	-93		-93	-214	121		51	-144
Tornado spi 24	-51	-140	-216	-140	-250	-196		-257	-216

 

Il est alors intéressant de regarder quel système favorise comparativement quel type de bateau. Par exemple pour le FXOne, les écarts de temps sont récapitulés dans le tableau ci-dessous (avec en rouge les systèmes les moins favorables et en vert les plus favorables:

	FFV 2010	FFV 2009	FFV 2007	SCHRS	Texel	PY USSA
HC16 no spi	-367	-408	-432	-369	-428	-340
Spit	0	-11	0	14	36	285
Viper	0	-32		4	36
F16	118	86	72	122	107	410
F18	220	97	144	133	143	444
ClassA	220	190	N/A	226	356	323
Tornado	272	236	360	272	392	640

 

Y a pas photo !

Vous pouvez retrouver tous les tableaux de calcul et des tableaux similaires a celui ci-dessus pour chaque type de bateau dans une feuille excel ici. (mis à jour avec le Viper)

Conclusion de ma comparaison chiffrée

Il ressort de ma comparaison les points suivants:

• Les handicaps sont assez différents d’un système à l’autre
• La F18 est relativement pénalisée par les systèmes à performance (FFV 2010 ou PY USSA)
• Selon le type de bateau sur lequel vous naviguez, certains systèmes sont très favorisants ou très pénalisants:
  • FX1: allez aux US ! le PY USSA vous donne l’avantage. Les autres systèmes se valent grosso modo. (a noter le système FFV 2009 était le pire du fait d’une erreur dans la taille du spi)
  • HC16: allez aux USA (PY) ou en Hollande (Texel)
  • Spit: le meilleur système est le FFV 2010, mais c’est aussi dû au fait que c’est le seul système avec le SCHRS qui prenne en compte le nouveau spi de 19m2 (mais pas sûr que ca ait eu une influence sur les stats)
  • Viper (indépendemment de son classement en F16 sur certaines épreuves): le nouveau système FFV vaut le SCHRS, le Texel n’est pas bon pour vous et vous n’existez pas dans les systèmes PY (trop récent et/ou fondu dans la F16)
  • F16: restez en France, le nouveau système vous favorise; ou allez en Hollande, le Texel y est généreux pour vous
  • F18: fuyez la France, le nouveau système est le pire pour vous avec le PY US. Courrez plutot en SCHRS ou Texel
  • Class A: restez en France ou allez aux USA, par contre le Texel vous massacre
  • Tornado: comme vos copains en ClassA, restez en France ou courrez en SCHRS, oubliez les US ou la Hollande, vous y êtes massacré aussi

  Mesures vs Statistiques : forces et faiblesses

Les deux types de systèmes se complètent et ont chacun leurs forces et faiblesses:

Systèmes à mesure:

• POUR:
  • Simplicité (quoique la formule SCHRS soit coton, le Texel est + simple et tout aussi efficace),
  • irréfutabilité, cohérence,
  • capacité à intégrer de nouveaux designs de bateaux rapidement
• CONTRE:
  • dépend de la qualité des données constructeurs ou de mesures systématiques difficiles à mettre en place,
  • ne prend pas en compte: les variabilités d’un bateau à l’autre, ni les formes de carène, ni les conditions de mer ou de vent.

  Système à statistiques:

• POUR:
  • moyenne les variabilités pas prises en compte par les mesures (cf ci dessus)
  • inclus des facteurs de modifs selon le vent
• CONTRE:
  • sportivement injuste (pénalise les bons équipages), mais l’effet est moindre pour les séries très actives avec un grand nombre de participants
  • technologiquement injuste (pénalise les bateaux récents et/ou bien concus et donc freine l’innovation des constructeurs),
  • nécessite énormément de temps pour que les données historiques soient pertinentes statistiquement (d’où impossibilité de prendre en compte de nouveaux designs),
  • Les "Portsmouth Numbers" (PN) ne sont valables *seulement* que si l’échantillon statistique est très large, l’historique conséquent. Ceci nécessite une infrastructure de collecte des données de course bien plus complexe et disciplinée que celle requise pour un système à mesure. Les systèmes PY classent d’ailleurs leur rating en 3 familles: reliable (fiable), probable, tentative (“doigt mouillé” :) )

  Conclusion: Mon opinion sur le nouveau système FFV 2010

Pas assez d’échantillons statistiques

Ma comparaison chiffrée ci-dessus me fait m’interroger fortement sur la méthode retenue pour le calcul des ratings 2010 par la FFV. En effet le système Portsmouth Yardstick aux USA ou en GB, basé sur un historique de résultats et un échantillon de courses bien plus large, donne des résultats très différents.

En effet, les "Portsmouth Numbers" (PN) ne sont valables *seulement* que si l’échantillon statistique est très large et l’historique conséquent. Ce qui n’est pas le cas du nouveau système FFV. Le PY existe lui depuis les années 50 et se base sur les résultats d’un très grand nombre de clubs et de courses, et classe les PN selon un niveau de "confiance" (reliable/probable/tentative).

Pour être valable, le système FFV de statistiques devrait utiliser des échantillons beaucoup plus larges et sur une période bien plus longue que proposé actuellement.

Cela supposerait une méthode de collecte des données très lourde et sujette à erreurs.

Approximations

Sur la base de documents d’étude de la FFV qui m’ont été communiqués, j’ai identifié des approximations discutables dans le nouveau système FFV :

• Pour le calcul de nouveaux ratings “idéaux” en corrélant des résultats de course avec des valeurs “théoriques”, tous les cata du groupe 104 sont supposés avoir un rating SCHRS de 1.035 alors que c’est faux; le FXOne est par exemple à 1.042
• La méthode de calcul des écarts de temps utilisée est approximative. Si je ne me trompe pas, il me semble que l’auteur de l’étude a fait des soustractions au lieu de la formule mathématiquement correcte que je donne ci-dessus

Pas reconnu par l’ISAF et ne respecte pas l’héritage FFV

Par ailleurs, pourquoi donc créer un nouveau système et "ré-inventer la roue" ?

D’autant plus que la FFV -en la personne de Olivier Bovyn et PC Barraud entre autres- était l’initiatrice du SCHRS (si je me réfère au topo sur http://www.schrs.com et http://www.f18-international.org).

Le SCHRS est aussi très bien accepté internationalement. S’en départir nous ferait ainsi perdre le sceau de la reconnaissance internationale offert par l’ISAF.

Ma proposition: un SCHRS simplifié ?

Je pense donc qu’un système à mesure, perçu comme plus juste sportivement par les régatiers et plus facile à maintenir en termes de collecte de données, est la voie à privilégier plutôt qu’un système à statistiques.

Si je comprends bien ce que nous dit Antoine Meunier dans un précédent message sur le forum du catamarn de sport, les difficultés dans la mise à jour du tableau FFV des ratings 2009 et son alignement avec le SCHRS ont amené à l’impasse actuelle.

Je fais donc la proposition suivante: Si on ne souhaite pas rester sur le SCHRS (pourtant la solution la plus évidente pour moi) pourquoi ne pas adopter un système simplifié, tel que le système Texel ?

Les avantages que j’y vois:

• Cohérence avec le SCHRS (voir les arguments développés ici) 
• Système indiscutablement reconnu et crédible
• Beaucoup moins de paramètres à prendre en compte et donc plus grande simplicité de maintenance (3 paramètres pour le Texel au lieu de 13 pour le SCHRS)

Voili, voilou, c’était ma contribution au sujet des ratings… j’espère ne pas vous avoir ennuyés à mort :)

This entry was posted on Lundi, janvier 4th, 2010 at 15:54 and is filed under Voile, Classe 1.04. You can follow any responses to this entry through the RSS 2.0 feed. Both comments and pings are currently closed.