Modeling, haptic control and novel concepts for musical keyboards
Modélisation, contrôle haptique et nouvelles réalisations de claviers musicaux
Résumé
The traditional acoustic piano action mechanism is composed of many different parts of wood, wool felt, leather, metal, and steel-springs. These parts form a multi-degree-of freedom system that transmits energy from the player to the hammer. In return, the action mechanism generates a specific tactile rendering that is felt by the pianist during playing. The haptic feedback is essential for a precise control of timing and loudness.
The action mechanisms used in numerical pianos are much simpler and therefore provide a poor haptic feedback. In the last few years, many developments have been carried out by keyboard manufacturers in order to improve the feeling of touch of their products. Most of these systems are not actively controlled and are based on simplified models of the dynamical behaviour of traditional pianos. According to users, improvements are still required in terms of size, performance and realism of the device.
Active systems capable of reproducing the dynamics of traditional piano have been developed as laboratory prototypes and commercial products. They are based on simplified models or pre-recorded dynamics that do not satisfactorily match the dynamical behaviour of the traditional piano key. Moreover, the size of these systems often based on electromagnetic actuators is not suitable for an industrial keyboard implementation. The resistant force provided by the traditional piano action mechanism varies from 0.5 N (the minimum force that initiates key motion), to 15 N (at fortissimo nuance). Extensive measurements of the kinematics of a grand piano action mechanism indicate that the duration of the key motion varies from 20 to 250 ms depending on the nuance whereas the key velocity varies from 0.1 m.s−1 to 0.6 m.s−1.
The main objective of this research work is to develop a novel digital keyboard capable of reproducing the behaviour of a grand piano action mechanism. It is composed of two main parts. First, the dynamics of traditional piano is studied, then the design and the control of a novel haptic interface based on magneto-rheological fluids are presented.
The dynamic model of the traditional piano action mechanism presented in this thesis takes into account the six degrees of freedom of the system under the hypothesis of rigid bodies. It is completed by the contacts and rotational links elementary models. A set of experimental procedures is used to identify the parameters of the model. Finally, a numerical simulation using Matlab/Simulink is presented.
The modelling and the identification of an original operation mode for MR fluids is presented and used for the design of the haptic interface for musical keyboards. An analytical model of the interface key is built and used to develop the control law. The mechatronic model is numerically simulated and compared to the real behaviour of the interface. Finally a real time control loop coupled to a virtual model is used to command the interface (for instance the dynamical model of the traditional piano).
The action mechanisms used in numerical pianos are much simpler and therefore provide a poor haptic feedback. In the last few years, many developments have been carried out by keyboard manufacturers in order to improve the feeling of touch of their products. Most of these systems are not actively controlled and are based on simplified models of the dynamical behaviour of traditional pianos. According to users, improvements are still required in terms of size, performance and realism of the device.
Active systems capable of reproducing the dynamics of traditional piano have been developed as laboratory prototypes and commercial products. They are based on simplified models or pre-recorded dynamics that do not satisfactorily match the dynamical behaviour of the traditional piano key. Moreover, the size of these systems often based on electromagnetic actuators is not suitable for an industrial keyboard implementation. The resistant force provided by the traditional piano action mechanism varies from 0.5 N (the minimum force that initiates key motion), to 15 N (at fortissimo nuance). Extensive measurements of the kinematics of a grand piano action mechanism indicate that the duration of the key motion varies from 20 to 250 ms depending on the nuance whereas the key velocity varies from 0.1 m.s−1 to 0.6 m.s−1.
The main objective of this research work is to develop a novel digital keyboard capable of reproducing the behaviour of a grand piano action mechanism. It is composed of two main parts. First, the dynamics of traditional piano is studied, then the design and the control of a novel haptic interface based on magneto-rheological fluids are presented.
The dynamic model of the traditional piano action mechanism presented in this thesis takes into account the six degrees of freedom of the system under the hypothesis of rigid bodies. It is completed by the contacts and rotational links elementary models. A set of experimental procedures is used to identify the parameters of the model. Finally, a numerical simulation using Matlab/Simulink is presented.
The modelling and the identification of an original operation mode for MR fluids is presented and used for the design of the haptic interface for musical keyboards. An analytical model of the interface key is built and used to develop the control law. The mechatronic model is numerically simulated and compared to the real behaviour of the interface. Finally a real time control loop coupled to a virtual model is used to command the interface (for instance the dynamical model of the traditional piano).
Le piano est reconnu comme un instrument permettant une grande expressivité musicale. Cette caractéristique est due en grande partie à la finesse dans le contrôle de l'instrument que les pianistes peuvent atteindre. Le mécanisme traditionnel présente une particularité : les éléments responsables du rayonnement sonore sont découplés du pianiste au moment de la génération de la note. Donc, le pianiste ne peut pas agir sur le son au moment ou il l'entend, le contrôle de la nuance de jeu est donc fortement conditionné par le retour tactile – que nous appèlerons toucher – fourni par l'instrument. Le toucher est donc un indicateur de la qualité du clavier.
La mécanique d'actionnement communique au marteau le mouvement imposé à la touche par le pianiste. Ce système dynamique complexe formé d'un ensemble de pièces en bois et feutre de laine, liées entre elles par des pivots et des contacts unilatéraux est responsable du toucher. Les pianos numériques actuels sont équipés de mécaniques d'actionnement simplifiées qui produisent un toucher pauvre par rapport à celui d'un piano à queue traditionnel (notamment dans la nuance piano).
L'objectif de ce travail est de concevoir un clavier numérique contrôlé capable de reproduire de manière satisfaisante le toucher d'un piano à queue. Pour cela, nous devons dans un premier temps étudier le fonctionnement de la mécanique traditionnelle puis concevoir et contrôler une interface haptique à base de fluide magnéto-rhéologique capable d'un rendu sensoriel de mêmes caractéristiques que celui d'un piano traditionnel.
Le modèle dynamique de la mécanique traditionnelle a été réalisé en tenant compte de tous les degrés de liberté du système et des comportements des liaisons pivots et des contacts unilatéraux. Un ensemble de procédures expérimentales ont permis de valider les lois de comportement utilisées dans le modèle et d'obtenir la valeur de tous les paramètres de la modélisation. Finalement, nous avons simulé numériquement le comportement du système dans le cas quasi-statique et dynamique à l'aide de Matlab/Simulink.
Par ailleurs, nous avons conçu, modélisé et identifié un nouveau mode opératoire pour fluides magnéto-rhéologiques qui fût utilisé pour la conception de l'interface haptique pour claviers musicaux. L'interface haptique a été modélisée pour obtenir la loi de commande. Cette modélisation a été validée par la comparaison de la simulation numérique du modèle avec les mesures sur le système réel. Finalement nous avons mis en place une procédure de contrôle en temps réel de l'interface qui utilise un modèle virtuel (modèle dynamique de la touche traditionnelle, par exemple) et le modèle de l'interface.
La mécanique d'actionnement communique au marteau le mouvement imposé à la touche par le pianiste. Ce système dynamique complexe formé d'un ensemble de pièces en bois et feutre de laine, liées entre elles par des pivots et des contacts unilatéraux est responsable du toucher. Les pianos numériques actuels sont équipés de mécaniques d'actionnement simplifiées qui produisent un toucher pauvre par rapport à celui d'un piano à queue traditionnel (notamment dans la nuance piano).
L'objectif de ce travail est de concevoir un clavier numérique contrôlé capable de reproduire de manière satisfaisante le toucher d'un piano à queue. Pour cela, nous devons dans un premier temps étudier le fonctionnement de la mécanique traditionnelle puis concevoir et contrôler une interface haptique à base de fluide magnéto-rhéologique capable d'un rendu sensoriel de mêmes caractéristiques que celui d'un piano traditionnel.
Le modèle dynamique de la mécanique traditionnelle a été réalisé en tenant compte de tous les degrés de liberté du système et des comportements des liaisons pivots et des contacts unilatéraux. Un ensemble de procédures expérimentales ont permis de valider les lois de comportement utilisées dans le modèle et d'obtenir la valeur de tous les paramètres de la modélisation. Finalement, nous avons simulé numériquement le comportement du système dans le cas quasi-statique et dynamique à l'aide de Matlab/Simulink.
Par ailleurs, nous avons conçu, modélisé et identifié un nouveau mode opératoire pour fluides magnéto-rhéologiques qui fût utilisé pour la conception de l'interface haptique pour claviers musicaux. L'interface haptique a été modélisée pour obtenir la loi de commande. Cette modélisation a été validée par la comparaison de la simulation numérique du modèle avec les mesures sur le système réel. Finalement nous avons mis en place une procédure de contrôle en temps réel de l'interface qui utilise un modèle virtuel (modèle dynamique de la touche traditionnelle, par exemple) et le modèle de l'interface.