jump to navigation

Intervention de Marin Dacos: résumé 29 janvier 2007

Posted by MRG in évaluation, Dacos, intervenants.
add a comment

L’évaluation et la validation de l’information scientifique en Sciences humaines et sociales : un angle mort? 

Les sciences humaines et sociales sont à un moment particulier de leur histoire. Traditionnellement, le processus qui menait le lecteur à la littérature scientifique passait par des circuits très verticaux. Avec l’introduction d’Internet, c’est désormais une nébuleuse d’autorités qui guide le lecteur. Si ce n’est pas le far-west sans foi ni loi que certains annonçaient à la fin du XXe siècle, force est de constater que les temporalités et les autorités s’y entrechoquent. Dans l’écosystème d’information scientifique tel qu’il est en train de se dessiner, un certain nombre de chaînons sont dramatiquement manquants. Malgré une accélération récente de la mise en ligne de la littérature scientifique, le corpus accessible reste partiel. La cartographie de ces ressources est, elle-même, très lacunaire. Les détenteurs d’autorité qui ont un rôle de prescripteur (enseignants-chercheurs, bibliothécaires, libraires) sont confrontés à une redéfinition si profonde de paradigme qu’ils paraissent s’effacer devant la nouvelle donne. Les instruments de repérage, de classement et d’identification sont rares et incomplets. Seuls semblent émerger les portails de contenus eux-mêmes, alors que les répertoires et les moteurs de recherche scientifiques restent marginaux. La domination de Google sur les usages est telle que le PageRank semble avoir remplacé toute autre autorité. Les moteurs de recherche scientifiques peinent à percer dans les usages des chercheurs et des étudiants. Eux-mêmes s’appuient sur des méthodes et des corpus qui ne sont, à l’heure actuelle, pas totalement satisfaisants.  Il faut dire qu’en général leurs ambitions ne peuvent se confondre avec des missions de service public. De plus, les bonnes volontés sont confrontées à l’ampleur de la tâche et à la difficulté de construire des indicateurs signifiants. Les conditions de la citabilité ne sont pas réunies de façon totalement satisfaisantes; les mesures de fréquentation des sites scientifiques sont gardées secrètes, comme autant de secrets industriels; l’usage des rétroliens, qui pourrait devenir un outil scientifique de premier ordre, est menacé par le spamdexing. Au fond, les perspectives d’avenir semblent devoir s’appuyer sur l’introduction de nouveaux instruments, l’émergence de nouvelles compétences et la mise en place de nouvelles formes éditoriales.

Intervention d’Elisabeth Noël: résumé 14 décembre 2006

Posted by MRG in évaluation, intervenants, Noel.
1 comment so far

Quelle évaluation des ressources pédagogiques ?

Sur le web, l’évaluation des ressources pédagogiques relève de la même problématique que celle de l’information : comment, à travers la multitude des sources et ressources proposées, sans filtre éditorial ni contrôle minimum de qualité, trouver LA ressource pédagogique qui pourrait correspondre aux besoins d’un enseignant, d’un formateur ou d’un étudiant ?

Les ressources pédagogiques, notion floue qu’il faudrait définir plus précisément, et, au-delà, la pédagogie elle-même, sont actuellement l’objet d’une transformation à travers le e-learning. Ainsi, plusieurs approches de normalisation tentent de décrire l’objet pédagogique selon plusieurs facettes : de l’approche purement documentaire et descriptive, avec le Lom et ses différents instanciations, à la représentation des activités pédagogiques par la scénarisation (IMS-LD), en passant par la structuration technique (SCORM).

Mais cette normalisation ne répond pas à la question de l’évaluation de la ressource. Celle-ci se base généralement sur certains éléments de description, et peut donc reposer en partie sur l’indexation, normalisée ou non. Il existe ainsi des modèles et des circuits variés d’évaluation, selon des critères divers, qui seront présentés. Ces modèles calquent les circuits traditionnels d’évaluation des articles scientifiques, avec leurs avantages et leurs inconvénients. Mais le retour d’usage de l’objet pédagogique, qui permet de mieux en cerner la spécificité, y apparaît peu. Les évolutions actuelles des systèmes d’évaluation peuvent permettre de redonner ici la parole à l’utilisateur de la ressource pédagogique.

Intervention de Manuel Durand-Barthez: résumé 14 décembre 2006

Posted by MRG in évaluation, Durand-Barthez, intervenants.
add a comment

Les nouvelles formes d’évaluation scientifique : quelles évolutions en sciences, technique et médecine ?

Dès 1960, l’Institute for Scientific Information (I.S.I.) de Philadelphie, sous l’impulsion d’Eugen Garfield, a mis en œuvre le Science Citation Index (S.C.I) pour l’évaluation des auteurs, suivi en 1975 par le Journal Citation Reports (J.C.R.) pour celle des revues.
Au terme d’une analyse critique de ce modèle, nous envisagerons de nouvelles approches :
l’algorithme mis au point sur le site Citebase par les équipes de S.Harnad à Southampton (G.-B.) et T.Brody à Cornell (Ithaca, N.-Y.) sur le miroir britannique d’ArXiv.org. (l’un des plus importants sites mondiaux d’archives ouvertes scientifiques)
Scholar Google, avatar du moteur généraliste standard lancé sur le Net en novembre 2004
deux alternatives récentes à la définition d’un facteur d’impact proposées par J.E. Hirsch (facteur h lié à la production individuelle d’un chercheur) et l’équipe de J. Bollen (Journal Status) ; donc sur les Auteurs d’une part et les Sources de l’autre
le modèle du « collectif » Faculty of 1000 dans les domaines biomédicaux. Son originalité par rapport aux précédents réside dans le primat de l’évaluation « humaine » qualitative sur le principe statistique de la citation.

Après un essai de typologie des comités de lecture et des usages en cours dans les différentes disciplines scientifiques, on conclura sur la nécessité d’explorer rapidement la voie d’un nouvel outil d’évaluation libre d’accès, dont les règles seraient clairement définies, tant au niveau de la couverture qu’à celui des critères d’analyse qualitative et statistique.

L’évaluation des publications scientifiques : du facteur d’impact à l’indice de notoriété / M. Durand-Bathez (2006) 30 novembre 2006

Posted by MRG in évaluation, Durand-Barthez, intervenants.
add a comment

http://archivesic.ccsd.cnrs.fr/sic_00083870

 Les différentes modalités d’évaluation, «classiques» et en émergence, des publications scientifiques: les modalités traditionnelles de l’évaluation des revues : «facteur d’impact» du JCR, associé à l’évaluation individuelle du SCI (Science Citation Index)… ; mécanismes, acteurs, importance, enjeux… de l’évaluation standard de la littérature scientifique. les nouvelles modalités d’évaluation de l’impact des revues et publications : par les moteurs de recherche (Google Scholar), sur les entrepôts en Open Access (CiteBase et autres statistiques sur les archives ouvertes, revues en ligne…), les enquêtes et autres recensements disciplinaires (CNRS, Faculty of 1000) etc. ; les figures, les modalités, les enjeux, mais aussi les problèmes posés par ces nouvelles formes d’évaluation et par la généralisation de «l’indice de notoriété» comme critère dominant de l’évaluation

Evaluation de l’information : le défi de la formation / Alexandre Serres (2005) 27 novembre 2006

Posted by MRG in évaluation, formation, intervenants, Serrres.
add a comment

http://archivesic.ccsd.cnrs.fr/sic_00108434 

La formation des usagers tarde encore à prendre toute la mesure des mutations et des enjeux induits par Internet sur les pratiques documentaires. Privilégiant l’utilisation maîtrisée de la bibliothèque, des catalogues et des bases de données, les formations méthodologiques sont loin de donner toute sa place à une question pourtant cruciale : celle de la capacité des usagers à identifier et à évaluer l’information, trouvée au hasard des recherches sur Internet. Il est vrai qu’il s’agit d’un problème assez nouveau, difficile à appréhender, échappant aux règles habituelles de l’univers documentaire familier des bibliothécaires. De plus, ce domaine est sans titulaire attitré : à qui revient la charge de former les étudiants et les usagers à l’évaluation de l’information ? Aux enseignants ou aux bibliothécaires ? Ou aux deux à la fois ? La question n’est pas tranchée. Dans le chantier pédagogique en plein essor de la maîtrise de l’information, constitué d’une multiplicité de thématiques plus ou moins bien définies, celle de l’évaluation de l’information apparaît ainsi comme l’une des plus difficiles à délimiter, si on la compare par exemple à la formation aux outils de recherche ou aux bases de données. Nous tâcherons de montrer que cette complexité, inhérente à l’évaluation de l’information, peut être une chance pour un projet de formation. Pourquoi et comment former ? Dans un premier temps, nous montrerons la nécessité, voire l’urgence d’une véritable formation des étudiants, mais aussi sa difficulté. Nous tâcherons ensuite, à partir de notre propre expérience de formateur, d’indiquer quelques pistes de réflexion et quelques propositions sur les objectifs et les contenus d’une telle formation.

Nouvelles technologies et organisations de travail coopératif : quelques repères / Ghislaine Chartron (1999) 23 novembre 2006

Posted by MRG in évaluation, Chartron, réseaux.
add a comment

 http://biblio-fr.info.unicaen.fr/bnum/jelec/Solaris/d01/1chartron.html

Le travail est avant tout social et non technologique ; donc c’est une vue un peu utopiste de croire que l’introduction de systèmes technologiques peut facilement modifier les modes de travail dans n’importe quelle organisation.

L’expérience montre que de nombreux projets ont échoué par une vue technologique réductrice face au problème soulevé. Les facteurs à prendre en considération sont souvent propres à chaque environnement.

On peut déjà en relever certains qui reviennent très souvent :

  • le contrôle du travail ;
  • les relations hiérarchiques entre individus ;
  • la reconnaissance sociale (motivation) ;
  • la formation technologique des individus.

Tout sur Wikipedia et les encyclopédies en ligne / Laure Endrizzi 18 octobre 2006

Posted by MRG in évaluation, Endrizzi, intervenants.
add a comment

(Report d’Urfist-Info – 25 avril 2006)

La cellule « veille scientifique et technologique » de l’Institut National de Recherche Pédagogique a mis en ligne un remarquable dossier sur Wikipedia: « L’édition de référence libre et collaborative : le cas de Wikipedia ». Ce dossier, préparé et rédigé par Laure Endrizzi, est un état des lieux très complet où Wikipedia est placée dans le paysage des encyclopédies en ligne. Le dossier est consultable en html et sous forme d’un pdf de 32 pages (la récapitulation des liens de l’article fait à elle seule plus de quatre pages serrées).

(Laure Endrizzi gère également pour l’INRP un wiki bibliographique sur les encyclopédies en ligne: ENCYCLEN – sous l’application libre Wikindx.)

MR

[via Homo-Numericus]

Citations et Facteurs d’impact : quel avenir pour l’évaluation ? / Manuel Durand-Barthez 18 octobre 2006

Posted by MRG in évaluation, Durand-Barthez, intervenants.
add a comment

(Report d’Urfist-Info – 19 avril 2006)

On connaît l’importance de la Citation comme filtre d’évaluation des publications universitaires. Elle est censée contribuer à l’avancement de la carrière d’un chercheur et/ou de l’équipe à laquelle il appartient. Elle constitue aussi un élément de l’argumentaire d’un dossier de financement pour le laboratoire concerné. Elle « devrait être » un indicateur de pertinence et de qualité du contenu du document cité.

(suite…)