How much data can we plan to upload on Wikidata infrastructure? [Was: Fwd: Re: [wikidata] [glam] [Toulouse] Projet de partenariat CNES]

classic Classic list List threaded Threaded
4 messages Options
Reply | Threaded
Open this post in threaded view
|

How much data can we plan to upload on Wikidata infrastructure? [Was: Fwd: Re: [wikidata] [glam] [Toulouse] Projet de partenariat CNES]

mathieu lovato stumpf guntz
Hello,

That might not be the most appropriate canal for this question, but I
didn't have a better idea, so please let me know if you have better
suggestion for my future demands.

So, if you read French you can read the thread bellow, but basically to
give some context to my question, we are looking at possible partnership
with spatial agencies to feed the Wikimedia world with data. Depending
on what we ask and achieve to make as agreement, the volume they could
provide would be possibly really huge, with a given example of
1Go/minute for a single satellite.

So my question is how much data should we aim at collecting, and
depending on the volume, what transfer process should we use?

Cheers



-------- Message transféré --------
Sujet : Re: [wikidata] [glam] [Toulouse] Projet de partenariat CNES
Date : Sun, 8 Apr 2018 13:06:00 +0200
De : Sébastien Dinot <[hidden email]>
Répondre à : Sébastien Dinot <[hidden email]>
Pour : Xavier Cailleau <[hidden email]>
Copie à : [hidden email], [hidden email], Liste
OSM Toulouse <[hidden email]>,
[hidden email], [hidden email],
[hidden email]



Sébastien Dinot a écrit :
> Je dois pouvoir me libérer une demi-journée :

Il est sans doute utile de préciser que je connais le projet Wikipédia
depuis
fort longtemps mais que mes contributions y sont fort modestes (quelques
corrections d'articles et quelques photos) car on ne peut pas être sur tous
les fronts à la fois (je suis un militant du logiciel libre depuis 1998
et un
militant de l'open data depuis 2009, mais essentiellement dans le périmètre
utile à la cartographie).

En outre, je ne connais pas grand chose au climat et je peux manquer de
pertinence sur le sujet.

Par conséquent, je peux rencontrer vos interlocuteurs et sans doute être
utile
par ma connaissance du CNES et des licences, mais il me semble nécessaire
d'être accompagné par quelqu'un qui connait bien mieux que moi Wikipédia et
les projets connexes.

Quels sont les objectifs de la fondation ? Obtenir des échantillons de
données
permettant d'illustrer des articles, des couvertures globales de l'Europe ou
des terres émergées, de longues séries temporelles ? Quel volume de données
est-il raisonnable d'envisager (dans le spatial, les volumes de données
produits sont impressionnants : à ma connaissance, un seul satellite
sentinel 2 transmet 12 Go de données brutes toutes les 12 minutes).

Sébastien

--
Sébastien Dinot, [hidden email]
http://sebastien.dinot.free.fr/
Ne goûtez pas au logiciel libre, vous ne pourriez plus vous en passer !

_______________________________________________
Wikitech-l mailing list
[hidden email]
https://lists.wikimedia.org/mailman/listinfo/wikitech-l
Reply | Threaded
Open this post in threaded view
|

Re: How much data can we plan to upload on Wikidata infrastructure? [Was: Fwd: Re: [wikidata] [glam] [Toulouse] Projet de partenariat CNES]

Eran Rosenthal
I'm not sure Wikidata/Wikibase is the right platform for real-time/near
real time data or such raw data from sensors.

Dependening on the usage I think the following should be considered:
* What resultion (time resolution/spatial resolution) is really needed for
readers? (Probably averaging/down sampling is required anyway)
* Consider whether Wikibase is the right platform for it, or maybe Commons
(see Help:Map_Data
<https://www.mediawiki.org/wiki/Help:Map_Data?rdfrom=commons:Help:Map_Data> and
Help:Tabular_Data
<https://www.mediawiki.org/wiki/Help:Tabular_Data?rdfrom=commons:Help:Tabular_Data>
 )

Regards,
Eran






On Mon, Oct 15, 2018 at 12:21 PM Mathieu Lovato Stumpf Guntz <
[hidden email]> wrote:

> Hello,
>
> That might not be the most appropriate canal for this question, but I
> didn't have a better idea, so please let me know if you have better
> suggestion for my future demands.
>
> So, if you read French you can read the thread bellow, but basically to
> give some context to my question, we are looking at possible partnership
> with spatial agencies to feed the Wikimedia world with data. Depending
> on what we ask and achieve to make as agreement, the volume they could
> provide would be possibly really huge, with a given example of
> 1Go/minute for a single satellite.
>
> So my question is how much data should we aim at collecting, and
> depending on the volume, what transfer process should we use?
>
> Cheers
>
>
>
> -------- Message transféré --------
> Sujet :         Re: [wikidata] [glam] [Toulouse] Projet de partenariat CNES
> Date :  Sun, 8 Apr 2018 13:06:00 +0200
> De :    Sébastien Dinot <[hidden email]>
> Répondre à :    Sébastien Dinot <[hidden email]>
> Pour :  Xavier Cailleau <[hidden email]>
> Copie à :       [hidden email], [hidden email],
> Liste
> OSM Toulouse <[hidden email]>,
> [hidden email], [hidden email],
> [hidden email]
>
>
>
> Sébastien Dinot a écrit :
> > Je dois pouvoir me libérer une demi-journée :
>
> Il est sans doute utile de préciser que je connais le projet Wikipédia
> depuis
> fort longtemps mais que mes contributions y sont fort modestes (quelques
> corrections d'articles et quelques photos) car on ne peut pas être sur tous
> les fronts à la fois (je suis un militant du logiciel libre depuis 1998
> et un
> militant de l'open data depuis 2009, mais essentiellement dans le périmètre
> utile à la cartographie).
>
> En outre, je ne connais pas grand chose au climat et je peux manquer de
> pertinence sur le sujet.
>
> Par conséquent, je peux rencontrer vos interlocuteurs et sans doute être
> utile
> par ma connaissance du CNES et des licences, mais il me semble nécessaire
> d'être accompagné par quelqu'un qui connait bien mieux que moi Wikipédia et
> les projets connexes.
>
> Quels sont les objectifs de la fondation ? Obtenir des échantillons de
> données
> permettant d'illustrer des articles, des couvertures globales de l'Europe
> ou
> des terres émergées, de longues séries temporelles ? Quel volume de données
> est-il raisonnable d'envisager (dans le spatial, les volumes de données
> produits sont impressionnants : à ma connaissance, un seul satellite
> sentinel 2 transmet 12 Go de données brutes toutes les 12 minutes).
>
> Sébastien
>
> --
> Sébastien Dinot, [hidden email]
> http://sebastien.dinot.free.fr/
> Ne goûtez pas au logiciel libre, vous ne pourriez plus vous en passer !
>
> _______________________________________________
> Wikitech-l mailing list
> [hidden email]
> https://lists.wikimedia.org/mailman/listinfo/wikitech-l
_______________________________________________
Wikitech-l mailing list
[hidden email]
https://lists.wikimedia.org/mailman/listinfo/wikitech-l
Reply | Threaded
Open this post in threaded view
|

Re: How much data can we plan to upload on Wikidata infrastructure? [Was: Fwd: Re: [wikidata] [glam] [Toulouse] Projet de partenariat CNES]

Lydia Pintscher
On Mon, Oct 15, 2018 at 12:46 PM Eran Rosenthal <[hidden email]> wrote:

> I'm not sure Wikidata/Wikibase is the right platform for real-time/near
> real time data or such raw data from sensors.
>
> Dependening on the usage I think the following should be considered:
> * What resultion (time resolution/spatial resolution) is really needed for
> readers? (Probably averaging/down sampling is required anyway)
> * Consider whether Wikibase is the right platform for it, or maybe Commons
> (see Help:Map_Data
> <https://www.mediawiki.org/wiki/Help:Map_Data?rdfrom=commons:Help:Map_Data> and
> Help:Tabular_Data
> <https://www.mediawiki.org/wiki/Help:Tabular_Data?rdfrom=commons:Help:Tabular_Data>
>  )

Yes. I agree with what Eran said. This seems like a case where you'd
not be very happy with Wikibase for all the data - but maybe a
meaningful subset of it.


Cheers
Lydia

--
Lydia Pintscher - http://about.me/lydia.pintscher
Product Manager for Wikidata

Wikimedia Deutschland e.V.
Tempelhofer Ufer 23-24
10963 Berlin
www.wikimedia.de

Wikimedia Deutschland - Gesellschaft zur Förderung Freien Wissens e. V.

Eingetragen im Vereinsregister des Amtsgerichts Berlin-Charlottenburg
unter der Nummer 23855 Nz. Als gemeinnützig anerkannt durch das
Finanzamt für Körperschaften I Berlin, Steuernummer 27/029/42207.

_______________________________________________
Wikitech-l mailing list
[hidden email]
https://lists.wikimedia.org/mailman/listinfo/wikitech-l
Reply | Threaded
Open this post in threaded view
|

Re: How much data can we plan to upload on Wikidata infrastructure? [Was: Fwd: Re: [wikidata] [glam] [Toulouse] Projet de partenariat CNES]

Daniel Kinzler-3
In reply to this post by Eran Rosenthal
Am 15.10.2018 um 12:45 schrieb Eran Rosenthal:
> I'm not sure Wikidata/Wikibase is the right platform for real-time/near
> real time data or such raw data from sensors.

Indeed. This is a very common misunderstanding. I wonder how it can be avoided.

Perhaps it would help to present Wikidata more directly as a collaborative
semantic modeling tool, rather than a data collection.

In my mind, the collaborative modeling is the important and novel thing in
Wikidata. There are better tools for collecting bulk data.

--
Daniel Kinzler
Principal Software Engineer, Core Platform
Wikimedia Foundation

_______________________________________________
Wikitech-l mailing list
[hidden email]
https://lists.wikimedia.org/mailman/listinfo/wikitech-l