Re: [Wikidata-tech] Normalization of change tag schema

classic Classic list List threaded Threaded
7 messages Options
Reply | Threaded
Open this post in threaded view
|

Re: [Wikidata-tech] Normalization of change tag schema

Amir Sarabadani
Hello,
One update regarding this.
We enabled using the new table for Special:Tags in several large wikis
which caused a massive improvement in the performance of the page. For
example loading Special:Tags on Wikidata used to take around a minute and
now it takes less than a second. English Wikipedia is down from ten seconds
to less than one and so on.

There is a lot of work needs to be done and maintenance scripts is being
ran to backpopulate the ct_tag_id column in change_tag table (If you want
to follow the progress, see https://phabricator.wikimedia.org/T193873) and
then we need start reading from the new table in mediawiki and finally we
can drop ct_tag column entirely. If you want to help in review, writing
code or anything, just let me know.

Best

On Wed, 27 Jun 2018 at 15:15, Léa Lacroix <[hidden email]> wrote:

> Hello all,
>
> Our team is refactoring some code around the change tags on Recent
> Changes. This can impact people using the database on ToolForge.
>
> Currently, the tags are stored in the table change_tag in the column
> ct_tag.
>
> In the next days, we will add a column ct_tag_id with a unique identifier
> for these tags. A new table change_tag_def that will store the tag id,
> the message, and more information like how many times this tag is used on
> the local wiki.
>
> On the long term, we plan to drop the column ct_tag since the tag will be
> identified with ct_tag_id.
>
> This change will happen on:
> - French Wikipedia: Monday July 2nd
> - All other wikis: from July 9th
>
> If there is any problem (trouble with saving edits, slow down of recent
> changes…) please  create a subtask of T185355
> <https://phabricator.wikimedia.org/T185355> or contact Ladsgroup
> <https://www.wikidata.org/wiki/User:Ladsgroup>.
>
> Cheers,
> --
> Léa Lacroix
> Project Manager Community Communication for Wikidata
>
> Wikimedia Deutschland e.V.
> Tempelhofer Ufer 23-24
> 10963 Berlin
> www.wikimedia.de
>
> Wikimedia Deutschland - Gesellschaft zur Förderung Freien Wissens e. V.
>
> Eingetragen im Vereinsregister des Amtsgerichts Berlin-Charlottenburg
> unter der Nummer 23855 Nz. Als gemeinnützig anerkannt durch das Finanzamt
> für Körperschaften I Berlin, Steuernummer 27/029/42207.
> _______________________________________________
> Wikidata-tech mailing list
> [hidden email]
> https://lists.wikimedia.org/mailman/listinfo/wikidata-tech
>


--
Amir Sarabadani
Software Engineer

Wikimedia Deutschland e. V. | Tempelhofer Ufer 23-24 | 10963 Berlin
Tel. (030) 219 158 26-0
http://wikimedia.de

Stellen Sie sich eine Welt vor, in der jeder Mensch an der Menge allen
Wissens frei teilhaben kann. Helfen Sie uns dabei!
http://spenden.wikimedia.de/

Wikimedia Deutschland – Gesellschaft zur Förderung Freien Wissens e. V.
Eingetragen im Vereinsregister des Amtsgerichts Berlin-Charlottenburg unter
der Nummer 23855 B. Als gemeinnützig anerkannt durch das Finanzamt für
Körperschaften I Berlin, Steuernummer 27/029/42207.
_______________________________________________
Wikitech-l mailing list
[hidden email]
https://lists.wikimedia.org/mailman/listinfo/wikitech-l
Reply | Threaded
Open this post in threaded view
|

Re: [Wikidata-tech] Normalization of change tag schema

Amir Sarabadani
Hey,
Using the new table as backend of Special:Tags (and similar APIs) is now
enabled everywhere. Contact me if there's any issues with that.

Best

On Wed, 25 Jul 2018 at 19:17, Amir Sarabadani <[hidden email]>
wrote:

> Hello,
> One update regarding this.
> We enabled using the new table for Special:Tags in several large wikis
> which caused a massive improvement in the performance of the page. For
> example loading Special:Tags on Wikidata used to take around a minute and
> now it takes less than a second. English Wikipedia is down from ten seconds
> to less than one and so on.
>
> There is a lot of work needs to be done and maintenance scripts is being
> ran to backpopulate the ct_tag_id column in change_tag table (If you want
> to follow the progress, see https://phabricator.wikimedia.org/T193873)
> and then we need start reading from the new table in mediawiki and finally
> we can drop ct_tag column entirely. If you want to help in review, writing
> code or anything, just let me know.
>
> Best
>
> On Wed, 27 Jun 2018 at 15:15, Léa Lacroix <[hidden email]>
> wrote:
>
>> Hello all,
>>
>> Our team is refactoring some code around the change tags on Recent
>> Changes. This can impact people using the database on ToolForge.
>>
>> Currently, the tags are stored in the table change_tag in the column
>> ct_tag.
>>
>> In the next days, we will add a column ct_tag_id with a unique
>> identifier for these tags. A new table change_tag_def that will store
>> the tag id, the message, and more information like how many times this tag
>> is used on the local wiki.
>>
>> On the long term, we plan to drop the column ct_tag since the tag will
>> be identified with ct_tag_id.
>>
>> This change will happen on:
>> - French Wikipedia: Monday July 2nd
>> - All other wikis: from July 9th
>>
>> If there is any problem (trouble with saving edits, slow down of recent
>> changes…) please  create a subtask of T185355
>> <https://phabricator.wikimedia.org/T185355> or contact Ladsgroup
>> <https://www.wikidata.org/wiki/User:Ladsgroup>.
>>
>> Cheers,
>> --
>> Léa Lacroix
>> Project Manager Community Communication for Wikidata
>>
>> Wikimedia Deutschland e.V.
>> Tempelhofer Ufer 23-24
>> 10963 Berlin
>> www.wikimedia.de
>>
>> Wikimedia Deutschland - Gesellschaft zur Förderung Freien Wissens e. V.
>>
>> Eingetragen im Vereinsregister des Amtsgerichts Berlin-Charlottenburg
>> unter der Nummer 23855 Nz. Als gemeinnützig anerkannt durch das Finanzamt
>> für Körperschaften I Berlin, Steuernummer 27/029/42207.
>> _______________________________________________
>> Wikidata-tech mailing list
>> [hidden email]
>> https://lists.wikimedia.org/mailman/listinfo/wikidata-tech
>>
>
>
> --
> Amir Sarabadani
> Software Engineer
>
> Wikimedia Deutschland e. V. | Tempelhofer Ufer 23-24 | 10963 Berlin
> Tel. (030) 219 158 26-0
> http://wikimedia.de
>
> Stellen Sie sich eine Welt vor, in der jeder Mensch an der Menge allen
> Wissens frei teilhaben kann. Helfen Sie uns dabei!
> http://spenden.wikimedia.de/
>
> Wikimedia Deutschland – Gesellschaft zur Förderung Freien Wissens e. V.
> Eingetragen im Vereinsregister des Amtsgerichts Berlin-Charlottenburg unter
> der Nummer 23855 B. Als gemeinnützig anerkannt durch das Finanzamt für
> Körperschaften I Berlin, Steuernummer 27/029/42207.
>


--
Amir Sarabadani
Software Engineer

Wikimedia Deutschland e. V. | Tempelhofer Ufer 23-24 | 10963 Berlin
Tel. (030) 219 158 26-0
http://wikimedia.de

Stellen Sie sich eine Welt vor, in der jeder Mensch an der Menge allen
Wissens frei teilhaben kann. Helfen Sie uns dabei!
http://spenden.wikimedia.de/

Wikimedia Deutschland – Gesellschaft zur Förderung Freien Wissens e. V.
Eingetragen im Vereinsregister des Amtsgerichts Berlin-Charlottenburg unter
der Nummer 23855 B. Als gemeinnützig anerkannt durch das Finanzamt für
Körperschaften I Berlin, Steuernummer 27/029/42207.
_______________________________________________
Wikitech-l mailing list
[hidden email]
https://lists.wikimedia.org/mailman/listinfo/wikitech-l
Reply | Threaded
Open this post in threaded view
|

Re: [Wikidata-tech] Normalization of change tag schema

Amir Sarabadani
And this is the load on vslow database nodes on s7:
https://grafana.wikimedia.org/dashboard/db/mysql?panelId=3&fullscreen&orgId=1&from=1532794373712&to=1532967173714&var-dc=eqiad%20prometheus%2Fops&var-server=db1090&var-port=13317

You can see similar drops on other sections from exactly the moment it got
deployed:
s1:
https://grafana.wikimedia.org/dashboard/db/mysql?panelId=3&fullscreen&orgId=1&from=1531757700702&to=1532967300702&var-dc=eqiad%20prometheus%2Fops&var-server=db1106&var-port=9104
s2:
https://grafana.wikimedia.org/dashboard/db/mysql?panelId=3&fullscreen&orgId=1&from=1532794561870&to=1532967361872&var-dc=eqiad%20prometheus%2Fops&var-server=db1090&var-port=13312

Best

On Mon, 30 Jul 2018 at 13:13, Amir Sarabadani <[hidden email]>
wrote:

> Hey,
> Using the new table as backend of Special:Tags (and similar APIs) is now
> enabled everywhere. Contact me if there's any issues with that.
>
> Best
>
> On Wed, 25 Jul 2018 at 19:17, Amir Sarabadani <
> [hidden email]> wrote:
>
>> Hello,
>> One update regarding this.
>> We enabled using the new table for Special:Tags in several large wikis
>> which caused a massive improvement in the performance of the page. For
>> example loading Special:Tags on Wikidata used to take around a minute and
>> now it takes less than a second. English Wikipedia is down from ten seconds
>> to less than one and so on.
>>
>> There is a lot of work needs to be done and maintenance scripts is being
>> ran to backpopulate the ct_tag_id column in change_tag table (If you want
>> to follow the progress, see https://phabricator.wikimedia.org/T193873)
>> and then we need start reading from the new table in mediawiki and finally
>> we can drop ct_tag column entirely. If you want to help in review, writing
>> code or anything, just let me know.
>>
>> Best
>>
>> On Wed, 27 Jun 2018 at 15:15, Léa Lacroix <[hidden email]>
>> wrote:
>>
>>> Hello all,
>>>
>>> Our team is refactoring some code around the change tags on Recent
>>> Changes. This can impact people using the database on ToolForge.
>>>
>>> Currently, the tags are stored in the table change_tag in the column
>>> ct_tag.
>>>
>>> In the next days, we will add a column ct_tag_id with a unique
>>> identifier for these tags. A new table change_tag_def that will store
>>> the tag id, the message, and more information like how many times this tag
>>> is used on the local wiki.
>>>
>>> On the long term, we plan to drop the column ct_tag since the tag will
>>> be identified with ct_tag_id.
>>>
>>> This change will happen on:
>>> - French Wikipedia: Monday July 2nd
>>> - All other wikis: from July 9th
>>>
>>> If there is any problem (trouble with saving edits, slow down of recent
>>> changes…) please  create a subtask of T185355
>>> <https://phabricator.wikimedia.org/T185355> or contact Ladsgroup
>>> <https://www.wikidata.org/wiki/User:Ladsgroup>.
>>>
>>> Cheers,
>>> --
>>> Léa Lacroix
>>> Project Manager Community Communication for Wikidata
>>>
>>> Wikimedia Deutschland e.V.
>>> Tempelhofer Ufer 23-24
>>> 10963 Berlin
>>> www.wikimedia.de
>>>
>>> Wikimedia Deutschland - Gesellschaft zur Förderung Freien Wissens e. V.
>>>
>>> Eingetragen im Vereinsregister des Amtsgerichts Berlin-Charlottenburg
>>> unter der Nummer 23855 Nz. Als gemeinnützig anerkannt durch das Finanzamt
>>> für Körperschaften I Berlin, Steuernummer 27/029/42207.
>>> _______________________________________________
>>> Wikidata-tech mailing list
>>> [hidden email]
>>> https://lists.wikimedia.org/mailman/listinfo/wikidata-tech
>>>
>>
>>
>> --
>> Amir Sarabadani
>> Software Engineer
>>
>> Wikimedia Deutschland e. V. | Tempelhofer Ufer 23-24 | 10963 Berlin
>> Tel. (030) 219 158 26-0
>> http://wikimedia.de
>>
>> Stellen Sie sich eine Welt vor, in der jeder Mensch an der Menge allen
>> Wissens frei teilhaben kann. Helfen Sie uns dabei!
>> http://spenden.wikimedia.de/
>>
>> Wikimedia Deutschland – Gesellschaft zur Förderung Freien Wissens e. V.
>> Eingetragen im Vereinsregister des Amtsgerichts Berlin-Charlottenburg unter
>> der Nummer 23855 B. Als gemeinnützig anerkannt durch das Finanzamt für
>> Körperschaften I Berlin, Steuernummer 27/029/42207.
>>
>
>
> --
> Amir Sarabadani
> Software Engineer
>
> Wikimedia Deutschland e. V. | Tempelhofer Ufer 23-24 | 10963 Berlin
> Tel. (030) 219 158 26-0
> http://wikimedia.de
>
> Stellen Sie sich eine Welt vor, in der jeder Mensch an der Menge allen
> Wissens frei teilhaben kann. Helfen Sie uns dabei!
> http://spenden.wikimedia.de/
>
> Wikimedia Deutschland – Gesellschaft zur Förderung Freien Wissens e. V.
> Eingetragen im Vereinsregister des Amtsgerichts Berlin-Charlottenburg unter
> der Nummer 23855 B. Als gemeinnützig anerkannt durch das Finanzamt für
> Körperschaften I Berlin, Steuernummer 27/029/42207.
>


--
Amir Sarabadani
Software Engineer

Wikimedia Deutschland e. V. | Tempelhofer Ufer 23-24 | 10963 Berlin
Tel. (030) 219 158 26-0
http://wikimedia.de

Stellen Sie sich eine Welt vor, in der jeder Mensch an der Menge allen
Wissens frei teilhaben kann. Helfen Sie uns dabei!
http://spenden.wikimedia.de/

Wikimedia Deutschland – Gesellschaft zur Förderung Freien Wissens e. V.
Eingetragen im Vereinsregister des Amtsgerichts Berlin-Charlottenburg unter
der Nummer 23855 B. Als gemeinnützig anerkannt durch das Finanzamt für
Körperschaften I Berlin, Steuernummer 27/029/42207.
_______________________________________________
Wikitech-l mailing list
[hidden email]
https://lists.wikimedia.org/mailman/listinfo/wikitech-l
Reply | Threaded
Open this post in threaded view
|

Re: [Wikidata-tech] Normalization of change tag schema

Jaime Crespo
Awesome news, Amir,

You made some function calls one million times faster, making contributors
happier and making available resources that can now be used for other
mission-related tasks. That also made, at least, WMF DBAs very happy!

Cheers,

On Mon, Jul 30, 2018 at 6:22 PM Amir Sarabadani <
[hidden email]> wrote:

> And this is the load on vslow database nodes on s7:
>
> https://grafana.wikimedia.org/dashboard/db/mysql?panelId=3&fullscreen&orgId=1&from=1532794373712&to=1532967173714&var-dc=eqiad%20prometheus%2Fops&var-server=db1090&var-port=13317
>
> You can see similar drops on other sections from exactly the moment it got
> deployed:
> s1:
>
> https://grafana.wikimedia.org/dashboard/db/mysql?panelId=3&fullscreen&orgId=1&from=1531757700702&to=1532967300702&var-dc=eqiad%20prometheus%2Fops&var-server=db1106&var-port=9104
> s2
> <https://grafana.wikimedia.org/dashboard/db/mysql?panelId=3&fullscreen&orgId=1&from=1531757700702&to=1532967300702&var-dc=eqiad%20prometheus%2Fops&var-server=db1106&var-port=9104s2>
> :
>
> https://grafana.wikimedia.org/dashboard/db/mysql?panelId=3&fullscreen&orgId=1&from=1532794561870&to=1532967361872&var-dc=eqiad%20prometheus%2Fops&var-server=db1090&var-port=13312
>
> Best
>
> On Mon, 30 Jul 2018 at 13:13, Amir Sarabadani <
> [hidden email]>
> wrote:
>
> > Hey,
> > Using the new table as backend of Special:Tags (and similar APIs) is now
> > enabled everywhere. Contact me if there's any issues with that.
> >
> > Best
> >
> > On Wed, 25 Jul 2018 at 19:17, Amir Sarabadani <
> > [hidden email]> wrote:
> >
> >> Hello,
> >> One update regarding this.
> >> We enabled using the new table for Special:Tags in several large wikis
> >> which caused a massive improvement in the performance of the page. For
> >> example loading Special:Tags on Wikidata used to take around a minute
> and
> >> now it takes less than a second. English Wikipedia is down from ten
> seconds
> >> to less than one and so on.
> >>
> >> There is a lot of work needs to be done and maintenance scripts is being
> >> ran to backpopulate the ct_tag_id column in change_tag table (If you
> want
> >> to follow the progress, see https://phabricator.wikimedia.org/T193873)
> >> and then we need start reading from the new table in mediawiki and
> finally
> >> we can drop ct_tag column entirely. If you want to help in review,
> writing
> >> code or anything, just let me know.
> >>
> >> Best
> >>
> >> On Wed, 27 Jun 2018 at 15:15, Léa Lacroix <[hidden email]>
> >> wrote:
> >>
> >>> Hello all,
> >>>
> >>> Our team is refactoring some code around the change tags on Recent
> >>> Changes. This can impact people using the database on ToolForge.
> >>>
> >>> Currently, the tags are stored in the table change_tag in the column
> >>> ct_tag.
> >>>
> >>> In the next days, we will add a column ct_tag_id with a unique
> >>> identifier for these tags. A new table change_tag_def that will store
> >>> the tag id, the message, and more information like how many times this
> tag
> >>> is used on the local wiki.
> >>>
> >>> On the long term, we plan to drop the column ct_tag since the tag will
> >>> be identified with ct_tag_id.
> >>>
> >>> This change will happen on:
> >>> - French Wikipedia: Monday July 2nd
> >>> - All other wikis: from July 9th
> >>>
> >>> If there is any problem (trouble with saving edits, slow down of recent
> >>> changes…) please  create a subtask of T185355
> >>> <https://phabricator.wikimedia.org/T185355> or contact Ladsgroup
> >>> <https://www.wikidata.org/wiki/User:Ladsgroup>.
> >>>
> >>> Cheers,
> >>> --
> >>> Léa Lacroix
> >>> Project Manager Community Communication for Wikidata
> >>>
> >>> Wikimedia Deutschland e.V.
> >>> Tempelhofer Ufer 23-24
> >>> 10963 Berlin
> >>> www.wikimedia.de
> >>>
> >>> Wikimedia Deutschland - Gesellschaft zur Förderung Freien Wissens e. V.
> >>>
> >>> Eingetragen im Vereinsregister des Amtsgerichts Berlin-Charlottenburg
> >>> unter der Nummer 23855 Nz. Als gemeinnützig anerkannt durch das
> Finanzamt
> >>> für Körperschaften I Berlin, Steuernummer 27/029/42207.
> >>> _______________________________________________
> >>> Wikidata-tech mailing list
> >>> [hidden email]
> >>> https://lists.wikimedia.org/mailman/listinfo/wikidata-tech
> >>>
> >>
> >>
> >> --
> >> Amir Sarabadani
> >> Software Engineer
> >>
> >> Wikimedia Deutschland e. V. | Tempelhofer Ufer 23-24 | 10963 Berlin
> >> Tel. (030) 219 158 26-0
> >> http://wikimedia.de
> >>
> >> Stellen Sie sich eine Welt vor, in der jeder Mensch an der Menge allen
> >> Wissens frei teilhaben kann. Helfen Sie uns dabei!
> >> http://spenden.wikimedia.de/
> >>
> >> Wikimedia Deutschland – Gesellschaft zur Förderung Freien Wissens e. V.
> >> Eingetragen im Vereinsregister des Amtsgerichts Berlin-Charlottenburg
> unter
> >> der Nummer 23855 B. Als gemeinnützig anerkannt durch das Finanzamt für
> >> Körperschaften I Berlin, Steuernummer 27/029/42207.
> >>
> >
> >
> > --
> > Amir Sarabadani
> > Software Engineer
> >
> > Wikimedia Deutschland e. V. | Tempelhofer Ufer 23-24 | 10963 Berlin
> > Tel. (030) 219 158 26-0
> > http://wikimedia.de
> >
> > Stellen Sie sich eine Welt vor, in der jeder Mensch an der Menge allen
> > Wissens frei teilhaben kann. Helfen Sie uns dabei!
> > http://spenden.wikimedia.de/
> >
> > Wikimedia Deutschland – Gesellschaft zur Förderung Freien Wissens e. V.
> > Eingetragen im Vereinsregister des Amtsgerichts Berlin-Charlottenburg
> unter
> > der Nummer 23855 B. Als gemeinnützig anerkannt durch das Finanzamt für
> > Körperschaften I Berlin, Steuernummer 27/029/42207.
> >
>
>
> --
> Amir Sarabadani
> Software Engineer
>
> Wikimedia Deutschland e. V. | Tempelhofer Ufer 23-24 | 10963 Berlin
> Tel. (030) 219 158 26-0
> http://wikimedia.de
>
> Stellen Sie sich eine Welt vor, in der jeder Mensch an der Menge allen
> Wissens frei teilhaben kann. Helfen Sie uns dabei!
> http://spenden.wikimedia.de/
>
> Wikimedia Deutschland – Gesellschaft zur Förderung Freien Wissens e. V.
> Eingetragen im Vereinsregister des Amtsgerichts Berlin-Charlottenburg unter
> der Nummer 23855 B. Als gemeinnützig anerkannt durch das Finanzamt für
> Körperschaften I Berlin, Steuernummer 27/029/42207.
> _______________________________________________
> Wikitech-l mailing list
> [hidden email]
> https://lists.wikimedia.org/mailman/listinfo/wikitech-l



--
Jaime Crespo
<http://wikimedia.org>
_______________________________________________
Wikitech-l mailing list
[hidden email]
https://lists.wikimedia.org/mailman/listinfo/wikitech-l
Reply | Threaded
Open this post in threaded view
|

Re: [Wikidata-tech] Normalization of change tag schema

Derk-Jan Hartman
In reply to this post by Amir Sarabadani
That is an impressive difference !

On Mon, Jul 30, 2018 at 6:22 PM Amir Sarabadani <
[hidden email]> wrote:

> And this is the load on vslow database nodes on s7:
>
> https://grafana.wikimedia.org/dashboard/db/mysql?panelId=3&fullscreen&orgId=1&from=1532794373712&to=1532967173714&var-dc=eqiad%20prometheus%2Fops&var-server=db1090&var-port=13317
>
> You can see similar drops on other sections from exactly the moment it got
> deployed:
> s1:
>
> https://grafana.wikimedia.org/dashboard/db/mysql?panelId=3&fullscreen&orgId=1&from=1531757700702&to=1532967300702&var-dc=eqiad%20prometheus%2Fops&var-server=db1106&var-port=9104
> s2
> <https://grafana.wikimedia.org/dashboard/db/mysql?panelId=3&fullscreen&orgId=1&from=1531757700702&to=1532967300702&var-dc=eqiad%20prometheus%2Fops&var-server=db1106&var-port=9104s2>
> :
>
> https://grafana.wikimedia.org/dashboard/db/mysql?panelId=3&fullscreen&orgId=1&from=1532794561870&to=1532967361872&var-dc=eqiad%20prometheus%2Fops&var-server=db1090&var-port=13312
>
> Best
>
> On Mon, 30 Jul 2018 at 13:13, Amir Sarabadani <
> [hidden email]>
> wrote:
>
> > Hey,
> > Using the new table as backend of Special:Tags (and similar APIs) is now
> > enabled everywhere. Contact me if there's any issues with that.
> >
> > Best
> >
> > On Wed, 25 Jul 2018 at 19:17, Amir Sarabadani <
> > [hidden email]> wrote:
> >
> >> Hello,
> >> One update regarding this.
> >> We enabled using the new table for Special:Tags in several large wikis
> >> which caused a massive improvement in the performance of the page. For
> >> example loading Special:Tags on Wikidata used to take around a minute
> and
> >> now it takes less than a second. English Wikipedia is down from ten
> seconds
> >> to less than one and so on.
> >>
> >> There is a lot of work needs to be done and maintenance scripts is being
> >> ran to backpopulate the ct_tag_id column in change_tag table (If you
> want
> >> to follow the progress, see https://phabricator.wikimedia.org/T193873)
> >> and then we need start reading from the new table in mediawiki and
> finally
> >> we can drop ct_tag column entirely. If you want to help in review,
> writing
> >> code or anything, just let me know.
> >>
> >> Best
> >>
> >> On Wed, 27 Jun 2018 at 15:15, Léa Lacroix <[hidden email]>
> >> wrote:
> >>
> >>> Hello all,
> >>>
> >>> Our team is refactoring some code around the change tags on Recent
> >>> Changes. This can impact people using the database on ToolForge.
> >>>
> >>> Currently, the tags are stored in the table change_tag in the column
> >>> ct_tag.
> >>>
> >>> In the next days, we will add a column ct_tag_id with a unique
> >>> identifier for these tags. A new table change_tag_def that will store
> >>> the tag id, the message, and more information like how many times this
> tag
> >>> is used on the local wiki.
> >>>
> >>> On the long term, we plan to drop the column ct_tag since the tag will
> >>> be identified with ct_tag_id.
> >>>
> >>> This change will happen on:
> >>> - French Wikipedia: Monday July 2nd
> >>> - All other wikis: from July 9th
> >>>
> >>> If there is any problem (trouble with saving edits, slow down of recent
> >>> changes…) please  create a subtask of T185355
> >>> <https://phabricator.wikimedia.org/T185355> or contact Ladsgroup
> >>> <https://www.wikidata.org/wiki/User:Ladsgroup>.
> >>>
> >>> Cheers,
> >>> --
> >>> Léa Lacroix
> >>> Project Manager Community Communication for Wikidata
> >>>
> >>> Wikimedia Deutschland e.V.
> >>> Tempelhofer Ufer 23-24
> >>> 10963 Berlin
> >>> www.wikimedia.de
> >>>
> >>> Wikimedia Deutschland - Gesellschaft zur Förderung Freien Wissens e. V.
> >>>
> >>> Eingetragen im Vereinsregister des Amtsgerichts Berlin-Charlottenburg
> >>> unter der Nummer 23855 Nz. Als gemeinnützig anerkannt durch das
> Finanzamt
> >>> für Körperschaften I Berlin, Steuernummer 27/029/42207.
> >>> _______________________________________________
> >>> Wikidata-tech mailing list
> >>> [hidden email]
> >>> https://lists.wikimedia.org/mailman/listinfo/wikidata-tech
> >>>
> >>
> >>
> >> --
> >> Amir Sarabadani
> >> Software Engineer
> >>
> >> Wikimedia Deutschland e. V. | Tempelhofer Ufer 23-24 | 10963 Berlin
> >> Tel. (030) 219 158 26-0
> >> http://wikimedia.de
> >>
> >> Stellen Sie sich eine Welt vor, in der jeder Mensch an der Menge allen
> >> Wissens frei teilhaben kann. Helfen Sie uns dabei!
> >> http://spenden.wikimedia.de/
> >>
> >> Wikimedia Deutschland – Gesellschaft zur Förderung Freien Wissens e. V.
> >> Eingetragen im Vereinsregister des Amtsgerichts Berlin-Charlottenburg
> unter
> >> der Nummer 23855 B. Als gemeinnützig anerkannt durch das Finanzamt für
> >> Körperschaften I Berlin, Steuernummer 27/029/42207.
> >>
> >
> >
> > --
> > Amir Sarabadani
> > Software Engineer
> >
> > Wikimedia Deutschland e. V. | Tempelhofer Ufer 23-24 | 10963 Berlin
> > Tel. (030) 219 158 26-0
> > http://wikimedia.de
> >
> > Stellen Sie sich eine Welt vor, in der jeder Mensch an der Menge allen
> > Wissens frei teilhaben kann. Helfen Sie uns dabei!
> > http://spenden.wikimedia.de/
> >
> > Wikimedia Deutschland – Gesellschaft zur Förderung Freien Wissens e. V.
> > Eingetragen im Vereinsregister des Amtsgerichts Berlin-Charlottenburg
> unter
> > der Nummer 23855 B. Als gemeinnützig anerkannt durch das Finanzamt für
> > Körperschaften I Berlin, Steuernummer 27/029/42207.
> >
>
>
> --
> Amir Sarabadani
> Software Engineer
>
> Wikimedia Deutschland e. V. | Tempelhofer Ufer 23-24 | 10963 Berlin
> Tel. (030) 219 158 26-0
> http://wikimedia.de
>
> Stellen Sie sich eine Welt vor, in der jeder Mensch an der Menge allen
> Wissens frei teilhaben kann. Helfen Sie uns dabei!
> http://spenden.wikimedia.de/
>
> Wikimedia Deutschland – Gesellschaft zur Förderung Freien Wissens e. V.
> Eingetragen im Vereinsregister des Amtsgerichts Berlin-Charlottenburg unter
> der Nummer 23855 B. Als gemeinnützig anerkannt durch das Finanzamt für
> Körperschaften I Berlin, Steuernummer 27/029/42207.
> _______________________________________________
> Wikitech-l mailing list
> [hidden email]
> https://lists.wikimedia.org/mailman/listinfo/wikitech-l
_______________________________________________
Wikitech-l mailing list
[hidden email]
https://lists.wikimedia.org/mailman/listinfo/wikitech-l
Reply | Threaded
Open this post in threaded view
|

Re: [Wikidata-tech] Normalization of change tag schema

Jon Robson-2
👏👏👏👏👏

On Tue, Jul 31, 2018, 3:42 AM Derk-Jan Hartman <[hidden email]>
wrote:

> That is an impressive difference !
>
> On Mon, Jul 30, 2018 at 6:22 PM Amir Sarabadani <
> [hidden email]> wrote:
>
> > And this is the load on vslow database nodes on s7:
> >
> >
> https://grafana.wikimedia.org/dashboard/db/mysql?panelId=3&fullscreen&orgId=1&from=1532794373712&to=1532967173714&var-dc=eqiad%20prometheus%2Fops&var-server=db1090&var-port=13317
> >
> > You can see similar drops on other sections from exactly the moment it
> got
> > deployed:
> > s1:
> >
> >
> https://grafana.wikimedia.org/dashboard/db/mysql?panelId=3&fullscreen&orgId=1&from=1531757700702&to=1532967300702&var-dc=eqiad%20prometheus%2Fops&var-server=db1106&var-port=9104
> > s2
> > <
> https://grafana.wikimedia.org/dashboard/db/mysql?panelId=3&fullscreen&orgId=1&from=1531757700702&to=1532967300702&var-dc=eqiad%20prometheus%2Fops&var-server=db1106&var-port=9104s2
> >
> > :
> >
> >
> https://grafana.wikimedia.org/dashboard/db/mysql?panelId=3&fullscreen&orgId=1&from=1532794561870&to=1532967361872&var-dc=eqiad%20prometheus%2Fops&var-server=db1090&var-port=13312
> >
> > Best
> >
> > On Mon, 30 Jul 2018 at 13:13, Amir Sarabadani <
> > [hidden email]>
> > wrote:
> >
> > > Hey,
> > > Using the new table as backend of Special:Tags (and similar APIs) is
> now
> > > enabled everywhere. Contact me if there's any issues with that.
> > >
> > > Best
> > >
> > > On Wed, 25 Jul 2018 at 19:17, Amir Sarabadani <
> > > [hidden email]> wrote:
> > >
> > >> Hello,
> > >> One update regarding this.
> > >> We enabled using the new table for Special:Tags in several large wikis
> > >> which caused a massive improvement in the performance of the page. For
> > >> example loading Special:Tags on Wikidata used to take around a minute
> > and
> > >> now it takes less than a second. English Wikipedia is down from ten
> > seconds
> > >> to less than one and so on.
> > >>
> > >> There is a lot of work needs to be done and maintenance scripts is
> being
> > >> ran to backpopulate the ct_tag_id column in change_tag table (If you
> > want
> > >> to follow the progress, see https://phabricator.wikimedia.org/T193873
> )
> > >> and then we need start reading from the new table in mediawiki and
> > finally
> > >> we can drop ct_tag column entirely. If you want to help in review,
> > writing
> > >> code or anything, just let me know.
> > >>
> > >> Best
> > >>
> > >> On Wed, 27 Jun 2018 at 15:15, Léa Lacroix <[hidden email]>
> > >> wrote:
> > >>
> > >>> Hello all,
> > >>>
> > >>> Our team is refactoring some code around the change tags on Recent
> > >>> Changes. This can impact people using the database on ToolForge.
> > >>>
> > >>> Currently, the tags are stored in the table change_tag in the column
> > >>> ct_tag.
> > >>>
> > >>> In the next days, we will add a column ct_tag_id with a unique
> > >>> identifier for these tags. A new table change_tag_def that will store
> > >>> the tag id, the message, and more information like how many times
> this
> > tag
> > >>> is used on the local wiki.
> > >>>
> > >>> On the long term, we plan to drop the column ct_tag since the tag
> will
> > >>> be identified with ct_tag_id.
> > >>>
> > >>> This change will happen on:
> > >>> - French Wikipedia: Monday July 2nd
> > >>> - All other wikis: from July 9th
> > >>>
> > >>> If there is any problem (trouble with saving edits, slow down of
> recent
> > >>> changes…) please  create a subtask of T185355
> > >>> <https://phabricator.wikimedia.org/T185355> or contact Ladsgroup
> > >>> <https://www.wikidata.org/wiki/User:Ladsgroup>.
> > >>>
> > >>> Cheers,
> > >>> --
> > >>> Léa Lacroix
> > >>> Project Manager Community Communication for Wikidata
> > >>>
> > >>> Wikimedia Deutschland e.V.
> > >>> Tempelhofer Ufer 23-24
> > >>> 10963 Berlin
> > >>> www.wikimedia.de
> > >>>
> > >>> Wikimedia Deutschland - Gesellschaft zur Förderung Freien Wissens e.
> V.
> > >>>
> > >>> Eingetragen im Vereinsregister des Amtsgerichts Berlin-Charlottenburg
> > >>> unter der Nummer 23855 Nz. Als gemeinnützig ane
> <https://maps.google.com/?q=s+gemeinn%C3%BCtzig+ane&entry=gmail&source=g>rkannt
> durch das
> > Finanzamt
> > >>> für Körperschaften I Berlin, Steuernummer 27/029/42207.
> > >>> _______________________________________________
> > >>> Wikidata-tech mailing list
> > >>> [hidden email]
> > >>> https://lists.wikimedia.org/mailman/listinfo/wikidata-tech
> > >>>
> > >>
> > >>
> > >> --
> > >> Amir Sarabadani
> > >> Software Engineer
> > >>
> > >> Wikimedia Deutschland e. V. | Tempelhofer Ufer 23-24 | 10963 Berlin
> > >> Tel. (030) 219 158 26-0
> > >> http://wikimedia.de
> > >>
> > >> Stellen Sie sich eine Welt vor, in der jeder Mensch an der Menge allen
> > >> Wissens frei teilhabe
> <https://maps.google.com/?q=ssens+frei+teilhabe&entry=gmail&source=g>n
> kann. Helfen Sie uns dabei!
> > >> http://spenden.wikimedia.de/
> > >>
> > >> Wikimedia Deutschland – Gesellschaft zur Förderung Freien Wissens e.
> V.
> > >> Eingetragen im Vereinsregister des Amtsgerichts Berlin-Charlottenburg
> > unter
> > >> der Nummer 23855 B. Als gemeinnützig anerkannt durch das Finanzamt für
> > >> Körperschaften I Berlin, Steuernummer 27/029/42207.
> > >>
> > >
> > >
> > > --
> > > Amir Sarabadani
> > > Software Engineer
> > >
> > > Wikimedia Deutschland e. V. | Tempelhofer Ufer 23-24 | 10963 Berlin
> > > Tel. (030) 219 158 26-0
> > > http://wikimedia.de
> > >
> > > Stellen Sie sich eine W
> <https://maps.google.com/?q=len+Sie+sich+eine+W&entry=gmail&source=g>elt
> vor, in der jeder Mensch an der Menge allen
> > > Wissens frei teilhaben kann. Helfen Sie uns dabei!
> > > http://spenden.wikimedia.de/
> > >
> > > Wikimedia Deutschland – Gesellschaft zur Förderung Freien Wissens e. V.
> > > Eingetragen im Vereinsregister des Amtsgerichts Berlin-Charlottenburg
> > unter
> > > der Nummer 23855 B. Als gemeinnützig anerkannt durch das Finanzamt für
> > > Körperschaften I Berlin, Steuernummer 27/029/42207.
> > >
> >
> >
> > --
> > Amir Sarabadani
> > Software Engineer
> >
> > Wikimedia Deutschland e. V. | Tempelhofer Ufer 23-24 | 10963 Berlin
> > Tel. (030) 219 158 26-0
> > http://wikimedia.de
> >
> > Stellen Sie sich eine Welt vor, in der jeder Mensch an der Menge allen
> > Wissens frei teilhaben kann. Helfen Sie uns dabei!
> > http://spenden.wikimedia.de/
> >
> > Wikimedia Deutschland – Gesellschaft zur Förderung Freien Wissens e. V.
> > Eingetragen im Vereinsregister des Amtsgerichts Berlin-Charlottenburg
> unter
> > der Nummer 23855 B. Als gemeinnützig anerkannt durch das Finanzamt für
> > Körperschaften I Berlin, Steuernummer 27/029/42207.
> > _______________________________________________
> > Wikitech-l mailing list
> > [hidden email]
> > https://lists.wikimedia.org/mailman/listinfo/wikitech-l
> _______________________________________________
> Wikitech-l mailing list
> [hidden email]
> https://lists.wikimedia.org/mailman/listinfo/wikitech-l
_______________________________________________
Wikitech-l mailing list
[hidden email]
https://lists.wikimedia.org/mailman/listinfo/wikitech-l
Reply | Threaded
Open this post in threaded view
|

Re: [Wikidata-tech] Normalization of change tag schema

Amir Sarabadani
Hello,
One other update regarding this: We just set reading to use the new change
tag backend (and stop writing to ct_tag column) in mediawiki.org, test
wikis and several other small wikis. This means if you are depending on
ct_tag column, your tool/service will be broken soon.

Also, since this changes queries of recentChanges, watchlist, User
contributions, history action, a handful of API modules and some other
special pages, let us know if anything in that regard doesn't look right to
you. Dear developers, keep this in mind if something pops up in logs or
tendril.

We are planning to move forward on bigger wikis next week.

Best

On Tue, 31 Jul 2018 at 09:19, Jon Robson <[hidden email]> wrote:

> 👏👏👏👏👏
>
> On Tue, Jul 31, 2018, 3:42 AM Derk-Jan Hartman <
> [hidden email]>
> wrote:
>
> > That is an impressive difference !
> >
> > On Mon, Jul 30, 2018 at 6:22 PM Amir Sarabadani <
> > [hidden email]> wrote:
> >
> > > And this is the load on vslow database nodes on s7:
> > >
> > >
> >
> https://grafana.wikimedia.org/dashboard/db/mysql?panelId=3&fullscreen&orgId=1&from=1532794373712&to=1532967173714&var-dc=eqiad%20prometheus%2Fops&var-server=db1090&var-port=13317
> > >
> > > You can see similar drops on other sections from exactly the moment it
> > got
> > > deployed:
> > > s1:
> > >
> > >
> >
> https://grafana.wikimedia.org/dashboard/db/mysql?panelId=3&fullscreen&orgId=1&from=1531757700702&to=1532967300702&var-dc=eqiad%20prometheus%2Fops&var-server=db1106&var-port=9104
> > > s2
> > > <
> >
> https://grafana.wikimedia.org/dashboard/db/mysql?panelId=3&fullscreen&orgId=1&from=1531757700702&to=1532967300702&var-dc=eqiad%20prometheus%2Fops&var-server=db1106&var-port=9104s2
> > >
> > > :
> > >
> > >
> >
> https://grafana.wikimedia.org/dashboard/db/mysql?panelId=3&fullscreen&orgId=1&from=1532794561870&to=1532967361872&var-dc=eqiad%20prometheus%2Fops&var-server=db1090&var-port=13312
> > >
> > > Best
> > >
> > > On Mon, 30 Jul 2018 at 13:13, Amir Sarabadani <
> > > [hidden email]>
> > > wrote:
> > >
> > > > Hey,
> > > > Using the new table as backend of Special:Tags (and similar APIs) is
> > now
> > > > enabled everywhere. Contact me if there's any issues with that.
> > > >
> > > > Best
> > > >
> > > > On Wed, 25 Jul 2018 at 19:17, Amir Sarabadani <
> > > > [hidden email]> wrote:
> > > >
> > > >> Hello,
> > > >> One update regarding this.
> > > >> We enabled using the new table for Special:Tags in several large
> wikis
> > > >> which caused a massive improvement in the performance of the page.
> For
> > > >> example loading Special:Tags on Wikidata used to take around a
> minute
> > > and
> > > >> now it takes less than a second. English Wikipedia is down from ten
> > > seconds
> > > >> to less than one and so on.
> > > >>
> > > >> There is a lot of work needs to be done and maintenance scripts is
> > being
> > > >> ran to backpopulate the ct_tag_id column in change_tag table (If you
> > > want
> > > >> to follow the progress, see
> https://phabricator.wikimedia.org/T193873
> > )
> > > >> and then we need start reading from the new table in mediawiki and
> > > finally
> > > >> we can drop ct_tag column entirely. If you want to help in review,
> > > writing
> > > >> code or anything, just let me know.
> > > >>
> > > >> Best
> > > >>
> > > >> On Wed, 27 Jun 2018 at 15:15, Léa Lacroix <[hidden email]
> >
> > > >> wrote:
> > > >>
> > > >>> Hello all,
> > > >>>
> > > >>> Our team is refactoring some code around the change tags on Recent
> > > >>> Changes. This can impact people using the database on ToolForge.
> > > >>>
> > > >>> Currently, the tags are stored in the table change_tag in the
> column
> > > >>> ct_tag.
> > > >>>
> > > >>> In the next days, we will add a column ct_tag_id with a unique
> > > >>> identifier for these tags. A new table change_tag_def that will
> store
> > > >>> the tag id, the message, and more information like how many times
> > this
> > > tag
> > > >>> is used on the local wiki.
> > > >>>
> > > >>> On the long term, we plan to drop the column ct_tag since the tag
> > will
> > > >>> be identified with ct_tag_id.
> > > >>>
> > > >>> This change will happen on:
> > > >>> - French Wikipedia: Monday July 2nd
> > > >>> - All other wikis: from July 9th
> > > >>>
> > > >>> If there is any problem (trouble with saving edits, slow down of
> > recent
> > > >>> changes…) please  create a subtask of T185355
> > > >>> <https://phabricator.wikimedia.org/T185355> or contact Ladsgroup
> > > >>> <https://www.wikidata.org/wiki/User:Ladsgroup>.
> > > >>>
> > > >>> Cheers,
> > > >>> --
> > > >>> Léa Lacroix
> > > >>> Project Manager Community Communication for Wikidata
> > > >>>
> > > >>> Wikimedia Deutschland e.V.
> > > >>> Tempelhofer Ufer 23-24
> > > >>> 10963 Berlin
> > > >>> www.wikimedia.de
> > > >>>
> > > >>> Wikimedia Deutschland - Gesellschaft zur Förderung Freien Wissens
> e.
> > V.
> > > >>>
> > > >>> Eingetragen im Vereinsregister des Amtsgerichts
> Berlin-Charlottenburg
> > > >>> unter der Nummer 23855 Nz. Als gemeinnützig ane
> > <https://maps.google.com/?q=s+gemeinn%C3%BCtzig+ane&entry=gmail&source=g
> >rkannt
> > durch das
> > > Finanzamt
> > > >>> für Körperschaften I Berlin, Steuernummer 27/029/42207.
> > > >>> _______________________________________________
> > > >>> Wikidata-tech mailing list
> > > >>> [hidden email]
> > > >>> https://lists.wikimedia.org/mailman/listinfo/wikidata-tech
> > > >>>
> > > >>
> > > >>
> > > >> --
> > > >> Amir Sarabadani
> > > >> Software Engineer
> > > >>
> > > >> Wikimedia Deutschland e. V. | Tempelhofer Ufer 23-24 | 10963 Berlin
> > > >> Tel. (030) 219 158 26-0
> > > >> http://wikimedia.de
> > > >>
> > > >> Stellen Sie sich eine Welt vor, in der jeder Mensch an der Menge
> allen
> > > >> Wissens frei teilhabe
> > <https://maps.google.com/?q=ssens+frei+teilhabe&entry=gmail&source=g>n
> > kann. Helfen Sie uns dabei!
> > > >> http://spenden.wikimedia.de/
> > > >>
> > > >> Wikimedia Deutschland – Gesellschaft zur Förderung Freien Wissens e.
> > V.
> > > >> Eingetragen im Vereinsregister des Amtsgerichts
> Berlin-Charlottenburg
> > > unter
> > > >> der Nummer 23855 B. Als gemeinnützig anerkannt durch das Finanzamt
> für
> > > >> Körperschaften I Berlin, Steuernummer 27/029/42207.
> > > >>
> > > >
> > > >
> > > > --
> > > > Amir Sarabadani
> > > > Software Engineer
> > > >
> > > > Wikimedia Deutschland e. V. | Tempelhofer Ufer 23-24 | 10963 Berlin
> > > > Tel. (030) 219 158 26-0
> > > > http://wikimedia.de
> > > >
> > > > Stellen Sie sich eine W
> > <https://maps.google.com/?q=len+Sie+sich+eine+W&entry=gmail&source=g>elt
> > vor, in der jeder Mensch an der Menge allen
> > > > Wissens frei teilhaben kann. Helfen Sie uns dabei!
> > > > http://spenden.wikimedia.de/
> > > >
> > > > Wikimedia Deutschland – Gesellschaft zur Förderung Freien Wissens e.
> V.
> > > > Eingetragen im Vereinsregister des Amtsgerichts Berlin-Charlottenburg
> > > unter
> > > > der Nummer 23855 B. Als gemeinnützig anerkannt durch das Finanzamt
> für
> > > > Körperschaften I Berlin, Steuernummer 27/029/42207.
> > > >
> > >
> > >
> > > --
> > > Amir Sarabadani
> > > Software Engineer
> > >
> > > Wikimedia Deutschland e. V. | Tempelhofer Ufer 23-24 | 10963 Berlin
> > > Tel. (030) 219 158 26-0
> > > http://wikimedia.de
> > >
> > > Stellen Sie sich eine Welt vor, in der jeder Mensch an der Menge allen
> > > Wissens frei teilhaben kann. Helfen Sie uns dabei!
> > > http://spenden.wikimedia.de/
> > >
> > > Wikimedia Deutschland – Gesellschaft zur Förderung Freien Wissens e. V.
> > > Eingetragen im Vereinsregister des Amtsgerichts Berlin-Charlottenburg
> > unter
> > > der Nummer 23855 B. Als gemeinnützig anerkannt durch das Finanzamt für
> > > Körperschaften I Berlin, Steuernummer 27/029/42207.
> > > _______________________________________________
> > > Wikitech-l mailing list
> > > [hidden email]
> > > https://lists.wikimedia.org/mailman/listinfo/wikitech-l
> > _______________________________________________
> > Wikitech-l mailing list
> > [hidden email]
> > https://lists.wikimedia.org/mailman/listinfo/wikitech-l
> _______________________________________________
> Wikitech-l mailing list
> [hidden email]
> https://lists.wikimedia.org/mailman/listinfo/wikitech-l



--
Amir Sarabadani
Software Engineer

Wikimedia Deutschland e. V. | Tempelhofer Ufer 23-24 | 10963 Berlin
Tel. (030) 219 158 26-0
http://wikimedia.de

Stellen Sie sich eine Welt vor, in der jeder Mensch an der Menge allen
Wissens frei teilhaben kann. Helfen Sie uns dabei!
http://spenden.wikimedia.de/

Wikimedia Deutschland – Gesellschaft zur Förderung Freien Wissens e. V.
Eingetragen im Vereinsregister des Amtsgerichts Berlin-Charlottenburg unter
der Nummer 23855 B. Als gemeinnützig anerkannt durch das Finanzamt für
Körperschaften I Berlin, Steuernummer 27/029/42207.
_______________________________________________
Wikitech-l mailing list
[hidden email]
https://lists.wikimedia.org/mailman/listinfo/wikitech-l