Die DB meiner 1-Mann Instanz dümpelt immer so um 1 GB, wobei er praktisch nur Zunahmen gibt. Abnahmen sind die Ausnahme und von der Grösse her kaum erwähnenswert. Die Tendenz ist dauernd steigend.
Da freut man sich halt auch an kleinen Erfolgen. Der Putztag reduzierte die DB von 1028 auf 971 MB.
Sag mal, wie hast Du denn die DB "entrümpelt". Ich habe derzeit nämlich ein massives Problem (ebenfalls Single-User-Instanz) und irgendwie ist die DB innerhalb kürzester Zeit auf gut 51 GB angewachsen. ( Was mach ich jetzt mit Friendica?)
Bis vor einigen Tagen lief meine Friendica-instanz prima. Also... sie läuft auch jetzt noch prima. Ich hatte ja, nachdem ich ein paar Versuche mit Friendica-Servern gemacht hatte und mir das zu speicherhungrig war, es im Juni (am 4.) nochmal einen Versuch gestartet. Und ich habe die Optimierungen aus dem Admin-Handbuch durchgführt. Maximales Alter der Elemente in der Suchtabelle auf 14 Tage gesetzt, Lebensdauer von Beiträgen anderer Knoten auch auf 14 Tage gesetzt, Lebensdauer nicht angeforderter Beiträge dito, Lebensdauer der Beiträge auch 14 Tage. Optimiere die Tabellen regelmäßig eingeschaltet, Kontaktprofilbilder zwischenspeichern ausgeschaltet, Datenbank aufräumen eingeschaltet.
Und tatsächlich hielt sich der Speicherverbrauch in normalen Grenzen (in etwa im Rahmen dessen, was z.B. mein Hubzilla-Hub auch belegt). Doch nun habe ich heute mal geschaut, wie es so aussieht, mit dem Speicherplatz... und ich bin erschrocken. Die Datenbank ist auf über 50 GB angewachsen (zum Vergleich: mein Hubzilla-Hub, der seit mehreren Jahren läuft, der mehr Benutzer hat - bei Friendica bin nur ich registriert - und bei dem ich ungefähr die doppelte Zahl an Kontakten habe, kommt mit nicht einmal 8 GB aus... bei Streams ist es ähnlich, wobei der Hub auch erst so lange läuft wie meine Friendica-Instanz... da sind es um die 6 GB bei einigen Nutzerkonten und identischen Verbindungszahlen).
Das ist doch nicht normal! In den Logs hab ich keine Auffälligkeiten gefunden. 51 GB find ich jetzt schon heftig.
Vor allem, hab ich keine Idee, wie ich die DB jetzt "abspecken" könnte. Und wenn das so weiter geht mit dem steigenden Speicherplatzverbrauch, läuft irgendwan auch mal die Platte voll... darauf hab ich nun gar keine Lust.
Was kann ich tun? Woran mag es liegen?
Bin geneigt, wenn ich das nicht kurzfristig abgestellt bekomme, Friendica als selbst betriebene Instanz echt zu den Akten zu legen.
Mein Friendica 2024.03 läuft auf einem VPS, Intel Xeon Processor (Skylake, IBRS), 4 Kerne, 16 GB RAM, 150 GB SSD, Debian Linux 11.10, MariaDB 10.5.23, installiert mit YunoHost 11.2.20.2 (stable).
Until a few days ago my Friendica instance was running fine. Well... it's still running fine now. After I had made a few attempts with Friendica servers and found it too memory-hungry, I gave it another try in June (on the 4th). And I carried out the optimisations from the admin manual. Maximum age of elements in the search table set to 14 days, lifetime of posts from other nodes also set to 14 days, lifetime of unrequested posts ditto, lifetime of posts also 14 days. Optimise tables regularly switched on, cache contact profile images switched off, clean up database switched on.
And the memory consumption was in fact within normal limits (roughly in line with what my Hubzilla hub uses, for example). But now I've had a look today to see how things are going with the memory... and I'm shocked. The database has grown to over 50 GB (for comparison: my Hubzilla hub, which has been running for several years, which has more users - only I am registered with Friendica - and where I have about twice the number of contacts, doesn't even manage with 8 GB... It's similar with Streams, although the hub has only been running for as long as my Friendica instance... It's around 6 GB with some user accounts and identical connection numbers).
That's not normal! I didn't find any anomalies in the logs. I think 51 GB is already a lot.
Above all, I have no idea how I could "slim down" the DB now. And if this continues with the increasing memory consumption, the disc will fill up at some point... I'm not in the mood for that.
What can I do? What might be the problem?
If I can't get this to stop in the short term, I'm inclined to really shelve Friendica as a self-operated instance.
My Friendica 2024.03 runs on a VPS, Intel Xeon processor (Skylake, IBRS), 4 cores, 16 GB RAM, 150 GB SSD, Debian Linux 11.10, MariaDB 10.5.23, installed with YunoHost 11.2.20.2 (stable).
@DerPepe (streams) Es war recht viel Handarbeit dabei (mysql shell).
Ich habe die Haltedauer für alle Posts auf 90 Tage eingestellt. Meine Tabelle 'posts' enthielt jedoch >16k Posts, die vor dem Cutoff-Datum erstellt wurden. Diese Liste der veralteten Posts habe ich ein paar Tage beobachtet und festgestellt, dass sich hier gar nichts tut. Im nächtlichen Wartungsfenster wird zwar immer etwas gelöscht, was genau weiss ich nicht, aber auf jeden Fall sind es offenbar nicht die abgelaufenen Posts. Dann habe ich per SQL die veralteten Posts inkl. der damit verbundenen Daten gelöscht und alle betroffenen Tabellen optimiert.
Ich bin mir bewusst, dass ich möglicherweise nicht alles erwischt habe, aber seitdem läuft mein System irgendwie flüssiger und Fehler sind keine feststellbar.
Oje. Ich habe keine Ahnung, ob die nächste automatische Bereinigung noch was bringt... aber falls nicht, dann wäre mir das einfach zu viel. Bisher hatte ich auch noch keine einzige Antwort (IRC, Matrix, Posting), woran es liegen kann, dass meine DB innerhalb kürzester Zeit von ca. 2,5 GB auch über 51 GB angeschwollen ist.
Sowas habe ich in den vielen Jahren, die ich Hubzilla-Hubs betreibe und auch mit meinem (streams)-Hub noch nicht erlebt.
👤 𝟳𝗵𝗼𝗺𝗮𝘀 ✅🖖⁂
in reply to alfredb • • •alfredb
in reply to 👤 𝟳𝗵𝗼𝗺𝗮𝘀 ✅🖖⁂ • •@👤 𝟳𝗵𝗼𝗺𝗮𝘀 ✅🖖 Ja, es ist die DB.
Die DB meiner 1-Mann Instanz dümpelt immer so um 1 GB, wobei er praktisch nur Zunahmen gibt. Abnahmen sind die Ausnahme und von der Grösse her kaum erwähnenswert. Die Tendenz ist dauernd steigend.
Da freut man sich halt auch an kleinen Erfolgen. Der Putztag reduzierte die DB von 1028 auf 971 MB.
like this
Hamiller Friendica likes this.
DerPepe (streams) ⁂
in reply to alfredb • • •Sag mal, wie hast Du denn die DB "entrümpelt". Ich habe derzeit nämlich ein massives Problem (ebenfalls Single-User-Instanz) und irgendwie ist die DB innerhalb kürzester Zeit auf gut 51 GB angewachsen. ( Was mach ich jetzt mit Friendica?)
pepecyb (Friendica)
2024-07-13 09:55:00
Roland Häder likes this.
alfredb
in reply to DerPepe (streams) ⁂ • •@DerPepe (streams) Es war recht viel Handarbeit dabei (mysql shell).
Ich habe die Haltedauer für alle Posts auf 90 Tage eingestellt. Meine Tabelle 'posts' enthielt jedoch >16k Posts, die vor dem Cutoff-Datum erstellt wurden. Diese Liste der veralteten Posts habe ich ein paar Tage beobachtet und festgestellt, dass sich hier gar nichts tut. Im nächtlichen Wartungsfenster wird zwar immer etwas gelöscht, was genau weiss ich nicht, aber auf jeden Fall sind es offenbar nicht die abgelaufenen Posts.
Dann habe ich per SQL die veralteten Posts inkl. der damit verbundenen Daten gelöscht und alle betroffenen Tabellen optimiert.
Ich bin mir bewusst, dass ich möglicherweise nicht alles erwischt habe, aber seitdem läuft mein System irgendwie flüssiger und Fehler sind keine feststellbar.
@Tuxi :Friendica: 🐧 ✅
like this
Roland Häder and Tuxi ⁂ like this.
DerPepe (streams) ⁂
in reply to alfredb • • •Also echt "zu Fuß" in der mysql-shell-hell... 😁
Oje. Ich habe keine Ahnung, ob die nächste automatische Bereinigung noch was bringt... aber falls nicht, dann wäre mir das einfach zu viel. Bisher hatte ich auch noch keine einzige Antwort (IRC, Matrix, Posting), woran es liegen kann, dass meine DB innerhalb kürzester Zeit von ca. 2,5 GB auch über 51 GB angeschwollen ist.
Sowas habe ich in den vielen Jahren, die ich Hubzilla-Hubs betreibe und auch mit meinem (streams)-Hub noch nicht erlebt.
Tuxi ⁂
in reply to DerPepe (streams) ⁂ • • •Das ist echt krass und nicht normal. 😮
alfredb
in reply to DerPepe (streams) ⁂ • •@DerPepe (streams) @Tuxi :Friendica: 🐧 ✅
Ich denke im Moment über einen Script nach …
Tuxi ⁂
in reply to alfredb • • •Darf ich fragen, was du denn genau gemacht hast?
Roland Häder likes this.
alfredb
in reply to alfredb • •Meine 90-Tage History:
Mein Fazit: Ohne manuelle Intervention läuft hier gar nichts.
#Friendica
Roland Häder likes this.
Tuxi ⁂
in reply to alfredb • • •Mein Fazit: Ohne manuelle Intervention läuft hier gar nichts.Und wie schaut diese aus? 😉
Tuxi ⁂
in reply to Tuxi ⁂ • • •Okay, habe den Kommentar weiter oben jetzt erst gesehen. 👍
like this
alfredb and Roland Häder like this.
alfredb
in reply to Tuxi ⁂ • •