Tetxscraping von Projektdaten

Question

Hallo zusammen,

ich wollte einmal in die Runde fragen, ob jemand schon einmal Textscrapping von einem SoSci Account gemacht hat. Da ich sehr viele Projekte am laufen habe, würde ich gerne eine Excel Übersicht erstellen, welche sich quasi den Namen des Projekts, den Zeitraum und die URL automatisch holt und bei Änderungen eben auch aktualisiert. Also eine sich-selbst-aktualisierende Excel Tabelle eben.

Hat jemand schonmal etwas in diese Richtung gemacht?

Answer 1

Wir planen seit längerem, dass wir auch API-Zugang auf Benutzer-Level anbieten, und nicht nur auf Projekt-Level für einzelne Funktionen. Eine Liste aller Projekte mit den o.g. Infos scheint mir da eigentlich nicht so abwegig.

Es kommt ein wenig darauf an, über welchen Zeithorizont wir sprechen. Jetzt muss erst einmal die Version 3.5.00 offiziell freigegeben werden ...

Comments

> was genau verbirgt sich hinter der Spalte "packed"?

Das ist eine dichotome Variable, ob das Projekt archiviert wurde. Bei der Archivierung werden alle Daten zum Projekt (außer dem Projekt-Eintrag selbst) aus der Datenbank gelöscht, und der Fragebogen wird als XML-Datei auf dem Server abgelegt.

> Und wir haben mehrere Accounts. In der tabelle sosci_projects werden alle Projekte von allen Accounts angezeigt. Gibts es irgendwo eine Tabelle/Variable, mit der ich die Projekte den ver. Accounts zuordnen kann?

Das läuft über die Tabelle sosci_authorisation, ein Projekt kann einem oder mehreren Benutzerkonten zugeordnet sein. Sie Spalte "owner" bezeichnet hier die Projektleitung.

>Und drittens, sind in der Tabelle sosci_projects nur Projekte, die momentan noch in einem Account angelegt sind? Wie könnte ich diese Filtern zu "nur Prokekte die momentan "online" sind? Wäre das WHERE phase = "survey"?

Die Variable "phase" wird nur aktualisiert, wenn sich die Person zwischendurch eingeloggt hat (glaube ich). Sicherer ist die Verwendung von (field_time_ending > NOW()).

---

Danke sehr, wede ich morgen ausprobieren! :)

---

den Teil habe ich nicht ganz verstanden:

"Das läuft über die Tabelle sosci_authorisation, ein Projekt kann einem oder mehreren Benutzerkonten zugeordnet sein. Sie Spalte "owner" bezeichnet hier die Projektleitung."

Es geht darum, dass wir ver. Benutzerkonten haben, auf denen jeweils einige Projekte sind. Nun hätte ich gerne eine Tabelle, mit der ich die aktiven Projekte den Benutzerkonten zuordnen kann.

---

Die Beziehung von Projekten und Benutzerkonten ist in der Datenbank-Spache eine n:m-Beziehung. Ein Benutzer kann mehrere Projekte haben, und ein Projekt kann mehrere Benutzer haben.

Mit einem JOIN zwischen projects und autorisations bekommen Sie alle Kombinationen aus Projekten und Benutzerkonten. Aber es können eben mehrere Benutzerkonten für ein Projekt freigeschaltet sein (https://www.soscisurvey.de/help/doku.php/de:general:authorization).

Wenn Sie noch (owner="yes") als Filter setzen, sollten Sie nur noch einen Benutzer pro Projekt bekommen. Ungefähr so:

SELECT p.*, a.id FROM sosci_projects p
LEFT JOIN sosci_authorisation a ON (p.id = a.project)
WHERE (p.packed="no") AND (a.owner="yes");

---

Musste zwar ein Doppel Join machen, aber jetzt hat es geklappt :)
Vielen Dank!