Tabelle tokens (↩ zurück zur Übersicht)
Beschreibung
Enthält die tokenisierten Daten aus der Tabelle Aeusserungen. Die Einträge dieser Tabelle (zusammen mit den Daten aus Tokengruppen, mit denen mehrere Tokens zu einer Mehrwortlexie zusammengefasst werden können) bilden somit den Kern der Projektdaten von VerbaAlpina.
Die Felder aus dieser Tabelle stimmen in vielen Fällen mit denen aus der Tabelle Aeusserungen überein und werden bei der Tokenisierung direkt übernommen.
Die Tabelle aeusserungen kann mehrere Belege in einer Zeile enhalten, falls ein Informant mehrere Belege geliefert hat. Diese werden entweder durch ein Semikolon (verschiedene Worttypen) oder ein Komma getrennt. Hier wird dies durch die Verwendung von drei Indexen in den Feldern Ebene_1, Ebene_2 und Ebene_3 abgebildet. Ebene_1 bezieht sich auf Teile der Äußerung, die durch ein Semikolon getrennt wurde, Ebene_2 auf solche, die durch ein Komma getrennt wurden und Ebene_3 auf die eigentliche Tokensierung des Beleges. Die Äußerung "la ṣẹ kū́la, si dé̜sfa; a kulársẹ" wird also beispielsweise auf 8 Tokens mit den folgenden Indexen aufgeteilt:
Enthält die tokenisierten Daten aus der Tabelle Aeusserungen. Die Einträge dieser Tabelle (zusammen mit den Daten aus Tokengruppen, mit denen mehrere Tokens zu einer Mehrwortlexie zusammengefasst werden können) bilden somit den Kern der Projektdaten von VerbaAlpina.
Die Felder aus dieser Tabelle stimmen in vielen Fällen mit denen aus der Tabelle Aeusserungen überein und werden bei der Tokenisierung direkt übernommen.
Die Tabelle aeusserungen kann mehrere Belege in einer Zeile enhalten, falls ein Informant mehrere Belege geliefert hat. Diese werden entweder durch ein Semikolon (verschiedene Worttypen) oder ein Komma getrennt. Hier wird dies durch die Verwendung von drei Indexen in den Feldern Ebene_1, Ebene_2 und Ebene_3 abgebildet. Ebene_1 bezieht sich auf Teile der Äußerung, die durch ein Semikolon getrennt wurde, Ebene_2 auf solche, die durch ein Komma getrennt wurden und Ebene_3 auf die eigentliche Tokensierung des Beleges. Die Äußerung "la ṣẹ kū́la, si dé̜sfa; a kulársẹ" wird also beispielsweise auf 8 Tokens mit den folgenden Indexen aufgeteilt:
| Token | Ebene_1 | Ebene_2 | Ebene_3 |
| la | 1 | 1 | 1 |
| ṣẹ | 1 | 1 | 2 |
| kū́la | 1 | 1 | 3 |
| si | 1 | 2 | 1 |
| dé̜sfa | 1 | 2 | 2 |
| a | 2 | 1 | 1 |
| kulársẹ | 2 | 1 | 2 |
Diese Tabelle wird von folgenden Tabellen referenziert:
Spalten
Der Name von Spalten, die Teil des Primärschlüssels sind wird fett dargestellt, die Namen von Fremdschlüsseln unterstrichen. Kursivierte Werte im Feld Datentyp bedeuten, dass der Wert optional (nullable) ist.
| Spaltenname | Datentyp | Mögliche Werte | Beschreibung |
|---|---|---|---|
| id_token | int(11) unsigned | beliebig | Eindeutige ID des Tokens. An der Oberfläche werden diese IDs mit dem Präfix "S" (= Single) verwendet (vgl. Identifikatoren). |
| id_informant | int(11) unsigned | beliebig | Fremdschlüssel, der auf die Tabelle informanten verweist. Informant, von dem dieser Beleg stammt. Direkt aus der Tabelle Aeusserungen übernommen. |
| id_stimulus | int(11) unsigned | beliebig | Fremdschlüssel, der auf die Tabelle stimuli verweist. Stimulus, durch den dieser Beleg produziert wurde. Direkt aus der Tabelle Aeusserungen übernommen. |
| token | varchar(200) | beliebig | Basistranskription des Tokens. Je nach Quelle sind unterschiedliche Transkriptionssysteme möglich:
Für Belege, die im Quellenmaterial ausschließlich bereits typsiert angegeben werden, ist dieses Feld leer. Die Quellentranskription ist über einen quellenspezifischen phonetischen oder morpho-lexikalischen Typ angegeben, der mit dem Token verknüpft ist. |
| ipa | varchar(200) | beliebig | IPA-Darstellung des Belegs. Für Quellen, die im VA-eigenen Betacode oder einem anderen systematischen Transkriptionssystem angegeben sind, wird die IPA-Darstellung automatisiert mit Hilfe der Tabelle codepage_ipa generiert. Für Quellenmaterial, das bereits IPA-kodiert war, entspricht dieses Feld dem Eintrag im Feld "token". Für alle weiteren Quellen (besonders Belege aus dem Crowdsourcing-Tool wird aktuell keine eigene IPA-Darstellung angegeben, da diese manuell erstellt werden müsste) |
| original | varchar(4000) | beliebig | Darstellung des Belegs, wie dieser im Quellenmaterial angegeben war. Dieses Feld ist primär für Tokens im Betacode relevant, aber auch für andere Quellen, deren Datenmaterial in einer nicht-menschenlesbaren Form kodiert ist. Die Einträge in diesem Feld werden automatisiert mit Hilfe der Tabelle codepage_original für die dort geführten Quellen erzeugt. |
| portalsprache | varchar(10) | beliebig | Nur relevant für Belege, die über das Crowdsourcing-Tool eingegeben werden. Gibt die Sprache an, die jeweilige Nutzer im Tool gewählt hat. Diese entspricht nicht der Sprache der Äußerung, sondern nur der der Oberfläche (Bedienelemente, Hinweise, etc.). Direkt aus der Tabelle Aeusserungen übernommen. |
| id_aeusserung | int(11) unsigned | beliebig | Fremdschlüssel, der auf die Tabelle aeusserungen verweist. Gibt die vollständige Ursprungsäußerung an, aus der dieses Token stammt. |
| erfasst_von | varchar(50) | beliebig | Nutzername der Person, die diese Äußerung eingegeben/importiert hat. Direkt aus der Tabelle Aeusserungen übernommen. |
| erfasst_am | timestamp | beliebig | Zeitpunkt der Erstellung der zugeordneten Äußerung. Direkt aus der Tabelle Aeusserungen übernommen. |
| version | tinyint(4) unsigned | beliebig | Aufsteigende Nummer um redundante Mehrfachtranskriptionen zum Auffinden von Fehlern zu ermöglichen. Dies wird aktuell nicht verwendet; das Feld enthält somit immer den Wert 1. Direkt aus der Tabelle Aeusserungen übernommen. |
| bemerkung | text | beliebig | Freitextfeld für Bemerkungen. Falls die zugrundeliegende Äußerung eine Bemerkung hatte, wird dieses hier dupliziert. Bei Belegen, die im Quellenmaterial ausschließlich vortypisiert angegeben sind, wird hier zusätzlich die Quellentransktiption angegeben (z.B. SDS-Typ "Hütte"), da das Feld Token leer ist. Dies dient nur der Vereinfachung der Projektarbeit, da diese Information grundsätzlich auch durch die Verknüpfung mit einem entsprechenden quellenspezifischen Typ vorhanden ist. Zusätzlich sind eventuell weitere interne Notizen in diesem Feld möglich. |
| ebene_1 | int(3) | beliebig | Index auf Ebene 1 (vgl. Tabellenbeschreibung) |
| ebene_2 | int(3) | beliebig | Index auf Ebene 2 (vgl. Tabellenbeschreibung) |
| ebene_3 | int(3) | beliebig | Index auf Ebene 3 (vgl. Tabellenbeschreibung) |
| id_tokengruppe | int(10) unsigned | beliebig | Fremdschlüssel, der auf die Tabelle tokengruppen verweist. Falls dieses Token Teil einer Mehrwortlexie ist, enthält es hier die ID einer entsprechenden Tokengruppe. |
| trennzeichen | varchar(10) | beliebig | Trennzeichen durch das dieses Token von nachfolgenden getrennt wird im Betacode. Für Tokens, die nicht Teil einer Mehrwortlexie sind oder die das letzte Token einer solchen sind, ist diese Feld immer NULL. Ansonsten enthält es aktuell entweder ein Leerzeichen oder {␣} (Betacode für einen Bogen, der zwei Tokens verbindet). |
| trennzeichen_ipa | varchar(10) | beliebig | Trennzeichen durch das dieses Token von nachfolgenden getrennt wird in IPA. Für Tokens, die nicht Teil einer Mehrwortlexie sind oder die das letzte Token einer solchen sind, ist diese Feld immer NULL. Ansonsten enthält es aktuell entweder ein Leerzeichen oder ‿. |
| trennzeichen_original | varchar(10) | beliebig | Trennzeichen durch das dieses Token von nachfolgenden getrennt wird in Originaldarstellung der Quelle. Für Tokens, die nicht Teil einer Mehrwortlexie sind oder die das letzte Token einer solchen sind, ist diese Feld immer NULL. Ansonsten enthält es aktuell entweder ein Leerzeichen oder ‿. |
| genus | enum | '','f','m','n','?','n/a' | Genus des Tokens (falls anwendbar) |
| pos | enum | '','v','art','sub','pron','adj','PPP','PPA','adv','num','praep','konj','mod','int' | Wortart des Tokens |
| person | enum | '','1','2','3','n/a' | Grammatikalische Person des Tokens (falls anwendbar) |
| tempus | enum | '','pres','impf','pasr','fut','n/a' | Tempus des Tokens (falls anwendbar) |
| modus | enum | '','ind','cong','cond','imp','inf','n/a' | Modus des Tokens (falls anwendbar) |
| numerus | enum | '','sg','pl','n/a' | Numerus des Tokens (falls anwendbar) |
| komplement | varchar(20) | beliebig | Aktuell nicht in Verwendung |
| chronoreferenz | char(9) | beliebig | Aktuell nicht in Verwendung. Für eine zeitliche Angabe der Verwendung vorgesehen. |
| id_dialekt | int(10) unsigned | beliebig | Fremdschlüssel, der auf die Tabelle dialects verweist. Nur relevant für Belege, die über das Crowdsourcing-Tool eingegeben werden. Gibt den im Tool ausgewählten Dialekt an. Da diese Möglichkeit in älteren Versionen des Tools noch nicht gegeben war, gibt es auch Crowdsourcing-Äußerungen, bei denen dieses Feld leer ist. Direkt aus der Tabelle Aeusserungen übernommen. |
| geaendert_am | timestamp | beliebig | Zeitpunkt der letzten Änderung |
Ausschnitt
| id_token | id_informant | id_stimulus | token | ipa | original | portalsprache | id_aeusserung | erfasst_von | erfasst_am | version | bemerkung | ebene_1 | ebene_2 | ebene_3 | id_tokengruppe | trennzeichen | trennzeichen_ipa | trennzeichen_original | genus | pos | person | tempus | modus | numerus | komplement | chronoreferenz | id_dialekt | geaendert_am |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 853561 | 5877 | 4015 | fai@a-/r | fajˈaːr | fai̯ā́r | 187252 | AWiatr | 2018-10-23 11:33:37 | 1 | AWurdak | 1 | 1 | 1 | 2021-09-06 15:53:10 | ||||||||||||||
| 816186 | 9888 | 122120 | grott | 842112 | admin | 2021-03-29 12:36:59 | 1 | 1 | 1 | 1 | 2021-03-29 13:10:08 | |||||||||||||||||
| 178216 | 13233 | 99366 | häre | 195240 | MKunzmann | 2014-02-26 09:17:41 | 1 | 1 | 1 | 1 | 0 | 2018-12-13 15:44:44 | ||||||||||||||||
| 822814 | 30 | 1394 | s^pina/ts | ʃpinˈats | špináts | 872420 | arodella95 | 2021-03-29 13:25:07 | 1 | 1 | 1 | 2 | m | 2021-04-19 10:27:52 | ||||||||||||||
| 745180 | 15914 | 116332 | entra' | 690990 | anonymousCrowder_1129 | 2021-01-19 21:58:47 | 1 | 1 | 1 | 5 | 46078 | 504 | 2021-10-08 12:18:17 | |||||||||||||||
| 575256 | 3295 | 118740 | krαpáintər | 597404 | admin | 2020-09-25 16:07:40 | 1 | 1 | 1 | 1 | 2020-09-25 16:56:53 | |||||||||||||||||
| 822508 | 157 | 1866 | se(re(/n$~ | sɛrˈɛɲ͉ | se̜ré̜ñ̩ | 698930 | arodella95 | 2021-03-14 20:35:32 | 1 | 1 | 1 | 3 | 49550 | 2021-04-19 10:27:04 | ||||||||||||||
| 342684 | 4380 | 95156 | le@1~mpa2s^o?-v | lẽ̮mpɒšọ̄v | 229594 | MPantele | 2019-03-28 16:17:35 | 1 | 1 | 1 | 1 | 2021-05-19 14:37:11 | ||||||||||||||||
| 29443 | 1097 | 30018 | 66886 | MNeumeier | 2016-02-29 10:25:45 | 1 | m. SDS-Typ "Stoosschübel" | 1 | 1 | 1 | m | 2018-07-31 19:30:18 | ||||||||||||||||
| 308564 | 4103 | 22928 | VE5-'B7.BRU;5-2A2-R | fɛppruar | 279534 | MKunzmann | 2019-06-19 12:47:50 | 1 | 1 | 1 | 1 | 2019-07-01 16:23:28 |