Import- und Exportzeit Reduzieren: Unterschied zwischen den Versionen
Aus Asprova Hilfe
JF (Diskussion | Beiträge) |
GK (Diskussion | Beiträge) K (Formatierung) |
||
| Zeile 1: | Zeile 1: | ||
{{DISPLAYTITLE:Import- und Exportzeit Reduzieren}} | {{DISPLAYTITLE:Import- und Exportzeit Reduzieren}} | ||
<div align="right">Hilfe Nummer: 799900</div> | <div align="right">Hilfe Nummer: 799900</div> | ||
| − | |||
<div align="right">[[Übersicht Datenimport und -export|Daten I/O Übersicht]]</div> | <div align="right">[[Übersicht Datenimport und -export|Daten I/O Übersicht]]</div> | ||
<hr> | <hr> | ||
Um lange Import- und Exportzeiten zu reduzieren können folgende Maßnahmen ergriffen werden: | Um lange Import- und Exportzeiten zu reduzieren können folgende Maßnahmen ergriffen werden: | ||
| − | Import Test | + | == Import Test== |
Es existieren zwei Testbeispiele in Asprova Ver.10.0.1.0. | Es existieren zwei Testbeispiele in Asprova Ver.10.0.1.0. | ||
| − | + | {| class="wikitable" | |
| − | + | |+ Auftragstabelle, 1 Mio Zeilen | |
| − | {| | ||
|- | |- | ||
| − | + | !Server | |
| + | |Windows Server2003 R2 (x64) Intel® Xeon® CPU 5160 @ 3.00GHz 2.99GHz Memory 22GB | ||
|- | |- | ||
| − | + | !Datenquelle | |
| + | |SQL Server 2008 | ||
|- | |- | ||
| − | + | !Client | |
| + | |Windows 7 (32bit) Intel® Core™ i7 CPU X990 @3.47GHz 3.47GHz Memory 3GB | ||
|- | |- | ||
| − | + | !Import | |
| + | |Ja (differenziell) | ||
|- | |- | ||
| − | + | !Mapping-Eigenschaften | |
| + | |31 Eigenschaften | ||
|- | |- | ||
| − | + | !SQL Befehlstyp | |
| + | |Volltext | ||
|- | |- | ||
| − | + | !Zeit | |
| + | |44s - 50s | ||
|- | |- | ||
| − | + | !Bemerkungen | |
| + | |Import 1 Mio Zeilen | ||
|- | |- | ||
|} | |} | ||
| − | + | {| class="wikitable" | |
| − | + | |+ Integrierte Stammdaten, 600.000 Zeilen | |
| − | |||
| − | |||
| − | |||
|- | |- | ||
| − | + | !Rechner | |
| + | |Windows 7 (x64) Intel® Xeon® CPU X5690 @3.47GHz 3.46GHz(2 Processors) Memory 80GB | ||
|- | |- | ||
| − | + | !Datenquelle | |
| + | |Microsoft Access 2010 | ||
|- | |- | ||
| − | + | !Import | |
| + | |Ja (aktualisieren) | ||
|- | |- | ||
| − | + | !Mapping-Eigenschaften | |
| + | |34 Eigenschaften | ||
|- | |- | ||
| − | + | !SQL Befehlstyp | |
| + | |Volltext | ||
|- | |- | ||
| − | + | !Zeit | |
| + | |100s - 110s | ||
|- | |- | ||
| − | + | !Bemerkungen | |
| + | |Die MDB-Datei befindet sich auf dem gleichen Rechner wie Asprova. Die Auftragstabelle in der MDB-Datei ist vor dem Import leer. | ||
|- | |- | ||
|} | |} | ||
| − | + | === Import === | |
In Asprova können große Datenmengen mit hoher Geschwindigkeit importiert werden. Nimmt ein Importvorgang mehr Zeit in Anspruch als erwartet, prüfen Sie bitte die folgenden Einstellungen. | In Asprova können große Datenmengen mit hoher Geschwindigkeit importiert werden. Nimmt ein Importvorgang mehr Zeit in Anspruch als erwartet, prüfen Sie bitte die folgenden Einstellungen. | ||
| + | ; Abstand zwischen Asprova und der Datenquelle | ||
| + | : Befinden sich Datenquelle (DB, Textdatei) und Asprova auf unterschiedlichen Rechnern, hängt die Importzeit von der Netzwerkgeschwindigkeit ab. Befinden sich zum Beispiel eine Millionen Zeilen in einer Microsoft Access MDB-Datei auf einem Rechner für Datenquellen, dauert der Datport vom Quellrechner auf den Asprova ausführenden Rechner eine gewisse Zeit. Kopieren Sie in diesem Falle bitte zunächst die Datenquelle auf den Rechner, auf dem Asprova läuft. Diese Prozedur kann auch bei Exportvorgängen angewendet werden. | ||
| + | ; Nicht benötigte Mapping-Eigenschaften löschen | ||
| + | : Löschen Sie nicht benötigte Mapping-Eigenschaften und reduzieren sie die Übertragungsdatenmenge. Diese Prozedur kann auch bei Exportvorgängen angewendet werden. | ||
| + | ; Nutzen und profitieren Sie von Standardwerten | ||
| + | : Bestehen annähernd gleiche Werte für Eigenschaften nutzen Sie bitte die Eigenschaft [[Standardwert|Standardwerte]] im Eigenschaftsfenster, anstatt gleich die ganzen Daten aus der Datenquelle zu importieren. Falls die Gültigkeitsbedingung der Nutzungsanweisungen in den integrierten Stammdaten die gleichen sind, können diese als Standardwert definiert werden. Bei unterschiedlichen Werten der Nutzungsanweisungen in den integrierten Stammdaten muss von der Datenquelle importiert werden. | ||
| + | ; Differenziell | ||
| + | : Handelt es sich bei der Datenquelle um eine OLE DB, und ist zudem [[Differenzieller und nicht-differenzieller Modus|differenziell]] gewählt, würden lediglich modifizierte Einträge behandelt werden. Sind die modifizierten Einträge Teil aller Einträge, sind Import- und Exportzeiten geringer. | ||
| + | ; Exterene Filterformel nutzen | ||
| + | : Handelt es sich bei der Datenquelle um eine OLE DB, werden die Objekte durch die [[External SQL Filter Expression|Externe SQL Filterformel]] gefiltert. Durch das Filtern kann die Importzeit verkürzt werden. | ||
| − | + | === Export === | |
| − | + | ; Distanz zwischen Asprova und der Datenquelle / Nicht benötigte Mapping-Eigenschaften löschen | |
| − | + | : Bitte beachten Sie bei Import die Punkte ① und ②. Diese sind auch bei Exportvorgängen effektiv. | |
| − | + | ; Format des SQL-Befehles (Für Oracle) ändern | |
| − | + | : Handelt es sich bei der Datenquelle um Oracle, kann der Export relativ viel Zeit in Anspruch nehmen. Ändern Sie im Standardstil der Daten I/O Tabelle den <$SQL-Befehlstyp$> von "Volltext" zu "Parameter". (Hierbei ist es umgebungsabhängig, wie die Zeit reduziert wird.) | |
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | Export | ||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | Bitte beachten Sie bei Import die Punkte ① und ②. Diese sind auch bei Exportvorgängen effektiv. | ||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | Handelt es sich bei der Datenquelle um Oracle, kann der Export relativ viel Zeit in Anspruch nehmen. Ändern Sie im Standardstil der Daten I/O Tabelle den <$SQL-Befehlstyp$> von "Volltext" zu "Parameter". (Hierbei ist es umgebungsabhängig, wie die Zeit reduziert wird.) | ||
| − | |||
Wenden Sie all diese Schritte an, falls Import und Export geraume Zeit in Anspruch nehmen. | Wenden Sie all diese Schritte an, falls Import und Export geraume Zeit in Anspruch nehmen. | ||
| − | |||
<hr> | <hr> | ||
<div align="right">Hilfe Nummer: 799900</div> | <div align="right">Hilfe Nummer: 799900</div> | ||
Version vom 17. September 2018, 18:04 Uhr
Hilfe Nummer: 799900
Um lange Import- und Exportzeiten zu reduzieren können folgende Maßnahmen ergriffen werden:
Import Test
Es existieren zwei Testbeispiele in Asprova Ver.10.0.1.0.
| Server | Windows Server2003 R2 (x64) Intel® Xeon® CPU 5160 @ 3.00GHz 2.99GHz Memory 22GB |
|---|---|
| Datenquelle | SQL Server 2008 |
| Client | Windows 7 (32bit) Intel® Core™ i7 CPU X990 @3.47GHz 3.47GHz Memory 3GB |
| Import | Ja (differenziell) |
| Mapping-Eigenschaften | 31 Eigenschaften |
| SQL Befehlstyp | Volltext |
| Zeit | 44s - 50s |
| Bemerkungen | Import 1 Mio Zeilen |
| Rechner | Windows 7 (x64) Intel® Xeon® CPU X5690 @3.47GHz 3.46GHz(2 Processors) Memory 80GB |
|---|---|
| Datenquelle | Microsoft Access 2010 |
| Import | Ja (aktualisieren) |
| Mapping-Eigenschaften | 34 Eigenschaften |
| SQL Befehlstyp | Volltext |
| Zeit | 100s - 110s |
| Bemerkungen | Die MDB-Datei befindet sich auf dem gleichen Rechner wie Asprova. Die Auftragstabelle in der MDB-Datei ist vor dem Import leer. |
Import
In Asprova können große Datenmengen mit hoher Geschwindigkeit importiert werden. Nimmt ein Importvorgang mehr Zeit in Anspruch als erwartet, prüfen Sie bitte die folgenden Einstellungen.
- Abstand zwischen Asprova und der Datenquelle
- Befinden sich Datenquelle (DB, Textdatei) und Asprova auf unterschiedlichen Rechnern, hängt die Importzeit von der Netzwerkgeschwindigkeit ab. Befinden sich zum Beispiel eine Millionen Zeilen in einer Microsoft Access MDB-Datei auf einem Rechner für Datenquellen, dauert der Datport vom Quellrechner auf den Asprova ausführenden Rechner eine gewisse Zeit. Kopieren Sie in diesem Falle bitte zunächst die Datenquelle auf den Rechner, auf dem Asprova läuft. Diese Prozedur kann auch bei Exportvorgängen angewendet werden.
- Nicht benötigte Mapping-Eigenschaften löschen
- Löschen Sie nicht benötigte Mapping-Eigenschaften und reduzieren sie die Übertragungsdatenmenge. Diese Prozedur kann auch bei Exportvorgängen angewendet werden.
- Nutzen und profitieren Sie von Standardwerten
- Bestehen annähernd gleiche Werte für Eigenschaften nutzen Sie bitte die Eigenschaft Standardwerte im Eigenschaftsfenster, anstatt gleich die ganzen Daten aus der Datenquelle zu importieren. Falls die Gültigkeitsbedingung der Nutzungsanweisungen in den integrierten Stammdaten die gleichen sind, können diese als Standardwert definiert werden. Bei unterschiedlichen Werten der Nutzungsanweisungen in den integrierten Stammdaten muss von der Datenquelle importiert werden.
- Differenziell
- Handelt es sich bei der Datenquelle um eine OLE DB, und ist zudem differenziell gewählt, würden lediglich modifizierte Einträge behandelt werden. Sind die modifizierten Einträge Teil aller Einträge, sind Import- und Exportzeiten geringer.
- Exterene Filterformel nutzen
- Handelt es sich bei der Datenquelle um eine OLE DB, werden die Objekte durch die Externe SQL Filterformel gefiltert. Durch das Filtern kann die Importzeit verkürzt werden.
Export
- Distanz zwischen Asprova und der Datenquelle / Nicht benötigte Mapping-Eigenschaften löschen
- Bitte beachten Sie bei Import die Punkte ① und ②. Diese sind auch bei Exportvorgängen effektiv.
- Format des SQL-Befehles (Für Oracle) ändern
- Handelt es sich bei der Datenquelle um Oracle, kann der Export relativ viel Zeit in Anspruch nehmen. Ändern Sie im Standardstil der Daten I/O Tabelle den <$SQL-Befehlstyp$> von "Volltext" zu "Parameter". (Hierbei ist es umgebungsabhängig, wie die Zeit reduziert wird.)
Wenden Sie all diese Schritte an, falls Import und Export geraume Zeit in Anspruch nehmen.
Hilfe Nummer: 799900
