Import- und Exportzeit Reduzieren: Unterschied zwischen den Versionen

Aus Asprova Hilfe
Wechseln zu: Navigation, Suche
(Imported from text file)
 
K (Versionsspezifische Verbesserungen)
 
(8 dazwischenliegende Versionen von 2 Benutzern werden nicht angezeigt)
Zeile 1: Zeile 1:
{{DISPLAYTITLE:Import- und Exportzeit Reduzieren}}
+
{{DISPLAYTITLE:Import- und Exportzeiten reduzieren}}
 
<div align="right">Hilfe Nummer: 799900</div>
 
<div align="right">Hilfe Nummer: 799900</div>
 
 
<div align="right">[[Übersicht Datenimport und -export|Daten I/O Übersicht]]</div>
 
<div align="right">[[Übersicht Datenimport und -export|Daten I/O Übersicht]]</div>
 
<hr>
 
<hr>
Um eine Verbesserung von zu langen Import- und Exportzeiten herbeizuführen, führen Sie die folgenden Schritte aus.
 
  
 +
Asprova kann große Datenmengen sehr schnell importierten und exportieren. Dauert der Datentransfer länger als erwartet, so ergreifen Sie bitte die folgenden Maßnahmen.
  
Import Test
+
{| class="wikitable"
 
 
Es existieren zwei Testbeispiele in Asprova Ver.10.0.1.0.
 
 
 
[Auftragstabelle 1Mio Zeilen]
 
 
 
 
 
{| border="1"
 
 
|-
 
|-
|Server||Windows Server2003 R2 (x64) Intel® Xeon® CPU 5160 @ 3.00GHz 2.99GHz Memory 22GB||  
+
!colspan="2"|Maßnahme!!Beschreibung
 
|-
 
|-
||Datenquelle||SQL Server 2008
+
!colspan="3"|''Import''
 +
|- valign="top"
 +
!1!!Abstand zur Datenquelle
 +
|Befinden sich Datenquelle (Datenbank, Textdatei) und Asprova auf unterschiedlichen Rechnern, so hängt die Importzeit auch von der Netzwerkgeschwindigkeit ab.<br>Befinden sich beispielsweise in einer MS Access MDB-Datei eine Million Datensätze, so dauert der Import in Asprova auf einem anderen Computer eine gewisse Zeit. Kopieren Sie zum Beschleunigen des Imports zunächst die Datenquelle auf den Rechner, auf dem Asprova läuft.
 +
|- valign="top"
 +
!2!!Unnötigtes Field-Mapping
 +
|Löschen Sie im Field-Mapping Verknüpfungen von nicht benötigten Eigenschaften, um so die zu übertragende Datenmenge zu reduzieren.
 
|-
 
|-
||Client-Rechner||Windows 7 (32bit) Intel® Core™ i7 CPU X990 @3.47GHz 3.47GHz メモリ3GB
+
|- valign="top"
 +
!3!!Standardwerte
 +
|Haben die meisten Datensätze für eine Eigenschaft den gleichen Wert, so können Sie diesen in deren Eigenschaftsdefinition als [[Standardwert|Standardwert]] setzen,so dass nur noch Ausnahmen importiert werden müssen.<br>Ist Beispielsweise die [Gültigkeitsbedingung] der meisten Hauptnutzungsanweisungen in den Integrierten Stammdaten gleich, so kann dies als deren [Standardwert] gesetzt werden. Unterschiedlichen Werte müssen weiterhin aus der Datenquelle importiert werden.
 +
|- valign="top"
 +
!4!!Differenziell
 +
|Ist die Datenquelle eine OLE-Datenbank und er wird [[Differenzieller und nicht-differenzieller Modus|differenziell]] importiert, so werden nur Datensätze mit Änderungen importiert.
 +
|- valign="top"
 +
!5!!Exterene Filterformel
 +
|Ist die Datenquelle eine OLE-Datenbank, so kann die [[External SQL Filter Expression|Externe SQL Filterformel]] genutzt werden, um die Datensätze bereits auf der Datenbankseite zu filtern.
 
|-
 
|-
||Import||Ja (differenziell)
+
!colspan="3"|''Export''
 
|-
 
|-
||Mapping-Eigenschaften||31 Eigenschaften
+
!6
 +
|colspan="2"|Siehe 1. und 2.
 
|-
 
|-
||SQL Befehlstyp||Volltext
+
!7!!SQL-Befehlsformat (nur Oracle)
|-
+
|Handelt es sich bei der Datenquelle um eine Oracle Datenbank, so kann der Export relativ lange dauern. Ändern Sie in den Schnittstelleneinstellungen den [SQL-Befehlstyp] der Schnittstellenobjekte von "Volltext" zu "Parameter". (Der Geschwindigkeitsgewinn ist umgebungsabhängig.)
||Zeit||44s - 50s
 
|-
 
||Bemerkungen||Import 1Mio Zeilen
 
 
|-
 
|-
 
|}
 
|}
  
 +
Wenden Sie all diese Maßnahmen an, falls Import und Export geraume Zeit in Anspruch nehmen.
  
[Integrierte Stammdaten 600.000 Zeilen]
+
== Versionsspezifische Verbesserungen ==
 
+
Diese Verbesserungen erfordern in der Regel eine Lizenz für die entsprechende Version.
 
+
=== 16.2 ===
{| border="1"
+
==== Export über OLE DB ====
|-
+
Die Zeiten für Exporte zu den folgenden Datenbanken wurden reduziert:
|Rechner||Windows 7 (x64) Intel® Zeon® CPU X5690 @3.47GHz 3.46GHz(2 Processors) Memory 80GB|| 
+
* Microsoft SQL Server um 50% bis zu 90% (ab Version 2008)
|-
+
* Oracle Database  um bis zu 50% (wenn nicht in eine View exportiert wird, ab Version 9i)
||Datenquelle||Microsoft Access 2010
+
Um von der Beschleunigung zu profitieren muss der [SQL-Befehlstyp] "Volltext" sein.
|-
 
||Import||Ja (aktualisieren)
 
|-
 
||Mapping-Eigenschaften||34 Eigenschaften
 
|-
 
||SQL Befehlstyp||Volltext
 
|-
 
||Zeit||100s - 110s
 
|-
 
||Bemerkungen||Die MDB-Datei befindet sich auf dem gleichen Rechner wie Asprova. Die Auftragstabelle in der MDB-Datei ist vor dem Import leer.
 
|-
 
|}
 
 
 
 
 
Eine große Datenmenge kann mit hoher Geschwindigkeit in Asprova importiert werden. Sollte eine längere Zeit beim Import in Anspruch genommen werden, prüfen Sie bitte die folgenden Einstellungen.
 
 
 
 
 
 
: Der Abstand zwischen Asprova und der Datenquelle
 
 
 
Befinden sich die Datenquelle (DB, Textdatei) und Asprova auf unterschiedlichen Rechnern, hängt die Importziet von der Geschwindigkeit des Netzwerkes ab. Beispielsweise befinden sich 1Mio Zeilen in einer Microsoft Access MDB-Datei auf einem Rechner für Datenquellen. Hierbei wird eine gewisse Zeit beansprucht, um die Daten vom Quellrechner auf den Rechner, auf dem Asprova läuft zu importieren. In diesem Falls kopieren Sie bitte zunächst die Datenquelle auf den Rechner, auf dem Asprova läuft. Dies ist bei einem Export ebenso effektiv.
 
 
 
 
 
 
 
 
: Löschen von nicht benötigten Mapping-Eigenschaften
 
 
 
Bitte löschen Sie nicht benötigte Mapping-Eigenschaften und reduzieren sie Übertragungsdaten. Dies ist ebenso effektiv beim Export.
 
 
 
 
 
 
 
 
: Nutzen und profitieren Sie von Standardwerten
 
 
 
Bestehen nahezu gleiche Werte für Eigenschaften, nutzen Sie bitte die Eigenschaft [[Standardwert|Standardwerte]] im Eigenschaftsfenster, anstelle eines Imports der gesamten Daten von der Datenquelle. Beispielsweise ist es möglich, sollte die Gültigkeitsbedingung der Nutzungsanweisungen in den integrierten Stammdaten die gleiche sein, diese als Standardwert zu definieren. Bei unterschiedlichen Werten der Nutzungsanweisungen in den integrierten Stammdaten importieren Sie bitte von der Datenquelle.
 
 
 
 
 
 
 
 
: Differenziell
 
 
 
Handelt es sich bei der Datenquelle um eine OLE DB und ist zudem [[Differenzieller und nicht-differenzieller Modus|differenziell]] gewählt, würden lediglich modifizierte Einträge behandelt werden. Sind die modifizierten Einträge Teil aller Einträge, würde sich die zu Zeit von Import und Export verringern.
 
 
 
 
 
 
 
 
: Nutzen einer exterenen Filterformel
 
 
 
Handelt es sich bei der Datenquelle um eine OLE DB, werden die Objekte durch die [[External SQL Filter Expression|Externe SQL Filterformel]] gefiltert.  Durch das Filtern kann die Importzeit verkürzt werden.
 
 
 
 
 
Export
 
 
 
 
 
 
: Die Distanz zwischen Asprova und der Datenquelle / Löschen von nicht benötigten Mapping-Eigenschaften
 
 
 
Bitte beachten Sie die Punkte ① und ② für den Import. Dies ist ebenso effektive für den Export.
 
 
 
 
 
 
 
 
: Ändern des Formats des SQL-Befehls (Für Oracle)
 
 
 
Handelt es sich bei der Datenquelle um Oracle, kann einige Zeit für den Export beansprucht werden. Im Standardstil der Daten I/O Tabelle ändern Sie bitte den <$SQL-Befehlstyp$> von "Volltext" zu "Parameter" (Hierbei ist es umgebungsabhängig, wie die Zeit reduziert wird).
 
 
 
 
 
Sollte für den Import oder Export eine geraume Zeit in Anspruch genommen werden, veruschen Sie bitte diese Schritte zu vollziehen.
 
  
 +
=== 16.3 ===
 +
==== Export in Textdatei ====
 +
Die Exportzeiten wurden ungefähr halbiert.
  
 +
==== Export über OLE DB ====
 +
Die Zeiten für Exporte zu PostgreSQL wurden um bis zu 90% reduziert.
  
 
<hr>
 
<hr>
 
<div align="right">Hilfe Nummer: 799900</div>
 
<div align="right">Hilfe Nummer: 799900</div>

Aktuelle Version vom 28. Oktober 2021, 09:17 Uhr

Hilfe Nummer: 799900
Daten I/O Übersicht

Asprova kann große Datenmengen sehr schnell importierten und exportieren. Dauert der Datentransfer länger als erwartet, so ergreifen Sie bitte die folgenden Maßnahmen.

Maßnahme Beschreibung
Import
1 Abstand zur Datenquelle Befinden sich Datenquelle (Datenbank, Textdatei) und Asprova auf unterschiedlichen Rechnern, so hängt die Importzeit auch von der Netzwerkgeschwindigkeit ab.
Befinden sich beispielsweise in einer MS Access MDB-Datei eine Million Datensätze, so dauert der Import in Asprova auf einem anderen Computer eine gewisse Zeit. Kopieren Sie zum Beschleunigen des Imports zunächst die Datenquelle auf den Rechner, auf dem Asprova läuft.
2 Unnötigtes Field-Mapping Löschen Sie im Field-Mapping Verknüpfungen von nicht benötigten Eigenschaften, um so die zu übertragende Datenmenge zu reduzieren.
3 Standardwerte Haben die meisten Datensätze für eine Eigenschaft den gleichen Wert, so können Sie diesen in deren Eigenschaftsdefinition als Standardwert setzen,so dass nur noch Ausnahmen importiert werden müssen.
Ist Beispielsweise die [Gültigkeitsbedingung] der meisten Hauptnutzungsanweisungen in den Integrierten Stammdaten gleich, so kann dies als deren [Standardwert] gesetzt werden. Unterschiedlichen Werte müssen weiterhin aus der Datenquelle importiert werden.
4 Differenziell Ist die Datenquelle eine OLE-Datenbank und er wird differenziell importiert, so werden nur Datensätze mit Änderungen importiert.
5 Exterene Filterformel Ist die Datenquelle eine OLE-Datenbank, so kann die Externe SQL Filterformel genutzt werden, um die Datensätze bereits auf der Datenbankseite zu filtern.
Export
6 Siehe 1. und 2.
7 SQL-Befehlsformat (nur Oracle) Handelt es sich bei der Datenquelle um eine Oracle Datenbank, so kann der Export relativ lange dauern. Ändern Sie in den Schnittstelleneinstellungen den [SQL-Befehlstyp] der Schnittstellenobjekte von "Volltext" zu "Parameter". (Der Geschwindigkeitsgewinn ist umgebungsabhängig.)

Wenden Sie all diese Maßnahmen an, falls Import und Export geraume Zeit in Anspruch nehmen.

Versionsspezifische Verbesserungen

Diese Verbesserungen erfordern in der Regel eine Lizenz für die entsprechende Version.

16.2

Export über OLE DB

Die Zeiten für Exporte zu den folgenden Datenbanken wurden reduziert:

  • Microsoft SQL Server um 50% bis zu 90% (ab Version 2008)
  • Oracle Database um bis zu 50% (wenn nicht in eine View exportiert wird, ab Version 9i)

Um von der Beschleunigung zu profitieren muss der [SQL-Befehlstyp] "Volltext" sein.

16.3

Export in Textdatei

Die Exportzeiten wurden ungefähr halbiert.

Export über OLE DB

Die Zeiten für Exporte zu PostgreSQL wurden um bis zu 90% reduziert.


Hilfe Nummer: 799900