Berlin Buzzwords – Day 2 – Solr Power FTW: a large-scale deployment story

So, der letzte Talk des Tages. Und nochmal und Thema Skalierung von Solr.

  • Ein Lösung für Skalierung ist das Kopieren des gesamten Stacks inkl. DB, Indexes, Webserver, …
  • Solr sollte anstatt MySQL für Filterung / Facettierung benutzt werden, verbraucht aber sehr viel Speicher
  • Nächste Stufe des Skalierung ist die Aufteilung des Indexes (Sharding) => Custom Partition Map
  • Bei Solr hilft eine Optimierung der Garbage Collection oft für große Perfomancesprünge
  • Bei Cross-Data-Center-Replikation sollte zwingen ein Relay / Repeater Konzept benutzt werden: Ein dedizierter Node im neuen Center zieht Daten von einer dedizierten Node im alten Daten-Center ab, die wiederum ihre Daten vom Master bekommt. Die neue fungiert als Master im neuen Datencenter.
  • Bei der Replikation von großen Daten über das WAN und Replikation dort innerhalb ist Bittorrent eine Lösungsmöglichkeit.
GD Star Rating
loading...

Berlin Buzzwords – Day 2 – Apache James: More than emails in the cloud

Jetzt mal etwas zum Thema Entrerprise-Email-Cloud-Server

  • Ist eine Sammlung von Bibliotheken zum Handling von Emails
  • Ist in Java geschrieben
  • Mailets = Email Verarbeitungs Agent, Wrid quasi für alle Aufgaben für das Verarbeiten von Emails benutztt werden (Verschlüsseln). Diese lassen sich chainen und konfigurieren
  • Hupa = Rich Webmail app geschrieben in GWT um jeden IMAP Account abzurufen
  • jDKIM = Anti Spam and Phising Library
  • Mime4j = Multi-Mime Email besse als Java Mail
  • James unterstützt alle gängigen Protokolle und ermöglich es eigene zu schreiben
  • Mailbox = Email Speicherung +  Adapter z.B. für JPA, HBase, Lucene, …
  • Server = Verbindet alle Komponenten der James-Familie. Basiert auf Spring.
  • Skalierung via JPA & Sharding, HBase, GreyMatter (Akka Mailet Implementation) oder multiple James Instanzen auf Basis von ZooKeeper
  • James lässt sich auch für andere Nachrichten benutzen, wie z.B. Twitter und andere soziale Netzwerke
GD Star Rating
loading...

Berlin Buzzwords – Day 2 – Scalaris: Scalable Web Applications with a Transactional Key-Value Store

So, jetzt mal einen neuen KV Store anschauen. Mal sehen, was der so kann..

  • Scalaris ist ein skalierbarer KV-Store, der Transaktionen und dadurch Konsistenz bietet
  • Es bietet Fehlertoleranz
  • Geschrieben in Erlang
  • Skaliert sowohl bei Lesen als auch beim Schreiben linear
  • http://code.google.com/p/scalaris/
  • Das Partitionieren und verteilen von Einträgen auf versch. Shards sorgt für eine gute Performance.
GD Star Rating
loading...