%%% Artikelklasse mit
%%% * Grundschriftgröße 11 Punkt,
%%% * klassischem Satzspiegel,
%%% * flachem Inhaltsverzeichnis.
\documentclass[11pt,DIV9,tocleft]{scrartcl}
%%% Eingabekodierung ist ISO-8859-15.
\usepackage[ansinew]{inputenc}
%%% Schrifteinstellung.
%%% * Grundschrift Palatino,
%%% * Akzidenzschrift Bera Sans,
%%% * Schreibmaschinenschrift Luxi Mono.
\usepackage[T1]{fontenc}
\usepackage[osf]{mathpazo}
\usepackage[scaled]{berasans}
\renewcommand*{\ttdefault}{lmtt}
\usepackage{textcomp}
\linespread{1.05}
\usepackage[expansion=true, letterspace=80]{microtype}
%%% Lade einige Pakete.
\usepackage{multicol}
\usepackage{tabularx}
\usepackage{booktabs}
\newcolumntype{L}{>{\raggedright\arraybackslash}X}
\usepackage{soul}
\setul{}{.2ex}
\usepackage{listings}
\lstloadlanguages{[LaTeX]TeX, sh}
\lstset{basicstyle=\ttfamily, keywordstyle={}, commentstyle={},
  columns=flexible, showspaces=false, showstringspaces=false,
%  aboveskip=12pt, belowskip=12pt, frame=tb,
%  framesep=8pt, framerule=2pt,
  xleftmargin=6pt, xrightmargin=6pt,
% framexleftmargin=6pt, framexrightmargin=6pt
}
\lstdefinestyle{LaTeX}{language=[LaTeX]TeX, basicstyle=\ttfamily,
  keywordstyle={}, commentstyle={\itshape}}
\lstdefinestyle{shell}{language=sh, basicstyle=\ttfamily,
  keywordstyle={}, commentstyle={\itshape}}
\newcolumntype{L}{>{\raggedright\arraybackslash}X}
%%% Bette Quellkode in PDF-Ausgabe ein.
\usepackage{embedfile}
\embedfile[%
mimetype=plain/text,%
desc={LaTeX-Quelltext der Datei \jobname.pdf}%
]{\jobname.tex}
\embedfile[%
mimetype=plain/text,%
desc={BibTeX-Quelltext der Datei \jobname.pdf}%
]{\jobname.bib}
%%% Literaturverweise in runden Klammern mit Semikolon als Trenner.
% \usepackage[round,semicolon]{natbib}
% \renewcommand*{\bibnumfmt}[1]{(#1)}
%%% Literaturverzeichnis mit Sprachunterstützung.
\usepackage[fixlanguage]{babelbib}
\bibliographystyle{babalpha}
%%% Babelbib fordert trotz fixlanguage zuviele Sprachen an.
\usepackage[english, german, ngerman]{babel}
%%% Einstellungen für interaktive PDF-Dokumente.
\usepackage[rgb,x11names]{xcolor}
\usepackage{hyperref}
\hypersetup{
  pdftitle={Freie Wortlisten und Trennmuster für die deutsche Sprache},
  pdfauthor={Die deutschsprachige Trennmustermannschaft}
}
\hypersetup{
  ngerman,% For \autoref.
  pdfstartview={XYZ null null null},% Zoom factor is determined by viewer.
  colorlinks,
  linkcolor=RoyalBlue3,
  urlcolor=Chocolate4,
  citecolor=DeepPink2
}
%%% Schriftfestlegungen.
\setkomafont{title}{\normalcolor\normalfont}
\setkomafont{sectioning}{\normalcolor\normalfont}
\setkomafont{section}{\Large}
\setkomafont{subsection}{\Large\itshape}
%%% Einige Makros für logische Auszeichnungen definieren.
\newcommand*{\Abk}[1]{\mbox{\textsc{\lsstyle#1}}}
\newcommand*{\Programm}[1]{\textsc{\lsstyle#1}}
\newcommand*{\Datei}[1]{\texttt{#1}}
%%% Randnotiz am linken Rand.
\newcommand{\lrand}[1]{%
  \mbox{}%
  \marginpar{%
    \hspace*{-2\marginparsep}%
    \hspace*{-\textwidth}%
    \hspace*{-\marginparwidth}%
    \parbox[t]{\marginparwidth}{%
      \raggedright%
      \small%
      \sffamily%
      \bfseries%
      #1%
    }%
  }%
  \ignorespaces%
}
%%% Satzspiegel erneut berechnen.
\typearea{last}
%%% Trennausnahmen definieren.
\hyphenation{
Back-end
}

\begin{document}
%%% Dokumenttitel.
\author{Die deutschsprachige Trennmustermannschaft}
\title{Freie Wortlisten und Trennmuster\linebreak[1] für die deutsche Sprache}
\subtitle{\bigskip Eine kurze Projektbeschreibung}
\maketitle
%%% Zweispaltiges Inhaltsverzeichnis.
\begin{multicols}{2}
\tableofcontents
\end{multicols}



\section{Ziele}
\label{sec:ziele}
Dieses Projekt beabsichtigt, hochqualitative Wortlisten,
Trennmuster~\cite{liang:1983} und Ausnahmelisten für die deutsche
Sprache zu schaffen, die auch österreichische und
(deutsch)schweizerische Besonderheiten abdecken.  Grundlage sind die
verbindlichen Regeln des Dudens in der Fassung von
1991~\cite{duden:1991} und die amtlichen Regeln für die Rechtschreibung
der deutschen Sprache in der Fassung von 2006~\cite{amtlRegeln:2006,
  amtlRegeln:2006:duden}.  Teil des Projekts ist eine Infrastruktur, die
die Kontrolle der Listen in verteilter Arbeit ermöglicht.  Wortlisten,
Trennmuster und Ausnahmelisten sollen unter freien Lizenzen jedermann
zugänglich gemacht werden.



\section{Wer wir sind}
\label{sec:wer}
Anstoß für dieses Projekt war eine Reihe von Artikeln in der
\emph{\TeX{}nischen Komödie}%
\footnote{Vereinsschrift der \emph{Deutschsprachigen Anwendervereinigung
    \TeX} (\textls{DANTE}~e.\,V.), \url{http://www.dante.de/}}%
%
, die sich mit den herkömmlichen Trennmustern für die deutsche Sprache
auseinandersetzen~\cite{lemberg:2003, lemberg:2005, hennig:2008}.

Die deutschsprachige Trennmustermannschaft ist eine offene Gruppe und
setzt sich zur Zeit aus Mitgliedern des \textls{DANTE}~e.\,V. sowie
Anwendern der Programme \TeX\ und \Programm{OpenOffice}%
\footnote{\url{http://de.openoffice.org/}}
%
zusammen.  Die Kommunikation läuft derzeit über die Gruppe
\Programm{Trennmuster-Opensource} bei \Programm{Google}%
\footnote{\url{http://groups.google.de/group/trennmuster-opensource?hl=de}}%
%
, das Projekt soll jedoch bei einem anderen Internetdienst zur
Verwaltung von Softwareprojekten angemeldet werden.  Ersatzweise kann
für die Diskussion auch die Newsgruppe \Datei{de.comp.text.tex} genutzt
werden.

Wir benötigen dringend weitere Mithilfe.  Informationen dazu können der
Dokumentation des \TeX-Pakets \texttt{dehyph-exptl} oder der folgenden
Aufgabenliste entnommen werden.  Bei Interesse oder mit Fragen wenden
Sie sich bitte an die Projektliste.


\section{Aufgabenliste}
\label{sec:aufgabenliste}
Dieser Abschnitt enthält eine Zusammenstellung von anstehenden Aufgaben.
Die Liste ist weder sortiert noch vollständig.  Die meisten Punkte
bestehen nur als Idee und werden zur Zeit nicht aktiv bearbeitet.

\subsection{Wortlisten}
\begin{itemize}\raggedright

\item Spezifikation und Implementierung der Datenbankanbindung
  (Wortliste~v2.0, Backend)

\item Spezifikation und Gestaltung der \Abk{html}-Maske zur verteilten
  Kontrolle der Wortliste (Frontend)

\item systematische Erweiterung der Hauptwortliste:
  \begin{itemize}
  \item um Wörter aus einer nach Häufigkeiten sortierten Liste (Quellen
    sind vorhanden, siehe \autoref{sec:ressourcen}),
  \item um Wörter aus geläufigen Sprachbereichen (Quellen werden
    benötigt):
    \begin{multicols}{2}\raggedcolumns
      \begin{itemize}
      \item Küche und Haushalt,
      \item Flora und Fauna,
      \item Handwerk, Politik, Sport,
      \item (alte) Literatur: Märchen, Liedtexte,
      \item deutsche Vor- und Nachnamen,
      \item Städte- und Flussnamen,
      \item \st{Zahlwörter und römische Zahlen},
      \item \ldots
      \end{itemize}
    \end{multicols}
  \end{itemize}

\item Erstellen von Wortlisten für fachspezifische Trennmuster (Quellen
  werden benötigt):
  \begin{multicols}{2}\raggedcolumns
    \begin{itemize}
    \item Naturwissenschaft und Technik,
    \item Sprachwissenschaften,
    \item Geschichte und Religion,
    \item Medizin,
    \item Jura,
    \item Kunst,
    \item \ldots
    \end{itemize}
  \end{multicols}

\item Gewichtung der Trennstellen

\item Markierung von Nottrennungen

\item Behandlung von falschen Ligaturen

\item Unterscheidung von Lang- und Rund-s für den Satz mit gebrochenen
  Schriften

\item verteilte Kontrolle von Rechtschreibung und Trennung des
  Wortbestands

\end{itemize}

\subsection{Trennmuster}
\begin{itemize}\raggedright

\item Können Strukturen der deutschen Sprache durch Startmuster in
  \Programm{Patgen} berücksichtigt werden, zum Beispiel häufige Vor- und
  Nachsilben wie \emph{auf-}, \emph{aus-}, \emph{ver-}, \emph{-keit},
  \emph{-lich}, \emph{-lein}, etc.?

\end{itemize}

\subsection{\TeX}
\begin{description}\raggedright

\item[Sprachanbindung] Die Trennmuster für Schweizer Standarddeutsch
  (traditionelle Rechtschreibung) benötigen eine Sprachanbindung für
  \texttt{Babel} und \texttt{Polyglossia}.

\item[Versionierung der Trennmuster] In Dokumenten muss trotz
  weiterentwickelter Trennmuster langfristig umbruchtreuer Textsatz
  garantiert werden können.  Daher benötigt \TeX{}s
  Sprachenschnittstelle (Pakete \texttt{Babel} bzw.
  \texttt{Polyglossia}) einen Versionsmechanismus für die
  Trennmusteraktivierung.  $\Rightarrow$ Paket \texttt{hyphsubst}

\item[mehrere Trennmuster laden] Für einzelne Dokumente ist es
  wünschenswert, fachspezifische Trennmuster verwenden zu können.
  Allerdings können Trennmuster nur während der Formaterstellung geladen
  werden.  Einmal eingebundene Trennmuster sind somit immer im Format
  vorhanden.  Es wäre sinnvoll, Trennmuster auch dynamisch während der
  Ausführung laden zu können.  Wie wird mit kollidierenden Mustern
  umgegangen?  $\Rightarrow$ Lua\TeX

\item[Trennstellengewichte] Trennstellen sollen gewichtet werden können
  (z.\,B. Haupt-, Neben-, Nottrennungen).

\item[Verallgemeinerung des Trennalgorithmus] Derzeit benötigen
  \TeX-Quelltexte in deutscher Sprache verschiedene Auszeichnungen:

  \begin{tabularx}{\linewidth}{lL}
    \lstinline[style=LaTeX]+\\/ \"|+ & zur Korrektur falscher Ligaturen
    (\lstinline[style=LaTeX]+Auf\"|lage+) \\
    \lstinline[style=LaTeX]+s:+ \emph{u.\,a.} & zur Unterscheidung von
    langem und rundem~\emph{s} in gebrochenen Schriften
    (\lstinline[style=LaTeX]+aus:setzen+) \\
    \lstinline[style=LaTeX]+\"ck+ & für die richtige Trennung von
    \emph{ck} in der traditionellen Rechtschreibung
    (\lstinline[style=LaTeX]+dru\"cken+) \\
    \lstinline[style=LaTeX]+\"ff \"ll+ \emph{u.\,a.} & für die richtige
    Trennung von Dreifachkonsonanten mit folgendem Vokal in der
    traditionellen Rechtschreibung
    (\lstinline[style=LaTeX]+Meta\"llegierung+) \\
  \end{tabularx}

  Für die Dokumentenerstellung mit \TeX\ ergeben sich dadurch die
  folgenden Nachteile:
  \begin{enumerate}
  \item Alle genannten Eingriffe beeinflussen die Worttrennung in den
    übrigen Wortteilen.
  \item Das Anbringen der Auszeichnung von Hand erfordert zusätzlichen
    Aufwand und ist fehleranfällig.
  \item Physische Auszeichnung erschwert den Wechsel zwischen
    gebrochener und runder Schrift.
  \item Physische Auszeichnung erschwert den Wechsel zwischen
    traditioneller und reformierter Rechtschreibung.
  \end{enumerate}
  Idealerweise sollte ein Quelltext möglichst wenige physische
  Auszeichnungen enthalten.

  Es handelt sich hier um ein Mustererkennungsproblem ähnlich der
  Worttrennung.  Denkbar ist eine Verallgemeinerung des
  Silbentrennalgorithmus, mit der diese Fälle ohne Eingriffe im
  Quelltext erkannt und richtig behandelt werden können: Mit
  entsprechenden zusätzlichen Mustern werden während des Absatzumbruchs
  \emph{verschiedene} Tries durchsucht und die notwendigen Ersetzungen
  vorgenommen. $\Rightarrow$ Vorschlag für Lua\TeX-Entwickler
  ausarbeiten

\end{description}

\subsection{Sonstige}
\begin{itemize}\raggedright

\item Umzug auf einen anderen Host (BerliOS, Sourceforge o.\,ä.)

\item Reservierung einer eigenen Domain

\end{itemize}



\section{Zeitplan}
\label{sec:zeitplan}
Kurzfristig steht die Verbesserung der in \TeX\ und
\Programm{OpenOffice} verwendeten Trennmuster im Vordergrund.

Die Pflege der Wortlisten und Trennmuster ist jedoch ein
Langzeitprojekt.  Die verwendeten Werkzeuge und Listen sind daher gut zu
dokumentieren.



\section{Ressourcen}
\label{sec:ressourcen}
\subsection{Auf welche Wortlisten können wir zurückgreifen?}

\lrand{\medskip Lembergs Liste}
\begin{tabularx}{\linewidth}[t]{lL}
  \toprule\addlinespace
  Urheber & Werner Lemberg\\
  Rechte & (\Abk{gpl} angestrebt)\\
  Wortformen & 430\,000\\
  Sortierkriterium & alphabetisch\\
  Rechtschreibung & gut\\
  Bemerkung & manuell gepflegt\\
  Zugriff & \Programm{git}-Repositorium:\newline
    \verb+$git clone git://repo.or.cz/wortliste.git+\\
  Stand & 15.\,6.\,2009\\
  \addlinespace\bottomrule
\end{tabularx}

\bigskip\bigskip
\noindent\lrand{\medskip Leipziger Liste}
\begin{tabularx}{\linewidth}[t]{lL}
  \toprule\addlinespace Urheber & Liste des Wortschatzprojekts der Universität Leipzig%
  \footnote{\url{http://wortschatz.uni-leipzig.de/}}\\
  Rechte & \Abk{gpl}\\
  Wortformen & 2\,000\,000\\
  Sortierkriterium & Häufigkeit\\
  Rechtschreibung & mangelhaft\\
  Bemerkung & automatische Internetsuche (Datenbanken, Zeitungsarchive usw.)\\
  Zugriff & \ldots\\
  Stand & 28.\,3.\,2008\\
  \addlinespace\bottomrule
\end{tabularx}

\bigskip\bigskip
\noindent\lrand{\medskip Mannheimer Liste}
\begin{tabularx}{\linewidth}[t]{lL}
  \toprule\addlinespace
  Urheber & Korpus des Instituts für Deutsche Sprache (\Abk{ids})%
  \footnote{\url{http://www.ids-mannheim.de/kl/}}\\
  Rechte & ">Darf in ihrer Gesamtheit -- wie vereinbart -- nicht veröffentlicht oder an Dritte weitergegeben werden."< Abgeleitete Werke können nach unserer Wahl behandelt werden.\\
  Wortformen & 4\,000\,000\\
  Sortierkriterium & Häufigkeitsklassen\\
  Rechtschreibung & mittel\\
  Zugriff & nicht öffentlich\\
  Stand & 9.\,10.\,2007\\
  \addlinespace\bottomrule
\end{tabularx}


\subsection{Welche Listen haben wir in Aussicht?}

\lrand{\medskip Berliner Liste}
\begin{tabularx}{\linewidth}[t]{lL}
  \toprule\addlinespace
  Urheber & Kernkorpus des Projekts Digitales Wörterbuch der Deutschen Sprache (\Abk{dwds})%
  \footnote{\url{http://www.dwdscorpus.de/}}\\
  Rechte & \ldots\\
  Wortformen & 2\,000\,000\\
  Sortierkriterium & \ldots\\
  Rechtschreibung & \ldots\\
  Bemerkung & repräsentativer Wortschatz der deutschen Sprache\\
  Zugriff & derzeit nicht\\
  Stand & Juni 2009\\
  \addlinespace\bottomrule
\end{tabularx}



\section{Bisherige Ergebnisse}
\label{sec:ergebnisse}
\subsection{Trennmuster}
\begin{itemize}
\item Das \LaTeX-Paket \texttt{dehyph-exptl} enthält die aktuellen
  experimentellen Trennmuster, die aus Werner Lembergs Liste generiert
  wurden.  Diese können zusammen mit den Paketen \texttt{Babel} und
  \texttt{hyphsubst} verwendet werden.  Das Paket \texttt{dehyph-exptl}
  ist im \Abk{ctan} verfügbar.%
  \footnote{Comprehensive \TeX\ Archive Network,
    \url{http://ctan.tug.org/}}

\item Die bisherigen Trennmusterdateien für die traditionelle und
  reformierte Rechtschreibung, die Dateien \Datei{dehypht.tex} und
  \Datei{dehyphn.tex}, können im \Abk{ctan} bezogen werden.  Sie sind
  \emph{nicht} im Zuge dieses Projekts entstanden.

\item Die Ausnahmedatei \texttt{dehyphtex.tex} für die traditionellen
  deutschen Trennmuster ist im \Abk{ctan} verfügbar.
\end{itemize}

\subsection{Wortlisten}
Die von Werner Lemberg erstellte und kontrollierte Liste steht im
öffentlich zugänglichen Entwicklerrepositorium.%
\footnote{\url{http://repo.or.cz/w/wortliste.git}}
%
Eine Kopie kann mit
\begin{lstlisting}[style=shell]
$git clone git://repo.or.cz/wortliste.git
\end{lstlisting}
bezogen werden.%
\footnote{\url{http://repo.or.cz/}}

Für den Zugriff auf dieses Repositorium sollte \Programm{Git}~1.5.6.5
oder jünger verwendet werden.  Ältere Versionen enthalten einen Fehler
im Netzwerkzugriff, der dazu führt, dass statt eines Satzes von
Änderungen häufig die komplette Wortliste übertragen wird.

Außerdem sollte für einen reibungslosen Betrieb nach dem Klonen dieses
Repositoriums die Konfigurationsvariable \verb+core.DeltaBaseCacheLimit+
vom Standardwert 16\,MB auf mindestens 64\,MB erhöht werden.  Mit
älteren \Programm{Git}-Versionen können auch deutlich höhere Werte
sinnvoll sein.  Die Konfiguration kann beispielhaft so erfolgen:
\begin{lstlisting}[style=shell]
$git config core.DeltaBaseCacheLimit 64m
$git config --get core.DeltaBaseCacheLimit
\end{lstlisting}
Das letzte Kommando sollte nun den Wert \verb+64m+ zurückliefern.

Das Format der Datei \Datei{wortliste} ist in der Datei
\Datei{dateikopf} beschrieben.  Im Repositorium sind auch einige
Skripten zur Bearbeitung der Wortliste enthalten.  Aktualisiert wird die
Wortliste (das gesamte lokale Repositorium) mit
\begin{lstlisting}[style=shell]
$git pull
\end{lstlisting}

\subsection{\Abk{html}-Prüfmaske}
Es existiert ein Entwurf für eine interaktive Maske zur Kontrolle der
Rechtschreibung von Wortlisten und der Eingabe korrekter Trennungen.%
\footnote{\url{http://www.mnn.ch/opendehyph/index.php}}


\raggedright
\bibliography{projektbeschreibung}


\end{document}

%%% Local Variables: 
%%% mode: latex
%%% TeX-PDF-mode: t
%%% TeX-master: t
%%% coding: iso-8859-15
%%% End: 
