Цель заброшена
Автор не отписывался в цели 3 года 11 месяцев 7 дней
Понять как парсить русский текст при помощи FCG
Московская лингвистическая школа - ведущая лингвистическая школа мира.
Е.В. Рахлина - российский лингвист ( https://istina.msu.ru/workers/504351/ )
была редактором книги
Лингвистика конструкций / Отв. ред. Е. В. Рахилина. — М.: Издательский центр "Азбуковник", 2010. — 584 с.
И там она рекламирует подход французов в FCG (это первый практически реализованный "в металле" движок такого типа)
И в принципе есть вроде бы соответствие между этой моделью и "моделью Смысл-Текст" Мельчука
(в начале есть текст, в конце обработки получается смысл и наоборот)
Смежные работы интересные есть (работа про отображение текста на онтологию):
2012, Игорь Богуславский & Вячеслав Диконов & Cветлана Тимошенко,
Онтология для поддержки задач извлечения смысла из текста на естественном языке
Ну вот, я хочу разобраться, как движок FCG работает, практически как его использовать.
его ведь можно скачать, скомпилировать и запустить,
Проблема у этих книжек - экстремальная абстрактность, хочется ближе к железу, больше конкретики.
Пример какой-нибудь сделать.
Но мешает непонимание того, как это всё работает.
Критерий завершения
Просветление достигнуто
Экологичность цели
Если сильный ИИ убъёт всех людей, то экология улучшитcя.
-
Освоить унификацию вдоль и поперёк
-
Понять как работает J-оператор
-
Запустить код из репозитория
-
Описать какую-нибудь грамматику
Дневник цели
Видеостудия в Москве (с рисованием на стекле) - 4900 руб/час:
https://svetak.ru/arenda-video-studii
10 часов - 30%скидка (т.е. 34300 руб)
100 часов - 40% скидка (т.е. 294000 руб)
не то, чтобы у меня прям материал был в наличии, который читать,
но конкретно для съёмки никаких препятствий нет и есть цена для подсчёта рентабельности проекта.
Интересно было бы сравнить монетизацию способов публикации: в форме монографии и в форме видеокурса.
Ещё было бы интересно найти подобную студию для fullbody tracking. Просто интересно.
Комментарии
В книжке
2010, Laura Kallmeyer, Parsing Beyond Context-Free Grammars
есть глава 3, там ПОНЯТНО написано, как при описывать алгоритм разбора текста при помощи правил вывода.
Но всё равно мне пока чего-то не хватает для просветления.
Обнаружил класс языков "Mildly Context Sensitive", который появился в 1985-м году (но они как-то прошли ранее мимо меня). Они круче чем Context Free Grammars, но при этом всё ещё разбираются за полиномиальное время.
2006, Bruno Mery & Maxime Amblard & Irène Durand & Christian Retoré, A Case Study of the Convergence of Mildly Context-Sensitive Formalisms for Natural Language Syntax: from Minimalist Grammars to Multiple Context-Free Grammars
Это, конечно, сбивает с пути через матлогику, пролог, DCG к FCG. (Но даже на этом пути мне были неясны некоторые переходы, например между DCG и FCG). На текущий момент просветление отдалилось.
https://en.wikipedia.org/wiki/Range_concatenation_grammars
"RCGs treat the grammatical process more as a proof than as a production."
В процессе гугления разных слов обнаружил страницу факультета Математики и Кибернетики МГУ:
там несколько учебных курсов (разных лекторов), например:
Математическая логика и логическое программирование (3-й поток)
http://mk.cs.msu.ru/images/0/04/LectLog19.pdf
Математическая логика и логическое программирование (группа 318)
математическая логика тут при том, что именно в ней излагается унификация и всё что к ней относится.
Укороченный курс матлогики:
https://www.youtube.com/playlist?list=PLxYr6TaF_SDVKoHEb9PJsOew-zTrICkQ7
как и у многих других курсов ему не хватает "привязок" снаружи (т.е. примернов того, как это тайное знание использовать на практике).
Если есть логика предикатов, теорема о её полноте (что если существует корректная формула, то существует и её доказательство), с этого места можно читать про пролог и его процедуру унификации.
https://ru.wikipedia.org/wiki/Частный_случай_формулы
«Задача унификации — определить, являются ли две формулы частным случаем одной и той же, в частности, друг друга. Задача алгоритмически неразрешима в общем случае, если используются термы высших порядков (то есть знаки функций).»
Тут:
1) нехватает ссылки на те работы, где эта алгоритмическая неразрешимость демонстрируется и доказывается. И вообще ссылок на литературу нет.
2) не описаны сценарии использования унификации. Где и для чего она применяется?
3) не хватает примеров
https://en.wikipedia.org/wiki/Unification_(computer_science)
«If a solution is required to make both sides of each equation literally equal, the process is called syntactic or free unification, otherwise semantic or equational unification, or E-unification, or unification modulo theory.»
«Syntactical first-order unification is used in logic programming and programming language type system implementation, especially in Hindley–Milner based type inference algorithms.
Semantic unification is used in SMT solvers, term rewriting algorithms and cryptographic protocol analysis.»
Higher-order unification is used in proof assistants, for example Isabelle and Twelf, and restricted forms of higher-order unification (higher-order pattern unification) are used in some programming language implementations, such as lambdaProlog
Isabelle ещё используется для доказательства корректности ядра seL4 операционных систем
Isabelle also features efficient automatic reasoning tools, such as a term rewriting engine and a tableaux prover
разные применения могут быть:
1) яндекс подобные алгоритмы применяет для того, чтобы учитывать падежи при поиске фраз в интернете, бизнес на этом сделали
2) существует голосовой помошник Яндекс.Алиса, он тоже анализирует русский язык
3) существуют системы вопрос-ответ, которые ищут по базе знаний (например IBM Watson), но там английский, а я не такой, у меня русский язык родной. И таких людей ещё 140 миллионов, и никуда они в ближайшие 50 лет не исчезнут.
5) имея анализ текстов с учётом русского языка можно более точно автоматизированно выделять интересные новости из новостного потока.
6) можно написать язык программирования, который учитывает падежи русского языка (я в школе мечтал, это у меня нереализованное детское желание)
