New user registration is currently disabled due to spam abuse / Регистрация новых пользователей в настоящее время приостановлена из-за злоупотреблений спаммерами

WordNet 3.0

Всё по словарям

Re: WordNet 3.0

Postby Gloggy » Wed Nov 11, 2009 10:12 am

unera wrote:короче если к вечеру соберется выложу пакет на потестить :)

Хехехе ;) Да, оно небыстро работает, но мне скорость не критична была. Сам скрипт я настраивал с параметром $short=true, там по нескольку сотен карточек получалось, и бысто. А финальные прогоны два-три раза всего делал, и ради этих нескольких раз оптимизировать скрипт и вылавливать новые баги смысла не было.

Собственно, поэтому и не очень хотел выкладывать скрипт в том виде, в каком он есть, ибо медленный он. Ну раз сказали - надо, значит надо!

хех, ikm говорил мол "сделаем вид что это руками нарисовано" оно часами работает скриптами :)

Ну да, *каждый* раз перегенерировать словарь - это абсолютно бессмысленно и затратно, скрипт не был задуман на периодическое использование при каждом билде.
Gloggy
Модератор
 
Posts: 516
Joined: Wed May 06, 2009 3:01 pm

Re: WordNet 3.0

Postby Gloggy » Wed Nov 11, 2009 10:23 am

unera wrote:
Code: Select all
ERROR: sentidx.vrb format error: ["pet%2:35:00::"]

при этом этот файл имеет такое содержимое: http://paste.org.ru/?bn2y0x
такая (ошибочная) строка там есть, только в ней нет второго поля. насколько я понимаю это некритично?

Ах да, совсем забыл об этом. Это бага в оригинальном WordNet 3.0. Данную строку можно просто удалить из файла, что я и сделал.

сколько времени он примерно может работать на одном CPU 1000МГц?

Даже и не знаю. У меня на 4-ядерном проце с 8 гигами памяти около получаса работает, как раз мне на обед хватает времени. ;)
Gloggy
Модератор
 
Posts: 516
Joined: Wed May 06, 2009 3:01 pm

Re: WordNet 3.0

Postby unera » Wed Nov 11, 2009 11:49 am

Gloggy wrote:
unera wrote:короче если к вечеру соберется выложу пакет на потестить :)

Хехехе ;) Да, оно небыстро работает, но мне скорость не критична была. Сам скрипт я настраивал с параметром $short=true, там по нескольку сотен карточек получалось, и бысто. А финальные прогоны два-три раза всего делал, и ради этих нескольких раз оптимизировать скрипт и вылавливать новые баги смысла не было.

Собственно, поэтому и не очень хотел выкладывать скрипт в том виде, в каком он есть, ибо медленный он. Ну раз сказали - надо, значит надо!

хех, ikm говорил мол "сделаем вид что это руками нарисовано" оно часами работает скриптами :)

Ну да, *каждый* раз перегенерировать словарь - это абсолютно бессмысленно и затратно, скрипт не был задуман на периодическое использование при каждом билде.

ну в общем я запостил в Debian багу с предложением, посмотрим что ответит. кому интересно, следить за дискуссией (если она будет) можно здесь: http://bugs.debian.org/cgi-bin/bugreport.cgi?bug=555707

насчет пересобирать, да это делается нечасто, разумеется. Однако то что скрипт теперь есть даст возможность кому-нибудь в него внести какие-то изменения. Например я бы убрал стрелочки "↑" около каждой гиперссылки. Мне кажется что выделения цветом которое уже есть в goldendict достаточно.

Ну а вообще основное применение конечно в том что когда появится новая версия WN, то из нее точно так же сделается такой словарь
unera
 
Posts: 144
Joined: Wed Jun 03, 2009 6:55 pm

Re: WordNet 3.0

Postby unera » Wed Nov 11, 2009 12:03 pm

Gloggy, как ты думаешь можно убрать эти стрелочки?

если мы код:
Code: Select all
  def make_link(target)
    target = target.strip
    if (target =~ /↑/)
      target
    else
      # no need to validate links, the format is good, no broken links
      "↑<<#{target}>>"
    end
  end


заменим на код
Code: Select all
  def make_link(target)
    target = target.strip
    if (target =~ /↑/)
      target
    else
      # no need to validate links, the format is good, no broken links
      "<<#{target}>>"
    end
  end


чем это будет чревато? и еще вопрос: когда здесь уже может быть стрелочка (условие которое проверяется)?
можно ли заменить это на что-то вроде

Code: Select all
if (target =~ /<<.+>>/)


?
unera
 
Posts: 144
Joined: Wed Jun 03, 2009 6:55 pm

Re: WordNet 3.0

Postby unera » Wed Nov 11, 2009 12:10 pm

по моему вот так: Image
выглядит значительно лучше чем старый вариант со стрелочками: Image

Gloggy, можно ли в коде поправить как я сказал (то что на скриншотах получено простым sed'ом по результату)?
или это может привести к каким-то проблемам?
unera
 
Posts: 144
Joined: Wed Jun 03, 2009 6:55 pm

Re: WordNet 3.0

Postby data man » Wed Nov 11, 2009 1:46 pm

unera wrote:выглядит значительно лучше чем старый вариант со стрелочками

По мне тоже !
Если бы ещё ув. Gloggy с его 4-ядерным процем сделал и выложил такой вариант, минимум на 2 счастливых человека стало бы больше ! :)
data man
 
Posts: 46
Joined: Thu Oct 08, 2009 9:38 am

Re: WordNet 3.0

Postby unera » Wed Nov 11, 2009 1:51 pm

data man wrote:
unera wrote:выглядит значительно лучше чем старый вариант со стрелочками

По мне тоже !
Если бы ещё ув. Gloggy с его 4-ядерным процем сделал и выложил такой вариант, минимум на 2 счастливых человека стало бы больше ! :)

я могу выложить этот словарь, если Gloggy скажет что такое преобразование как я поправил не даст никаких негативных последствий (я к сожалению не разбирался пока во внутреннем устройстве словарей DSL)

я покопался по полученному таким образом словарю вроде проблем не вижу, но мало ли что
unera
 
Posts: 144
Joined: Wed Jun 03, 2009 6:55 pm

Re: WordNet 3.0

Postby Gloggy » Wed Nov 11, 2009 2:09 pm

unera wrote:я могу выложить этот словарь, если Gloggy скажет что такое преобразование как я поправил не даст никаких негативных последствий (я к сожалению не разбирался пока во внутреннем устройстве словарей DSL).

я покопался по полученному таким образом словарю вроде проблем не вижу, но мало ли что


Конечно, без проблем. Стрелки - это исключительно оформление, и ни на что влиять не должно. Кому-то нравится, кому-то наоборот. В данном словаре от них особого проку нет, ибо все синенькое - это гиперссылки. В других словарях бывает непонятно, то ли ссылка, то ли просто текст выделен темно-синим, поэтому в своих словрях я всегда ставлю стрелку перед гиперссылкой, чтобы люди не гадали. Но это вопрос вкуса, и можно менять так, как нравится.

По идее, из словаря со стрелками сделать словарь без стрелок - вопрос одной замены в текстовом редакторе (заменить стрелки на пустое место), а вот обратный процесс невозможен, это еще одна из причин, почему я делаю со стрелками. :)
Gloggy
Модератор
 
Posts: 516
Joined: Wed May 06, 2009 3:01 pm

Re: WordNet 3.0

Postby data man » Wed Nov 11, 2009 2:28 pm

Gloggy wrote:По идее, из словаря со стрелками сделать словарь без стрелок - вопрос одной замены в текстовом редакторе

Точно ! Исходный материал же вроде не менялся ?
Жаль, что русский WordNet угас.
data man
 
Posts: 46
Joined: Thu Oct 08, 2009 9:38 am

Re: WordNet 3.0

Postby unera » Wed Nov 11, 2009 2:31 pm

Gloggy wrote:
unera wrote:я могу выложить этот словарь, если Gloggy скажет что такое преобразование как я поправил не даст никаких негативных последствий (я к сожалению не разбирался пока во внутреннем устройстве словарей DSL).

я покопался по полученному таким образом словарю вроде проблем не вижу, но мало ли что


Конечно, без проблем. Стрелки - это исключительно оформление, и ни на что влиять не должно. Кому-то нравится, кому-то наоборот. В данном словаре от них особого проку нет, ибо все синенькое - это гиперссылки. В других словарях бывает непонятно, то ли ссылка, то ли просто текст выделен темно-синим, поэтому в своих словрях я всегда ставлю стрелку перед гиперссылкой, чтобы люди не гадали. Но это вопрос вкуса, и можно менять так, как нравится.

По идее, из словаря со стрелками сделать словарь без стрелок - вопрос одной замены в текстовом редакторе (заменить стрелки на пустое место), а вот обратный процесс невозможен, это еще одна из причин, почему я делаю со стрелками. :)

ответь пожалуйста на другие вопросы: если я пропатчу скрипт как я написал выше все ли будет корректно?
я проглядывал вроде логику, но не понял немного зачем там проверка на случай если стрелка уже вставлена

если код будет такой:

Code: Select all
  def make_link(target)
    target = target.strip
    if (target =~ /<<.+>>/)
      target
    else
      # no need to validate links, the format is good, no broken links
      "<<#{target}>>"
    end
  end


все ли будет ок?
я сгенерил так словарь, но мало ли что там неправильно получилось, вроде не видать проблем-то, но сотню тыщ записей не проверишь руками :)
unera
 
Posts: 144
Joined: Wed Jun 03, 2009 6:55 pm

PreviousNext

Return to Словари

Who is online

Users browsing this forum: No registered users and 53 guests