...
This list of Nutch configuration properties is intended for development. It includes deprecated properties and properties used only "internally". The list is generated from nutch-default.xml and Java sources.
Legend:
Def: defined in nutch-default.xml
Used: read or set from Java code
Temp: temporarily used to pass settings (eg, from command-line arguments) to map or reduce jobs
...
(owr.): some properties are defined in nutch-default.xml (and may be set in nutch-site.xml) but are overwritten by a command-line argument programmatically (tests and benchmarks are excluded)(test): overwritten only in tests and benchmarks, eg. via a command-line argument in some Nutch tools
1.X (master Branch) | 2.x (deprecated codebase) | ||||||||||||||
Property | Def. | Used | Temp. | Depr. | Def. | Used | Temp. | Depr.CrawlDBScanner | |||||||
| anchorIndexingFilter.regexdeduplicate | X | X | CrawlDBScanner.status | X | X | ||||||||||
| anchorIndexingFilterany23.deduplicatecontent_types | X | X(test) | |||||||||||||
| any23.extractors | X | X | (test) | ||||||||||||
| arc.url.version | - | X | |||||||||||||
| contentbatch.serverproxy.port | X- | X | |||||||||||||
| crawlcontent.genserver.delayport | - | X | - | X | |||||||||||
| cosine.goldstandard.file | X | X | |||||||||||||
| crawl.datum.processor.overdue.time.limit | -crawldb.url.filters | X | |||||||||||||
| crawl.gen.delay | X | X | crawldb.url.normalizersX | X | |||||||||||
| crawldb.urlinject.filter.normalizersnormalize.scopeall | - | X | |||||||||||||
| creativecommonscrawldb.excludeurl.unlicensedfilters | X | X | (owr.) | X | |||||||||||
| crawldb.url.normalizersdb.default.fetch.interval | X | X | (owr.) | ||||||||||||
| crawldb.url.normalizers.scope | - | X | |||||||||||||
| creativecommons.exclude.unlicensed | - | X | - | X | NUTCH-1409 | X | X | NUTCH-1409 | |||||||
| db.fetch.interval.default | X | X | (test) | X | X | ||||||||||
| db.fetch.interval.max | X | X | X | X | |||||||||||
| db.fetch.retry.max | X | X | X | X | |||||||||||
| db.fetch.schedule.adaptive.dec_rate | X | X | X | X | |||||||||||
| db.fetch.schedule.adaptive.inc_rate | X | X | X | X | |||||||||||
| db.fetch.schedule.adaptive.max_interval | X | X | X | X | |||||||||||
| db.fetch.schedule.adaptive.min_interval | X | X | X | X | |||||||||||
| db.fetch.schedule.adaptive.sync_delta | X | X | X | X | |||||||||||
| db.fetch.schedule.adaptive.sync_delta_rate | XX | - | XX | - | |||||||||||
| db.fetch.schedule.class | X | X | (test) | X | X | ||||||||||
| db.fetch.schedule.mime.file | X | X | |||||||||||||
| db.ignore.externalalso.linksredirects | X | X | |||||||||||||
| db.ignore.external.exemptions.file | XX | - | |||||||||||||
| db.ignore.internalexternal.links | X | X | X | X | |||||||||||
| db.ignore.external.injectorlinks.overwritemode | X | X | |||||||||||||
| db.ignore.internal.links | X | X | X | - | |||||||||||
| db.injector.overwriteinjector.update | X | X | (testowr.) | ||||||||||||
| db.maxinjector.anchor.lengthupdate | X | XX | (owr.) | ||||||||||||
| db.max.fetchanchor.intervallength | X | NUTCH-1409 | X | NUTCH-1409 | |||||||||||
| db.max.outlink.inlinksXlength | X | X | |||||||||||||
| db.max.outlinks.per.page | X | X | X | X | |||||||||||
| db.parsemeta.to.crawldb | X | X | X | - | |||||||||||
| db.preserve.backup | X | X | |||||||||||||
| db.reader.stats.sort | - | X | X | - | X | X | |||||||||
| db.reader.topn | - | X | X | ||||||||||||
| db.reader.topn.min | - | X | X | ||||||||||||
| db.score.count.filtered | X | X | X | X | |||||||||||
| db.score.injected | X | X | X | X | |||||||||||
| db.score.link.external | X | X | X | X | |||||||||||
| db.score.link.internal | X | X | X | X | |||||||||||
| db.signature.class | X | X | X | X | |||||||||||
| db.signature.text_profile.min_token_len | XX | - | XX | - | |||||||||||
| db.signature.text_profile.quant_rate | XX | - | X | - | |||||||||||
| db.stats.score.quantiles | X | X | |||||||||||||
| db.update.additions.allowed | X | X | X | X | |||||||||||
| db.update.max.inlinks | X | X | X | X | |||||||||||
| db.update.purge.404 | X | X | |||||||||||||
| db.update.purge.orphans | X | X | |||||||||||||
| dc.language | - | X | |||||||||||||
| domain.statistics.mode | - | X | X | - | X | X | |||||||||
| elastic.cluster | X | - | |||||||||||||
| elastic.host | X | - | |||||||||||||
| elastic.index | X | - | |||||||||||||
| elastic.max.bulk.docs | X | - | |||||||||||||
| elastic.max.bulk.size | X | - | |||||||||||||
| elastic.port | X | - | |||||||||||||
| elasticsearch.conf | - | X | |||||||||||||
| encodingdetector.charset.min.confidence | X | X | X | X | |||||||||||
| exchanges.exchanges.file | X | X | |||||||||||||
| fail.on.job.failure | - | X | |||||||||||||
| fetcher.bandwidth.target | X | X | |||||||||||||
| fetcher.exitbandwidth.target.check.everyNSecs | X | X | |||||||||||||
| fetcher.filter.urls | X | X | |||||||||||||
| fetcher.follow.outlinks.depth | X | X | |||||||||||||
| fetcher.follow.outlinks.depth.divisor | XX | - | |||||||||||||
| fetcher.follow.outlinks.ignore.external | XX | - | |||||||||||||
| fetcher.follow.outlinks.num.links | XX | - | |||||||||||||
| fetcher.job.resume | - | X | |||||||||||||
| fetcher.maxjob.crawl.delay | X | X | sitemap | -X | X | ||||||||||
| fetcher.maxjob.exceptionssitemap.per.queuedetect | X- | X | X | ||||||||||||
| fetcher.max.crawl.parsedelay | X | X | (test) | X | X | ||||||||||
| fetcher.queuemax.exceptions.depthper.multiplierqueue | XX | - | XX | - | |||||||||||
| fetcher.queuemaxNum.modethreads | X | X | X | X | |||||||||||
| fetcher.queuemin.usecrawl.host.settingsdelay | X | X | |||||||||||||
| fetcher.server.delay | X | Xnormalize.urls | X | X | |||||||||||
| fetcher.server.min.delayparse | X | X | X | X | |||||||||||
| fetcher.store.contentpublisher | X | X | |||||||||||||
| fetcher.queue.depth.multiplier | X | X | X | X | |||||||||||
| fetcher.threadsqueue.fetchmode | X | X(owr.) | X | X | |||||||||||
| fetcher.threadsqueue.peruse.host.settings | NUTCH-1409 | X | XNUTCH-1409 | ||||||||||||
| fetcher.threads.per.host.by.ipredirect.dedupcache.seconds | X | X | |||||||||||||
| fetcher.redirect.dedupcache.size | X | X | |||||||||||||
| fetcher.threadsserver.per.queuedelay | X | X | X | X | |||||||||||
| fetcher.threadsserver.timeoutmin.divisordelay | X | X | fetcher.throughput.threshold.check.after | X | X | ||||||||||
| (owrfetcher.)signature | X | X | |||||||||||||
| fetcher.throughputstore.threshold.pagescontent | X | X | X | X | |||||||||||
| fetcher.throughputstore.threshold.retriesrobotstxt | X | X | |||||||||||||
| fetcher.throughputthreads.threshold.sequencefetch | X | X | fetcher(owr.timelimit) | X | XX | ||||||||||
| fetcher.threads.per.host.by.ip | - | X | |||||||||||||
| fetcher.threads.timelimitper.minsqueue | X | X | X | X | |||||||||||
| fetcher.threads.timeout.verbosedivisor | X | X | X | ||||||||||||
file.content.ignored | X | X | file.content.limitfetcher.throughput.threshold.check.after | X | X | (testowr.) | X | X | (test) | - | |||||
| fetcher.throughput.threshold.pagesfile.crawl.parent | X | X | XX | - | |||||||||||
| freefetcher.throughput.generatorthreshold.filterretries | X | X | |||||||||||||
| freefetcher.throughput.generatorthreshold.normalizesequence | X | - | |||||||||||||
| fetcher.timelimit | -ftp.content.limit | X | X | - | X | X | |||||||||
| ftpfetcher.followtimelimit.talkmins | X | X | X | X | |||||||||||
| ftpfetcher.keep.connectionverbose | X | X | X | X | - | ||||||||||
| file.content.ignoredftp.password | XX | - | XX | - | |||||||||||
| ftpfile.servercontent.timeoutlimit | X | X | (owr.) | X | X | ||||||||||
| ftpfile.crawl.timeoutparent | X | X | X | Xftp | |||||||||||
| .usernamefile.crawl.redirect_noncanonical | XX | - | XX | - | |||||||||||
| generatefree.batchgenerator.idfilter | - | X | |||||||||||||
| free.generator.normalize | - | X | |||||||||||||
| ftp.content.limitgenerate.count.mode | X | X | X | X | |||||||||||
| generateftp.follow.curTimetalk | X | X | generate.filter | X | X | ||||||||||
| generateftp.maxkeep.countconnection | X | X | X | X | |||||||||||
| generateftp.max.distancepassword | X | X | generate.max.num.segmentsX | X | |||||||||||
| generateftp.maxserver.per.hosttimeout | X | X | NUTCH-1409 | NUTCH-1409 | generate.max.per.host.by.ip | X | NUTCH-1409 | NUTCH-1409 | X | X | |||||
| ftp.timeout | X | X | X | X | |||||||||||
| ftp.usernamegenerate.min.interval | X | X | generate.min.score | X | X | X | |||||||||
| generate.batch.normaliseid | X- | X | |||||||||||||
| generate.partition.seedcount | - | X | |||||||||||||
| generate.restrictcount.statusmode | X | generate.topNX | X | X | |||||||||||
| generate.update.crawldbcurTime | X- | XX | - | X | |||||||||||
| generate.expr | -hostdb.concurrency.level | X | |||||||||||||
| hostdbgenerate.lru.sizefetch.delay.expr | X | X | |||||||||||||
| htmlparsefiltergenerate.orderfilter | X- | XX | - | X | |||||||||||
| httpgenerate.accepthostdb | X | X | |||||||||||||
X | X | http.accept.languagegenerate.max.count | X | X | X | X | |||||||||
| httpgenerate.max.agentcount.descriptionexpr | X | X | |||||||||||||
| generate.max.distance | X | X | |||||||||||||
| httpgenerate.max.agentnum.emailsegments | - | XX | |||||||||||||
| generate.min.interval | X | X | |||||||||||||
| httpgenerate.agentmin.hostscore | X | X | X | X | |||||||||||
| generate.normalise | -http.agent.name | X | - | X | (test) | ||||||||||
| generate.partition.seed | -X | X | |||||||||||||
(test) | http.agent.urlgenerate.restrict.status | X | X | ||||||||||||
| generate.sitemap | X- | X | |||||||||||||
| httpgenerate.agent.versiontopN | X- | XX | - | X | |||||||||||
| httpgenerate.authupdate.filecrawldb | X | X | X | X | |||||||||||
| httpgora.buffer.authread.verboselimit | XX | - | |||||||||||||
| httpgora.buffer.contentwrite.limit | X | - | |||||||||||||
| hbase.indexer.commit.size | X | - | |||||||||||||
| hbase.indexer.mapping.file | X | - | |||||||||||||
| hbase.indexer.zookeeper.property.clientPort | X | - | |||||||||||||
| hbase.indexer.zookeeper.quorum | X | - | |||||||||||||
| headings | X | - | |||||||||||||
| headings.multivaluedhttp.max.delays | X | X | |||||||||||||
| httphostdb.proxycheck.host | X | X | (test) | X | X | (test) | failed | X | X | ||||||
| hostdb.check.known | X | X | |||||||||||||
| hostdb.check.new | X | X | |||||||||||||
| hostdb.concurrency.level | - | X | |||||||||||||
| hostdb.crawldatum.processors | X | X | |||||||||||||
| hostdb.dump.field.header | - | X | |||||||||||||
| hostdb.dump.homepages | - | X | |||||||||||||
| hostdb.dump.hostnames | - | X | |||||||||||||
| hostdb.filter.expression | - | X | |||||||||||||
| hostdb.force.check | X | X | |||||||||||||
| hostdb.lru.size | - | X | |||||||||||||
| hostdb.num.resolvers.threads | X | X | |||||||||||||
| hostdb.numeric.fields | X | X | |||||||||||||
| hostdb.percentiles | X | X | |||||||||||||
| hostdb.purge.failed.hosts.threshold | X | X | |||||||||||||
| hostdb.reading.crawldb | - | X | X | ||||||||||||
| hostdb.recheck.interval | X | X | |||||||||||||
| hostdb.string.fields | X | X | |||||||||||||
| hostdb.url.filter | X | X | |||||||||||||
| hostdb.url.normalize | X | X | |||||||||||||
| htmlparsefilter.order | X | X | X | X | |||||||||||
| htmlunit.enable.css | X | X | |||||||||||||
| htmlunit.enable.javascript | X | X | |||||||||||||
| htmlunit.javascript.timeout | X | X | |||||||||||||
| http.accept | X | X | X | X | |||||||||||
| http.accept.charset | X | X | X | X | |||||||||||
| http.accept.language | X | X | X | X | |||||||||||
| http.agent.description | X | X | X | X | |||||||||||
| http.agent.email | X | X | X | X | |||||||||||
| http.agent.host | X | X | X | X | |||||||||||
| http.agent.host.cookie.file | X | X | |||||||||||||
| http.agent.name | X | X | (owr.) | X | X | ||||||||||
| http.agent.rotate | X | X | X | X | |||||||||||
| http.agent.rotate.file | X | X | X | X | |||||||||||
| http.agent.url | X | X | X | X | |||||||||||
| http.agent.version | X | X | X | X | |||||||||||
| http.auth.file | X | X | X | X | |||||||||||
| http.auth.verbose | - | X | - | X | |||||||||||
| http.content.limit | X | X | (owr.) | X | X | ||||||||||
| http.content.truncated | - | X | |||||||||||||
| http.content.truncated.reason | - | X | |||||||||||||
| http.enable.cookie.header | X | X | |||||||||||||
| http.enable.if.modified.since.header | X | X | |||||||||||||
| http.log.exceptions.suppress.stack | X | X | |||||||||||||
| http.max.delays | X | - | |||||||||||||
| http.partial.truncated | X | X | |||||||||||||
| http.proxy.exception.list | X | X | |||||||||||||
| http.proxy.host | X | X | X | X | |||||||||||
| http.proxy.password | X | X | X | X | |||||||||||
| http.proxy.port | X | X | X | X | |||||||||||
| http.proxy.realm | X | X | X | X | |||||||||||
| http.proxy.type | X | X | |||||||||||||
| http.proxy.username | X | X | X | X | |||||||||||
| http.redirect.max | X | X | |||||||||||||
| http.redirect.max.exceeded.skip | X | X | |||||||||||||
| http.robot.rules.whitelist | X | X | |||||||||||||
| http.robots.403.allow | X | X | X | X | |||||||||||
| http.robots.agents | X | X | (owr.) | X | X | ||||||||||
| http.store.responsetime | X | X | X | X | |||||||||||
| http.time.limit | X | X | |||||||||||||
| http.timeout | X | X | X | X | |||||||||||
| http.tls.certificates.check | X | X | |||||||||||||
| http.tls.supported.cipher.suites | - | X | - | X | |||||||||||
| http.tls.supported.protocols | - | X | - | X | |||||||||||
| http.useHttp11 | X | X | X | X | |||||||||||
| http.useHttp2 | X | X | |||||||||||||
| http.verbose | X | X | |||||||||||||
| index.content.md | X | X | |||||||||||||
| index.db.md | X | X | |||||||||||||
| index.geoip.licensekey | X | X | |||||||||||||
| index.geoip.usage | X | X | |||||||||||||
| index.geoip.userid | X | X | |||||||||||||
| index.jexl.filter | X | X | |||||||||||||
| index.links.hosts.only | X | - | |||||||||||||
| index.links.inlinks.host.ignore | X | - | |||||||||||||
| index.links.outlinks.host.ignore | X | - | |||||||||||||
| index.metadata | X | X | |||||||||||||
| index.metadata.multivalued.fields | - | X | |||||||||||||
| index.metadata.separator | X | X | |||||||||||||
| index.parse.md | X | X | |||||||||||||
| index.replace.regexp | X | X | |||||||||||||
| index.static | X | X | |||||||||||||
| index.static.fieldsep | X | X | |||||||||||||
| index.static.keysep | X | X | |||||||||||||
| index.static.valuesep | X | X | |||||||||||||
| indexer.add.domain | X | X | |||||||||||||
| indexer.additional.params | - | X | |||||||||||||
| indexer.binary.base64 | - | X | |||||||||||||
| indexer.delete | - | X | |||||||||||||
| indexer.delete.robots.noindex | X | X | |||||||||||||
| indexer.delete.skipped.by.indexingfilter | X | X | |||||||||||||
| indexer.indexwriters.file | X | X | |||||||||||||
| indexer.max.content.length | X | X | |||||||||||||
| indexer.max.title.length | X | X | X | X | |||||||||||
| indexer.nocommit | - | X | |||||||||||||
| indexer.score.power | X | X | X | X | |||||||||||
| indexer.skip.notmodified | X | X | |||||||||||||
| indexer.url.filters | - | X | X | X | |||||||||||
| indexer.url.normalizers | - | X | |||||||||||||
| indexingfilter.order | X | X | X | X | |||||||||||
| injector.current.time | - | X | X | - | X | X | |||||||||
| interactiveselenium.handlers | X | X | |||||||||||||
| io.file.buffer.size | - | X | |||||||||||||
| io.serializations | X | - | X | - | |||||||||||
| jsoup.extractor.property.file | X | X | |||||||||||||
| lang.analyze.max.length | X | X | X | - | |||||||||||
| lang.extraction.policy | X | X | X | X | |||||||||||
| lang.identification.only.certain | X | X | X | X | |||||||||||
| lang.index.languages | X | X | |||||||||||||
| lang.ngram.max.length | X | - | |||||||||||||
| lang.ngram.min.length | X | - | |||||||||||||
| libselenium.page.load.delay | - | X | |||||||||||||
| link.analyze.damping.factor | X | X | |||||||||||||
| link.analyze.initial.score | X | X | |||||||||||||
| link.analyze.iteration | - | X | X | ||||||||||||
| link.analyze.normalize.score | - | X | - | X | |||||||||||
| link.analyze.num.iterations | X | X | |||||||||||||
| link.analyze.rank.one | - | X | X | ||||||||||||
| link.delete.gone | X | X | |||||||||||||
| link.ignore.internal.domain | X | X | |||||||||||||
| link.ignore.internal.host | X | X | |||||||||||||
| link.ignore.limit.domain | X | X | |||||||||||||
| link.ignore.limit.page | X | X | |||||||||||||
| link.score.updater.clear.score | X | X | |||||||||||||
| linkdb.ignore.external.links | X | X | |||||||||||||
| linkdb.ignore.internal.links | X | X | |||||||||||||
| linkdb.max.anchor.length | X | X | |||||||||||||
| linkdb.max.inlinks | X | X | |||||||||||||
| linkdb.regex | - | X | X | ||||||||||||
| linkdb.url.filters | - | X | X | X | |||||||||||
| linkdb.url.normalizer | - | X | |||||||||||||
| linkdb.url.normalizer.scope | - | X | |||||||||||||
| metatag.description | - | X | |||||||||||||
| metatag.keyword | - | X | |||||||||||||
| metatag.keywords | - | X | |||||||||||||
| metatags.names | X | X | X | X | |||||||||||
| mime.type.magic | X | X | X | X | |||||||||||
| mime.types.file | X | X | X | X | |||||||||||
| mimetype.filter.file | X | X | |||||||||||||
| moreIndexingFilter.indexMimeTypeParts | X | X | X | X | |||||||||||
| moreIndexingFilter.mapMimeTypes | X | X | |||||||||||||
| moreIndexingFilter.mapMimeTypes.field | X | X | |||||||||||||
| nutch.conf.uuid | - | X | - | X | |||||||||||
| nutch.fetch.time | - | X | |||||||||||||
| org.apache.nutch.webui | - | X | |||||||||||||
| page.load.delay | X | X | |||||||||||||
| parse.filter.urls | X | X | (owr.) | ||||||||||||
| parse.job.force | - | X | |||||||||||||
| parse.job.resume | - | X | |||||||||||||
| parse.normalize.urls | X | X | (owr.) | ||||||||||||
| parse.plugin.filehttp.proxy.password | X | X | X | X | |||||||||||
| httpparse.proxy.portsitemap | X- | X(test) | |||||||||||||
| parsefilter.naivebayes.trainfile | X | X | (test) | ||||||||||||
| http.proxy.realmparsefilter.naivebayes.wordlist | X | X | X | X | http.proxy.username | ||||||||||
| parsefilter.regex.file | -X | X | X | X | |||||||||||
| parsefilter.regex.rules | - | http.redirect.max | X | X | |||||||||||
| httpparser.robotscaching.403forbidden.allowpolicy | X | X | X | X | |||||||||||
| httpparser.character.robotsencoding.agentsdefault | X | X(test) | X | X | (test) | ||||||||||
| http.timeoutparser.html.form.use_action | X | X | X | X | |||||||||||
| httpparser.html.useHttp11impl | X | X | X | Xhttp | |||||||||||
| .verboseparser.html.line.separators | X | X | |||||||||||||
| parser.html.outlinks.htmlnode_metadata_name | X | X | |||||||||||||
| indexparser.html.contentoutlinks.mdignore_tags | X | X | index.db.md | X | X | ||||||||||
| index.parse.mdparser.html.outlinks.max.target.length | X | X | (test) | ||||||||||||
| index.replace.regexpparser.skip.truncated | X | Xindex.static | X | X | |||||||||||
| indexerparser.addstore.domaintext | X | X | |||||||||||||
| indexerparser.deletetimeout | X | indexer.delete.robots.noindex | Xindexer.max.content.length | X | X | ||||||||||
| indexerpartition.maxurl.title.lengthmode | X | X | X | X | (test) | ||||||||||
| partition.url.seed | -indexer.score.power | X | X | - | X | ||||||||||
| plugin.auto-activation | X | indexer.skip.notmodifiedX | X | X | |||||||||||
| indexerplugin.url.filtersexcludes | X | X | X | indexer.url.normalizers | X | ||||||||||
| indexerplugin.writer.classesfolders | X | X | X | X | |||||||||||
| indexingfilterplugin.orderincludes | X | X | X | X | |||||||||||
| injectorpreferred.currentschema.timename | X | ||||||||||||||
| publisher.order | X | - | |||||||||||||
| rabbitmq.publisher.binding | X | X | |||||||||||||
| langrabbitmq.analyzepublisher.maxbinding.lengtharguments | X | X | X | ||||||||||||
| lang.extraction.policyrabbitmq.publisher.exchange.name | X | X | |||||||||||||
| rabbitmq.publisher.exchange.options | X | X | |||||||||||||
| langrabbitmq.identificationpublisher.onlyheaders.certainstatic | X | X | |||||||||||||
| rabbitmq.publisher.queue.name | X | X | |||||||||||||
| langrabbitmq.ngrampublisher.maxqueue.lengthoptions | X | lang.ngram.min.length | X | ||||||||||||
| linkrabbitmq.analyzepublisher.damping.factorroutingkey | X | X | |||||||||||||
| linkrabbitmq.analyzepublisher.initialserver.scoreuri | X | X | |||||||||||||
| linkrestapi.analyze.iterationauth | X | X | |||||||||||||
| linkrestapi.analyzeauth.normalizessl.scorekeypass | X | X | |||||||||||||
| linkrestapi.analyzeauth.numssl.iterationsstorepass | X | X | |||||||||||||
| linkrestapi.analyzeauth.rankssl.onestorepath | X | X | |||||||||||||
| linkrestapi.deleteauth.goneusers | X | X | |||||||||||||
| linkscoring.ignorecontent.internal.domainmd | X | X | |||||||||||||
| linkscoring.ignoredb.internal.hostmd | X | X | |||||||||||||
| linkscoring.ignoredepth.limit.domainmax | X | X | |||||||||||||
| linkscoring.ignorefilter.limit.pageorder | X | X | link.loops.depth- | X | X | ||||||||||
| linkscoring.scoreorphan.updatermark.cleargone.scoreafter | X | X | |||||||||||||
| linkdb.url.filtersscoring.orphan.mark.orphan.after | X | X | |||||||||||||
X | linkdbscoring.urlparse.normalizermd | X | X | ||||||||||||
| linkdbscoring.urlsimilarity.normalizer.scopemodel | Xmetatag.description | X | metatag.keywords | X | |||||||||||
| metatags.namesscoring.similarity.ngrams | X | X | (test) | ||||||||||||
| mime.type.magicscoring.similarity.stopword.file | X | X | |||||||||||||
| screenshot.location | X | X | |||||||||||||
| mimesegment.typesdump.filedir | - | XX | |||||||||||||
| segment.merger.filter | - | X | X | ||||||||||||
| segment.merger.normalizer | -moreIndexingFilter.indexMimeTypeParts | X | X | ||||||||||||
| segment.merger.segmentName | -(test) | X | X | (test) | |||||||||||
| segment.merger.slice | -moreIndexingFilter.mapMimeTypes | X | X | ||||||||||||
| nutchsegment.confproxy.uuidport | X- | X | |||||||||||||
| parsesegment.reader.filtercontent.urlsrecode | X | X | (owr.)parse. | ||||||||||||
| selenium.driver | Xjob.force | X | |||||||||||||
| parseselenium.jobenable.resumeheadless | X | X | |||||||||||||
| parseselenium.firefox.normalizeallowed.urlshosts | XX | - | (owr.) | ||||||||||||
| parse.plugin.fileselenium.firefox.binary.timeout | X | - | |||||||||||||
| selenium.firefox.enable.flash | X | (test) | X | X | (test) | - | |||||||||
| selenium.firefox.load.imageparser.caching.forbidden.policy | X | X | X | X | parser.character.encoding.default | - | |||||||||
| selenium.firefox.load.stylesheet | X | - | |||||||||||||
| selenium.grid.binary | X | X | X | X | |||||||||||
| parserselenium.fixgrid.embeddedparamsdriver | X | X | |||||||||||||
| parserselenium.html.form.use_actionhub.host | X | X(test) | |||||||||||||
| selenium.hub.path | X | X | |||||||||||||
(test) | parser.html.impl | Xselenium.hub.port | X | X | X | ||||||||||
| parserselenium.html.outlinks.ignore_tagshub.protocol | X | X | |||||||||||||
| sftp.password | X- | X | |||||||||||||
| sftp.port | -parser.skip.truncated | XX | |||||||||||||
| sftp.server | X- | X | |||||||||||||
| parsersftp.timeoutuser | - | XX | |||||||||||||
| sitemap.content.limit | XX | - | |||||||||||||
| partitionsitemap.urlparser.modetimeout | X | X | |||||||||||||
| sitemap.redir.max | X | X | |||||||||||||
| partitionsitemap.urlsize.seedmax | X | X | X | ||||||||||||
| plugin.auto-activationsitemap.strict.parsing | X | X | |||||||||||||
| sitemap.url.default.sitemap.xml | X | X | |||||||||||||
| pluginsitemap.url.excludesfilter | X | X | |||||||||||||
| sitemap.url.normalize | X | Xplugin | |||||||||||||
| .folderssitemap.url.overwrite.existing | X | X | |||||||||||||
| solr.auth | X | X | |||||||||||||
| pluginsolr.auth.includespassword | X- | X | (test) | ||||||||||||
| solr.auth.username | -X | X | (test) | ||||||||||||
| solr.commit.index | Xschema.prefix | X | |||||||||||||
| scoringsolr.filtercommit.ordersize | X | X | |||||||||||||
| solr.mapping.file | X | X | |||||||||||||
| segmentsolr.dumpserver.dirurl | - | X | |||||||||||||
| segmentstorage.mergercrawl.filterid | X | X | |||||||||||||
| segmentstorage.data.mergerstore.normalizerclass | XX | - | |||||||||||||
| segmentstorage.mergerschema.segmentNamehost | X | X | |||||||||||||
| segmentstorage.mergerschema.slicewebpage | X | X | |||||||||||||
| segmentstore.proxyhttp.portheaders | X | X | |||||||||||||
| segmentstore.readerhttp.corequest | X | X | |||||||||||||
| segmentstore.reader.feip.address | X | X | X | X | |||||||||||
| segmentsubcollection.readercase.geinsensitive | X | X | |||||||||||||
| segmentsubcollection.readerdefault.pafieldname | X | X | |||||||||||||
| segmentsubcollection.readermetadata.pdsource | X- | X | |||||||||||||
| subcollections.config | -segment.reader.pt | X | - | X | |||||||||||
| sftpsubcollections.passwordxml | - | X | sftp.port- | X | |||||||||||
| sftptake.serverscreenshot | Xsftp.user | X | |||||||||||||
| solrtika.authboilerpipe | X | X | |||||||||||||
| solrtika.authboilerpipe.passwordextractor | X | solr.auth.username | X | ||||||||||||
| solrtika.commitconfig.indexfile | X | X | |||||||||||||
| tika.extractor | X | X | |||||||||||||
| solrtika.extractor.commitboilerpipe.sizealgorithm | X | X | |||||||||||||
| tika.extractor.boilerpipe.mime.types | X | X | |||||||||||||
| solrtika.mappinghtmlmapper.fileclassname | X | X | X | X | |||||||||||
| tika.parse.embedded | Xsolr.params | X | |||||||||||||
| solrtika.uppercase.serverelement.urlnames | X | X | |||||||||||||
| storageurlfilter.crawl.idautomaton.file | X | X | X | X | |||||||||||
| storageurlfilter.data.store.classautomaton.rules | - | X | - | X | (test) | ||||||||||
| urlfilter.domain.file | X | Xstorage.schema.host | X | X | |||||||||||
| storageurlfilter.schemadomain.webpagerules | - | X | - | X | |||||||||||
| subcollectionurlfilter.defaultdomaindenylist.fieldfile | - | X | |||||||||||||
| subcollectionurlfilter.defaultdomaindenylist.fieldnamerules | - | X | |||||||||||||
| subcollectionsurlfilter.fast.configfile | X | X | |||||||||||||
| subcollectionsurlfilter.xmlorder | X | X | tika.config.fileX | X | |||||||||||
| urlfilter.automatonprefix.file | X | X | X | X | |||||||||||
| urlfilter.automatonprefix.rules | - | X | - | X | |||||||||||
| urlfilter.domainregex.file | X | X | X | X | |||||||||||
| urlfilter.domainregex.rules | - | X | - | X | |||||||||||
| urlfilter.domainblacklistsuffix.file | X | X | Xurlfilter.domainblacklist.rules | X | |||||||||||
| urlfilter.suffix.orderrules | X- | XX | - | X | |||||||||||
| urlfilter.prefixtld.filelength | X | X | |||||||||||||
| urlmeta.tags | X | X | |||||||||||||
| urlfilterurlnormalizer.basic.prefixhost.rulesidn | X | - | |||||||||||||
| urlnormalizer.basic.host.trim-trailing-dot | X | - | |||||||||||||
| urlfilterurlnormalizer.regexhosts.file | X- | X | X | X | |||||||||||
| urlfilter.regexurlnormalizer.hosts.rules | X- | X | |||||||||||||
| urlfilterurlnormalizer.suffixloop.filecount | X | X | (test) | X | X | (test) | |||||||||
| urlfilter.suffix.rulesurlnormalizer.order | X | X | urlmeta.tags | X | X | ||||||||||
| urlnormalizer.hostsprotocols.file | X | X | |||||||||||||
| urlnormalizer.hostsprotocols.rules | X | X | |||||||||||||
| urlnormalizer.loopregex.countfile | X | X | X | X | |||||||||||
| urlnormalizer.regex.orderrules | - | X | - | X | (test) | ||||||||||
| urlnormalizer.slashes.file | -X | X | (test) | ||||||||||||
| urlnormalizer.regexslashes.filerules | - | X | |||||||||||||
| warc.exporter.only.successful.responses | - | XX | |||||||||||||
| warc.file.size.max | - | X | |||||||||||||
| urlnormalizerwebdriver.regexchrome.rulesdriver | XX | - | |||||||||||||
| webgraph.url.filters | - | X | X | X | |||||||||||
| webgraph.url.normalizers | - | X | |||||||||||||
| webgui.auth.users | X | X | |||||||||||||
| webtable.dump.content | - | X | |||||||||||||
| webtable.dump.headers | - | X | |||||||||||||
| webtable.dump.links | - | X | |||||||||||||
| webtable.dump.text | - | X | |||||||||||||
| webtable.url.regex | - | X | |||||||||||||
back to FrontPage